> For the complete documentation index, see [llms.txt](https://yeasy.gitbook.io/llm_internals/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://yeasy.gitbook.io/llm_internals/di-si-bu-fen-mo-xing-yu-qian-yan-pian/appendix/a1_math_basics.md).

# A.1 数学基础速查

## 线性代数基础

**矩阵乘法**：$C = AB$，其中 $C\_{ij} = \sum\_k A\_{ik} B\_{kj}$。复杂度为 $O(M \times N \times K)$。

**点积**：$a \cdot b = \sum\_i a\_i b\_i = |a||b|\cos\theta$，衡量两个向量的方向一致性。

**转置**：$(AB)^T = B^T A^T$。

## Softmax 函数

$$\[\text{softmax}(z)]*i = \frac{e^{z\_i}}{\sum*{j=1}^{K} e^{z\_j}}$$

将实数向量转换为概率分布（非负且和为 1）。具有平移不变性：对任意标量 $c$，$\text{softmax}(z + c\mathbf{1}) = \text{softmax}(z)$。

## 交叉熵

$$H(p, q) = -\sum\_x p(x) \log q(x)$$

当 $p$ 为独热分布时，$H(p, q) = -\log q(x\_{\text{true}})$。

## 概率与统计

**期望**：$E\[X] = \sum\_x x \cdot P(x)$

**方差**：$\text{Var}(X) = E\[(X - E\[X])^2] = E\[X^2] - (E\[X])^2$

**独立随机变量之和的方差**：$\text{Var}(\sum\_i X\_i) = \sum\_i \text{Var}(X\_i)$

## 导数与链式法则

**链式法则**：$\frac{\partial L}{\partial x} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial x}$

**Softmax 的导数**：$\frac{\partial \text{softmax}(z)\_i}{\partial z\_j} = \text{softmax}(z)*i (\delta*{ij} - \text{softmax}(z)\_j)$