# A.1 数学基础速查

## 线性代数基础

**矩阵乘法**：$C = AB$，其中 $C\_{ij} = \sum\_k A\_{ik} B\_{kj}$。复杂度为 $O(M \times N \times K)$。

**点积**：$a \cdot b = \sum\_i a\_i b\_i = |a||b|\cos\theta$，衡量两个向量的方向一致性。

**转置**：$(AB)^T = B^T A^T$。

## Softmax 函数

$$\text{softmax}(z\_i) = \frac{e^{z\_i}}{\sum\_{j=1}^{K} e^{z\_j}}$$

将实数向量转换为概率分布（非负且和为 1）。具有平移不变性：$\text{softmax}(z + c) = \text{softmax}(z)$。

## 交叉熵

$$H(p, q) = -\sum\_x p(x) \log q(x)$$

当 $p$ 为独热分布时，$H(p, q) = -\log q(x\_{\text{true}})$。

## 概率与统计

**期望**：$E\[X] = \sum\_x x \cdot P(x)$

**方差**：$\text{Var}(X) = E\[(X - E\[X])^2] = E\[X^2] - (E\[X])^2$

**独立随机变量之和的方差**：$\text{Var}(\sum\_i X\_i) = \sum\_i \text{Var}(X\_i)$

## 导数与链式法则

**链式法则**：$\frac{\partial L}{\partial x} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial x}$

**Softmax 的导数**：$\frac{\partial \text{softmax}(z)\_i}{\partial z\_j} = \text{softmax}(z)*i (\delta*{ij} - \text{softmax}(z)\_j)$