AI Mistakes

Transformer、LLM、机器学习与深度学习学习过程中的高价值错误记录。

只记录：

• 概念理解错误；
• 数学推导错误；
• 容易反复出现的混淆；
• 面试中可能造成明显失分的表达问题。

不记录单纯输入错误或已经掌握、只是表达不够完整的问题。

---

M-AI-001 - Attention Score Matrix 维度判断错误

Date: 2026-08-17

Related:

• 02_AI/Transformer/02_attention.md

Problem

已知：

$$Q,K\in {\mathbb{R}}^{100\times 64}$$

判断：

$$Q{K}^T$$

的维度。

Initial Error

误判断为：

$$64$$

或将 Attention Score 的维度与单个 Q/K 向量维度混淆。

Correct Reasoning

因为：

$$Q:100\times 64$$

而：

$$K^T:64\times 100$$

所以：

$$Q{K}^T:(100\times 64)(64\times 100)$$

最终：

$$\boxed{{\displaystyle 100\times 100}}$$

Mental Model

矩阵乘法中：

$$d_k$$

是 Q 与 K 做点积时被消掉的维度。

最终保留下来的两个维度都是 token position：

Q:
token × feature

K^T:
feature × token

↓

QK^T:
token × token

因此 Attention Score Matrix 表示：

所有 Query token 与所有 Key token 的两两匹配关系。

Trigger

看到：

$$Q,K\in {\mathbb{R}}^{n\times d_k}$$

立即想到：

$$Q{K}^T\in {\mathbb{R}}^{n\times n}$$

Status

corrected

---

M-AI-002 - 将 Bias 与非线性混淆

Date: 2026-08-17

Related:

• 02_AI/Transformer/03_transformer-block.md

Problem

为什么 FFN 中需要非线性激活函数？

Initial Error

曾认为加入 Bias 后，多层 Linear 无法继续合并，因此产生了非线性。

Correct Reasoning

即使存在 Bias：

$$y=W_2(W_{1}x+b_1)+b_2$$

展开：

$$y=W_2{W}_{1}x+W_2{b}_1+b_2$$

令：

$$W^{\prime }=W_2{W}_1,b^{\prime }=W_2{b}_1+b_2$$

仍然可以写成：

$$\boxed{{\displaystyle y=W^{\prime }x+b^{\prime }}}$$

因此它仍然只是一个仿射变换。

真正阻止多个 Linear 被整体合并的是：

$$\text{ReLU},\text{GELU},\text{SiLU}$$

等非线性函数。

例如：

$$W_2\mathrm{ReLU}(W_{1}x+b_1)+b_2$$

不能在整个输入空间内等价为一个固定的：

$$W^{\prime }x+b^{\prime }$$

Trigger

看到：

Linear
→ Linear
→ Linear

想到：

可以合并。

看到：

Linear
→ Activation
→ Linear

想到：

激活函数引入非线性，不能整体合并。

Status

corrected

---

M-AI-003 - Q/K/V 职责边界不清

Date: 2026-08-17

Related:

• 02_AI/Transformer/02_attention.md

Problem

为什么 Attention 既需要 Q/K，又需要 V？

Initial Confusion

最初能够理解 Q/K 用于相关性匹配，但不清楚为什么最终必须聚合 V，也曾将 K 和 V 的作用混在一起。

Correct Reasoning

对于第 $i$ 个 token：

$${\alpha }_{ij}={\mathrm{softmax}}_j\left(\frac{q_i{k}_j^T}{\sqrt{d_k}}\right)$$

Q/K 决定：

第 $i$ 个位置应该从第 $j$ 个位置获取多少信息。

之后：

$$o_i=\sum _j{\alpha }_{ij}{v}_j$$

V 决定：

第 $j$ 个位置真正向当前 token 提供什么内容。

因此：

Q / K
→ 信息路由权重

V
→ 被路由和聚合的内容

将 K 与 V 分离，使模型能够分别学习：

• 如何判断信息来源是否重要；
• 选中该来源以后传递什么表示。

Trigger

看到：

$$\mathrm{softmax}(Q{K}^T)V$$

分成两个阶段：

QK^T
→ 看谁、看多少

× V
→ 真正拿什么回来

Status

corrected