第 3 节 · 本站原创中文课程 · 建议 25 分钟
第三课：读懂微型 Transformer 的路线
学完能做：把 GuppyLM 的主要模块和输入输出串起来。
小鱼模型实验 · 用自己的话写下发现，保留实际观察与待验证的问题。
从编号到向量
真实模型先把 token ID 变成向量，加上位置信息，再送进多层 Transformer。GuppyLM 使用学习到的位置嵌入，6层、宽度384、6个注意力头，前馈层宽度768并使用 ReLU。这些数字描述模型结构，不是知识正确率。
注意力能看哪里
因果自注意力让一个位置利用它之前的上下文，训练时用遮罩阻止偷看未来答案。经过注意力、前馈层和归一化后，输出层产生词表上每个 token 的分数，再变成概率。与本站只看一个前词的计数模型相比，它能学习更复杂的依赖，但仍可能出错。
参数、数据和记忆不要混为一谈
约870万参数是参与计算的可学习数值数量；6万条对话是数据规模；128 tokens 是单次上下文窗口。它们分别回答“有多少可调数值”“学了哪些例子”“这次能看多长”。画出 token→嵌入→Transformer→下一 token 分布，并标注这些区别。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。