第 2 节 · 本站原创中文课程 · 建议 25 分钟
第二课：从次数到条件概率
学完能做：手算下一词概率，观察未知输入和重复数据的影响。
小鱼模型实验 · 读完后到练习区动手，先预测，再记录结果。
建立最小可解释基线
本站模型只数相邻词：两句“我 喜欢 海草”和一句“我 喜欢 气泡”。在当前词为“喜欢”的条件下，海草的相对频率为2/3，气泡为1/3。我们把这些频率当作简单预测概率，选择概率最大的词；平票按词首次在数据中出现的顺序选择。
这不是 Transformer
这个相邻词基线又叫 bigram 计数模型，不会利用更长上下文，没有注意力、梯度或参数优化。GuppyLM 学习的是神经网络参数并利用上下文预测 token。保留简单基线，能让后面的提升有比较对象。
做一次可复查的变化
切换“气泡更多”或自行编辑按空格分词的训练句，每行一句。重复一句会提高它在计数中的权重；没有出现过的当前词会得到“没有证据”，而不是一组编造的概率。实验不会把一行末尾和下一行开头连起来。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。