第 1 节 · 本站原创中文课程 · 建议 25 分钟
第一课：文本怎样变成 token
学完能做：比较拆分规则，说明教学演示与真实 BPE 的区别。
小鱼模型实验 · 读完后到练习区动手，先预测，再记录结果。
先确定研究对象
GuppyLM 是约870万参数的教学语言模型，使用6万条合成英文对话塑造小鱼 Guppy 的角色，主要适合短的单轮对话。它不是通用知识助手。本站必做实验使用中文、相邻词计数，不下载模型，也不训练 Transformer。
拆分规则影响序列
将“我 喜欢 海草”按空格切成3块，或去掉空白后逐字切成5块。实验显示序列和序号，序号只是本次位置，不是词表 ID。实际 GuppyLM 使用词表大小4096的 BPE 分词器：常见片段可以合并，一个 token 不一定对应一个字或词。
上下文也有预算
GuppyLM 的上下文窗口为128 tokens。输入、角色标记等如何占用窗口，要看实际推理实现；不能按128个汉字来计算。先比较本站两种拆法，再在项目 tokenizer 相关源码中确认真实分词过程，选做部分不影响本站结课。
这是本站独立编写的讲解与示例，并非官方课程逐字翻译。理解之后，请完成下面的练习、自测和笔记。