第 9 节 · 本站原创中文课程 · 建议 25 分钟
09 · LLM Serving:从单次生成到服务
学完能做:建立 KV cache、批处理与服务延迟的基本验收框架。
视频权益与本站学习分开
分享目录将第 9 集标为会员内容,实际权益以作者平台为准。本节是本站独立编写的服务基础导读,不是会员视频的字幕、翻译或内容复刻;即使不观看该视频,也可完成下面的模拟任务。
计算与缓存的压力不同
Prefill 处理输入上下文,decode 逐步生成 token;KV cache 随序列数量和长度增长,不能只预算模型权重。常见简化公式为 2×层数×KV 头数×头维度×缓存 token 数×每元素字节数,不含分页浪费、量化元数据和其他运行时开销。
吞吐不是用户等待时间
同时记录首 token 延迟 TTFT、后续 token 间隔、端到端延迟与吞吐,并报告负载、并发、输入输出长度和 p50/p95。连续批处理、分页缓存和调度是在质量及延迟约束下取舍,不能只展示一个最大 tokens/s。
这是本站独立编写的讲解与示例,并非官方课程逐字翻译。理解之后,请完成下面的练习、自测和笔记。