第二讲：把 LLM 接成可靠的组件

生成文本之前，先定义接口

语言模型根据已有上下文预测后续 token。工程上仍需要明确输入内容、期望输出、长度限制与失败处理。我们的问答助手只接收问题和检索证据，并返回 answer、citations、needs_review。把模型替换成固定响应，也应能检查接口。

格式约束之后，还要检查内容

结构化输出和受约束解码帮助模型返回可解析的数据；它们不能保证引用真实存在。本站示例先解析 JSON，再核对 citations 是否属于本次检索到的资料。空证据时允许 needs_review=true，避免用一个完整的 JSON 包装没有依据的答案。

{"answer":"资料中未找到报名截止日期。",
 "citations":[], "needs_review":true}

程序检查：字段类型 → 引用 ID 是否存在 → 答案是否有证据。

上下文是一份有限的工作材料

不要默认把全部历史和文件塞给模型。本站练习把上下文分为任务规则、当前问题、检索证据和必要历史；分别记录长度。新增一份资料时，检查是否挤掉了关键证据。检索片段保留 ID 和出处，让回答可以回查。

用实验选择设置

同一组问题固定模型、资料和输入模板，只改变一个设置。比较短与长上下文时，记录准确性、引用覆盖、首个输出的等待时间、完整响应耗时与 token 用量。低 temperature 不等于事实正确；有测试依据之后再选择配置。