9–10 月 · Lec 3–11
高效推理
Efficient Inference
怎样让模型更小，并在目标设备上真正跑得更快？
剪枝与稀疏性量化神经架构搜索 NAS知识蒸馏MCUNetTinyEngine 与并行处理
从经典压缩方法走到微控制器部署，把算法优化与硬件约束放在一起理解。
MIT · 2026 秋季 高级 · 公开视频与课件
6.5940 / TINYML AND EFFICIENT AI COMPUTING
让 AI 跑得动、
跑得快、跑得起
从微控制器上的 TinyML，到笔记本上的大语言模型。这门课把模型压缩、硬件约束和系统优化串成一条完整的学习路线。
WHY THIS COURSE
把“效率”当作一门完整的工程学科
模型精度只是起点。实际部署还受到内存、算力、功耗、带宽和响应时间的限制。MIT 6.5940 关注的正是这些条件下，深度学习怎样进入真实设备与产品。
课程由 MIT HAN Lab 的 Song Han 与 Shang Yang 授课。它的学习价值在于把经典压缩方法、现代模型优化和训练系统联系起来，再通过 Lab 验证理解，最终走向本地 LLM 部署与研究项目。
学习时可以始终带着一个问题：一次优化究竟减少了什么成本，又牺牲了什么？用相同的硬件和评测条件做对照，才能判断改进是否有效。
你可以带走的能力
- 理解压缩：把剪枝、量化、蒸馏与架构搜索放进同一张知识地图。
- 理解部署：根据设备和模型选择优化方向，并用实测数据验证。
- 理解研究：从基线、实验到报告，形成可复现的工程论证。
COURSE MAP
四章递进，从推理走向训练与研究
按 2026 官方课表整理。后续讲次的课件与视频随授课推进发布，具体安排以官网为准。
10–11 月 · Lec 12–18
面向特定模型的优化
Domain-Specific Optimization
换成 LLM、视觉模型和扩散模型，效率瓶颈会怎样变化？
Transformer 与 LLMLLM 量化与部署LLM Post-Training长上下文Vision Transformer扩散模型
将通用方法放到具体模型形态中，建立架构、工作负载与优化方法之间的联系。
11 月 · Lec 19–21
高效训练
Efficient Training
除了推理，训练和端侧适配的成本怎样降低？
分布式训练数据与模型并行梯度通信设备端训练迁移学习
把视角移到计算资源、通信和内存的协同，理解训练效率的系统性约束。
12 月 · 嘉宾讲座与项目展示
进阶专题与研究项目
Advanced Topics
怎样把一个优化想法变成可验证、可复现的研究结果？
嘉宾讲座项目提案海报展示4 页研究报告
用项目收尾：明确问题、建立基线、设计实验，再解释改进来自哪里。
START LEARNING
前 7 讲：已公开的视频与课件
以下资源链接来自官方课表与 MITHANLab 官方频道；“学习关注点”为本站导读。第 7 讲 NAS I 的课件与实际视频地址现已同时列于官网；本次核对视频入口，未验证实际播放。后续讲次仅有课表安排时，不计为已发布材料。
Lec 1 ·
Introduction
为什么 AI 需要更高效的计算？
学习关注点：建立整门课的问题地图：模型能力之外，还要关注计算、内存、延迟与部署条件。
Lec 2 ·
Basics of Deep Learning
补齐深度学习基础
学习关注点：复习网络、训练和推理的基本概念，为后续分析压缩方法的效果与代价做准备。
Lec 3 ·
Pruning and Sparsity · Part I
剪枝与稀疏性：入门
学习关注点：理解哪些参数或结构可以移除，并区分模型变小、计算减少与实际运行加速。
Lec 4 ·
Pruning and Sparsity · Part II
剪枝与稀疏性：进阶
学习关注点：继续比较剪枝方案与精度恢复过程，思考稀疏结构怎样与真实硬件配合。
Lec 5 ·
Quantization · Part I
量化：用更少的位表示模型
学习关注点：把位宽、数值范围和量化误差联系起来，理解低精度计算为什么能节省存储。
Lec 6 ·
Quantization · Part II
量化：从数值方法走向部署
学习关注点：进一步思考如何控制精度损失，并用真实运行结果验证量化带来的收益。
Lec 7 ·
Neural Architecture Search · Part I
神经架构搜索：在资源约束下选择网络
学习关注点：把搜索空间、搜索方法与效率约束联系起来，思考怎样同时评价精度和部署成本。
LEARN BY BUILDING
5 个 Lab + 期末项目，无考试
课程以实践与项目作为要求。下面按官网 Logistics 中的五个 Lab 主题整理，具体题目、发布链接与提交要求请跟随官方课表。
已公开 · 2026-10-03 核对
Lab 2：Pruning · 剪枝实践
官方 notebook 提供细粒度剪枝与通道剪枝练习，共 11 道编号题。学习时同时记录精度、模型大小与实际推理延迟，比较“参数减少”和“真实加速”的差别。
已验证 notebook 可匿名下载；在 Colab 执行或保存副本可能需要 Google 账号。后续 Lab 的主题列在下方，实际资源以官方发布为准。
GPU Basics
从 GPU 编程与硬件执行方式开始，补齐理解加速的底层视角。
Pruning
实现细粒度与通道剪枝，比较精度、模型大小和实际推理延迟。Lab 2 已公开。
Neural Architecture Search
在资源约束下思考网络结构选择，而不只比较模型精度。
Quantization
动手理解低精度表示，把精度、模型大小与部署收益联系起来。
LLM Deployment on Laptop
在自己的笔记本上部署语言模型，形成可演示的工程成果。
BEFORE YOU START
需要机器学习基础，也需要系统思维
官方先修要求为 6.191（Computation Structures）与 6.390（Intro to Machine Learning）。这是一门高阶课程，适合已有基础、想继续研究压缩与部署的学习者。
机器学习这一侧
建议先理解神经网络、损失函数、反向传播和训练 / 推理的区别，能用深度学习框架完成一次基本训练与评测。
计算系统这一侧
建议先理解计算量、内存容量与带宽、并行执行等基本概念，知道“理论计算减少”与“设备实际加速”可能不同。
如果刚开始接触 AI，先从本站学习路径补基础。使用公开材料自学，与 MIT 正式注册、评分和学分是不同的学习方式。
YOUR STUDY ROUTE
本站建议：带着一个真实模型学完整门课
以下是自学建议，便于把课程主题转成可检查的成果；具体 Lab 内容以 MIT 发布的题目为准。
补基础，先建立基线
先看前两讲，选择一个熟悉的小模型。记录硬件、软件版本、精度、模型大小和推理延迟，作为之后所有实验的参照。
学习成果 · 一份可复现的基线记录
跟着剪枝与量化做对照
学完一个方法就做一个小实验。一次只改变一个变量，同时记录精度与实际延迟；参数变少不等于硬件一定更快。
学习成果 · 一张优化前后的对比表
选择自己的部署方向
关注边缘设备就继续 MCUNet / TinyEngine；关注大模型就继续 LLM 量化、部署与长上下文。新讲次未发布时，可先参考往届资料。
学习成果 · 一个明确的设备与模型组合
完成一次本地部署
以课程 Lab 为实践入口，记录模型、量化格式、内存占用、加载时间与生成速度。能运行之后，再定位真实瓶颈。
学习成果 · 一个可演示的本地模型
做一个小型研究项目
围绕一个具体问题复现实验，保留脚本和结果。尝试写出问题、方法、基线、实验与局限，而不只展示最终数值。
学习成果 · 实验仓库与简短技术报告
官方资源与往届存档
本页为 Learn traeai 中文整理与自学导览，课程、课件与视频版权归原作者。官方课表资源于 2026-10-03 核对，后续发布请以官网为准。
查看 MIT 2026 秋季其他 AI 课程与进展 →