麻省理工學院

电子工程与计算机科学系 — 端側大模型推理

美國 · 博士

MIT 在高效 AI 计算领域处于全球领先地位，Song Han 教授开创的深度压缩（Deep Compression）和模型量化技术（AWQ、SmoothQuant、QServe）已成为端侧大模型推理的核心方法，Vivienne Sze 教授在软硬件协同设计方面的工作为在智能手机和微型机器人上部署 AI 提供了关键基础。

学术历史

MIT 的端侧 AI 研究传统可追溯到 Song Han 在斯坦福读博期间提出的深度压缩算法，该算法通过剪枝、量化和 Huffman 编码将神经网络压缩 35-49 倍而不损失精度。加入 MIT 后，Han 教授团队持续推动 LLM 量化技术前沿，AWQ 量化方法在 HuggingFace 上获得超过 1900 万次下载，SmoothQuant 被 NVIDIA TensorRT-LLM 采用。Vivienne Sze 教授曾因视频压缩标准获得工程艾美奖，后将软硬件协同设计方法应用于高效深度学习，合著了高效深度学习系统设计教科书。

当前状态

MIT HAN Lab 当前聚焦于大语言模型的量化与加速，包括 W4A8KV4 量化方案 QServe、流式 LLM 推理 StreamingLLM，以及端侧 4-bit 量化推理框架 TinyChat。Sze 教授的团队则致力于在移动设备和微型机器人上部署深度神经网络，通过软硬件协同设计实现能效最大化。两位教授共同开设 EfficientML.ai 开放课程系列，分享高效机器学习前沿研究。

实验室 / 研究中心

关键人物

学术资源

证据