卡內基美隆大學

計算機科學系 — 端側大模型推理

美國 · 博士

CMU 在端侧计算与边缘智能领域拥有深厚传统，从 Mahadev Satyanarayanan 提出的 Cloudlet 边缘计算范式到 Virginia Smith 在联邦学习与高效机器学习系统方面的前沿工作，形成了从系统架构到算法优化的完整研究链条，是端侧大模型推理研究的重要阵地。

学术历史

CMU 是边缘计算概念的发源地之一。Satyanarayanan 教授 2009 年发表的《The Case for VM-based Cloudlets in Mobile Computing》开创了 Cloudlet 研究范式，直接推动了边缘计算领域的形成。近年来，机器学习系的 Virginia Smith 教授在联邦学习、分布式优化和高效机器学习方面持续产出重要成果，将边缘设备上的机器学习训练与推理推向新的效率极限。CMU 的系统组与机器学习系之间的紧密合作为端侧 AI 系统研究提供了独特的跨学科环境。

当前状态

CMU 目前在端侧大模型推理方向的研究涵盖边缘计算架构、联邦学习中的通信效率优化、模型压缩与量化在资源受限设备上的部署，以及隐私保护的端侧推理。Satyanarayanan 教授的团队持续探索边缘设备上的 AI 推理卸载与资源调度，Smith 教授的团队则聚焦于联邦 LoRA 稀疏通信、高效微调与推理等课题。博士生可参与从系统架构到算法设计的全栈研究。

实验室 / 研究中心

关键人物

学术资源

证据