新加坡國立大學

计算机学院 — 端側大模型推理

新加坡 · 博士

新加坡国立大学在高效 AI 系统与边缘智能领域拥有显著研究实力，Bingsheng He 教授在 GPU/FPGA 加速和大规模 ML 系统优化方面的工作为端侧推理提供了系统级方案，Ooi Wei Tsang 教授在边缘 AI 与学习延迟决策方面的研究则探索了端侧与云端模型协同的新范式。

学术历史

NUS 计算机学院在系统与数据库领域有深厚积累。He 教授在加入 NUS 前曾在微软亚洲研究院系统研究组工作，当前任计算机学院研究副院长，获 2026 年 Google 机器学习研究奖，其项目致力于在 TPU 上实现训练与推理的轻量级自动化性能优化，涵盖大语言模型和 MoE 变体。Ooi 教授联合指导 Razer-NUS 联合 AI 研究实验室，其 Learning-to-Defer 研究探索端侧小模型与云端大模型之间的智能任务分配。

当前状态

He 教授当前的研究涵盖大规模 AI 工作负载的自优化系统、GPU/FPGA 等新兴硬件上的高效 ML 推理，以及图神经网络加速器设计（GraphMind），相关成果以开源项目 Medusa Compute 发布。Ooi 教授的团队则聚焦于边缘 AI 中的学习延迟决策、端侧模型与外部专家的协同推理，以及体积视频流和云游戏系统中的高效 AI 部署。

实验室 / 研究中心

关键人物

学术资源

证据