韩国科学技术院

韩国科学技术院·电气工程学院·端侧大模型推理方向

韩国 · 博士

KAIST 在端侧 AI 硬件与系统领域拥有世界级研究实力，Minsoo Rhu 教授的 VIA 研究组在 LLM 推理架构与 KV Cache 量化方面处于前沿，Jongse Park 教授的 CASYS 实验室则专注于端侧 AI 系统、存内计算加速和 AI 编译器框架，为端侧大模型推理提供了从芯片到系统的全栈方案。

学术历史

KAIST 是韩国 AI 硬件与系统研究的核心机构。Rhu 教曾在 NVIDIA 担任高级研究科学家，领导虚拟化 DNN 运行时系统和稀疏 CNN 加速器 ASIC 设计，加入 KAIST 后持续在 LLM 推理架构方面产出重要成果，包括 KV Cache 量化和推理调度算法。Park 教授的研究涵盖端侧 AI 系统使能、存内计算（PIM）加速和 AI 编译器框架，近期获得多项韩国政府资助项目，包括端侧 LLM 推理加速和 DRAM PIM 架构研究。

当前状态

Rhu 教授当前担任 KAIST 讲席教授，研究涵盖多模态 LLM 的 KV Cache 量化、推理感知调度算法（PASCAL）和 AI Agent 全流水线加速。Park 教授的 CASYS 实验室则聚焦于端侧物理 AI 系统、异构 AI 半导体的分布式推理与模型优化，以及 DRAM PIM 架构的 LLM 推理加速。两位教授近期还合作发表了 LLM 推理系统模拟器（LLMServingSim）相关研究。

实验室 / 研究中心

关键人物

学术资源

证据