卡內基梅隆大學

Machine Learning Department - AI Safety & Robustness Research

美國 · PhD/Postdoc

CMU機器學習系是全球首個獨立的ML系，在AI安全與魯棒性研究方面有深厚積累。研究方向涵蓋對抗魯棒性、分佈外泛化、可信ML系統、安全強化學習等，為AI對齊提供從理論分析到系統實現的完整研究鏈條。

学术历史

CMU於2006年成立全球首個機器學習系，由Tom Mitchell創立。AI安全研究在CMU有長期積累：Matt Fredrikson等人的對抗樣本研究、Pradeep Ravikumar的魯棒ML理論、David Held的機器人安全等構成多維度安全研究矩陣。CMU的定位獨特：既有ML系的強技術基礎，又有Software Engineering Institute (SEI)的安全工程傳統，使AI安全研究兼具理論深度與工程實用性。

当前状态

CMU ML系目前有多個研究組涉及AI安全：對抗魯棒性與防禦、分佈外泛化、可信AI、安全RL。設有AI Safety Reading Group與定期研討會。CMU同時參與NIST AI Safety Institute Consortium，為美國AI安全政策提供技術支持。開設10-708（Probabilistic Graphical Models）等課程涵蓋安全與不確定性議題。

实验室 / 研究中心

关键人物

标志性成果

• 對抗樣本的系統性研究：C&W攻擊方法成為對抗魯棒性評估的標準基準
• 分佈魯棒優化（DRO）的理論框架，為ML系統在分佈偏移下的安全提供形式化保證
• 模型反演攻擊研究，揭示ML模型的隱私安全風險並推動隱私保護技術發展
• 安全強化學習在機器人操控中的應用：約束滿足與安全探索算法

学术资源

证据