Université Carnegie Mellon

Machine Learning Department - AI Safety & Robustness Research

États-Unis · PhD/Postdoc

Le département d'apprentissage automatique de CMU est le premier département de ML indépendant au monde, avec une expertise approfondie en recherche sur la sécurité et la robustesse de l'IA. Les axes de recherche couvrent la robustesse adversaire, la généralisation hors distribution, les systèmes ML de confiance et l'apprentissage par renforcement sûr, offrant une chaîne de recherche complète de l'analyse théorique à la mise en œuvre système pour l'alignement de l'IA.

学术历史

CMU a fondé en 2006 le premier département d'apprentissage automatique au monde, créé par Tom Mitchell. La recherche en sécurité de l'IA a une longue tradition à CMU : les travaux sur les exemples adverses de Matt Fredrikson, la théorie du ML robuste de Pradeep Ravikumar, la sécurité en robotique de David Held constituent une matrice de recherche multidimensionnelle. La position de CMU est unique : elle combine la solide base technique du département de ML avec la tradition d'ingénierie de sécurité du Software Engineering Institute (SEI), conférant à la recherche en sécurité de l'IA à la fois une profondeur théorique et une applicabilité pratique.

当前状态

Le département de ML de CMU compte actuellement plusieurs groupes de recherche impliqués dans la sécurité de l'IA : robustesse adversaire et défense, généralisation hors distribution, IA de confiance, RL sûr. Il dispose d'un groupe de lecture AI Safety et de séminaires réguliers. CMU participe également au NIST AI Safety Institute Consortium, fournissant un soutien technique à la politique américaine en matière de sécurité de l'IA. Des cours tels que 10-708 (Probabilistic Graphical Models) couvrent les questions de sécurité et d'incertitude.

实验室 / 研究中心

关键人物

标志性成果

• Recherche systématique sur les exemples adverses : la méthode d'attaque C&W est devenue le standard de référence pour l'évaluation de la robustesse adversaire
• Cadre théorique de l'optimisation robuste distributionnelle (DRO), fournissant des garanties formalisées pour la sécurité des systèmes ML sous dérive de distribution
• Recherche sur les attaques par inversion de modèle, révélant les risques de confidentialité des modèles ML et stimulant le développement des technologies de protection de la vie privée
• Application de l'apprentissage par renforcement sûr à la manipulation robotique : algorithmes de satisfaction de contraintes et d'exploration sûre

学术资源

证据