Universidad Carnegie Mellon

Machine Learning Department - AI Safety & Robustness Research

Estados Unidos · Doctorado/Posdoctorado

El Departamento de Aprendizaje Automático de CMU es el primer departamento de ML independiente del mundo, con una sólida trayectoria en investigación sobre seguridad y robustez de la IA. Sus líneas de investigación abarcan la robustez adversaria, la generalización fuera de distribución, los sistemas de ML confiables y el aprendizaje por refuerzo seguro, proporcionando una cadena de investigación completa desde el análisis teórico hasta la implementación de sistemas para la alineación de la IA.

学术历史

CMU fundó en 2006 el primer departamento de aprendizaje automático del mundo, creado por Tom Mitchell. La investigación sobre seguridad de la IA tiene una larga trayectoria en CMU: los trabajos sobre ejemplos adversarios de Matt Fredrikson y otros, la teoría de ML robusto de Pradeep Ravikumar, y la seguridad en robótica de David Held conforman una matriz de investigación de seguridad multidimensional. La posición de CMU es singular: combina la sólida base técnica del Departamento de ML con la tradición de ingeniería de seguridad del Software Engineering Institute (SEI), dotando a la investigación en seguridad de la IA de profundidad teórica y aplicabilidad ingenieril.

当前状态

El Departamento de ML de CMU cuenta actualmente con varios grupos de investigación dedicados a la seguridad de la IA: robustez adversaria y defensa, generalización fuera de distribución, IA confiable y aprendizaje por refuerzo seguro. Cuenta con un grupo de lectura sobre seguridad de la IA y seminarios periódicos. CMU participa simultáneamente en el NIST AI Safety Institute Consortium, proporcionando apoyo técnico a la política de seguridad de la IA en Estados Unidos. Ofrece cursos como 10-708 (Modelos Gráficos Probabilísticos) que abordan temas de seguridad e incertidumbre.

实验室 / 研究中心

关键人物

标志性成果

• Investigación sistemática sobre ejemplos adversarios: el método de ataque C&W se ha convertido en el estándar de referencia para la evaluación de la robustez adversaria
• Marco teórico de optimización robusta de distribución (DRO), que proporciona garantías formales para la seguridad de sistemas de ML bajo desplazamiento de distribución
• Investigación sobre ataques de inversión de modelos, que revela los riesgos de privacidad de los modelos de ML e impulsa el desarrollo de tecnologías de protección de la privacidad
• Aplicación del aprendizaje por refuerzo seguro en manipulación robótica: algoritmos de satisfacción de restricciones y exploración segura

学术资源

证据