NIST: Perfil de IA generativa (AI 600-1) y Marco de gestión de riesgos de IA (AI RMF) [ES]
Esta página es una traducción del artículo original en inglés. Tenga en cuenta que la navegación está disponible únicamente en inglés.
Aportamos nuestra contribución a los marcos del Instituto Nacional de Estándares y Tecnología (NIST): «Marco de gestión de riesgos de inteligencia artificial: Perfil de inteligencia artificial generativa» (NIST AI 600-1).
El NIST AI 600-1 es un recurso complementario del Marco de gestión de riesgos de IA del NIST (AI RMF), centrado específicamente en la IA generativa (IAG). Su objetivo es ayudar a las organizaciones a identificar, gestionar y mitigar los riesgos específicos asociados a la IAG, como las vulnerabilidades de ciberseguridad, la desinformación y las cuestiones éticas. El documento describe 12 riesgos clave y ofrece más de 200 medidas que los desarrolladores pueden adoptar para abordarlos, en consonancia con el AI RMF.
Relacionado
Junta de Acceso de EE. UU.: Orden Ejecutiva sobre IA y Accesibilidad
PCAST: Grupo de trabajo sobre IA generativa (Actualizado)
OCDE: Marco de Informes del Proceso de IA del G7 en Hiroshima (HAIP)
Marco de gestión de riesgos de IA del NIST (AI RMF 1.0)
El Marco de gestión de riesgos de IA del NIST (AI RMF 1.0), publicado el 26 de enero de 2023, ofrece orientación voluntaria para incorporar consideraciones de fiabilidad en el diseño, el desarrollo, el uso y la evaluación de los sistemas de IA. Desarrollado mediante procesos basados en el consenso, con la participación de más de 240 organizaciones de la industria privada, el mundo académico, la sociedad civil y el gobierno a lo largo de 18 meses, el marco establece enfoques sistemáticos para gestionar los riesgos asociados a la IA para las personas, las organizaciones y la sociedad.
El marco opera a través de cuatro funciones principales que abordan fases diferenciadas de la gestión del ciclo de vida de la IA. La función GOVERN se aplica a todos los procesos organizativos de gestión de riesgos de la IA, estableciendo políticas, procedimientos y estructuras organizativas para la gobernanza de la IA. Las funciones MAP, MEASURE y MANAGE se orientan a contextos y etapas del ciclo de vida específicos de cada sistema, proporcionando orientación operativa para la identificación de riesgos, la evaluación y las estrategias de mitigación.
Estructura básica del marco:
GOVERN: Políticas y procedimientos organizativos para la gestión de riesgos de la IA
MAP: Identificación de riesgos y establecimiento del contexto para los sistemas de IA
MEASURE: Metodologías de evaluación del rendimiento y de la fiabilidad
MANAGE: Priorización de riesgos y estrategias de implementación de medidas de mitigación
El marco incorpora mecanismos de flexibilidad que permiten adaptarlo a la escala de la organización, los casos de uso y los perfiles de riesgo, mediante enfoques de poder blando en lugar de mandatos regulatorios. El NIST tiene prevista una revisión formal para 2028, que podría dar lugar a la versión 2.0, con actualizaciones semestrales que incorporen los comentarios de la comunidad a través de procesos de desarrollo iterativos.
Perfil de IA generativa (NIST AI 600-1)
Publicado el 26 de julio de 2024, el NIST AI 600-1 actúa como recurso complementario intersectorial del AI RMF, abordando específicamente los sistemas de inteligencia artificial generativa de conformidad con la Orden Ejecutiva 14110 del presidente Biden. La orientación se centra en una lista de 12 riesgos y más de 200 medidas sugeridas que los desarrolladores y otros actores del ámbito de la IA pueden adoptar para gestionarlos, proporcionando orientación especializada a las organizaciones que trabajan con tecnologías de IA generativa en todos los sectores.
Los 12 riesgos incluyen una menor barrera de entrada para los ataques de ciberseguridad, la producción de información errónea y desinformación o discurso de odio y otros contenidos nocivos, y los sistemas de IA generativa que producen resultados inexactos o engañosos —un fenómeno denominado «confabulación»—. El perfil aborda preocupaciones técnicas, operativas y sociales que abarcan desde vulnerabilidades de ciberseguridad hasta retos de autenticidad de contenidos, con medidas directamente alineadas con la estructura del AI RMF.
Categorías clave de riesgos de la IA generativa:
Barreras y vulnerabilidades ante ataques de ciberseguridad
Confabulación (alucinaciones) que produce contenido falso o engañoso
Generación y exposición de contenido peligroso, violento u odioso
Impactos en la privacidad de los datos a través de la divulgación no autorizada o la desanonimización
Sesgos perjudiciales y homogeneización derivados de datos de entrenamiento no representativos
Retos de configuración entre humanos e IA que afectan a la fiabilidad del sistema
Violaciones de la propiedad intelectual y reproducción no autorizada de contenido
Comprometimiento de la integridad de la información que afecta a los procesos de toma de decisiones
Riesgos de generación de contenido obsceno, degradante o abusivo
Impactos en la sostenibilidad medioambiental derivados del consumo de recursos computacionales
Vulnerabilidades en la integración de la cadena de valor a lo largo de las fases de desarrollo y despliegue
Brechas en la seguridad de la información en la protección de modelos y el manejo de datos
El perfil hace hincapié en las metodologías de evaluación de riesgos, los requisitos de pruebas continuas y la integración de la retroalimentación de múltiples partes interesadas a lo largo de los procesos de desarrollo y despliegue. Tras describir cada riesgo, el documento presenta una matriz de medidas sugeridas que los actores de la IA pueden adoptar para mitigarlo, alineadas con el AI RMF.
Marcos de seguridad del NIST relacionados
Integración de los controles de seguridad del NIST SP 800-53
La Revisión 5 del NIST SP 800-53 proporciona controles exhaustivos de seguridad y privacidad para los sistemas de información federales, organizando las salvaguardas en 20 familias de controles con niveles de impacto bajo, moderado y alto. El marco aborda los requisitos de control de acceso, auditoría y rendición de cuentas, gestión de la configuración, respuesta a incidentes y protección de las comunicaciones del sistema, aplicables a las implementaciones de seguridad de los sistemas de IA.
Las implementaciones de sistemas de IA requieren la integración con controles de ciberseguridad establecidos que aborden las características específicas de los sistemas de aprendizaje automático. Las familias de controles abarcan la seguridad del personal, la protección física y ambiental, las estrategias de planificación, la gestión de programas, la evaluación de riesgos y los procesos de autorización de evaluaciones de seguridad. Las organizaciones que implementan sistemas de IA deben alinear la gestión de riesgos algorítmicos con las estructuras tradicionales de control de seguridad de la información.
Extensiones del Marco de Desarrollo Seguro de Software
La Publicación Especial 800-218A del NIST amplia el Marco de Desarrollo Seguro de Software (SSDF) específicamente para el desarrollo de modelos de IA, abordando retos propios como el impacto de los datos de entrenamiento maliciosos y los límites difusos entre el código del sistema y los datos. Este recurso complementario respalda los requisitos de la Orden Ejecutiva 14110 para el desarrollo seguro de IA generativa y de modelos fundacionales de doble uso.
El marco recomienda medidas de seguridad a nivel organizativo, de modelo y de programación de software, estableciendo sistemas sólidos de evaluación de vulnerabilidades y respuesta que abordan la integridad de los datos de entrenamiento y la seguridad de los modelos a lo largo de los ciclos de vida del desarrollo.
Métricas de implementación e integración de estándares
El perfil de IA generativa ofrece 211 medidas específicas en 12 categorías de riesgo, lo que permite una implementación personalizada según los requisitos de la organización y su tolerancia al riesgo. El Manual del AI RMF proporciona orientación práctica que se actualiza aproximadamente dos veces al año a través de los comentarios de la comunidad, lo que respalda la adopción del marco en diversos contextos operativos, con los aportes revisados e integrados semestralmente.
Entre los avances recientes se incluye el trabajo del Consorcio del Instituto de Seguridad de la IA de EE. UU. sobre enfoques de notificación voluntaria, con conclusiones clave sobre cómo las organizaciones pueden compartir datos de gestión de riesgos a través de una Plantilla de Notificación Voluntaria (VRT) para el Perfil de IA Generativa del AI RMF del NIST. El consorcio está integrado por más de 290 empresas y organizaciones miembros que trabajan en cinco áreas clave: gestión de riesgos de la IA generativa, contenido sintético, evaluaciones, equipo rojo (red-teaming) y seguridad de los modelos.
El NIST coordina la armonización con normas internacionales, entre ellas ISO/IEC 5338, ISO/IEC 38507, ISO/IEC 22989, ISO/IEC 24028, ISO/IEC 42001 e ISO/IEC 42005, a través de la coordinación de estándares federales sobre IA. Las prioridades de desarrollo futuro se centran en la configuración humano-IA, las metodologías de explicabilidad y los enfoques de medición de la eficacia del marco, incluyendo el desarrollo de estudios de caso y recursos de implementación específicos por sector.
El ecosistema del marco de IA del NIST establece una infraestructura sistemática de gestión de riesgos en todos los contextos organizativos, proporcionando enfoques de gobernanza tecnológica escalables al tiempo que mantiene una flexibilidad de implementación favorable a la innovación.
• • •
Referencias
¹ Instituto Nacional de Estándares y Tecnología. «Marco de gestión de riesgos de la inteligencia artificial (AI RMF 1.0)». NIST AI 100-1. 26 de enero de 2023.
² Instituto Nacional de Estándares y Tecnología. «Marco de gestión de riesgos de la inteligencia artificial: Perfil de inteligencia artificial generativa (AI 600-1)». NIST AI 600-1. 26 de julio de 2024.
³ Instituto Nacional de Estándares y Tecnología. «Controles de seguridad y privacidad para sistemas de información y organizaciones». Publicación Especial del NIST 800-53, Revisión 5. Septiembre de 2020.
⁴ Instituto Nacional de Estándares y Tecnología. «Marco de desarrollo de software seguro (SSDF) Versión 1.1: Recomendaciones para mitigar el riesgo de vulnerabilidades de software». Publicación Especial del NIST 800-218A. Febrero de 2024.
⁵ Instituto Nacional de Estándares y Tecnología. «Manual del AI RMF». 2024.
⁶ Consorcio del Instituto de Seguridad de la IA de EE. UU. «Plantilla de notificación voluntaria para el Perfil de IA Generativa del Marco de Gestión de Riesgos de IA del NIST». 2025.
⁷ Organización Internacional de Normalización. «ISO/IEC 42001: Tecnología de la información — Inteligencia artificial — Sistema de gestión». 2023.
⁸ Organización Internacional de Normalización. «ISO/IEC 22989: Tecnología de la información — Inteligencia artificial — Conceptos y terminología». 2022.
⁹ Organización Internacional de Normalización. «ISO/IEC 24028: Tecnología de la información — Inteligencia artificial — Visión general de la fiabilidad en la inteligencia artificial». 2021.