La Declaración de Seúl y los compromisos de seguridad de la IA de vanguardia [ES]
Esta página es una traducción del artículo original en inglés. Tenga en cuenta que la navegación está disponible únicamente en inglés.
Tras la Declaración de Seúl para una IA segura, innovadora e inclusiva, nos hemos unido a Korea AI Safety para ampliar aún más la forma en que los algoritmos pueden impulsar las taxonomías públicas, asistenciales y de accesibilidad de manera segura, incluyendo tanto los aspectos de los modelos como la infraestructura crítica relacionada.
Relacionado
La Declaración de Seúl sobre seguridad de la IA, adoptada el 21 de mayo de 2024 durante la Cumbre de IA de Seúl, se basa en la Declaración de Bletchley del año anterior. Firmada por líderes de diez países y la Unión Europea, hace hincapié en la necesidad de colaboración internacional para garantizar el desarrollo seguro, innovador e inclusivo de la inteligencia artificial (IA). La declaración subraya la importancia de una IA centrada en el ser humano que se alinee con el estado de derecho. También aboga por cerrar las brechas digitales y mejorar la cooperación mundial para abordar los desafíos y oportunidades de la IA.
Entre los principales resultados de la Cumbre de Seúl se encuentra la creación de una red internacional de institutos de seguridad de la IA. Esta red reúne a organizaciones del Reino Unido, Estados Unidos, Japón, Francia, Alemania, Italia, Singapur, Corea del Sur, Australia, Canadá y la Unión Europea. Su objetivo es promover la colaboración en investigación sobre seguridad, compartir las mejores prácticas y desarrollar recursos técnicos para avanzar en la seguridad de la IA.
Otro resultado es la introducción de los Compromisos de Seguridad de la IA de Vanguardia. Dieciséis empresas globales de IA, entre las que se encuentran Amazon, Google, Meta, Microsoft, Anthropic y OpenAI, se han comprometido a definir y divulgar los "riesgos intolerables" que plantean los sistemas avanzados de IA. Estos compromisos se centran en áreas clave como la ciberseguridad, la autonomía de los modelos y la disrupción social. Las empresas se han comprometido a publicar marcos de seguridad que describan sus estrategias para gestionar los riesgos, que incluyen aumentar la transparencia, llevar a cabo pruebas de equipo rojo internas y externas, y fomentar la notificación de vulnerabilidades por parte de terceros. Estos esfuerzos representan un paso importante hacia la gestión proactiva de riesgos y el establecimiento de estándares globales para el desarrollo seguro de la IA.
Compromisos de seguridad de la IA de vanguardia
La declaración se complementa con los Compromisos de Seguridad de la IA de Vanguardia, un conjunto de compromisos voluntarios de las principales organizaciones de IA para gestionar los graves riesgos asociados con los potentes modelos de IA de uso general.
Evaluación rigurosa de los riesgos: Las empresas se comprometen a evaluar los posibles daños antes y durante el entrenamiento y antes de desplegar sus modelos de IA. Esto implica tanto pruebas internas como evaluaciones externas.
Definición y gestión de los riesgos "intolerables": Un compromiso crucial es establecer umbrales claros para los riesgos graves e inaceptables. Si se alcanzan estos umbrales y las medidas de mitigación son insuficientes, las organizaciones se comprometen a no desarrollar ni desplegar el modelo en absoluto.
Gobernanza sólida y transparencia: Esto implica establecer marcos de seguridad internos robustos, informar públicamente sobre los progresos, colaborar con expertos externos para realizar pruebas de equipo rojo (pruebas de estrés de la IA), impulsar la ciberseguridad y compartir de forma selectiva información sobre las capacidades y los riesgos de los modelos.
Seguridad de la IA y sistemas públicos
Nuestra contribución y participación en el debate público incluyó cómo se pueden perfeccionar los Compromisos de Seguridad de la IA de Vanguardia para alinearlos con un amplio protocolo y taxonomía de sistemas públicos y de asistencia, centrándonos tanto en modelos de IA fundamentales como aplicados, tales como los modelos de lenguaje grandes (LLM), los modelos de lenguaje pequeños (SLM), los modelos de visión-lenguaje (VLM) y los modelos de base 3D emergentes, con capacidades multimodales. Estos modelos son críticos para las tecnologías de asistencia, la atención sanitaria y los contextos públicos. Los Institutos de Seguridad de la IA deben estructurar sus esfuerzos y capacidad para abarcar una amplia gama de sistemas e interfaces, desde la robótica de asistencia hasta las herramientas de accesibilidad. Se debe prestar especial atención a los entornos de prueba regulatorios y bancos de pruebas que simulan condiciones del mundo real, garantizando que los modelos de IA sean seguros y accesibles. Por ejemplo, los sistemas de IA de asistencia, como los dispositivos con función de voz o las ayudas para la movilidad, deben someterse a pruebas de conformidad en estos entornos para garantizar que operan de forma segura, especialmente cuando interactúan con usuarios que tienen diversas discapacidades cognitivas, sensoriales o físicas.
Los modelos de IA de vanguardia deben evaluarse en función de factores técnicos críticos como los requisitos de datos, la potencia computacional, la electricidad y la ciberresiliencia en todos los sectores. Esta evaluación también debe considerar el impacto práctico en áreas públicas de alto riesgo, como los lugares de trabajo, la atención sanitaria y la educación. Los riesgos y los umbrales deben definirse en función de las aplicaciones del mundo real, y no solo de las capacidades teóricas. Por ejemplo, el despliegue de un modelo de base 3D en tecnologías de asistencia o en la atención sanitaria requiere una evaluación rigurosa de su robustez, para evitar un uso indebido. Finalmente, haciéndose eco de las aportaciones del público, los desarrolladores de IA deben divulgar las evaluaciones de seguridad previas y posteriores a la mitigación, a fin de ofrecer una imagen más clara de la eficacia de sus estrategias de gestión de riesgos.
• • •
Referencias
¹ Gobierno del Reino Unido. "Declaración de Seúl para una IA segura, innovadora e inclusiva por parte de los participantes en la sesión de líderes: Cumbre de IA de Seúl, 21 de mayo de 2024." GOV.UK. 21 de mayo de 2024.
² Gobierno del Reino Unido. "Declaración de Seúl de intenciones hacia la cooperación internacional en materia de ciencia de la seguridad de la IA, Cumbre de IA de Seúl 2024 (anexo)." GOV.UK. 21 de mayo de 2024.
³ Gobierno del Reino Unido. "Compromisos de seguridad de la IA de vanguardia, Cumbre de IA de Seúl 2024." GOV.UK. 21 de mayo de 2024.
⁴ Gobierno del Reino Unido. "Declaración ministerial de Seúl para promover la seguridad, la innovación y la inclusividad de la IA: Cumbre de IA de Seúl 2024." GOV.UK. 22 de mayo de 2024.
⁵ Centro de Estudios Estratégicos e Internacionales. "La Cumbre de IA de Seúl." 15 de octubre de 2024.
⁶ Instituto Económico de Corea en Estados Unidos. "Principales compromisos lanzados en la Cumbre de IA de Seúl." 29 de mayo de 2024.