NIST : Profil de l'IA générative (AI 600-1) et Cadre de gestion des risques liés à l'IA (AI RMF)

Nous avons apporté notre contribution aux cadres élaborés par l'Institut national des normes et de la technologie (NIST) : le “Cadre de gestion des risques liés à l'intelligence artificielle : Profil de l'intelligence artificielle générative” (NIST AI 600-1).

Le NIST AI 600-1 est un document d'accompagnement du Cadre de gestion des risques liés à l'IA du NIST (AI RMF), consacré spécifiquement à l'IA générative (IAG). Il vise à aider les organisations à identifier, gérer et atténuer les risques propres à l'IAG, tels que les vulnérabilités en matière de cybersécurité, la désinformation et les enjeux éthiques. Le document présente 12 risques clés et propose plus de 200 mesures que les développeurs peuvent mettre en œuvre pour y remédier, en les articulant avec l'AI RMF.

‍ ‍

Connexes

‍ ‍

Cadre de gestion des risques liés à l'IA du NIST (AI RMF 1.0)

Le Cadre de gestion des risques liés à l'IA du NIST (AI RMF 1.0), publié le 26 janvier 2023, fournit des recommandations volontaires pour intégrer des considérations de fiabilité dans la conception, le développement, l'utilisation et l'évaluation des systèmes d'IA. Élaboré selon un processus consensuel impliquant plus de 240 organisations issues du secteur privé, du monde universitaire, de la société civile et des administrations publiques sur une période de 18 mois, ce cadre établit des approches systématiques pour gérer les risques liés à l'IA pour les individus, les organisations et la société.

Le cadre s'articule autour de quatre fonctions principales couvrant les différentes phases de la gestion du cycle de vie de l'IA. La fonction GOVERN s'applique à l'ensemble des processus organisationnels de gestion des risques liés à l'IA, en définissant des politiques, des procédures et des structures de gouvernance. Les fonctions MAP, MEASURE et MANAGE ciblent les contextes propres à chaque système et les étapes de son cycle de vie, en fournissant des orientations opérationnelles pour l'identification, l'évaluation et l'atténuation des risques.

‍ ‍

Structure du cadre :

  • GOVERN : Politiques et procédures organisationnelles pour la gestion des risques liés à l'IA

  • MAP : Identification des risques et établissement du contexte pour les systèmes d'IA

  • MEASURE : Méthodologies d'évaluation des performances et de la fiabilité

  • MANAGE : Stratégies de priorisation des risques et de mise en œuvre des mesures d'atténuation

‍ ‍

Le cadre intègre des mécanismes de flexibilité permettant une adaptation à la taille de l'organisation, aux cas d'usage et aux profils de risque, selon des approches incitatives plutôt que réglementaires. Le NIST prévoit une révision formelle d'ici 2028, susceptible de donner lieu à une version 2.0, avec des mises à jour semestrielles intégrant les retours de la communauté dans le cadre d'un processus de développement itératif.

‍ ‍

Profil de l'IA générative (NIST AI 600-1)

Publié le 26 juillet 2024, le NIST AI 600-1 constitue une ressource complémentaire intersectorielle au cadre AI RMF, dédiée aux systèmes d'intelligence artificielle générative, conformément au décret présidentiel 14110 du président Biden. Ce guide s'organise autour d'une liste de 12 risques et de plus de 200 mesures suggérées que les développeurs et autres acteurs de l'IA peuvent adopter pour les gérer, offrant des recommandations spécialisées aux organisations qui déploient des technologies d'IAG dans tous les secteurs d'activité.

Ces 12 risques incluent notamment l'abaissement des barrières à l'entrée pour les cyberattaques, la production de désinformation, de discours de haine ou d'autres contenus préjudiciables, ainsi que la génération par les systèmes d'IAG de résultats inexacts ou trompeurs — phénomène désigné sous le terme de “confabulation”. Le profil aborde des enjeux techniques, opérationnels et sociétaux, des vulnérabilités en matière de cybersécurité aux défis liés à l'authenticité des contenus, avec des mesures directement articulées sur la structure du cadre AI RMF.

‍ ‍

Principales catégories de risques liés à l'IA générative :

  • Abaissement des barrières et exposition aux cyberattaques

  • Confabulation (hallucinations) produisant des contenus faux ou trompeurs

  • Génération et diffusion de contenus dangereux, violents ou haineux

  • Atteintes à la confidentialité des données par divulgation non autorisée ou désanonymisation

  • Biais préjudiciables et homogénéisation résultant de données d'entraînement non représentatives

  • Défis liés à la configuration humain-IA affectant la fiabilité des systèmes

  • Violations de la propriété intellectuelle et reproduction non autorisée de contenus

  • Atteintes à l'intégrité de l'information influençant les processus de décision

  • Risques liés à la génération de contenus obscènes, dégradants ou abusifs

  • Impacts environnementaux liés à la consommation de ressources informatiques

  • Vulnérabilités dans l'intégration de la chaîne de valeur, tout au long des phases de développement et de déploiement

  • Lacunes en matière de sécurité de l'information dans la protection des modèles et le traitement des données

‍ ‍

Ce profil met l'accent sur les méthodologies d'évaluation des risques, les exigences de tests continus et l'intégration des retours de multiples parties prenantes tout au long des processus de développement et de déploiement. Après avoir décrit chaque risque, le document présente une matrice d'actions suggérées que les acteurs de l'IA peuvent mettre en œuvre pour l'atténuer, en correspondance avec l'AI RMF.

‍ ‍

Cadres de sécurité NIST connexes

Intégration des contrôles de sécurité NIST SP 800-53

La norme NIST SP 800-53, révision 5, fournit des contrôles complets en matière de sécurité et de confidentialité pour les systèmes d'information fédéraux, en organisant les mesures de protection en 20 familles de contrôles selon trois niveaux d'impact : faible, modéré et élevé. Ce cadre couvre les exigences relatives au contrôle d'accès, à l'audit et à la responsabilité, à la gestion de la configuration, à la réponse aux incidents et à la protection des communications système, applicables à la sécurisation des systèmes d'IA.

Les implémentations de systèmes d'IA nécessitent une intégration avec des contrôles de cybersécurité établis, tenant compte des caractéristiques propres aux systèmes d'apprentissage automatique. Les familles de contrôles couvrent la sécurité du personnel, la protection physique et environnementale, les stratégies de planification, la gestion des programmes, l'évaluation des risques et les processus d'autorisation en matière de sécurité. Les organisations déployant des systèmes d'IA doivent aligner la gestion des risques algorithmiques sur les structures de contrôle traditionnelles de la sécurité de l'information.

‍ ‍

Extensions du Cadre de développement logiciel sécurisé

La publication spéciale NIST 800-218A complète le Cadre de développement logiciel sécurisé (SSDF) spécifiquement pour le développement de modèles d'IA, en traitant des défis particuliers que représentent les données d'entraînement malveillantes et la frontière floue entre code système et données. Cette ressource complémentaire appuie les exigences du décret 14110 concernant le développement sécurisé de l'IA générative et des modèles de base à double usage.

Le cadre recommande des mesures de sécurité aux niveaux organisationnel, des modèles et de la programmation logicielle, en établissant des systèmes robustes d'évaluation des vulnérabilités et de réponse aux incidents, couvrant l'intégrité des données d'entraînement et la sécurité des modèles tout au long des cycles de développement.

‍ ‍

Métriques de mise en œuvre et intégration des normes

Le profil d'IA générative propose 211 actions spécifiques réparties dans 12 catégories de risques, permettant une mise en œuvre adaptée aux exigences et à la tolérance au risque de chaque organisation. Le guide pratique AI RMF fournit des recommandations concrètes, mises à jour environ deux fois par an grâce aux retours de la communauté, facilitant l'adoption du cadre dans divers contextes opérationnels.

Parmi les développements récents figure le travail du Consortium de l'Institut américain pour la sûreté de l'IA sur les approches de déclaration volontaire, avec des conclusions sur les modalités par lesquelles les organisations peuvent partager des données de gestion des risques via un Modèle de déclaration volontaire (VRT) pour le Profil d'IA générative du NIST AI RMF. Le consortium regroupe plus de 290 entreprises et organisations membres, travaillant dans cinq domaines : gestion des risques liés à l'IAG, contenu synthétique, évaluations, red-teaming, ainsi que sûreté et sécurité des modèles.

Le NIST coordonne l'alignement avec les normes internationales, notamment les normes ISO/IEC 5338, ISO/IEC 38507, ISO/IEC 22989, ISO/IEC 24028, ISO/IEC 42001 et ISO/IEC 42005, dans le cadre de la coordination fédérale des normes en matière d'IA. Les priorités de développement futur portent sur la configuration humain-IA, les méthodologies d'explicabilité et la mesure de l'efficacité du cadre, incluant l'élaboration d'études de cas et de ressources de mise en œuvre sectorielles.

L'écosystème du cadre IA du NIST établit une infrastructure systématique de gestion des risques dans l'ensemble des contextes organisationnels, en proposant des approches de gouvernance technologique évolutives tout en préservant une flexibilité de mise en œuvre propice à l'innovation.

• • •

‍ ‍

Références

¹ Institut national des normes et de la technologie. “Cadre de gestion des risques liés à l'intelligence artificielle (AI RMF 1.0)”. NIST AI 100-1. 26 janvier 2023.

² Institut national des normes et de la technologie. “Cadre de gestion des risques liés à l'intelligence artificielle : Profil de l'intelligence artificielle générative (AI 600-1)”. NIST AI 600-1. 26 juillet 2024.

³ Institut national des normes et de la technologie. “Contrôles de sécurité et de confidentialité pour les systèmes d'information et les organisations”. Publication spéciale NIST 800-53, révision 5. Septembre 2020.

⁴ Institut national des normes et de la technologie. “Cadre de développement logiciel sécurisé (SSDF) version 1.1 : Recommandations pour atténuer les risques liés aux vulnérabilités logicielles”. Publication spéciale NIST 800-218A. Février 2024.

⁵ Institut national des normes et de la technologie. “Guide pratique AI RMF”. 2024.

⁶ Consortium de l'Institut américain pour la sûreté de l'IA. “Modèle de déclaration volontaire pour le Profil d'IA générative du Cadre de gestion des risques liés à l'IA du NIST”. 2025.

⁷ Organisation internationale de normalisation. “ISO/IEC 42001 : Technologies de l'information — Intelligence artificielle — Système de management”. 2023.

⁸ Organisation internationale de normalisation. “ISO/IEC 22989 : Technologies de l'information — Intelligence artificielle — Concepts et terminologie”. 2022.

⁹ Organisation internationale de normalisation. “ISO/IEC 24028 : Technologies de l'information — Intelligence artificielle — Aperçu de la fiabilité en intelligence artificielle”. 2021.

‍