NIST: Perfil de IA Generativa (AI 600-1) e Estrutura de Gestão de Riscos de IA (AI RMF) [PT-BR]
Esta página éuma tradução do artigo original em inglês. Observe que a navegação está disponível somente em inglês.
Contribuímos com nossa input para as estruturas do Instituto Nacional de Padrões e Tecnologia (NIST): «Estrutura de Gestão de Riscos de Inteligência Artificial: Perfil de Inteligência Artificial Generativa» (NIST AI 600-1).
O NIST AI 600-1 é um recurso complementar à Estrutura de Gestão de Riscos de IA do NIST (AI RMF), focado especificamente na IA generativa (IAG). Seu objetivo é ajudar as organizações a identificar, gerenciar e mitigar os riscos específicos associados à IAG, como vulnerabilidades de segurança cibernética, desinformação e questões éticas. O documento descreve 12 riscos principais e fornece mais de 200 medidas que os desenvolvedores podem adotar para lidar com eles, mapeadas para o AI RMF.
Relacionado
Conselho de Acessibilidade dos EUA: Ordem Executiva sobre IA e Acessibilidade
PCAST: Grupo de Trabalho sobre IA Generativa (Atualizado)
OCDE: Estrutura de Relatórios do Processo de IA do G7 em Hiroshima (HAIP)
Estrutura de Gestão de Riscos de IA do NIST (AI RMF 1.0)
A Estrutura de Gestão de Riscos de IA do NIST (AI RMF 1.0), lançada em 26 de janeiro de 2023, fornece orientações voluntárias para incorporar considerações de confiabilidade no projeto, desenvolvimento, uso e avaliação de sistemas de IA. Desenvolvida por meio de processos baseados em consenso, com a participação de mais de 240 organizações do setor privado, da academia, da sociedade civil e do governo ao longo de 18 meses, a estrutura estabelece abordagens sistemáticas para gerenciar os riscos associados à IA para indivíduos, organizações e a sociedade.
A estrutura opera por meio de quatro funções principais que abordam fases distintas da gestão do ciclo de vida da IA. A função GOVERN se aplica a todos os processos organizacionais de gestão de riscos de IA, estabelecendo políticas, procedimentos e estruturas organizacionais para a governança da IA. As funções MAP, MEASURE e MANAGE são voltadas a contextos específicos do sistema e estágios do ciclo de vida, fornecendo orientações operacionais para identificação de riscos, avaliação e estratégias de mitigação.
Estrutura central do framework:
GOVERN: Políticas e procedimentos organizacionais para gestão de riscos de IA
MAP: Identificação de riscos e estabelecimento de contexto para sistemas de IA
MEASURE: Metodologias de avaliação de desempenho e confiabilidade
MANAGE: Priorização de riscos e estratégias de implementação de mitigação
A estrutura incorpora mecanismos de flexibilidade que permitem sua adaptação à escala organizacional, aos casos de uso e aos perfis de risco, por meio de abordagens de poder brando em vez de mandatos regulatórios. O NIST planeja uma revisão formal até 2028, com a possibilidade de produzir a Versão 2.0, com atualizações semestrais que incorporem o feedback da comunidade por meio de processos de desenvolvimento iterativos.
Perfil de IA Generativa (NIST AI 600-1)
Lançado em 26 de julho de 2024, o NIST AI 600-1 atua como um recurso complementar intersetorial ao AI RMF, abordando especificamente sistemas de inteligência artificial generativa de acordo com a Ordem Executiva 14110 do presidente Biden. A orientação se concentra em uma lista de 12 riscos e mais de 200 medidas sugeridas que desenvolvedores e outros atores de IA podem adotar para gerenciá-los, fornecendo orientação especializada para organizações que trabalham com tecnologias de IA generativa em todos os setores da indústria.
Os 12 riscos incluem uma barreira reduzida à entrada para ataques de segurança cibernética, a produção de desinformação, informações errôneas ou discurso de ódio e outros conteúdos prejudiciais, e sistemas de IA generativa que produzem resultados imprecisos ou enganosos — um fenômeno conhecido como «confabulação». O perfil aborda preocupações técnicas, operacionais e sociais, que vão desde vulnerabilidades de segurança cibernética até desafios de autenticidade de conteúdo, com medidas mapeadas diretamente para a estrutura do AI RMF.
Principais categorias de risco da IA generativa:
Barreiras e vulnerabilidades a ataques de segurança cibernética
Confabulação (alucinações) produzindo conteúdo falso ou enganoso
Geração e exposição de conteúdo perigoso, violento ou que incite ao ódio
Impactos na privacidade de dados por meio de divulgação não autorizada ou desanonimização
Viés prejudicial e homogeneização decorrentes de dados de treinamento não representativos
Desafios de configuração entre humanos e IA que afetam a confiabilidade do sistema
Violações de propriedade intelectual e reprodução não autorizada de conteúdo
Comprometimento da integridade da informação afetando processos de tomada de decisão
Riscos de geração de conteúdo obsceno, degradante ou abusivo
Impactos na sustentabilidade ambiental decorrentes do consumo de recursos computacionais
Vulnerabilidades de integração da cadeia de valor nas fases de desenvolvimento e implantação
Lacunas de segurança da informação na proteção de modelos e no tratamento de dados
O perfil enfatiza metodologias de avaliação de riscos, requisitos de testes contínuos e integração de feedback de múltiplas partes interessadas ao longo dos processos de desenvolvimento e implantação. Após descrever cada risco, o documento apresenta uma matriz de medidas sugeridas que os atores de IA podem adotar para mitigá-lo, mapeadas para o AI RMF.
Estruturas de segurança relacionadas do NIST
Integração dos controles de segurança do NIST SP 800-53
A Revisão 5 do NIST SP 800-53 fornece controles abrangentes de segurança e privacidade para sistemas de informação federais, organizando as salvaguardas em 20 famílias de controles em níveis de impacto baixo, moderado e alto. A estrutura aborda requisitos de controle de acesso, auditoria e prestação de contas, gerenciamento de configuração, resposta a incidentes e proteção das comunicações do sistema, aplicáveis às implementações de segurança de sistemas de IA.
As implementações de sistemas de IA requerem integração com controles de segurança cibernética estabelecidos que abordem as características específicas dos sistemas de aprendizado de máquina. As famílias de controles abrangem segurança de pessoal, proteção física e ambiental, estratégias de planejamento, gerenciamento de programas, avaliação de riscos e processos de autorização de avaliação de segurança. As organizações que implantam sistemas de IA devem alinhar a gestão de riscos algorítmicos com as estruturas tradicionais de controle de segurança da informação.
Extensões da Estrutura de Desenvolvimento Seguro de Software
A Publicação Especial 800-218A do NIST amplia a Estrutura de Desenvolvimento Seguro de Software (SSDF) especificamente para o desenvolvimento de modelos de IA, abordando desafios próprios como o impacto de dados de treinamento maliciosos e os limites difusos entre o código do sistema e os dados. O recurso complementar apoia os requisitos da Ordem Executiva 14110 para práticas seguras de desenvolvimento de IA generativa e de modelos de fundação de dupla utilização.
A estrutura recomenda medidas de segurança a nível organizacional, de modelo e de programação de software, estabelecendo sistemas robustos de avaliação e resposta a vulnerabilidades que abordam a integridade dos dados de treinamento e a segurança dos modelos ao longo dos ciclos de vida do desenvolvimento.
Métricas de implementação e integração de padrões
O perfil de IA generativa oferece 211 medidas específicas em 12 categorias de risco, possibilitando uma implementação personalizada com base nos requisitos organizacionais e na tolerância ao risco. O AI RMF Playbook fornece orientações práticas atualizadas aproximadamente duas vezes por ano por meio do feedback da comunidade, apoiando a adoção da estrutura em diversos contextos operacionais, com os comentários revisados e integrados semestralmente.
Entre os avanços recentes está o trabalho do Consórcio do Instituto de Segurança de IA dos EUA sobre abordagens de relatórios voluntários, com conclusões-chave sobre como as organizações podem compartilhar dados de gestão de riscos por meio de um Modelo de Relatório Voluntário (VRT) para o Perfil de IA Generativa do AI RMF do NIST. O consórcio é composto por mais de 290 empresas e organizações membros que atuam em cinco áreas-chave: gestão de riscos de IA generativa, conteúdo sintético, avaliações, equipe vermelha (red-teaming) e segurança e proteção de modelos.
O NIST coordena o alinhamento com normas internacionais, incluindo ISO/IEC 5338, ISO/IEC 38507, ISO/IEC 22989, ISO/IEC 24028, ISO/IEC 42001 e ISO/IEC 42005, por meio da coordenação de normas federais de IA. As prioridades de desenvolvimento futuro se concentram na configuração humano-IA, em metodologias de explicabilidade e em abordagens de medição da eficácia da estrutura, abrangendo o desenvolvimento de estudos de caso e recursos de implementação específicos por setor.
O ecossistema da estrutura de IA do NIST estabelece uma infraestrutura sistemática de gestão de riscos em diferentes contextos organizacionais, fornecendo abordagens escaláveis de governança tecnológica e, ao mesmo tempo, mantendo a flexibilidade de implementação que favorece a inovação.
• • •
Referências
¹ Instituto Nacional de Padrões e Tecnologia. «Estrutura de Gestão de Riscos de Inteligência Artificial (AI RMF 1.0)». NIST AI 100-1. 26 de janeiro de 2023.
² Instituto Nacional de Padrões e Tecnologia. «Estrutura de Gestão de Riscos de Inteligência Artificial: Perfil de Inteligência Artificial Generativa (AI 600-1)». NIST AI 600-1. 26 de julho de 2024.
³ Instituto Nacional de Padrões e Tecnologia. «Controles de Segurança e Privacidade para Sistemas de Informação e Organizações». Publicação Especial do NIST 800-53, Revisão 5. Setembro de 2020.
⁴ Instituto Nacional de Padrões e Tecnologia. «Estrutura de Desenvolvimento Seguro de Software (SSDF) Versão 1.1: Recomendações para Mitigar o Risco de Vulnerabilidades de Software». Publicação Especial do NIST 800-218A. Fevereiro de 2024.
⁵ Instituto Nacional de Padrões e Tecnologia. «AI RMF Playbook». 2024.
⁶ Consórcio do Instituto de Segurança de IA dos EUA. «Modelo de Relatório Voluntário para o Perfil de IA Generativa da Estrutura de Gestão de Riscos de IA do NIST». 2025.
⁷ Organização Internacional de Normalização. «ISO/IEC 42001: Tecnologia da informação — Inteligência artificial — Sistema de gestão». 2023.
⁸ Organização Internacional de Normalização. «ISO/IEC 22989: Tecnologia da informação — Inteligência artificial — Conceitos e terminologia». 2022.
⁹ Organização Internacional de Normalização. «ISO/IEC 24028: Tecnologia da informação — Inteligência artificial — Visão geral da confiabilidade na inteligência artificial». 2021.