NIST: 생성형 AI 프로파일(AI 600-1) 및 AI 위험 관리 프레임워크(AI RMF) [KO]
이 페이지는 원문 영어 기사의 번역본입니다. 메뉴 및 탐색 기능은 영어로만 제공됩니다.
우리는 미국 국립표준기술원(NIST)의 프레임워크인 "인공지능 위험 관리 프레임워크: 생성형 인공지능 프로파일"(NIST AI 600-1)에 의견을 제출하여 기여했습니다.
NIST AI 600-1은 NIST AI 위험 관리 프레임워크(AI RMF)의 보조 자료로, 특히 생성형 인공지능(GAI)에 초점을 맞춥니다. 사이버 보안 취약점, 허위 정보, 윤리적 문제 등 GAI와 관련된 고유한 위험을 조직이 식별, 관리 및 완화하는 데 도움을 주는 것을 목표로 합니다. 이 문서는 12가지 주요 위험을 설명하고, 개발자가 이를 해결하기 위해 취할 수 있는 200개 이상의 조치를 AI RMF에 매핑하여 제시합니다.
관련 자료
OECD: G7 히로시마 AI 프로세스 보고 프레임워크(HAIP)
NIST AI 위험 관리 프레임워크(AI RMF 1.0)
2023년 1월 26일 발표된 NIST AI 위험 관리 프레임워크(AI RMF 1.0)는 AI 시스템 설계, 개발, 사용 및 평가에 신뢰성 고려 사항을 통합하기 위한 자발적 지침을 제공합니다. 이 프레임워크는 민간 기업, 학계, 시민 사회, 정부 등 240개 이상의 참여 기관이 18개월에 걸쳐 합의 기반 프로세스를 통해 개발했으며, 개인, 조직 및 사회에 대한 AI 관련 위험을 관리하기 위한 체계적인 접근 방식을 수립합니다.
이 프레임워크는 AI 수명 주기 관리의 각기 다른 단계를 다루는 네 가지 핵심 기능을 통해 운영됩니다. GOVERN 기능은 모든 조직의 AI 위험 관리 프로세스에 적용되며, AI 거버넌스를 위한 정책, 절차 및 조직 구조를 수립합니다. MAP, MEASURE, MANAGE 기능은 시스템별 맥락과 수명 주기 단계를 대상으로 하여 위험 식별, 평가 및 완화 전략에 대한 운영 지침을 제공합니다.
핵심 프레임워크 구조:
GOVERN: AI 위험 관리를 위한 조직 정책 및 절차
MAP: AI 시스템의 위험 식별 및 맥락 설정
MEASURE: 성능 평가 및 신뢰성 평가 방법론
MANAGE: 위험 우선순위화 및 완화 실행 전략
이 프레임워크는 규제적 의무보다는 소프트 파워 접근법을 활용하여 조직 규모, 사용 사례 및 위험 프로필에 적응할 수 있는 유연성 메커니즘을 포함합니다. NIST는 2028년까지 공식 검토를 계획 중이며, 반복적 개발 프로세스를 통해 커뮤니티 피드백을 반영한 반기별 업데이트를 통해 버전 2.0을 출시할 가능성이 있습니다.
생성형 AI 프로파일(NIST AI 600-1)
2024년 7월 26일 발표된 NIST AI 600-1은 AI RMF의 부문 간 동반자 자료 역할을 하며, 특히 바이든 대통령의 행정명령 14110에 따라 생성형 인공지능 시스템을 다룹니다. 이 지침은 개발자 및 기타 AI 관련 주체가 관리할 수 있는 12가지 위험 요소와 200개 이상의 권장 조치 목록을 중심으로 구성되어 있으며, 모든 산업 분야에서 생성형 AI 기술을 관리하는 조직을 위한 전문 지침을 제공합니다.
12가지 위험 요소에는 사이버 보안 공격 진입 장벽 완화, 허위 정보 및 유해 콘텐츠(혐오 발언 등) 생성, 생성형 AI 시스템의 부정확하거나 오해의 소지가 있는 출력 생성('허구 생성' 현상) 등이 포함됩니다. 이 프로파일은 사이버 보안 취약성부터 콘텐츠 진위성 문제에 이르기까지 기술적, 운영적, 사회적 우려 사항을 다루며, 제안된 조치들은 AI 위험 관리 프레임워크(RMF) 구조에 직접 매핑됩니다.
주요 생성형 AI 위험 범주:
사이버 보안 공격 장벽 및 취약성
허위 또는 오도적 콘텐츠를 생성하는 허구적 발화(환각)
위험하거나 폭력적, 혐오적인 콘텐츠 생성 및 노출
무단 공개 또는 비익명화로 인한 데이터 프라이버시 영향
대표성이 부족한 훈련 데이터로 인한 유해한 편향 및 균질화
시스템 신뢰성에 영향을 미치는 인간-AI 구성 과제
지적 재산권 침해 및 무단 콘텐츠 복제
의사 결정 과정에 영향을 미치는 정보 무결성 훼손
음란하거나 모욕적, 학대적 콘텐츠 생성 위험
계산 자원 소비로 인한 환경 지속가능성 영향
개발 및 배포 단계 전반에 걸친 가치 사슬 통합 취약점
모델 보호 및 데이터 처리에서의 정보 보안 격차
이 프로파일은 개발 및 배포 프로세스 전반에 걸쳐 위험 평가 방법론, 지속적인 테스트 요구사항, 다중 이해관계자 피드백 통합을 강조합니다. 각 위험을 설명한 후, 문서에서는 AI RMF에 매핑된 위험 완화를 위해 AI 행위자가 취할 수 있는 권장 조치 매트릭스를 제시합니다.
관련 NIST 보안 프레임워크
NIST SP 800-53 보안 통제 통합
NIST SP 800-53 개정판 5는 연방 정보 시스템을 위한 포괄적인 보안 및 개인정보 보호 통제를 제공하며, 보호 조치를 영향 수준(낮음, 중간, 높음)에 따라 20개 통제 범주로 구성합니다. 이 프레임워크는 AI 시스템 보안 구현에 적용 가능한 접근 통제, 감사 및 책임성, 구성 관리, 사고 대응, 시스템 통신 보호 요구사항을 다룹니다.
AI 시스템 구현은 머신러닝 시스템의 고유 특성을 다루는 기존 사이버 보안 통제와의 통합을 요구합니다. 통제군에는 인적 보안, 물리적 및 환경적 보호, 계획 전략, 프로그램 관리, 위험 평가, 보안 평가 승인 프로세스가 포함됩니다. AI 시스템을 배포하는 조직은 알고리즘 위험 관리를 기존 정보 보안 통제 구조와 연계해야 합니다.
보안 소프트웨어 개발 프레임워크 확장
NIST 특별 간행물 800-218A는 악의적인 훈련 데이터의 영향 및 시스템 코드와 데이터 간의 모호한 경계와 같은 고유한 과제를 해결하기 위해 AI 모델 개발을 위해 특별히 보안 소프트웨어 개발 프레임워크(SSDF)를 보완합니다. 이 동반 자료는 안전한 생성형 AI 및 이중용도 기반 모델 개발 관행에 대한 행정명령 14110의 요구 사항을 지원합니다.
이 프레임워크는 조직적, 모델 수준, 소프트웨어 프로그래밍 보안 조치를 권고하며, 개발 라이프사이클 전반에 걸쳐 훈련 데이터 무결성과 모델 보안을 다루는 강력한 취약점 평가 및 대응 시스템을 구축합니다.
구현 지표 및 표준 통합
생성형 AI 프로파일은 12개 위험 범주에 걸쳐 211개의 구체적 조치를 제시하여 조직 요구사항과 위험 허용도에 기반한 맞춤형 구현을 가능하게 합니다. AI RMF 플레이북은 커뮤니티 피드백을 통해 연 2회 정도 업데이트되는 실행 가능한 지침을 제공하며, 반기별로 검토 및 통합된 의견을 바탕으로 다양한 운영 환경에서의 프레임워크 채택을 지원합니다.
최근 발전 사항으로는 미국 AI 안전 연구소 컨소시엄의 자발적 보고 접근법 작업이 있으며, NIST AI 위험 관리 프레임워크 생성형 AI 프로파일을 위한 자발적 보고 템플릿(VRT)을 통해 조직이 위험 관리 데이터를 공유할 수 있는 방법에 대한 주요 결과를 도출했습니다. 이 컨소시엄은 생성형 AI 위험 관리, 합성 콘텐츠, 평가, 레드팀 활동, 모델 안전 및 보안을 포함한 5개 핵심 분야에서 활동하는 290개 이상의 회원사 및 기관으로 구성됩니다.
NIST는 연방 AI 표준 조정을 통해 ISO/IEC 5338, ISO/IEC 38507, ISO/IEC 22989, ISO/IEC 24028, ISO/IEC 42001, ISO/IEC 42005 등 국제 표준과의 연계성을 조정합니다. 향후 개발 우선순위는 인간-AI 구성, 설명 가능성 방법론, 프레임워크 효과성 측정 접근법을 목표로 하며, 사례 연구 개발 및 분야별 구현 자원을 포괄합니다.
NIST AI 프레임워크 생태계는 조직적 맥락 전반에 걸쳐 체계적인 위험 관리 인프라를 구축하여 확장 가능한 기술 거버넌스 접근법을 제공하는 동시에 혁신을 지원하는 구현 유연성을 유지합니다.
• • •
참고문헌
¹ 미국 국립표준기술연구소(NIST). "인공지능 위험 관리 프레임워크(AI RMF 1.0)." NIST AI 100-1. 2023년 1월 26일.
² 미국 국립표준기술연구소. "인공지능 위험 관리 프레임워크: 생성형 인공지능 프로파일(AI 600-1)." NIST AI 600-1. 2024년 7월 26일.
³ 미국 국립표준기술연구소. "정보 시스템 및 조직을 위한 보안 및 개인정보 보호 통제." NIST 특별 간행물 800-53, 개정판 5. 2020년 9월.
⁴ 미국 국립표준기술연구소. "안전한 소프트웨어 개발 프레임워크(SSDF) 버전 1.1: 소프트웨어 취약점 위험 완화를 위한 권고사항." NIST 특별 간행물 800-218A. 2024년 2월.
⁵ 미국 국립표준기술연구소. "AI RMF 플레이북." 2024년.
⁶ 미국 AI 안전 연구소 컨소시엄. "NIST AI 위험 관리 프레임워크 생성형 AI 프로파일을 위한 자발적 보고 템플릿." 2025년.
⁷ 국제표준화기구. "ISO/IEC 42001: 정보 기술 — 인공지능 — 관리 시스템." 2023년.
⁸ 국제표준화기구. "ISO/IEC 22989: 정보 기술 — 인공지능 — 개념 및 용어." 2022년.
⁹ 국제표준화기구. "ISO/IEC 24028: 정보 기술 — 인공지능 — 인공지능의 신뢰성에 관한 개요." 2021년.