NIST: פרופיל הבינה המלאכותית הגנרטיבית (AI 600-1) ומסגרת לניהול סיכוני בינה מלאכותית (AI RMF) [HE]

EN, KO, JA, HE

עמוד זה הינו תרגום של המאמר המקורי באנגלית. נא לשים לב שהניווט זמין באנגלית בלבד.

תרמנו את עמדתנו למסגרת של המכון הלאומי לתקנים וטכנולוגיה (NIST): "מסגרת לניהול סיכוני בינה מלאכותית: פרופיל בינה מלאכותית גנרטיבית" (NIST AI 600-1).

NIST AI 600-1 הוא משאב נלווה למסגרת ניהול סיכוני ה-AI של NIST (AI RMF), המתמקד ספציפית בבינה מלאכותית גנרטיבית (GAI). מטרתו לסייע לארגונים לזהות, לנהל ולהפחית את הסיכונים הייחודיים הכרוכים ב-GAI — ובהם פגיעויות אבטחת סייבר, הפצת מידע מוטעה, ושיקולים אתיים. המסמך סוקר 12 סיכונים מרכזיים ומציג למעלה מ-200 פעולות שמפתחים יכולים לנקוט כדי להתמודד עמם, תוך מיפוי לפי מסגרת ה-AI RMF.

קשור

הוועדה האמריקאית לנגישות: צו נשיאותי בנושא בינה מלאכותית ונגישות

PCAST: קבוצת העבודה לבינה מלאכותית גנרטיבית (עודכן)

OECD: מסגרת הדיווח של תהליך ה-G7 בהירושימה (HAIP)

WHO: הנחיות בנושא מודלים רב-ממדיים בקנה מידה גדול

WEF: הפוטנציאל של בינה מלאכותית גנרטיבית לקידום נגישות

מסגרת ניהול סיכוני ה -AI של NIST (AI RMF 1.0)

מסגרת ניהול סיכוני ה-AI של NIST (AI RMF 1.0), שפורסמה ב-26 בינואר 2023, מספקת הנחיות מרצון לשילוב שיקולי אמינות בתכנון, פיתוח, שימוש והערכה של מערכות בינה מלאכותית. המסגרת פותחה בתהליך מבוסס הסכמה, בהשתתפות למעלה מ-240 ארגונים מהמגזר הפרטי, האקדמיה, החברה האזרחית והממשלה, על פני כ-18 חודשים — ומבססת גישות שיטתיות לניהול הסיכונים הנובעים מ-AI ביחס לפרטים, לארגונים ולחברה בכלל.

המסגרת פועלת באמצעות ארבע פונקציות ליבה, המתייחסות לשלבים שונים בניהול מחזור החיים של מערכות ה-AI. פונקציית ה-GOVERN חלה על כלל תהליכי ניהול סיכוני ה-AI בארגון, ומגדירה מדיניות, נהלים ומבנים ארגוניים לממשל ה-AI. פונקציות ה-MAP, ה-MEASURE וה-MANAGE מכוונות להקשרים ספציפיים של מערכות ולשלבים שונים במחזור החיים, ומספקות הנחיות מעשיות לזיהוי סיכונים, הערכתם ואסטרטגיות להפחתתם.

מבנה מסגרת הליבה:

                                                                                                                                                         GOVERN: מדיניות ונהלים ארגוניים לניהול סיכוני AI

                                                                                                                                                                MAP: זיהוי סיכונים וביסוס הקשר עבור מערכות AI

                                                                                                                                                                 MEASURE: מתודולוגיות להערכת ביצועים ואמינות

                                                                                                                                 MANAGE: אסטרטגיות לתעדוף סיכונים ויישום אמצעי הפחתה

המסגרת כוללת מנגנוני גמישות המאפשרים התאמה לפי גודל הארגון, תחומי שימוש ופרופילי סיכון — תוך הסתמכות על גישות של השפעה מרצון ולא על מנדטים רגולטוריים. NIST מתכנן לבצע סקירה רשמית עד שנת 2028, שעשויה להוביל לגרסה 2.0, ועדכונים חצי-שנתיים המשלבים משוב מהקהילה באמצעות תהליכי פיתוח איטרטיביים.

פרופיל הבינה המלאכותית הגנרטיבית (NIST AI 600-1)

NIST AI 600-1, שפורסם ב-26 ביולי 2024, משמש כמשאב נלווה חוצה-מגזרים ל-AI RMF, ומתייחס ספציפית למערכות בינה מלאכותית גנרטיבית בהתאם לצו הנשיאותי 14110 של הנשיא ביידן. ההנחיות מתמקדות ברשימה של 12 סיכונים ו-200 פעולות מוצעות שמפתחים וגורמי AI אחרים יכולים לנקוט לניהולם — ומספקות הנחיות מיוחדות לארגונים המנהלים טכנולוגיות בינה מלאכותית גנרטיבית בכלל ענפי התעשייה.

12 הסיכונים כוללים, בין היתר: הנמכת החסם לביצוע מתקפות סייבר, הפצת מידע כוזב ומטעה, דיסאינפורמציה, דברי שנאה ותכנים מזיקים אחרים — וכן הפקת תוצרים שגויים או מטעים על ידי מערכות ה-AI הגנרטיביות, תופעה המכונה "קונפבולציה". הפרופיל עוסק בחששות טכניים, מבצעיים וחברתיים כאחד, ממגוון של פגיעויות בתחום אבטחת הסייבר ועד אתגרי אימות תוכן — כאשר הפעולות המוצעות ממופות ישירות מול מבנה מסגרת ה-AI RMF.

קטגוריות הסיכון המרכזיות של בינה מלאכותית גנרטיבית:

                                                                                                                                                                                    חסמי תקיפה וחשיפה לפגיעויות אבטחת סייבר

                                                                                                                                                                               קונפבולציה (הזיות) — הפקת תוכן שגוי או מטעה

                                                                                                                                                                                        יצירה והפצה של תוכן מסוכן, אלים או מסית

                                                                                                              פגיעה בפרטיות הנתונים באמצעות חשיפה לא מורשית או ביטול אנונימיות

                                                                                                                                         הטיה מזיקה והומוגניזציה הנובעות מנתוני אימון שאינם מייצגים

                                                                                                                                                               אתגרי תצורת אדם-AI המשפיעים על אמינות המערכת

                                                                                                                                                                                               הפרות קניין רוחני ושכפול תוכן ללא הרשאה

                                                                                                                                                                             פגיעה בשלמות המידע ובתהליכי קבלת ההחלטות

                                                                                                                                                                                          סיכוני הפקת תוכן מגונה, משפיל או פוגעני

                                                                                                                                     השפעות על קיימות סביבתית הנובעות מצריכת משאבי מחשוב

                                                                                                                        פגיעויות באינטגרציית שרשרת הערך לאורך שלבי הפיתוח והפריסה

                                                                                                                                    פערים בטיחות המידע בתחום הגנת המודלים וטיפול בנתונים

הפרופיל מדגיש מתודולוגיות להערכת סיכונים, דרישות לבדיקה מתמשכת ושילוב משוב מבעלי עניין מרובים לאורך תהליכי הפיתוח והפריסה. לאחר תיאור כל סיכון, המסמך מציג מטריצת פעולות מוצעות לגורמי AI לצורך הפחתתו — כשכל הפעולות ממופות מול ה-AI RMF.

מסגרות אבטחה קשורות של NIST

שילוב בקרות האבטחה של NIST SP 800-53

NIST SP 800-53 מהדורה 5 מספק בקרות אבטחה ופרטיות מקיפות למערכות מידע פדרליות, ומאגד את אמצעי ההגנה ב-20 משפחות בקרה — ברמות השפעה נמוכה, בינונית וגבוהה. המסגרת מתייחסת לדרישות בקרת גישה, ביקורת ואחריות, ניהול תצורה, תגובה לאירועים והגנה על תקשורת מערכת — כולן רלוונטיות ליישומי אבטחת מערכות AI.

יישום מערכות AI מחייב שילוב עם בקרות אבטחת סייבר מבוססות, המתאימות למאפיינים הייחודיים של מערכות למידת מכונה. משפחות הבקרות כוללות: אבטחת כוח אדם, הגנה פיזית וסביבתית, אסטרטגיות תכנון, ניהול תוכניות, הערכת סיכונים ותהליכי הסמכת הערכת אבטחה. על ארגונים המטמיעים מערכות AI להלום את ניהול סיכוני האלגוריתמים עם מבני בקרת אבטחת המידע המסורתיים.

הרחבות מסגרת פיתוח תוכנה מאובטחת

NIST SP 800-218A מרחיב את מסגרת פיתוח התוכנה המאובטחת (SSDF) ספציפית לפיתוח מודלים של בינה מלאכותית, ומתייחס לאתגרים ייחודיים — ובהם השפעות נתוני אימון זדוניים וטשטוש הגבולות בין קוד המערכת לנתונים. משאב נלווה זה תומך בדרישות הצו הנשיאותי 14110 בנושא פיתוח מאובטח של מודלים גנרטיביים ומודלים בסיסיים לשימוש כפול.

המסגרת ממליצה על אמצעי אבטחה ברמה הארגונית, ברמת המודל וברמת תכנות התוכנה — ומבססת מערכות שלמות להערכת פגיעויות ותגובה אליהן, הכוללות את שלמות נתוני האימון ואבטחת המודל לאורך מחזורי הפיתוח.

מדדי יישום ושילוב תקנים

פרופיל ה-AI הגנרטיבי מספק 211 פעולות ספציפיות ב-12 קטגוריות סיכון, המאפשרות יישום מותאם אישית בהתאם לדרישות הארגון ורמת הסיבולת לסיכון. ה-AI RMF Playbook מספק הנחיות מעשיות, המתעדכנות כשני פעמים בשנה באמצעות משוב קהילתי — כאשר ההערות נסקרות ומשולבות על בסיס חצי-שנתי, תוך תמיכה בהטמעת המסגרת במגוון רחב של הקשרים מבצעיים.

מבין ההתפתחויות האחרונות בולטת עבודת קונסורציום המכון האמריקאי לבטיחות AI (U.S. AI Safety Institute Consortium), הכוללת פיתוח גישות לדיווח מרצון. הקונסורציום פרסם ממצאים מרכזיים בנוגע לאופן שבו ארגונים יכולים לשתף נתוני ניהול סיכונים באמצעות תבנית דיווח מרצון (VRT) לפרופיל ה-AI הגנרטיבי של מסגרת ניהול סיכוני ה-AI של NIST. הקונסורציום כולל למעלה מ-290 חברות וארגונים חברים, הפועלים בחמישה תחומים מרכזיים: ניהול סיכוני AI גנרטיבי, תוכן סינתטי, הערכות, צוותי אדום, ובטיחות ואבטחת מודלים.

NIST מתאם הלימה עם תקנים בין-לאומיים, ובהם ISO/IEC 5338, ISO/IEC 38507, ISO/IEC 22989, ISO/IEC 24028, ISO/IEC 42001 ו-ISO/IEC 42005, במסגרת תיאום תקני ה-AI הפדרלי. סדרי העדיפויות לפיתוח עתידי כוללים: תצורת אדם-AI, מתודולוגיות פרשנות ומדידת אפקטיביות המסגרת — לצד פיתוח מקרי בוחן ומשאבי יישום ספציפיים לענפים שונים.

מערכת מסגרת ה-AI של NIST מבססת תשתית שיטתית לניהול סיכונים בכל ההקשרים הארגוניים, ומציעה גישות ממשל טכנולוגיות הניתנות להרחבה — תוך שמירה על גמישות יישום המעודדת חדשנות.

• • •

מקורות

¹ המכון הלאומי לתקנים וטכנולוגיה. "מסגרת לניהול סיכוני בינה מלאכותית (AI RMF 1.0)." NIST AI 100-1. 26 בינואר 2023.

² המכון הלאומי לתקנים וטכנולוגיה. "מסגרת לניהול סיכוני בינה מלאכותית: פרופיל בינה מלאכותית גנרטיבית (AI 600-1)." NIST AI 600-1. 26 ביולי 2024.

³ המכון הלאומי לתקנים וטכנולוגיה. "בקרות אבטחה ופרטיות למערכות מידע ולארגונים." פרסום מיוחד NIST 800-53, מהדורה 5. ספטמבר 2020.

⁴ המכון הלאומי לתקנים וטכנולוגיה. "מסגרת פיתוח תוכנה מאובטחת (SSDF) גרסה 1.1: המלצות להפחתת סיכוני פגיעויות תוכנה." פרסום מיוחד NIST 800-218A. פברואר 2024.

⁵ המכון הלאומי לתקנים וטכנולוגיה. "AI RMF Playbook." 2024.

⁶ קונסורציום המכון האמריקאי לבטיחות AI. "תבנית דיווח מרצון למסגרת ניהול סיכוני ה-AI של NIST — פרופיל הבינה המלאכותית הגנרטיבית." 2025.

⁷ הארגון הבינלאומי לתקינה. "ISO/IEC 42001: טכנולוגיית מידע — בינה מלאכותית — מערכת ניהול." 2023.

⁸ הארגון הבינלאומי לתקינה. "ISO/IEC 22989: טכנולוגיית מידע — בינה מלאכותית — מושגים ומינוח." 2022.

⁹ הארגון הבינלאומי לתקינה. "ISO/IEC 24028: טכנולוגיית מידע — בינה מלאכותית — סקירה כללית של אמינות בבינה מלאכותית." 2021.