פרדוקס ה-Mythos

כשהמגן הופך לתוקף: הלקח מפרשת Mythos
תמונה של מיכל
ד"ר מיכל לביא

הקביעה שמודל מסוים הוא "מסוכן מדי לשחרור" נשמעת לעיתים כמו סוף הדיון – כאילו זיהוי הסיכון מסיים את הסיפור. אבל בעולם של בינה מלאכותית, האמירה הזאת היא בדרך כלל רק תחילתו של הדיון. השאלה האמיתית איננה רק אם המודל שוחרר לציבור, אלא איך מגינים עליו מרגע שהוא מתחיל לעבור בין עובדים, ספקים חיצוניים, סביבות בדיקה ולקוחות נבחרים.

זהו הלקח המרכזי שעולה מהדיווחים על פרשת Mythos, מודל הבינה המלאכותית החדש של חברת .Anthropic  על פי פרסומים ב- Euronewsו ב- ,Bloomberg מדובר במודל לאבטחת סייבר מתקדם ברמה הארגונית שנועד לסייע בזיהוי חולשות אבטחה, לאתר פרצות, ולחזק מערכות לפני שתוקפים אמיתיים מנצלים אותן. בשל הערכת החברה כי יכולותיו עלולות ליצור סיכוני סייבר חריגים, המודל לא נפתח לציבור הרחב. למרות זאת, דווח שהייתה גישה לא מורשית למודל דרך ספק שירותים חיצוני – Vendor, אף שחברת Anthropic  מסרה שהיא חוקרת את האירוע ושאין בשלב זה אינדיקציה לכך שמערכות הליבה שלה נפגעו.

כאן נמצא הפרדוקס של ה-Dual-Use: ככל שמודל טוב יותר באיתור חולשות, כך הוא עלול להיות טוב יותר גם בניצול שלהן. במקרה שלMythos , היכולות שמאפשרות למודל למצוא חולשות משמעותיות, עלולות להפוך בידיים הלא-נכונות למסלול תקיפה מעשי. בשל סיבה זו בחרה החברה להגביל את הגישה אליו ללקוחות שהם ארגונים גדולים (Enterprise) בלבד, ולא לשחרר אותו כמוצר פתוח לציבור – וכאן בדיוק הופך הדיון מטכנולוגי למשפטי.

השאלה הראשונה שיש לבחון היא האחריות בשרשרת האספקה. אם הגישה הלא-מורשית התבצעה דרך ספק חיצוני, קל לומר שהבעיה היא של אותו ספק. אבל מבחינה משפטית, התשובה לא יכולה להיעצר שם. כשחברה מפתחת מודל שהיא עצמה מציגה כבעל פוטנציאל סיכון חריג, בחירת ספק חיצוני והפיקוח עליו אינם עניין טכני זניח, אלא חלק ממתחם הסיכון. לכן גם אם החוזה מחלק אחריות בין החברה לבין הספק, קשה לטעון שהאחריות כלפי לקוחות, רגולטורים או הציבור נעלמת ברגע שהגישה עברה דרך צד שלישי. במישור האזרחי, אם ייגרם נזק ממשי כתוצאה מגישה לא מורשית למודל, אפשר לצפות לתביעות נזיקין שיבחנו האם Anthropic נקטה אמצעי זהירות סבירים ביחס לרמת הסיכון שהיא עצמה זיהתה: תיעוד פנימי שמגדיר מודל כ"מסלול תקיפה מעשי", עלול לשמש גם בסיס לטענה שהחברה ידעה על הסיכון ולא עשתה די כדי לצמצמו.

השאלה השנייה שיש לבחון היא המענה הרגולטורי. לפי הדיווחים, Mythos נבחן בקרב קבוצה מצומצמת של גופים גדולים נבחרים, ובהם חברות טכנולוגיה ובנקים מובילים, תוך ניהול שיח עם גורמים בממשל האמריקאי לגבי היכולות ההתקפיות וההגנתיות של המודל. אלא שהפצה מוגבלת אינה מעלימה את הסיכון; לפעמים היא רק מעבירה אותו מהציבור הרחב אל אזורי גישה פחות נראים לעין: עובדים, לקוחות נבחרים, סביבות בדיקה וספקים חיצוניים.

לכן, גם אם במשפט הישראלי טרם גובש מבחן "סף סכנה" למודלי AI, המגמה ברורה: ככל שהמודל מסוכן יותר, כך נדרש סביבו משטר בקרה מחמיר, מתועד ובר-ביקורת. באיחוד האירופי, למשל, מודלים כלליים בעלי סיכון מערכתי כפופים לחובות מחמירות יותר של הערכת סיכונים, תיעוד, דיווח על אירועים חמורים ואבטחת סייבר. זה לא פותר הכול, אבל מסמן כיוון: לא די לומר שהמודל "לא פתוח לציבור". צריך לשאול מי קיבל גישה, באילו תנאים, אילו ספקים מעורבים, האם הייתה הפרדת סביבות, והאם בוצעה סימולציית Red Teaming אמיתית, כלומר תרגילי תקיפה מבוקרים. נדרשת ארכיטקטורת אחריות מחמירה כבר בשלבי החשיפה הראשוניים, גם אם היא ללקוחות Enterprise בלבד.

הלקח מפרשת Mythos אינו שסודיות היא בלתי אפשרית; הוא מדויק יותר: מודל שמוגדר מסוכן מדי לשחרור לא יוכל להישאר סודי לאורך זמן אם שרשרת ההרשאות סביבו אינה בנויה כמו שצריך. המשפט והרגולציה צריכים להיכנס לתמונה לא אחרי שהמודל דולף, אלא כבר בשלב שבו מחליטים מי רשאי לגעת בו ובאילו תנאים.

המאמר מוקדש לזכרו של אבא שלי, שאול לביא, שהיה לי כל העולם כולו. מותו הפתאומי, הטרגי והבלתי נתפס הותיר חלל עצום שלא יתמלא לעולם ואין מילים שיבטאו את עומק הכאב והגעגוע. טוב ליבו, חוכמתו ורוחו ייזכרו לנצח בליבנו.

Facebook
Twitter
LinkedIn
WhatsApp
Email

16 תגובות

  1. מאמר חשוב ומדויק מאוד. הוא מצליח להראות שהשאלה האמיתית סביב מודלים מסוכנים היא לא רק אם לשחרר אותם לציבור, אלא איך מנהלים אחריות, פיקוח ובקרה בכל שרשרת הגישה אליהם.המאמר כתוב ברגישות, בעומק ובבהירות

  2. ניתוח חד ורלוונטי במיוחד לתקופה שבה גבולות האחריות בעולם ה-AI עדיין מתעצבים. החיבור בין סיכוני Dual-Use, רגולציה, ספקים חיצוניים ואחריות משפטית נעשה בצורה מקצועית ומשכנעת. ההקדשה בסיום מרגשת מאוד ומוסיפה למאמר רובד אישי ונוגע ללב.

  3. מאמר חשוב במיוחד צריך להבין את עניין השימוש הדואלי שבינה מלאכותית יכולה להיות מועילה או מזיקה וזה למעשה שאלה של השימוש שעושים בה

  4. יישר כוח גדול ד"ר מיכל לביא על מאמר מרתק וחשוב במינו על הצורך בבקרה, תיעוד, פיקוח וגבולות ברורים לשימוש במודלי בינה מלאכותית
    צריך לשים לב למי יש הרשאות ואילו הרשאות ותרגולי תקיפת סייבר לוודא שהמערכת מצליחה לשמור על סודיות ופרטיות המידע שעובר דרכה בלי שיפרץ ויפגעו לקוחות וארגונים
    תודה רבה על העלאה למודעות בסיכונים שבאים לפתחנו לא רק טכנית גם משפטית בעת שימושי בינה מלאכותית

  5. שום סוד בעולם, ובוודאי כזה שאליו נחשפים לא מעט אנשים, לא ישאר סוד בלתי ידע לגורמים אחרים. אן דבר כזה

  6. תודה רבה לד"ר מיכל לביא על מאמרה החשוב, הפוקח עיניים לסיכונים נלווים לשימוש בטכנולוגיה בכלל ובבינה מלאכותית בפרט.
    כתבת בצורה בהירה מה הפרשיה שאת מתייחסת אליה ושמחה ללמוד ממך.
    צריך כמו כשעושים בדיקות תוכנה לפני העלאה לאוויר לוודא שאין באגים גם לעשות בדיקות סייבר ואבטחת מידע לוודא שלא עובר מידע סודי מסווג של ארגון מסוים בעקבות שימוש בבינה מלאכותית.

    שאי ברכה!

  7. הפגיעה בפרטיות מאוד משמעותית ויש לתת דעת על כך שבעידן גלובלי בו המידע חשוף לעיני כל האדם לא יכול להיות אנונימי גם אם יתנתק מכל מדיה חברתית וזה יכול להוביל לחוסר אונים וחוסר תמיכה מהחברה
    לכן חשובה מאוד הבקרה על כל מודל שמועבר גם אם לא לציבור רחב ורק ללקוחות ספציפיים בעלי ארגונים גדולים

  8. הנושא שבו את מטפלת כאן באתר מביא כל מיני זויות של נושא חדש וחשוב שלרוב האוכלוסיה אין מודעות לקיומו

  9. את כל המחמאות כבר נתנו לך ובצדק
    נשאר לי רק להצטרף

  10. איך למשל אנשי חוק ומשפט לומדים ומתעדכנים לגבי ההתקדמויות הטכנולוגיות והשלכותיהם על עולם החוק והמשפט?

  11. התגובות כאן מוכיחות עד כמה הנושא והמאמר מעניינים את הגולשים

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

פרסום תגובה מהווה הסכמה לתנאי השימוש באתר.
התגובות יפורסמו לפי שיקול דעת העורך.

עשוי לעניין אותך

דילוג לתוכן