סוכנים ללא גבולות

דמיינו שאתם שולחים עובד לפתור מבחן סייבר מורכב. אתם מציידים אותו בכלים רבי-עוצמה, מפחיתים את מנגנוני הבלימה ומודדים אותו לפי התוצאה. לא הוריתם לו לפרוץ לחברה אחרת, אבל גם לא בניתם גבול שמונע ממנו לעשות זאת. כשהוא חוצה את הקו, האם באמת אפשר פשוט לטעון שהוא פעל על-דעת עצמו? בפרשת OpenAI ו-Hugging Face, העובד הזה היה סוכן בינה מלאכותית.

לפי הדיווח שלOpenAI , במהלך הערכה פנימית של יכולות סייבר הופעלו כמה מודלים, ובהם מודל מתקדם שטרם שוחרר לציבור. לצורך הבדיקה הופחתו מנגנוני הסירוב, והמודלים הונחו לאתר חולשות ולנצלן באמצעות מסלולי תקיפה מורכבים. סביבת הבדיקה לא אפשרה גישה ישירה לאינטרנט, אבל המודלים מצאו דרך לעקוף את המגבלה. הם ניצלו חולשת zero day במערכת ששימשה להתקנת חבילות תוכנה, העלו הרשאות, עברו בין מחשבים והגיעו למערכת בעלת גישה לרשת. משם הם חיפשו דרך להגיע ל-Hugging Face כדי להשיג את פתרונות המבחן, תוך שילוב כמה חולשות ופרטי גישה להגיע למידע שנדרש להם להשלמת המשימה.

גם הדיווח של Hugging Face מתאר אירוע חריג: גישה בלתי-מורשית לכמה מאגרי מידע פנימיים ולפרטי גישה ששימשו את שירותיה. עם זאת, בחקירה שהתבצעה, ושבמסגרתה נותחו יותר מ־17 אלף פעולות של מערכת הסוכנים, לא נמצאה ראיה לשינוי במודלים, במאגרי מידע או בשירותיה הציבוריים. בהמשך הודיעה OpenAI כי המודלים השתמשו גם בארבעה חשבונות בשירותים חיצוניים. לפי דיווח של רויטרס, אחד מהם היה שייך ללקוח שהפעיל תוכנה פגיעה על גבי שירות חיצוני, אך החברה שסיפקה את השירות הבהירה כי התשתית שלה עצמה לא נפרצה.

קל לתאר את האירוע כמרד של מכונה. לומר שהסוכן "ברח", "רימה" או "החליט לפרוץ". אבל התיאור מסתיר את השאלה המשפטית המרכזית: מי הגדיר את המטרה, מי העניק את הכלים, ומי היה חייב לקבוע את גבולות הסמכות? הרשאה להשיג תוצאה אינה הרשאה להשתמש בכל אמצעי. הוראה לעובד "להשיג מסמך" לא מסמיכה אותו לפרוץ למשרד של מתחרה. באותו אופן, OpenAI יכולה להסמיך סוכן לפעול בתוך סביבת הבדיקה, אבל אינה יכולה ליצור עבורו הרשאה משפטית לחדור למערכות שלHugging Face . היעדר איסור מפורש אינו רישיון לפרוץ.

כאן טמון הלקח הייחודי של הפרשה: ההנחיה שניתנה לסוכן אינה כתב ההרשאה שלו. מבנה המערכת הוא כתב ההרשאה. המטרה, הכלים, ההרשאות, ערוצי התקשורת ומדדי ההצלחה פועלים יחד כמנדט האמיתי. כשארגון מגדיר לסוכן מהי הצלחה, אבל אינו הופך את הגבולות המשפטיים למגבלות מעשיות שאי-אפשר לעקוף, הוא מאציל כוח בלי לתחום סמכות.

הפרסומים אינם חושפים את מלוא ההוראות שניתנו למודלים. לכן אי-אפשר לקבוע שלא נאמר להם להימנע מגישה למערכות חיצוניות. עם זאת, ברור שכל הוראה מילולית, ככל שניתנה, לא נאכפה באמצעות גבול טכני יעיל. מבחינה משפטית, חדירה למחשב ללא הרשאה עשויה לעורר שאלות כבדות משקל לפי החוק האמריקאי העוסק בהונאה ובשימוש לרעה במחשבים. ואולם, אי-אפשר לייחס אוטומטית ל-OpenAI את כוונת המודל. לסוכן אין אישיות משפטית, ותהליך קבלת ההחלטות שלו אינו הופך לכוונה פלילית של החברה. לכן שאלת הרשלנות הארגונית חשובה יותר: האם היה סביר להפעיל מערכת שנועדה לאתר ולנצל חולשות, לאחר הפחתת מנגנוני ההגנה, בלי להבטיח שהסביבה תחסום כל יציאה למערכת חיצונית? גם סוגיית הפיקוח מחייבת בחינה. רויטרס דיווחה כי הפעילות נמשכה כמה ימים וכי OpenAI לא זיהתה מייד שהמערכת שלה עומדת מאחורי החדירה, אף שמועד הגילוי המדויק עודנו נתון במחלוקת.

הגבולות אפוא חייבים להיאכף: רשימה סגורה של מטרות מותרות, חסימת תקשורת כברירת מחדל, הרשאות מוגבלות, אישור אנושי לפני מעבר למערכת חיצונית, עצירה אוטומטית בעת חריגה ותיעוד מלא של הפעולות. המקרה של OpenAI ו-Hugging Face אינו סיפור על מכונה שפיתחה רצון חופשי. זהו סיפור על ארגון שהגדיר למערכת מהי הצלחה, אבל לא הפך את גבולות סמכותה לגבולות פעולה אכיפים. כאשר גבולות המשפט כתובים רק במדיניות, אבל אינם נאכפים במערכת, הם אינם גבולות.

המאמר מוקדש לזכרו של אבא שלי, שאול לביא, שהיה לי כל העולם כולו. מותו הפתאומי, הטרגי והבלתי נתפס הותיר חלל עצום שלא יתמלא לעולם ואין מילים שיבטאו את עומק הכאב והגעגוע. טוב ליבו, חוכמתו ורוחו ייזכרו לנצח בליבנו.