גורלה של תוכנה

במאמרי על ההצלחות המקוטעות של הבינה המלאכותית, שהתפרסם באתר זה באוקטובר 2019, תיארתי תופעה חוזרת ונשנית בתולדות הבינה המלאכותית, מראשיתה בשנות ה-50 של המאה הקודמת ועד לימינו. אני מבקש להזכיר לקוראים את התחזית שלי לגבי ההיסטוריה הצפויה של גלי הצלחות הבינה המלאכותית (כסיכום התבנית ההיסטורית לפי המאמר הנ"ל):

1. לכל מודל מושקע של בינה מלאכותית תהיינה כמה הצלחות מרשימות משלו שלא ראוי לזלזל בהן, אבל תמיד נפריז בהערכתן.
2. העוסקים בבינה מלאכותית יגלו דמנציה מקצועית, כנראה בגלל מגע הדוק עם תהליכים רובוטיים. וכתוצאה מכך, יתעלמו מלקחי העבר, וכך תימנע הלמידה משגיאות קודמות ויימנע פיתוח מסודר של תחום הבינה המלאכותית כמשנה אקדמית סדורה ומתפתחת.
3. כל מודל של בינה מלאכותית מורכב מאלגוריתמים ומבוסס עליהם. לכן, יש לו מגבלות עקרוניות כי לכל האלגוריתמים יש מגבלות עקרוניות שהתגלו כבר בשנות ה-30 של המאה הקודמת. גם אם מגבלות אלה מושכחות ואינן נחקרות מחדש, הן נחשפות בניסיונות להרחיב את טווח היישום של המודל הנוכחי. כאשר מגבלות אלה נחשפות, ההתלהבות מהמודל שוככת והתקציבים התומכים בפיתוחו מקוצצים. המודל הנוכחי פשוט ננטש ונשכח.
4. בכל כמה שנים, מודל חדש של הבינה המלאכותית יפותח ויוצג כאילו הוא מומצא מחדש.
5. וחוזר חלילה.

אני טוען שזה יהיה גם גורלה של התוכנה המרתקת כיום את תשומת ליבם של רבים, אם בהתלהבות אינטנסיבית ממנה ואם בחרדה עצומה מפני השלכותיה. אין לחלוק על הישגיה, אך בקושי נמצא רמז של מודעות כלשהי של התחשבות בניסיון העבר. הדמנציה המקצועית בתחום עדיין מדביקה את העוסקים בו. כל עוד לא יתמודדו עם תכונות עקרוניות של המודלים, העלייה על שרטון של מודל מוצלח ונשגב תמיד תפתיע את המפתחים.

הנה, בכתבה מיום 17 באפריל 2023 באתר WIRED, דיווח ויל נייט, הכתב המומחה לענייני טכנולוגיה של האתר, שסם אלטמן, מנכ"ל חברת OpenAI, יצרנית GPT, הצהיר במפורש שהחברה איננה עובדת על פיתוח גרסה חדשה של GPT-4, וכן ש"עידן המודלים הענקיים של AI חלף ועבר". באותה כתבה דוּוח שבשעה שמספר הפרמטרים של (רשת הנוירונים של) GPT-2 היה 1.5 ביליון, מספר הפרמטרים המקביל של GPT-3 היה 175 ביליון ואילו מספר הפרמטרים של הגרסה GPT-4 נשמר בסוד. סם אלטמן צוטט באומרו שההוצאות על עדכון הפרמטרים של GPT-4 עלו על 100 מיליוני דולרים.

בקיצור המנכ"ל מדווח על חברתו שהיא למעשה תקועה, וכי צריך למצוא דרכי פיתוח חדשות ומודלים חדשים לבינה המלאכותית. עליי לציין שמלבד המגבלות העקרוניות של האלגוריתמים, הישענות לא ביקורתית על מודל ישן ללמידת מכונות שהוצע עוד על ידי טיורינג במאמרו משנת 1950, ושימוש ברשתות נוירונים דיגיטליים, מבטיחים ששוב ושוב ניתקל בשרטון. האם מפתחי הבינה המלאכותית סוף סוף יבינו, כפי שהציע גארי מרכוס במאמרו על החסר הבלשני בפיתוח המודל המרשים ללשון, מודל שכנראה עכשיו הגיע לסוף דרכו, שעליהם לעסוק בחקר נושאי הלשון והלמידה עצמם כדי להתמודד כראוי עם משימת השיפור של התוכנות המיוחלות?

במאמרי על שפת העוסקים בטכנולוגיה דיגיטלית מתקדמת (פורסם בדצמבר 2022) דנתי בתופעות השימוש הלא מבוקר בתארים בתחום של הטכנולוגיה הדיגיטלית. לקרוא למכונות שמשנות את הפרמטרים שלהן, כמו בתוכנית של סמואל למשחק הדמקה משנת 1959, "מכונות לומדות" ולהאמין שהן לומדות, זאת אמונה תפלה. אין בכוחם של משחקי מילים להגדיר מציאות, זאת אמונה שכדאי להשתחרר ממנה.

לעניות דעתי, זה מוזר מאוד שמבקשים לפתח מודל ללשון מבלי להתייחס למה שהתגלה ביחס לשפה על ידי חוקרי הבלשנות, וכמו כן, זה מוזר וחסר תוחלת שמבקשים להשתמש במודל למידה של רשתות נוירונים מבלי להתייחס למחקר של סטיבן קלייני משנת 1951 (ראו במאמרי באתר זה על הדמנציה החוזרת, פורסם ב-7 במאי 2023).

מנגד, כפי שבני עמיר ציין לי בתקשורת אישית, מוזר הוא שמנכ"ל של חברה עסקית שמייצרת תוכנה פופולרית מאוד יפרסם מידע שפוגע במעמדה השיווקי של התוכנה. הוא העלה את ההשערה שייתכן שזהו בסך הכול צעד מניפולטיבי להורדה מגמתית ומתוזמנת של ערך מניותיה בבורסה, כדי להעלות אותו על ידי ההוצאה לאור של הגרסה המחודשת של התוכנה, המיוצרת כרגע בחשאי. כלומר, לגרסה המחודשת לא יקראו GPT-5 אלא שם חדש לחלוטין ותהיה זו תוכנה שאמורה לעלות ביכולותיה על התוכנות הקודמות. ההד של יציאתה לשוק יעלה את ערך מניותיה של החברה עצמה, בשל ההפתעה שתיווצר הודות לתרגיל המניפולטיבי הזה. אבל, האם מהלך כזה לא יוגדר ויתקבל כפסול?