גורלה של תוכנה

האם הגל הנוכחי של פיתוח AI מיצה את עצמו?
תמונתו של ישפי
פרופסור יהושפט גבעון

במאמרי על ההצלחות המקוטעות של הבינה המלאכותית, שהתפרסם באתר זה באוקטובר 2019, תיארתי תופעה חוזרת ונשנית בתולדות הבינה המלאכותית, מראשיתה בשנות ה-50 של המאה הקודמת ועד לימינו. אני מבקש להזכיר לקוראים את התחזית שלי לגבי ההיסטוריה הצפויה של גלי הצלחות הבינה המלאכותית (כסיכום התבנית ההיסטורית לפי המאמר הנ"ל):

  1. לכל מודל מושקע של בינה מלאכותית תהיינה כמה הצלחות מרשימות משלו שלא ראוי לזלזל בהן, אבל תמיד נפריז בהערכתן.
  2. העוסקים בבינה מלאכותית יגלו דמנציה מקצועית, כנראה בגלל מגע הדוק עם תהליכים רובוטיים. וכתוצאה מכך, יתעלמו מלקחי העבר, וכך תימנע הלמידה משגיאות קודמות ויימנע פיתוח מסודר של תחום הבינה המלאכותית כמשנה אקדמית סדורה ומתפתחת.
  3. כל מודל של בינה מלאכותית מורכב מאלגוריתמים ומבוסס עליהם. לכן, יש לו מגבלות עקרוניות כי לכל האלגוריתמים יש מגבלות עקרוניות שהתגלו כבר בשנות ה-30 של המאה הקודמת. גם אם מגבלות אלה מושכחות ואינן נחקרות מחדש, הן נחשפות בניסיונות להרחיב את טווח היישום של המודל הנוכחי. כאשר מגבלות אלה נחשפות, ההתלהבות מהמודל שוככת והתקציבים התומכים בפיתוחו מקוצצים. המודל הנוכחי פשוט ננטש ונשכח.
  4. בכל כמה שנים, מודל חדש של הבינה המלאכותית יפותח ויוצג כאילו הוא מומצא מחדש.
  5. וחוזר חלילה.

אני טוען שזה יהיה גם גורלה של התוכנה המרתקת כיום את תשומת ליבם של רבים, אם בהתלהבות אינטנסיבית ממנה ואם בחרדה עצומה מפני השלכותיה. אין לחלוק על הישגיה, אך בקושי נמצא רמז של מודעות כלשהי של התחשבות בניסיון העבר. הדמנציה המקצועית בתחום עדיין מדביקה את העוסקים בו. כל עוד לא יתמודדו עם תכונות עקרוניות של המודלים, העלייה על שרטון של מודל מוצלח ונשגב תמיד תפתיע את המפתחים.

הנה, בכתבה מיום 17 באפריל 2023 באתר WIRED, דיווח ויל נייט, הכתב המומחה לענייני טכנולוגיה של האתר, שסם אלטמן, מנכ"ל חברת OpenAI, יצרנית GPT, הצהיר במפורש שהחברה איננה עובדת על פיתוח גרסה חדשה של GPT-4, וכן ש"עידן המודלים הענקיים של AI חלף ועבר". באותה כתבה דוּוח שבשעה שמספר הפרמטרים של (רשת הנוירונים של) GPT-2 היה 1.5 ביליון, מספר הפרמטרים המקביל של GPT-3 היה 175 ביליון ואילו מספר הפרמטרים של הגרסה GPT-4 נשמר בסוד. סם אלטמן צוטט באומרו שההוצאות על עדכון הפרמטרים של GPT-4 עלו על 100 מיליוני דולרים.

בקיצור המנכ"ל מדווח על חברתו שהיא למעשה תקועה, וכי צריך למצוא דרכי פיתוח חדשות ומודלים חדשים לבינה המלאכותית. עליי לציין שמלבד המגבלות העקרוניות של האלגוריתמים, הישענות לא ביקורתית על מודל ישן ללמידת מכונות שהוצע עוד על ידי טיורינג במאמרו משנת 1950, ושימוש ברשתות נוירונים דיגיטליים, מבטיחים ששוב ושוב ניתקל בשרטון. האם מפתחי הבינה המלאכותית סוף סוף יבינו, כפי שהציע גארי מרכוס במאמרו על החסר הבלשני בפיתוח המודל המרשים ללשון, מודל שכנראה עכשיו הגיע לסוף דרכו, שעליהם לעסוק בחקר נושאי הלשון והלמידה עצמם כדי להתמודד כראוי עם משימת השיפור של התוכנות המיוחלות?

במאמרי על שפת העוסקים בטכנולוגיה דיגיטלית מתקדמת (פורסם בדצמבר 2022) דנתי בתופעות השימוש הלא מבוקר בתארים בתחום של הטכנולוגיה הדיגיטלית. לקרוא למכונות שמשנות את הפרמטרים שלהן, כמו בתוכנית של סמואל למשחק הדמקה משנת 1959, "מכונות לומדות" ולהאמין שהן לומדות, זאת אמונה תפלה. אין בכוחם של משחקי מילים להגדיר מציאות, זאת אמונה שכדאי להשתחרר ממנה.

לעניות דעתי, זה מוזר מאוד שמבקשים לפתח מודל ללשון מבלי להתייחס למה שהתגלה ביחס לשפה על ידי חוקרי הבלשנות, וכמו כן, זה מוזר וחסר תוחלת שמבקשים להשתמש במודל למידה של רשתות נוירונים מבלי להתייחס למחקר של סטיבן קלייני משנת 1951 (ראו במאמרי באתר זה על הדמנציה החוזרת, פורסם ב-7 במאי 2023).

מנגד, כפי שבני עמיר ציין לי בתקשורת אישית, מוזר הוא שמנכ"ל של חברה עסקית שמייצרת תוכנה פופולרית מאוד יפרסם מידע שפוגע במעמדה השיווקי של התוכנה. הוא העלה את ההשערה שייתכן שזהו בסך הכול צעד מניפולטיבי להורדה מגמתית ומתוזמנת של ערך מניותיה בבורסה, כדי להעלות אותו על ידי ההוצאה לאור של הגרסה המחודשת של התוכנה, המיוצרת כרגע בחשאי. כלומר, לגרסה המחודשת לא יקראו GPT-5 אלא שם חדש לחלוטין ותהיה זו תוכנה שאמורה לעלות ביכולותיה על התוכנות הקודמות. ההד של יציאתה לשוק יעלה את ערך מניותיה של החברה עצמה, בשל ההפתעה שתיווצר הודות לתרגיל המניפולטיבי הזה. אבל, האם מהלך כזה לא יוגדר ויתקבל כפסול?

Facebook
Twitter
LinkedIn
WhatsApp
Email

6 תגובות

  1. התוכנה לא תמוצה היא רק תלך ותתפתח
    זה שישנו את השם או יעבירו בעלות על התוכנה לא ישנה את העובדה שמדובר בתהליך פיתוח, שיפור, ושדרוג ארוך ומדהים

  2. לאלכס, תודה על תגובתך.
    התדהמה במהותה היא של אלה שלא יודעים מה התגלה כבר בשנות ה-50. מכונות לומדות? מגבלות הרשתות הנוירוניות? ועוד. כשמתעלמים מכל זה, וחושבים שאילוף יונים יוצר למידה, לא משיגים "תהליך פיתוח, שיפור ושדרוג ארוך ומדהים" אלא שיטיון תרבותי.

  3. אחרי שקראתי כמה ממאמריך אתה יכול להיות ראש האופוזיציה נגד הבינה המלאכותית. השאלה היא האם הצלחת להביא איזה מוסד אקדמי בארץ להחזיק בדיעות שלך?

    1. לדני, תודה על תגובתך.
      אני מציע שתקרא בעיון את מאמרי. אינני מתנגד למאמצים המושקעים בפיתוח תוכנות מתוחכמות. אני מתנגד להערצה העיוורת שמתבטאת בפרשנות חסרת אחריות וחסרת ביסוס. אם כבר, אני יכול להיות ראש האופוזיציה נגד האמונה העיוורת בפרשנויות כאלה ביחס לכלים הדיגיטליים. ושאלתך לגבי מוסד אקדמי בארץ אינה רלבנטית. ההצדקה לטענותי אינה הצדקה פוליטית. בתולדות הטכנולוגיה אפשר למצוא כמה דוגמאות לאמונות לא מבוססות שהיו מקובלות מאד במוסדות אקדמיים. אז מה?
      חג שבועות שמח,

  4. המאמרים מהסוג הזה ובנושא הזה ישירות רלוונטיים שנים רבות מאוד ואנשים מקצוענים ימשיכו להתלבט ולהתחבט בהם, כי הם יהיו נושאי מפתח

  5. באופן כללי צפוי כאוס גדול מכיוון כל התוכנות החדשות. יותר ויותר אפליקציות מציפות אותנו, וכל האוכלוסיה לומדת ברדידות כיצד להפעיל מבלי בכלל להבין שום דבר על תוכנה ותיכנות.

כתיבת תגובה

האימייל לא יוצג באתר. שדות החובה מסומנים *

פרסום תגובה מהווה הסכמה לתנאי השימוש באתר.
התגובות יפורסמו לפי שיקול דעת העורך.

עשוי לעניין אותך

תמונה של עמירם

הֶסְתֵּר פָּנִים              

בְּיוֹם הָעַצְמָאוּת בַּשָּׁנָה הַקָּשָׁה  מַשֶּׁהוּ עָצוּר, נוּגֶה בַּהַרְגָּשָׁה. אָנוּ נְתוּנִים בִּתְחוּשַׁת הַתָּשָׁה, נָעִים בֵּין הַרְעָשָׁה לְהַחְרָשָׁה. וּמָה שֶׁכּוֹאֵב שֶׁבָּאֵלּוּ הַזְּמַנִּים בִּיבִּי וְשָׂרָה בְּ"הֶסְתֵּר פָּנִים". הַזּוּג

תמונה של מנשה

זו שעתנו הגדולה

על חשיבות החוסן הלאומי והחברתי של הפרט והחברה כולה

תמונה על גדעון

האם יחזרו?

האם אכן עושים את המירב לשחרור החטופים?

דילוג לתוכן