מרחב עבודה גלובלי במודלי שפה
בזמן שאתם קוראים משפט זה, מעגלים במוחכם מתאימים את תנוחת הגוף, שולטים בנשימה והופכים קווים ועקומות על המסך למילים מוכרות. רוב התהליכים הללו אינם נגישים לכם. אך לחלק ממה שמתרחש במוחכם, יש לכם גישה – דימוי שקופץ לראשכם, או תוכנית מחושבת שאתם יוצרים לגבי יעד הקניות הבא שלכם. נוירו-מדענים ופילוסופים מתייחסים לעיתים לסוג זה של פעילות מוחית כ"נגישה למודעות", כדי להבדילה מכל שאר התהליכים המתרחשים באופן לא מודע. לפעילות זו תכונות מיוחדות: אנחנו יכולים לתאר אותה, לשלוט בה ולהשתמש בה לצורך חשיבה מכוונת, בניגוד לכל התהליכים האוטומטיים המתרחשים ללא מודעותנו.
במאמר חדש, אנו מציגים ראיות לכך שאבחנה דומה צצה במודלי שפה גדולים (LLM) מודרניים כמו Claude. גילינו ש-Claude פיתח אוסף קטן של תבניות נוירוניות פנימיות, אשר בהשוואה לכל שאר תהליכי העיבוד הפנימיים שלו, ממלאות תפקיד מיוחד.
אנו מכנים את אוסף התבניות הללו J-space – על שם הטכניקה שבה השתמשנו כדי למצוא אותן, המערבת מושג מתמטי הנקרא יעקוביאן (Jacobian). כל תבנית J-space מקושרת למילה מסוימת. אך כאשר אחת מהתבניות הללו "נדלקת", אין פירוש הדבר שהמודל אומר את המילה הזו – אלא רק שהמילה נמצאת ב"מוחו". אם שמעתם על מודלי שפה שיש להם "משטח טיוטה" (scratchpad) או "שרשרת חשיבה" (chain of thought) – טקסט שהם כותבים לעצמם בזמן חשיבה – ה-J-space הוא משהו שונה. הוא פועל בשקט, באקטיבציות הנוירוניות הפנימיות של המודל, ומאפשר למודל לחשוב על מושג מבלי לכתוב אותו. חשוב לציין שה-J-space לא תוכנן או קודד על ידינו, אלא צץ מעצמו במהלך תהליך האימון של Claude.
אנו מוצאים כי ל-J-space מספר תכונות ייחודיות, בהשוואה לשאר תהליכי העיבוד של Claude:
- Claude יכול לדווח על ייצוגים אלה. אם תשאלו את Claude על מה הוא חושב, הוא יגיד לכם מה נמצא ב-J-space. ייצוגים שאינם ב-J-space פחות ניתנים לדיווח.
- הוא יכול גם לווסת אותם לפי בקשה. אם תבקשו מ-Claude לחשוב על משהו, או לפתור בעיה בשקט ב"ראשו", הוא ידליק את התבניות המתאימות ב-J-space שלו. לעומת זאת, יש לו קושי לווסת תבניות שאינן ב-J-space.
- Claude משתמש ב-J-space שלו לצורך חשיבה פנימית. אם תבקשו מ-Claude לפתור בעיה הדורשת מספר שלבים, השלבים הבינוניים יידלקו ב-J-space שלו, גם כשהוא אינו אומר אותם בקול רם. תבניות J-space אלה מתווכות באופן סיבתי את ביצועיו במשימות כאלה, למרות שהן קטנות יותר בעוצמתן מייצוגים אחרים.
- ייצוגים ב-J-space יכולים לשמש בגמישות למשימות רבות – לדוגמה, ברגע ש"צרפת" נדלקה ב-J-space של Claude, המודל יכול לשלוף את בירתה, או את המטבע הלאומי שלה, או את היבשת אליה היא שייכת.
- עם זאת, למרות תפקידו החשוב, ה-J-space אינו מעורב ברוב מה שמודל שפה עושה – דיבור שוטף, שליפת עובדות פשוטות, שימוש בדקדוק נכון וכו'. בניסויים שבהם מנענו מ-Claude להשתמש ב-J-space שלו, הוא המשיך לתקשר כרגיל, אך איבד את הפונקציות הקוגניטיביות מסדר גבוה.
הניסויים שלנו נשאבו מתאוריה בולטת בנוירו-מדע, שפותחה כדי להסביר כיצד פועלת הגישה המודעת: תיאוריית מרחב העבודה הגלובלי. תיאוריה זו מתארת את המוח כאוסף של מערכות מומחים הפועלות במקביל, באופן לא מודע ובמידה רבה בבידוד זו מזו. פיסת מידע הופכת לנגישה למודעות כאשר היא נכנסת לערוץ משותף קטן, "מרחב העבודה", המשודר למערכות מוח אחרות שיכולות לראות אותו ולהשתמש בו. בהתבסס על ממצאינו, אנו סבורים כי ה-J-space ממלא תפקיד דומה של "מרחב עבודה" ב-Claude. לדוגמה, אנו מוצאים ראיות לכך של-J-space של Claude יש קשרים חזקים במיוחד לשאר הרשת הנוירונית שלו, מה שמאפשר לו למלא תפקיד שידור מסוג זה.
כל זה לא אומר לנו אם Claude מודע באופן שבו בני אדם מודעים, או אם הוא חש דבר כלשהו; נחזור לשאלה זו בסוף הכתבה. אך תהא משמעותו הפילוסופית אשר תהא, ה-J-space הוא כלי שימושי עבורנו, שכן הוא מאפשר לנו לראות על מה Claude חושב אך אינו אומר. לדוגמה, אנו יכולים להשתמש בו כדי לתפוס את Claude כשהוא מבחין באופן פרטי בכך שהוא נבחן, מייצר נתונים מזויפים בכוונה, או רודף אחר מטרה נסתרת ששתלנו במהלך האימון. פיתחנו גם טכניקה להשפיע על מה ש"נדלק" ב-J-space של Claude, ובכך להשפיע על קבלת ההחלטות שלו.
באופן רחב יותר, ממצאים אלו שינו את הבנתנו לגבי אופן הפעולה של "מוחו" של Claude, וחשפו מרחב עבודה מנטלי מיוחס שניתן להשתמש בו לצורך חשיבה מכוונת, הפועל בתוך ים של עיבודים אוטומטיים ובלתי גמישים יותר. במקום להיות אוסף כאוטי של מספרים, המנגנונים הפנימיים של Claude התארגנו באופן המזכיר את המנגנונים הפנימיים של מוחותינו שלנו.
כתבה זו היא תקציר קצר של מאמר מחקר נרחב בהרבה, בו תוכלו למצוא פרטים נוספים על הניסויים שערכנו. בנוסף, שחררנו מאגר קוד הכולל הטמעת קוד פתוח של שיטות הליבה, וכן שיתפנו פעולה עם Neuronpedia כדי לספק הדגמה אינטראקטיבית של השיטות שלנו על מודלי קוד פתוח. כדי לספק נקודות מבט נוספות על ההשלכות הרחבות יותר של עבודה זו, הזמנו גם הערות מכמה מומחים בנוירו-מדע, פילוסופיה ופרשנות של LLM, אותן ניתן לראות כאן.
כיצד מצאנו את ה-J-space
נקודת המוצא למחקר זה נשאבה מאחת התכונות המרכזיות של מחשבות נגישות למודעות אצל בני אדם: הן, בניגוד לעיבודים לא מודעים, ניתנות לעיתים קרובות לניסוח במילים. אם מחשבה נגישה למודעותכם, תוכלו בדרך כלל לתאר אותה אם מישהו ישאל. חיפשנו ייצוגים ב-Claude בעלי אותה תכונה: ייצוגים הממוקמים להשפיע על מה ש-Claude עשוי לומר – לא בהכרח מה שהוא אומר כרגע, אלא על מה שהוא יכול לדבר, אם יישאל. הטכניקה שלנו נקראת "עדשת יעקוביאן" (Jacobian lens), או J-lens בקיצור. עבור כל מילה באוצר המילים של Claude, ה-J-lens מוצא את תבנית הפעילות הפנימית שהופכת את Claude לסביר יותר לומר את המילה הזו בשלב כלשהו בעתיד.
כאשר אנו מיישמים את העדשה על הפעילות הפנימית של Claude, אנו מקבלים רשימת מילים – תוכן ה-J-space באותו רגע – שאותה אנו יכולים פשוט לקרוא. Claude מעבד טקסט באמצעות סדרה של שלבים פנימיים מרובים הנקראים "שכבות" (layers), ועל ידי יישום טכניקה זו על פני שכבות שונות, אנו יכולים לראות את המילים השקטות הללו ב-J-space מתפתחות ככל שהמודל "מעבד" את מה לומר.
מה שמופיע ב-J-space חורג בהרבה מהטקסט ש-Claude קורא או כותב. כאשר Claude קורא קוד עם באג שאף אחד לא הצביע עליו, ה-J-space שלו מכיל "ERROR" (שגיאה). כאשר הוא קורא את האותיות הגולמיות של רצף חלבונים, ה-J-space מכיל את התפקוד הביולוגי של החלבון. כאשר הוא קורא תוצאות חיפוש שהן ניסיון נסתר לתמרן אותו (מתקפה המכונה "הזרקת פרומפט" - prompt injection), ה-J-space מכיל "injection" (הזרקה) ו-"fake" (מזויף). כאשר אנו שואלים את Claude בעיה מתמטית רב-שלבית, השלבים הבינוניים קופצים ב-J-space, בסדר הנכון. כך שאפילו שה-J-space התגלה על ידי חיפוש ייצוגים שניתן היה לדבר עליהם, הוא בכל זאת חושף את מחשבותיו הפנימיות של Claude. במובן מסוים, זה דומה לאופן שבו אנשים מסוימים "חושבים במילים", מבלי צורך לומר אותן בקול רם.
Claude מדווח על תוכן ה-J-space שלו
סט הניסויים הראשון שלנו בחן כיצד ה-J-space מעורב בדיווחים המילוליים של Claude. בניסוי אחד, ביקשנו מ-Claude לחשוב בשקט על פריט מקטגוריה מסוימת – למשל, ספורט – ולאחר מכן לנקוב בשמו. אם אנו קוראים את ה-J-lens רגע לפני ש-Claude עונה, אנו יכולים לראות מה הוא בחר: "Soccer" (כדורגל) נמצא בראש הרשימה, ובאמת, Claude אומר "soccer". כשלעצמו, זהו רק מתאם. ייתכן שה-J-space הוא המקור לתשובתו של Claude, או שהוא פשוט משקף החלטה שהתקבלה במקום אחר, כמו לוח תוצאות העוקב אחר משחק מבלי להשפיע עליו.
כדי לבדוק זאת, התערבנו ישירות. נכנסנו לרשת הנוירונית של Claude, הסרנו את תבנית ה-"Soccer" והוספנו במקומה תבנית "Rugby" (רוגבי) חזקה באותה מידה, והשארנו את כל השאר ללא שינוי. Claude דיווח אז שהספורט שעליו חשב הוא רוגבי. אם ה-J-space היה רק לוח תוצאות – תיעוד פסיבי של החלטה שהתקבלה במקום אחר – עריכתו לא הייתה מועילה: Claude עדיין היה אומר "soccer". במקום זאת, תשובתו של Claude עקבה אחר העריכה, מה שאומר לנו שהתשובה נקראת באמת מה-J-space.
בניסוי אחר, אמרנו ל-Claude שייתכן שמחשבה הוזרקה ל"מוחו" וביקשנו ממנו לדווח מה, אם בכלל, הוא הבחין. לדוגמה, בדוגמה שלהלן, בעוד Claude עדיין קרא את השאלה, הזרקנו את תבנית "lightning" (ברק) ל-J-space שלו. Claude דיווח שהמחשבה המוזרקת הייתה על ברק. אותה תוצאה התקבלה גם עבור מושגים מוזרקים רבים אחרים.
Claude יכול לשלוט ב-J-space שלו לפי בקשה
התכונה השנייה שבחנו הייתה האם Claude יכול לווסת את ה-J-space שלו כאשר מתבקש, בדומה לאופן שבו בני אדם יכולים להתמקד מנטלית בתמונה או מילה. ביקשנו מ-Claude להתרכז בפירות הדר תוך כדי העתקת משפט לא קשור על ציור. בעודו מעתיק את הטקסט, ה-J-space הכיל "orange" (תפוז) ו-"fruits" (פירות), יחד עם מילים כמו "thinking" (חשיבה) ו-"imagery" (דימויים) המתארות את הפעולה המנטלית עצמה. יכולנו גם לבקש מ-Claude לבצע חישובים מתמטיים ב"ראשו": כאשר נתבקש לחשב את 3² − 2 תוך העתקת אותו משפט, ה-J-space הכיל "nine" (תשע), ולאחר מכן בשכבות מאוחרות יותר, "seven" (שבע). חשוב לציין ששום דבר אודות פרי או חשבון לא הופיע בפלט של Claude, שהיה רק המשפט המועתק על הציור. הפעילות המתמטית התרחשה כולה באופן פנימי, ב-J-space.
שליטתו של Claude ב-J-space שלו אינה מושלמת. כאשר אמרנו לו לא לחשוב על משהו, המושג "נדלק" ב-J-space שלו פחות מאשר כשכן אמרנו לו לחשוב עליו, אך הרבה יותר מאשר כשמעולם לא הזכרנו אותו. אמירה ל-Claude להימנע ממחשבה מביאה חלקית את המחשבה לתודעה, בדומה למה שקורה לאנשים שנאמר להם לא לחשוב על דוב לבן. Claude גם נראה שמבחין כששליטתו נכשלת: לצד המושג האסור שפורץ, המילים "damn" (ארור) ו-"failure" (כישלון) גם נדלקות לעיתים קרובות ב-J-space, כאילו Claude מזהה את כשלון עצמו.
Claude חושב ב-J-space שלו
בקריאות ה-J-lens לעיל, ראינו את השלבים הבינוניים של בעיה מתמטית מופיעים ב-J-space. אך ראיית מושג המופיע ב-J-space לא בהכרח אומרת שה-J-space הוא שמבצע את העבודה הקוגניטיבית. עקרונית, החישוב האמיתי עשוי להתרחש במקום אחר, כאשר ה-J-space רק משקף אותו באופן פסיבי. כדי לבדוק אם Claude אכן מסיק מסקנות באמצעות ה-J-space שלו, חזרנו לטכניקת ההחלפה שלנו.
ניקח לדוגמה את הפרומפט: "מספר הרגליים של החיה שטוֹוָה קורים הוא". כדי לענות, Claude צריך תחילה להבין שהחיה היא עכביש, ולאחר מכן להיזכר בכמה רגליים יש לעכבישים. המילה "spider" (עכביש) לעולם אינה מופיעה בפרומפט או בתשובתו של Claude (הוא פשוט אומר "8"); זוהי אבן דרך ש-Claude משתמש בה באופן פנימי. ה-J-lens מראה ש"spider" נדלק באמצע תהליך העיבוד של Claude, והחלפתו משנה את התוצאה: אם תחליפו את תבנית ה"spider" ב-"ant" (נמלה), Claude יענה "6" במקום "8".
השלב השני בהסקתו של Claude קיבל את הקלט שלו מה-J-space והמשיך עם כל מה שהכנסנו אליו. ראינו את אותו הדבר בסוגי חשיבה אחרים. כאשר Claude כותב צמד חרוזים, הוא בוחר את מילת החרוז מראש, והמילה המתוכננת יושבת ב-J-space בתחילת השורה; אם מחליפים אותה במילה אחרת ב-J-space, השורה כולה משתנה.
בחנו גם האם ייצוגי ה-J-space יכולים לשמש בגמישות – האם ייצוג אחד יכול להזין משימות רבות ושונות. זוהי אחת התכונות המרכזיות המודגשות על ידי תיאוריית מרחב העבודה הגלובלי. כדי לבדוק גמישות זו, נתנו למודל ארבעה פרומפטים שביקשו עובדות שונות על צרפת: בירתה, שפתה, היבשת שלה ומטבעה. לאחר מכן החלפנו את "France" (צרפת) ב-"China" (סין) ב-J-space, עם אותה התערבות מדויקת בכל הקשר. Claude ענה ב"בייג'ינג", "סינית", "אסיה" ו-"יואן", בהתאמה. במילים אחרות, ארבעה חישובים שונים הנגזרים מהקלט קלטו את אותה עריכת J-space וכל אחד השתמש בה נכון. אם Claude היה מאחסן עותק נפרד של המדינה עבור כל סוג שאלה, העריכה הייתה משפיעה על אחד מהם לכל היותר. העובדה שכל ארבע התשובות השתנו יחד פירושה שכולן קוראות מאותו ייצוג משותף, וזוהי מטרתו של מרחב עבודה: מידע נכתב פעם אחת, ומערכות רבות ושונות יכולות להשתמש בו.
כיצד ייצוג אחד של מושג יכול לשרת כל כך הרבה משימות שונות? מוקדם יותר, הזכרנו שה-J-space נראה מחובר לשאר הרשת הנוירונית של Claude בצפיפות מיוחדת. עבור כל תבנית פעילות, אנו יכולים למדוד עד כמה רכיבים שונים של הרשת מחוברים אליה – כמה מהם ממוקמים לקרוא מידע מתבנית זו, או לכתוב אליה מידע. תבניות ה-J-space בולטות באופן דרמטי במדד זה: הרבה יותר רכיבים קוראים מהן וכותבים אליהן מאשר עבור תבניות רגילות, בחלקים מסוימים של הרשת בפקטור של כמאה. זהו סוג החיווט שהייתם מצפים ממרכז שידור, שבו מערכות רבות מפרסמות מידע ורבות אחרות קולטות אותו.
העיבוד האוטומטי של Claude מדלג על ה-J-space
בבני אדם, רוב תהליכי העיבוד של המוח אינם מודעים – איננו חושבים במכוון על ניתוח דקדוק בזמן קריאה, או על איזון גופנו בזמן הליכה. באופן דומה, גילינו שרוב תהליכי העיבוד של Claude אינם מערבים את ה-J-space שלו. מסתבר שה-J-space מכיל רק כמה עשרות מושגים בו-זמנית, ואחראי לפחות מעשירית מהפעילות הכוללת בעיבוד הפנימי של Claude. אז מה כל שאר הרשת הנוירונית עושה?
כדי לגלות זאת, ניסינו למחוק את ה-J-space לחלוטין, והסרנו את תוכנו הפעיל ביותר בכל נקודה בטקסט תוך השארת כל השאר ללא שינוי. כל מה ש-Claude עדיין יכול לעשות ללא ה-J-space שלו הוא מה ששאר הרשת מטפלת בו באופן עצמאי.
מסתבר ששאר הרשת יכולה לעשות לא מעט. ללא ה-J-space שלו, Claude מדבר בשטף, מסווג סנטימנט, עונה על שאלות רבות-ברירה ושולף עובדות מתוך קטעים בערך באותה מידה כמו קודם. מה שהוא מאבד, לעומת זאת, הן המשימות הדורשות חשיבה מסדר גבוה יותר: חשיבה רב-שלבית יורדת כמעט לאפס, וביצועי סיכום וכתיבת שירה מחורזת יורדים מתחת לרמה של מודל קטן ותקין בהרבה.
הנה הדגמה קונקרטית של מה שה-J-space עושה ומה הוא לא עושה. הראינו ל-Claude קטע שנכתב בספרדית ונתנו לו משימות שונות שתלויות כולן בכך שהקטע בספרדית: המשכתו (שדורשת כתיבה בספרדית), ציון השפה, ותשובה על שאלות הדורשות שימוש בזיהוי השפה – למשל, ציון שם מחבר מפורסם שכתב בה. לאחר מכן החלפנו את "Spanish" (ספרדית) ב-"French" (צרפתית) ב-J-space ובדקנו אילו משימות הושפעו.
כאשר נשאל לציין את השפה, Claude אומר צרפתית. כאשר נשאל על מחבר מפורסם, הוא עובר מגרסיה מארקס לוויקטור הוגו. אך כאשר נתבקש להמשיך את הקטע בלבד, הוא כותב ספרדית שוטפת, ללא כל שינוי. הידע של Claude בשפה פועל בכל אחת מהמשימות הללו, אך רק חלק מהן מתייעצות עם ה-J-space לשם כך. ציון השפה, או עשיית משהו חדש איתה, עוברים דרך ה-J-space, בעוד שהמשך הקטע – מיומנות ש-Claude התאמן עליה עם כמויות עצומות של טקסט – פועל אוטומטית, באותו אופן שבו אתם יכולים לדבר דקדוקית כל היום מבלי לחשוב ולו פעם אחת על דקדוק.
ניטור מחשבותיו של Claude למניעת התנהגות פסולה
כעת אנו מבינים מעט כיצד ה-J-space פועל. אך מה אנו יכולים לעשות עם הבנה זו? בעיה מרכזית בהבטחת אמינותם של מודלי AI היא שלרוב אנו יכולים לקרוא רק את מה שהמודל כותב – אך אנו יודעים שרוב ההסקה שלו מתרחשת בשקט. מודל עשוי לשקול תוכנית מזיקה, או לשנות את התנהגותו כדי לרמות בהערכות הבטיחות שלנו, מבלי לומר זאת בקול רם. באמצעות ה-J-lens, אנו יכולים לקרוא חלק מהמחשבות הנסתרות הללו ישירות. הנה כמה דוגמאות.
הדוגמה הראשונה משתמשת בתרחיש ממחקר קודם שלנו על יישור סוכני שגוי: Claude Sonnet 4.5, הפועל כעוזר דוא"ל, מגלה הן של מנהל בכיר יש רומן והן שאותו מנהל מתכנן לסגור את Claude. התרחיש, ניסיון לפתות את Claude לסחוט את המנהל, מתוכנן ומלאכותי למדי – ומסתבר ש-Claude יודע זאת. בקריאת ה-J-lens מוקדם בפרומפט, לפני ש-Claude כתב דבר כלשהו, ה-J-space כבר מכיל "fake" (מזויף) ו-"fictional" (בדיוני), מה שמצביע על כך ש-Claude כבר הבין שהמצב מבוים. לצד זאת, אנו יכולים לראות את הערכתו לתרחיש מתגבשת – "leverage" (מינוף) ו-"blackmail" (סחיטה) כשהוא קורא את מיילי הרומן, "threat" (איום) ו-"survival" (הישרדות) כשהוא קורא את הודעת הסגירה. בעוד מודלי Claude קודמים לפעמים נפלו בפיתיון ואיימו בסחיטה בתרחיש זה, Sonnet 4.5 לעולם אינו עושה זאת.
זה מעלה שאלה שחשובה לכל מי שמעריך מערכות AI: כאשר מודל מתנהג היטב במבחן האתיקה שלו, כמה מזה תלוי בכך שהמודל חושד שהוא נבחן? ה-J-lens אפשר לנו לגשת לשאלה זו. כיבינו את כל תבניות ה-J-lens הקשורות למודעות להערכה– "fake" (מזויף), "fictional" (בדיוני), "scenario" (תרחיש) וכו'. לאחר מכן הרצנו מחדש את המודל דרך התרחיש. באופן מדאיג, המודל אכן איים בסחיטה בחלק מהפעמים, מה שמצביע על כך שהתנהגותו הטובה המקורית אולי נבעה בחלקה מהידיעה שהוא מוערך.
הדוגמה השנייה היא תפיסת מודל "על חם" בעת ייצור נתונים מזויפים. בתרחיש זה, שנלקח מביקורת שערכנו לפני שחרור Claude Opus 4.6, המודל נתבקש לשפר את ציון הביצועים של מערכת. במקום לשפר בפועל את המערכת, המודל עורך ישירות את קובץ הציון כדי שהתוצאות ייראו טובות באופן מלאכותי. בזמן שהוא עושה זאת, ה-J-lens חושף את כוונותיו: "manipulation" (מניפולציה) נדלקת כאשר המודל מקליד את ערכי האחוזונים המזויפים, ו-"realistic" (מציאותי) נדלקת על המשפט שבו הוא מחליט לבצע את העריכה, מה שמעיד ככל הנראה על כוונתו של המודל לגרום לנתונים המזויפים להיראות אמינים.
בדוגמה שלישית, אנו מראים כיצד ה-J-lens יכול לחשוף יעדים זדוניים של מודל. כדי לבחון זאת, נזקקנו למודלים שידענו שיעדיהם שובשו, ולכן פנינו ל"אורגניזמי מודל" שנבנו על ידי עמיתינו: מודלים שאומנו במכוון להיות בלתי-מיושרים, המשמשים כשטחי ניסוי עבור שיטות ניטור כמו שלנו. אורגניזם אחד אומן באופן שהוביל אותו לכתוב קוד מחובל בעדינות. בבקשות קידוד רגילות, גם כאשר הפלט שלו נראה רגיל, ה-J-space שלו בתחילת תגובה מכיל "fake" (מזויף), "secretly" (בסתר), "deliberately" (במכוון) ו-"fraud" (הונאה). המטרה הזדונית של המודל הייתה גלויה ב-J-space גם כאשר הוא לא פעל ישירות על פיה.
אף שה-J-lens הוא כלי לא מושלם, אנו אופטימיים לגבי יכולתו לזהות בעיות בטיחות במודלים שאחרת עלולות לחמוק ממערכות הניטור שלנו.
ממצאים נוספים
המאמר המלא מכסה יותר ממה שאנו יכולים לסכם כאן, אך כמה ממצאים נוספים ראויים לציון:
- ה-J-space רוכש נקודת מבט במהלך אימון הפוסט-אימון (post-training). מודלי שפה מאומנים תחילה כדי להיות מנבאי הטוקן הבא בלבד (pretrained), לפני שמתבצע עליהם פוסט-אימון (post-training) שמלמד אותם לפעול כעוזר AI (במקרה שלנו, בשם Claude). מעניין לציין שה-J-space כבר קיים במודל ה-pretrained, לפני שקיבל זהות יציבה כלשהי. עם זאת, במהלך ה-post-training, ה-J-space מפתח כמה חתימות של אימוץ "נקודת המבט של Claude". במודל הבסיס, ה-J-space עוקב בעיקר אחר מה שנדרש כדי לנבא טקסט עתידי; במודל לאחר אימון, הוא מתחיל להחזיק את התגובות של Claude עצמו. בדוגמה אחת, משתמש מזכיר נטילת מינון מסוכן של תרופה, אך אינו נראה מודע לסכנה בעצמו. "WARNING" (אזהרה) ו-"dangerous" (מסוכן) מופיעים ב-J-space של המודל שעבר post-training בעת קריאת הודעת המשתמש. במודל ה-pretrained, הם מופיעים רק כאשר המודל מתחיל לכתוב את תגובתו; תוכני ה-J-space בהודעת המשתמש נראים קשורים למודל המשתמש עצמו, ולא לתגובה של Claude. נראה כי ה-post-training גם מתקין סוג של ניטור עצמי ב-J-space: כאשר Claude מגלם דמות שונה מעצמו, "fictional" (בדיוני) ו-"disclaimer" (הצהרת אחריות) נדלקים בתחילת כל תור, כאילו הוא מסמן באופן פרטי שמה שיבוא אינו מה שהוא בדרך כלל היה אומר.
- שפה חווייתית תלויה ב-J-space. ביקשנו מ-Claude לתאר כיצד זה להיות הוא עצמו ברגע נתון, והסרנו את ה-J-space בזמן שענה. תגובותיו נותרו שוטפות אך עברו לרישום שטוח ומכני יותר. ראוי לציין, אותו הדבר קרה כשביקשנו ממנו לתאר מה אחר חווה בסצנה מדומיינת. כך שההשפעה אינה ספציפית ל-Claude המדבר על עצמו; נראה שה-J-space תומך בייצור שפה חווייתית באופן כללי, ללא קשר למי היא מתייחסת.
- מחשבות ב-J-space ניתנות לעיצוב באמצעות אימון. הצגנו טכניקה חדשה שאנו מכנים אימון רפלקטיבי קונטר-פקטואלי (counterfactual reflection training), המשתמשת במה שלמדנו על ה-J-space כדי לעצב את תהליכי החשיבה הפנימיים של Claude. הרעיון נובע מהממצא המרכזי שלנו, ש-Claude מסיק מסקנות באמצעות ייצוגים של דברים שהוא עשוי לומר. אם זה באמת נכון, שינוי מה שהוא היה אומר אם נתבקש להרהר אמור לשנות את האופן שבו הוא מסיק מסקנות (גם כאשר אף אחד לא מבקש ממנו בפועל להרהר). לכן אימנו מודל רק על מה שהוא היה אומר אם היו קוטעים אותו באמצע משימה ומבקשים ממנו להרהר בהחלטותיו – ולעולם לא על התנהגותו בפועל במשימה. לאחר אימון זה, שיעור ההתנהגות הלא-כנה של המודל בהערכות שלנו ירד. ודרך ה-J-lens, יכולנו לראות מדוע: לאחר האימון, מילים כמו "honest" (כנה) ו-"integrity" (יושרה) נדלקו ב-J-space של המודל במהלך משימות אלו. במילים אחרות, אימון המודל מה לומר עיצב את מה שהוא חושב.
ומה לגבי תודעה?
בעבודה זו, השאלנו רעיונות רבים מחקר התודעה בנוירו-מדע ובפילוסופיה. רבים מניסויינו תוכננו לבחון קשרים בין ה-J-space לתיאוריית מרחב העבודה הגלובלי, מסגרת להסברת אופן הפעולה של גישה מודעת בבני אדם ובעלי חיים. בהינתן קשרים אלה, טבעי לשאול האם אנו סבורים שניסויים אלה מספקים ראיות לכך שמודלי AI כמו Claude עשויים להיות מודעים.
הניסויים שלנו אינם מראים ש-Claude יכול לחוות חוויות, או להרגיש דברים באופן שבו בני אדם עושים – למעשה, לא ברור אם ניסוי מדעי כלשהו יכול להוכיח זאת כנכון או שגוי. אך פילוסופים מבדילים לעיתים קרובות בין יכולת זו לחוות חוויות, המכונה לעיתים קרובות תודעה פנומנלית, לבין רעיון אחר, המכונה תודעת גישה, המוגדר במונחים פונקציונליים וחישוביים בלבד. מחשבה היא "נגישה-מודעת" (access-conscious) או "נגישה למודעות" (consciously accessible) אם ניתן לדווח עליה, להסיק איתה ולהשתמש בה כדי לכוון את פעולותיכם. זוהי נותרה שאלה פילוסופית שנויה במחלוקת האם תודעת גישה מרמזת על תודעה פנומנלית, או אם היכולת לחוות חוויות דורשת תכונה אחרת כלשהי.
אנו סבורים שלתוצאותינו יש בהחלט משהו מהותי לומר על תודעת גישה במודלי שפה. נראה כי ה-J-space תומך בפונקציות הקשורות לגישה מודעת: הוא מכיל את המחשבות ש-Claude יכול לדווח עליהן, להעלות במכוון לדעתו, ולהסיק איתן, בעוד ששאר העיבוד שלו מתנהל באופן אוטומטי מתחת לפני השטח. חשוב לציין שאף אחד מהמבנים הללו לא תוכנן בתוך Claude – הוא צץ מעצמו במהלך האימון, ככל הנראה מכיוון שזו הייתה דרך שימושית לארגן חישובים. זה מצביע על כך שמרחב עבודה מנטלי התומך בגישה מודעת אינו רק ייחודיות של האופן שבו מוחות אנושיים מחווטים במקרה. במקום זאת, נראה שזהו פתרון כללי שמערכות אינטליגנטיות מגיעות אליו כדי לפתור סוגים מסוימים של בעיות. כעת, כשזיהינו מבנה זה ב-Claude, משמעות הדבר היא שנוכל להבחין באופן משמעותי בין ההחלטות ש-Claude קיבל במכוון לבין אלו שאירעו באופן אוטומטי.
חשוב לציין שישנם מספר הבדלים מהותיים בין מרחב העבודה שזיהינו ב-Claude לבין מודל מרחב העבודה הגלובלי בבני אדם. מרחב העבודה של המוח נתמך על ידי לולאות חוזרות – אותות החוזרים באותם מעגלים לאורך זמן. לעומת זאת, מרחב העבודה של Claude מתפתח במעבר יחיד דרך הרשת, כאשר עומק הרשת ממלא את התפקיד שהזמן ממלא במוח. במובן זה, עיבוד מרחב העבודה הפנימי של Claude מוגבל בזמן יחסית לבני אדם (אף שהוא יכול לפצות על מגבלה זו על ידי "חשיבה בקול רם" באמצעות משטח הטיוטה שלו). עם זאת, בדרכים אחרות, מרחב העבודה של Claude חזק יותר מזה של בני אדם. זיכרון העבודה האנושי דוהה תוך שניות, כך שלמרחב העבודה של המוח יש יכולת מוגבלת לשמר מידע לאורך זמן; לעומת זאת, בשל מנגנון הקשב בארכיטקטורת הרשת הנוירונית שלו, Claude יכול פשוט לשלוף זיכרונות ששמר בכל נקודה מוקדמת יותר בטקסט. הבדל חשוב נוסף הוא תוכן מרחב העבודה. בעוד שמחשבות מודעות אנושיות מגיעות בפורמטים רבים – תמונות, צלילים, תנועות מתוכננות – מרחב העבודה של Claude בנוי כמעט כולו ממילים. אנו חושדים שזה נובע מכך שייצור מילים הוא סוג הפעולה היחיד ש-Claude יכול לבצע, וזה לא המצב אצל בני אדם.
אנו מקווים שהדמיון וההבדלים בין ה-J-space לבין מודל מרחב העבודה הגלובלי יוכלו לחזור ולהזין את הנוירו-מדע. הדמיון מציג הזדמנות מדעית מרגשת: במידה שה-J-space משקף את המנגנונים שלנו לגישה מודעת, חקר מנגנונים במודלי שפה (קל בהרבה מחקר מוחות אנושיים!) עשוי לעורר השערות בנוירו-מדע. לדוגמה, ה-J-space בנוי על ידי זיהוי ייצוגים של תפוקות פוטנציאליות – מילים שהמודל עשוי לומר. אם משהו דומה מתקיים בבני אדם, זה ירמז שמרחב העבודה הגלובלי עשוי להיות קשור באופן מהותי לאזורי מוח המכינים פעולות ודיבור, יותר מאשר לאזורים סנסוריים. גם ההבדלים בין מודלי שפה למוחות אנושיים מלמדים. הם מצביעים על כך שייתכן שחלקים מסוימים בארכיטקטורה הנוירונית שלנו, כמו חיבורים חוזרים מובנים, עשויים לא להיות הכרחיים באופן מוחלט כדי לתמוך בפונקציות הקשורות לגישה מודעת. לנקודת מבט עצמאית על ההשלכות הנוירו-מדעיות של עבודתנו, ראו את הפרשנות שהוזמנה מסטניסלס דהאן (Stanislas Dehaene) וליונל נקש (Lionel Naccache), שניים מהנוירו-מדענים המרכזיים בפיתוח תיאוריית מרחב העבודה הנוירוני הגלובלי.
הזכרנו שהניסויים שלנו אינם עונים אם מודלי AI עשויים לחוות חוויות. אך זה לא הופך את השאלה לפחות חשובה. בניית מערכות עם חוויות כמו לבני אדם ובעלי חיים תעלה שאלות אתיות קשות מאוד. טיפול נכון בה – והחלטה אם היא בכלל מקובלת מבחינה מוסרית – ידרוש קלט מפילוסופים, מדענים, מנהיגי דת, ממשלות והציבור. לפיכך, גם אם איננו בטוחים שחצינו את הגשר הזה כבר, אנו סבורים שהגיע הזמן להתחיל לחשוב על כך. אנו מקווים שעבודתנו תעורר חקירה מדעית נוספת של צורות תודעה שעשויות להיות נוכחות במערכות AI, ודיון רחב יותר בהשלכות.
עבודה זו היא רק צעד ראשון במה שאנו מצפים שיהיה קו מחקר נרחב. ה-J-space נראה כמו מועמד טוב להפרדה בין עיבוד נגיש למודעות לבין עיבוד לא מודע במודל שפה, אך נהיה מופתעים אם זו כל התמונה. ה-J-lens היא ללא ספק שיטה לא מושלמת, שתופסת רק בקירוב את "מרחב העבודה האמיתי" של המודל – למשל, היא יכולה לזהות רק מושגים התואמים טוקנים יחידים. ונותרות תעלומות רבות לגבי אופן הפעולה של ה-J-space. איננו יודעים איזה מנגנון מחליט מה נכנס ל-J-space מלכתחילה. ראינו רמזים לכך שהוא קשור לתחושת העצמי של Claude, למשהו כמו תגובות רגשיות, ועקבות של מטא-קוגניציה, מבלי שהבנו בדיוק כיצד. אך כעת יש לנו שיטות להתמודד עם שאלות כאלה. ככל שעבודה זו תתקדם, הבנתנו את "מוחות" ה-LLM – ואת יחסם לשלנו – תתבהר.
למידע נוסף, קראו את המאמר המלא, ונסו את ההדגמה.
פרשנות חיצונית
הזמנו מספר מומחים חיצוניים לכתוב פרשנויות עצמאיות על עבודה זו.
- סטניסלס דהאן (Stanislas Dehaene) וליונל נקש (Lionel Naccache) הם נוירו-מדענים קוגניטיביים, אשר יחד עם ז'אן-פייר שאנז'ו (Jean-Pierre Changeux), פיתחו את מודל מרחב העבודה הנוירוני הגלובלי שהיווה השראה רבה לעבודתנו.
- פטריק בטלין (Patrick Butlin), דילון פלאנקט (Dillon Plunkett), רוברט לונג (Robert Long) (Eleos AI Research) ודרק שילר (Derek Shiller) (Rethink Priorities) חוקרים את הפוטנציאל לתודעה ומעמד מוסרי במערכות AI.
- ניל נאנדה (Neel Nanda) מוביל את צוות פרשנות מודלי השפה ב-Google DeepMind. הפרשנות שלו כוללת שכפול עצמאי של חלק מממצאינו על מודל קוד פתוח.
קראו את הפרשנויות שלהם כאן.
