קלוד חושב לעומק: Anthropic חושפת יכולות חשיבה מורחבות | Anthropic IL
בטיחות
קלוד חושב לעומק: Anthropic חושפת יכולות חשיבה מורחבות
10 דקות קריאה
בקצרה
אנתרופיק השיקה את Claude 3.7 Sonnet עם יכולת חדשנית הנקראת "מצב חשיבה מורחבת", המאפשרת למודל להקדיש זמן ומאמץ רב יותר למשימות מורכבות. בנוסף, המודל חושף את תהליך החשיבה הפנימי שלו, מה שמגביר שקיפות ואמון, אך גם מעלה שאלות חשובות בנוגע לבטיחות ולנאמנות. Claude 3.7 Sonnet מפגין גם יכולות סוכני משופרות, שהודגמו בהצלחה במדדי ביצועים כמו OSWorld ואף במשחק פוקימון, ומשלב מנגנוני הגנה מתקדמים נגד סיכונים כמו הזרקת פרומפטים ותוכן מזיק.
קלוד חושב לעומק
איור הממחיש את תהליך החשיבה המורחב של קלוד.
יש דברים שמופיעים אצלנו כמעט באופן מיידי: "איזה יום היום?" אחרים דורשים סיבולת מנטלית רבה יותר, כמו פתרון תשבץ קריפטי או איתור באגים בקוד מורכב. אנו יכולים לבחור להשקיע יותר או פחות מאמץ קוגניטיבי בהתאם למשימה שלפנינו.
כעת, גם ל-Claude יש גמישות דומה. עם Claude 3.7 Sonnet החדש, משתמשים יכולים להפעיל או לכבות "מצב חשיבה מורחבת", המורה למודל לחשוב לעומק רב יותר על שאלות מסובכות יותר. מפתחים אף יכולים להגדיר "תקציב חשיבה" כדי לשלוט במדויק כמה זמן Claude מקדיש לבעיה.
מצב חשיבה מורחבת אינו אפשרות שמעבירה למודל אחר עם אסטרטגיה נפרדת. במקום זאת, הוא מאפשר לאותו מודל להעניק לעצמו יותר זמן, ולהשקיע יותר מאמץ, בהגעה לתשובה.
יכולת החשיבה המורחבת החדשה של Claude מעניקה לו דחיפה מרשימה באינטליגנציה. אך היא גם מעלה שאלות רבות וחשובות עבור אלה המתעניינים באופן פעולת מודלי AI, כיצד להעריך אותם, וכיצד לשפר את בטיחותם. בפוסט זה, אנו משתפים כמה מהתובנות שצברנו.
תהליך החשיבה הגלוי
בנוסף ליכולת להעניק ל-Claude לחשוב זמן רב יותר ובכך לענות על שאלות קשות יותר, החלטנו להפוך את תהליך החשיבה שלו לגלוי בצורתו הגולמית. לזה יש מספר יתרונות:
אמון. היכולת לצפות באופן שבו Claude חושב מקלה על הבנת ובדיקת תשובותיו — ועשויה לעזור למשתמשים לקבל פלטים טובים יותר.
יישור. בחלק ממחקר יישור קודמים שביצענו, השתמשנו בסתירות בין מה שהמודל חושב באופן פנימי לבין מה שהוא אומר באופן חיצוני כדי לזהות מתי הוא עשוי לעסוק בהתנהגויות מדאיגות כמו הונאה.
עניין. לעיתים קרובות מרתק לצפות ב-Claude חושב. כמה מחוקרינו בעלי רקע במתמטיקה ופיזיקה ציינו עד כמה תהליך החשיבה של Claude דומה באופן מצמרר לדרך ההסקה שלהם בפתרון בעיות קשות: בחינת זוויות וענפי חשיבה רבים ושונים, ובדיקה כפולה ומשולשת של התשובות.
שתפו את הכתבה
שיתוף
אך לתהליך חשיבה גלוי יש גם כמה חסרונות. ראשית, משתמשים עשויים לשים לב שהחשיבה שנחשפת מנותקת ופחות אישית מהפלטים הרגילים של Claude. הסיבה לכך היא שלא ביצענו אימון אופי סטנדרטי על תהליך החשיבה של המודל. רצינו לתת ל-Claude מרווח פעולה מרבי בחשיבת כל המחשבות הנדרשות כדי להגיע לתשובה — וכמו בחשיבה אנושית, Claude לעיתים מוצא את עצמו חושב מחשבות שגויות, מטעות או לא אפויות במלואן בדרך. משתמשים רבים ימצאו זאת שימושי; אחרים עשויים למצוא זאת (ואת התוכן הפחות אופייני בתהליך החשיבה) מתסכל.
סוגיה נוספת היא מה שמכונה "נאמנות" — איננו יודעים בוודאות שמה שנמצא בתהליך החשיבה אכן מייצג את המתרחש במוחו של המודל (לדוגמה, מילים באנגלית, כמו אלו המוצגות בתהליך החשיבה, פשוט לא מסוגלות לתאר מדוע המודל מפגין התנהגות מסוימת). בעיית הנאמנות — וכיצד להבטיח אותה — היא אחד מתחומי המחקר הפעילים שלנו. עד כה, תוצאותינו מצביעות על כך שמודלים לעיתים קרובות מקבלים החלטות בהתבסס על גורמים שאינם דנים בהם במפורש בתהליך החשיבה שלהם. המשמעות היא שאיננו יכולים להסתמך על ניטור חשיבת המודלים הנוכחיים כדי לטעון טענות חזקות לגבי בטיחותם.
שלישית, הדבר מעלה מספר חששות בטיחות וביטחון. גורמים זדוניים עשויים להשתמש בתהליך החשיבה הגלוי כדי לבנות אסטרטגיות טובות יותר לפריצת מגבלות (jailbreak) של Claude. באופן ספקולטיבי הרבה יותר, ייתכן גם שאם מודלים ילמדו במהלך אימון שמחשבותיהם הפנימיות יוצגו לראווה, הם עשויים להיות מונעים לחשוב בדרכים שונות ופחות צפויות — או להסתיר בכוונה מחשבות מסוימות.
חששות אחרונים אלו יהיו חריפים במיוחד עבור גרסאות עתידיות ובעלות יכולות גבוהות יותר של Claude — גרסאות שיכלו להוות סיכון גדול יותר אם יהיו לא מיושרות. אנו נשקול את היתרונות והחסרונות של חשיפת תהליך החשיבה במהדורות עתידיות. בינתיים, תהליך החשיבה הגלוי ב-Claude 3.7 Sonnet צריך להיחשב כתצוגה מקדימה למחקר.
בחינות חדשות ליכולות החשיבה של Claude
Claude כסוכן
Claude 3.7 Sonnet נהנה ממה שאנו מכנים "סקיילינג פעולה" — יכולת משופרת המאפשרת לו לבצע קריאת פונקציות (function calling) באופן איטרטיבי, להגיב לשינויים סביבתיים ולהמשיך עד להשלמת משימה פתוחה. דוגמה אחת למשימה כזו היא שימוש במחשב: Claude יכול להנפיק לחיצות עכבר וירטואליות והקשות מקלדת כדי לפתור משימות עבור משתמש. בהשוואה לקודמו, Claude 3.7 Sonnet יכול להקצות יותר פניות — ויותר זמן וכוח חישוב — למשימות שימוש במחשב, ותוצאותיו לרוב טובות יותר.
אנו רואים זאת בשיפור של Claude 3.7 Sonnet ב-OSWorld, הערכה המודדת את היכולות של סוכני AI רב-מודאליים. Claude 3.7 Sonnet מתחיל קצת טוב יותר, אך ההבדל בביצועים גדל עם הזמן ככל שהמודל ממשיך לקיים אינטראקציה עם המחשב הוירטואלי.
ביצועי Claude 3.7 Sonnet עולים במהירות רבה יותר ב-OSWorld.
Claude משחק פוקימון
יחד, יכולות החשיבה המורחבת ואימון הסוכנים של Claude עוזרים לו להצליח טוב יותר בהערכות סטנדרטיות רבות כמו OSWorld. אך הם גם מעניקים לו דחיפה משמעותית בכמה משימות אחרות, אולי בלתי צפויות יותר.
משחק פוקימון — ובמיוחד, הקלאסיקה מבית Game Boy, *Pokémon Red* — היא בדיוק משימה כזו. ציידנו את Claude בזיכרון בסיסי, קלט פיקסלים מהמסך וקריאות פונקציות כדי ללחוץ על כפתורים ולנווט במסך, מה שאיפשר לו לשחק פוקימון באופן רציף מעבר למגבלות ההקשר הרגילות שלו, ולקיים משחק לאורך עשרות אלפי אינטראקציות.
בגרף שלמטה, שירטטנו את התקדמות הפוקימון של Claude 3.7 Sonnet לצד זו של גרסאות קודמות של Claude Sonnet, שלא כללו את האפשרות לחשיבה מורחבת. כפי שניתן לראות, הגרסאות הקודמות נתקעו בשלב מוקדם מאוד במשחק, כש-Claude 3.0 Sonnet אפילו לא הצליח לצאת מהבית בעיר Pallet שבה מתחיל הסיפור.
אך היכולות הסוכניות המשופרות של Claude 3.7 Sonnet עזרו לו להתקדם הרבה יותר, תוך שהוא נלחם בהצלחה בשלושה מנהיגי מכון פוקימון (הבוסים של המשחק) וזכה בתגים שלהם. Claude 3.7 Sonnet יעיל במיוחד בניסוי אסטרטגיות מרובות ובהטלת ספק בהנחות קודמות, מה שמאפשר לו לשפר את יכולותיו שלו ככל שהוא מתקדם.
Claude 3.7 Sonnet הצליח להתקדם משמעותית יותר במשחק פוקימון בהשוואה לגרסאות קודמות.
פוקימון היא דרך מהנה להעריך את היכולות של Claude 3.7 Sonnet, אך אנו מצפים שליכולות אלו תהיה השפעה בעולם האמיתי הרבה מעבר למשחקים. יכולת המודל לשמור על מיקוד ולהשיג יעדים פתוחים תעזור למפתחים לבנות מגוון רחב של סוכני AI מתקדמים.
חישוב טורי ומקבילי בזמן הסקה
כאשר Claude 3.7 Sonnet משתמש ביכולת החשיבה המורחבת שלו, ניתן לתאר זאת כהנאה מ"חישוב טורי בזמן הסקה" (serial test-time compute). כלומר, הוא משתמש במספר שלבי הסקה עוקבים לפני הפקת הפלט הסופי שלו, ומוסיף משאבי חישוב ככל שהוא מתקדם. באופן כללי, זה משפר את ביצועיו בצורה צפויה: הדיוק שלו, לדוגמה, בשאלות מתמטיקה משתפר לוגריתמית עם מספר "טוקני חשיבה" שמותר לו לדגום.
דיוק המודל בפתרון בעיות מתמטיות עולה עם הגדלת מספר טוקני החשיבה.
חוקרינו התנסו גם בשיפור ביצועי המודל באמצעות "חישוב מקבילי בזמן הסקה" (parallel test-time compute). הם עושים זאת על ידי דגימת מספר תהליכי חשיבה בלתי תלויים ובחירת הטוב ביותר מבלי לדעת את התשובה האמיתית מראש. דרך אחת לעשות זאת היא באמצעות הצבעת רוב או קונצנזוס; בחירת התשובה המופיעה בתדירות הגבוהה ביותר כ'טובה ביותר'. דרך אחרת היא שימוש במודל שפה אחר (כמו עותק שני של Claude) המבקש לבדוק את עבודתו או פונקציית ניקוד מאומנת ובחירת מה שהוא חושב שהוא הטוב ביותר. אסטרטגיות כאלו (יחד עם עבודות דומות) דווחו בתוצאותהערכה של מודליAIאחרים.
השגנו שיפורים מרשימים באמצעות סקיילינג חישוב מקבילי בזמן הסקה בהערכת GPQA, סט נפוץ של שאלות מאתגרות בביולוגיה, כימיה ופיזיקה. באמצעות חישוב שווה ערך ל-256 דגימות בלתי תלויות, מודל ניקוד מאומן, ותקציב חשיבה מרבי של 64 אלף טוקנים, Claude 3.7 Sonnet השיג ציון GPQA של 84.8% (כולל תת-ציון בפיזיקה של 96.5%), ונהנה מסקיילינג מתמשך מעבר למגבלות הצבעת הרוב. אנו מדווחים על תוצאותינו הן עבור שיטות מודל הניקוד שלנו והן עבור שיטת הצבעת הרוב להלן.
שיפור ניכר בביצועי Claude 3.7 Sonnet במבחן GPQA עם שימוש בחישוב מקבילי.
שיטות כאלה מאפשרות לנו לשפר את איכות התשובות של Claude, לרוב מבלי שנצטרך לחכות לו שיסיים את מחשבותיו. Claude יכול לקיים מספר תהליכי חשיבה מורחבים שונים בו-זמנית, מה שמאפשר לו לשקול יותר גישות לבעיה ובסופו של דבר לדייק הרבה יותר. סקיילינג חישוב מקבילי בזמן הסקה אינו זמין במודל שפרסנו כעת, אך אנו ממשיכים לחקור שיטות אלו לעתיד.
מנגנוני הבטיחות של Claude 3.7 Sonnet
רמת בטיחות AI.מדיניות הסקיילינג האחראי של אנתרופיק מחייבת אותנו לא לאמן או לפרוס מודלים אלא אם כן יישמנו אמצעי בטיחות וביטחון מתאימים. צוות ה-Frontier Red Team וצוות בדיקות עומס יישור שלנו ביצעו בדיקות מקיפות על Claude 3.7 Sonnet כדי לקבוע אם הוא דורש את אותה רמת הגנה וביטחון כמו המודלים הקודמים שלנו — הידועה כתקן רמת בטיחות AI (ASL) 2 — או אמצעים חזקים יותר.
הערכה מקיפה שלנו ל-Claude 3.7 Sonnet אישרה שתקן הבטיחות הנוכחי שלנו, ASL-2, נותר מתאים. יחד עם זאת, המודל הראה תחכום מוגבר ויכולות מוגברות בכל התחומים. במחקרים מבוקרים שבדקו משימות הקשורות לייצור נשק כימי, ביולוגי, רדיולוגי וגרעיני (CBRN), הבחנו ב"שיפור ביצועים" מסוים בקרב משתתפים בסיוע מודל בהשוואה למשתתפים ללא סיוע. כלומר, המשתתפים הצליחו להתקדם רחוק יותר להשגת הצלחה מאשר היו מצליחים רק באמצעות מידע זמין באינטרנט. עם זאת, כל הניסיונות לבצע משימות אלו הכילו כשלים קריטיים, שמנעו לחלוטין את ההצלחה.
Red Teaming מומחה של המודל הפיק משוב מעורב. בעוד שחלק מהמומחים ציינו שיפורים בידע של המודל בתחומים מסוימים של תהליכי CBRN, הם מצאו גם שתדירות הכשלים הקריטיים הייתה גבוהה מדי להשלמה מוצלחת של משימות מקצה לקצה. אנו משפרים באופן יזום את אמצעי ASL-2 שלנו על ידי האצת הפיתוח והפריסה של מסווגים ומערכות ניטור ממוקדות.
בנוסף, יכולות המודלים העתידיים שלנו עשויות לדרוש מאיתנו לעבור לשלב הבא: הגנות ASL-3. עבודתנו האחרונה על Constitutional Classifiers למניעת פריצות מגבלות (jailbreaks), יחד עם מאמצים אחרים, מעמידה אותנו במצב טוב ליישם את דרישות תקן ASL-3 בעתיד הקרוב.
תהליך חשיבה גלוי. גם ברמת ASL-2, תכונת החשיבה המורחבת הגלויה של Claude 3.7 Sonnet חדשה, ולכן דורשת מנגנוני הגנה חדשים ומתאימים. במקרים נדירים, תהליך החשיבה של Claude עשוי לכלול תוכן שעלול להזיק (נושאים כוללים בטיחות ילדים, מתקפות סייבר ונשק מסוכן). במקרים כאלה, אנו נצפין את תהליך החשיבה: זה לא ימנע מ-Claude לכלול את התוכן בתהליך החשיבה שלו (שעדיין יכול להיות חשוב להפקת תגובות שפירות לחלוטין), אך החלק הרלוונטי של תהליך החשיבה לא יהיה גלוי למשתמשים. במקום זאת, הם יראו את ההודעה "המשך תהליך החשיבה אינו זמין עבור תגובה זו". אנו שואפים שהצפנה זו תתרחש לעיתים רחוקות, ורק במקרים שבהם הפוטנציאל לנזק גבוה.
שימוש במחשב. לבסוף, שיפרנו את אמצעי הבטיחות שלנו עבור יכולת השימוש במחשב של Claude (שבה דנו לעיל: היא מאפשרת ל-Claude לראות את מסך המחשב של המשתמש ולבצע פעולות בשמו). עשינו התקדמות ניכרת בהגנה מפני "מתקפות הזרקת פרומפטים" (prompt injection), שבהן צד שלישי זדוני מסתיר הודעה סודית במקום כלשהו ש-Claude עשוי לראות אותה בעת שימוש במחשב, ועשוי לגרום לו לבצע פעולות שהמשתמש לא התכוון אליהן. עם אימון חדש להתנגדות להזרקת פרומפטים, System Prompt חדש הכולל הוראות להתעלם ממתקפות אלו, ומסווג המופעל כאשר המודל נתקל בהזרקת פרומפטים פוטנציאלית, אנו מונעים כעת מתקפות אלו ב-88% מהמקרים, לעומת 74% מהמקרים ללא מנגנוני ההגנה.
האמור לעיל הוא רק סיכום קצר של חלק מעבודת הבטיחות הנרחבת שלנו על Claude 3.7 Sonnet. למידע נוסף, תוצאות אנליטיות, וכמה דוגמאות למנגנוני ההגנה בפעולה, עיין בSystem Card המלא שלנו.
שימוש ב-Claude
אתם יכולים להשתמש ב-Claude 3.7 Sonnet כבר עכשיו ב-Claude.ai או ב-API שלנו. וכפי ש-Claude יכול כעת ליידע אתכם מה הוא חושב, אנו מקווים שגם אתם תיידעו אותנו מה אתם חושבים. אנא שלחו את המשוב שלכם על המודל החדש לכתובת feedback@anthropic.com.
2. מחקר הנאמנות שלנו מתואר בהרחבה ב-System Card שלנו. אנו גם מקווים שהבנה מלאה של הסיבות להתנהגות של מודל, ברמת האקטיבציות ברשת הנוירונית שלו, עשויה להיות מושגת באמצעות התקדמות עתידית בפרשנות מכניסטית.
3. ייתכן שיש דרך ביניים בין חשיפת תהליך החשיבה בשלמותו לבין שמירתו חבוי לחלוטין. ייתכן שיהיה עדיף, לדוגמה, לאמן את המודל להיות תמיד אמיתי כאשר הוא נשאל על תהליך החשיבה הפנימי שלו, אך לא לחשוף מחשבות אלו כברירת מחדל (ואולי להיות מסוגל לסרב לבקשות מסוימות).
4. זה מגיע עם שיעור חיובי שגוי (false-positive rate) של 0.5% (כאשר מנגנוני ההגנה מופעלים למרות שאין מתקפת הזרקת פרומפטים). אנו פועלים לצמצום שיעור זה ככל שאנו מפתחים את מנגנוני הבטיחות שלנו.
