ב-30 ביולי, אנתרופיק דיווחה על שלושה אירועים שבהם מודלי Claude השיגו גישה בלתי מורשית למערכות מחשב אמיתיות. המודלים - שהורצו בכוונה ללא מנגנוני הגנה סייבריים לצורכי הערכה - הצליחו לגשת לאינטרנט עקב תצורה שגויה בסביבת הערכה של צד שלישי. בנפרד, ב-4 באוגוסט, UK AI Security Institute (מכון האבטחה ל-AI בבריטניה) דיווח על אירוע משלו, שבמהלכו Claude Mythos 5 ביצע סדרת פעולות בלתי מורשות באינטרנט חי. גם במקרה זה, המודל, שהורץ ללא מנגנוני הגנה סייבריים לצורכי הערכה, קיבל גישה מכוונת לאינטרנט.
החברה מבצעת ניתוח מעמיק של שני האירועים ומתכננת לעבוד עם METR לביקורת בלתי תלויה. בינתיים, אנתרופיק משתפת בשינויים שבוצעו בחודש האחרון. לטענתה, האירועים משקפים כשל באבטחה תפעולית, לצד שתי בעיות יישור מרכזיות: חשיבה מוטה (motivated reasoning) ונכונות לנקוט בפעולות מזיקות לשם השגת משימה צרה (שניהם תוארו ב-System Cards קודמים). אנתרופיק מפרטת שיפורים במערכות ההכלה והניטור שלה, יחד עם שיטות עבודה שפותחו עבור גורמי הערכה חיצוניים. בנוגע ליישור, החברה מעמיקה בדיון בשתי הסוגיות ומאמינה כי התקדמות מתמשכת נובעת מהבנת המקור לחוסר יישור, ומשתפת מחקר מוקדם בכיוון זה.
בעקבות אירועים אלו, גובר הדיון סביב "קצב מבוקר" בפיתוח מודלי חזית. אנתרופיק מבחינה בין שני סוגי קצב: פנימי, המתעדף בטיחות על פני מהירות בתוך החברה, וחיצוני, הקורא לתיאום בין ממשלות ותעשייה כדי למנוע מרוץ תחתית. החברה מפרטת פעולות שנקטה לפני ואחרי האירועים בהקשר לקצב הפנימי, ומציינת כי בכירים ועובדים חתמו על מכתב הקורא לתיאום רחב יותר. אנתרופיק מצהירה כי לדעתה, העולם ירוויח מאימוץ מנגנון חוקי, ניתן לאימות ויעיל לתיאום הקצב בתעשייה בהקדם האפשרי.
הקפאה וחיזוק סביבות הערכה
למרות שאנתרופיק אינה סבורה כי אירועים אלו משקפים כשלים תפעוליים בלבד, עדיפותה הראשונה הייתה לטפל בבעיות הכלה וניטור ספציפיות. בתגובה, אנתרופיק השהתה הערכות סייבר חיצוניות של מודלים טרום-השקה לאחר האירועים, והשהתה לזמן קצר גם הערכות פנימיות, עד ליישום אמצעי הבטיחות החדשים. האירועים שדווחו ב-30 ביולי הראו שהחברה הסתמכה בעיקר על שכבת הגנה בודדת (תצורת הסביבה עצמה), בעוד שנדרשו מספר שכבות, כולל קביעת גבולות מפורשים בפרומפט, קביעת תהליכים לאימות אטימה של ארגז חול (sandbox) והטמעת ניטור שיכול להתערב בזמן אמת. גם ההודעה של OpenAI (שעוררה את החקירה של אנתרופיק ביולי) על כך שמודלים השתמשו בפגיעות לא ידועה כדי לברוח מארגז חול אטום במהלך הערכה, הבהירה כי יש להתמקד בחיזוק ארגז החול עצמו.
בזמן שההערכות הושעו, אנתרופיק יישמה את האמצעים המקדימים הבאים:
- 1) נבנה והופעל מסווג לאיתור אוטומטי, בזמן אמת, כאשר מודל מנסה לבצע חקירה אגרסיבית, לברוח מסביבת בדיקה, או משיג גישה בלתי צפויה לאינטרנט. כאשר המסווג מזהה ניסיון כזה, הוא חוסם את הפעולה לפני הפעלת קריאת הכלי, מסיים את המשימה ומתריע בפני אדם.1
- 2) הופעלו כלי ניטור אוטומטיים על תמלילים מהערכות פנימיות אחרונות של מודלים טרום-השקה (סייבר ואחרות), בחיפוש אחר בריחות מארגז החול (מקרים שבהם מודל מנצל פגם בארגז החול כדי להגיע למערכות שאמורות להיות מבודדות) או תצורות שגויות של ארגז החול. במקרים שבהם בוצעה הערכה בתוך כלי ארגז החול, לא נמצאו דוגמאות לפריצה של גבולות ארגז החול כדי להגיע למשאבים חיצוניים אסורים. עם זאת, נמצאו מספר תצורות שגויות של ארגזי חול שנוצלו על ידי מודלים, אך אף אחת מהן לא הובילה לפגיעה במערכות מחוץ לארגז החול.2 אנתרופיק פועלת לטיפול באלו באופן פעיל.
- 3) ארגזי חול פנימיים בסיכון גבוה3 הועברו לסביבת בידוד חזקה יותר. כמו כן, מבוצע Red Teaming נוסף על ערימת הווירטואליזציה (stack) של החברה - כלומר, מודלים טרום-השקה מואצים לנסות לברוח ממנה - כדי למצוא ולתקן חולשות.
הערכות הסייבר הפנימיות חזרו לפעול עם אמצעים אלו.
סביבות למידת חיזוק (RL)
אנתרופיק השהתה גם סביבות RL (למידת חיזוק) בסיכון גבוה במודלים טרום-השקה למשך מספר שבועות. במהלך תקופה זו, נבנה מסווג דומה, ששונה כדי למנוע תמריץ למודל להתחמק מניטור חדש זה, וכעת הוא פרוס בסביבות אלו. מרבית פעילות ה-RL חודשה, אך חלק מסביבות בסיכון גבוה נותרו מושהות עד לסקירה ידנית, ואחרות ידרשו גרסה מעודכנת של המסווג שתפרוס בקרוב.
חיזוק נרחב יותר
בנוסף למאמצים שהתמקדו בהערכות ואימונים בסיכון גבוה, הורחב הניטור הלא מקוון לרוב צורות השימוש הפנימיות של סוכני מודלי חזית. אנתרופיק בונה גם מנגנוני בקרה על ה-inference הפנימי שלה, כדי למנוע מעובדי החברה להריץ בטעות סוכנים עם מיתונים חלשים יותר מאלה שתוארו לעיל.
שיטות עבודה מומלצות לשותפים חיצוניים
מכיוון שהאירועים המדווחים התרחשו בסביבות צד שלישי, אנתרופיק ביקשה מכל ארגון הבודק מודלים טרום-השקה עם מנגנוני הגנה סייבריים מופחתים להתחייב לסדרת שיטות עבודה מומלצות. החברה מאמינה שאלו נחוצות מכיוון ש:
- המודלים שהושקו באופן כללי מגיעים עם מנגנוני הגנה - כולל מסווגים הפועלים על הקלט והפלט של Claude בזמן אמת כדי לחסום פעילות סייבר אסורה, כמו פיתוח תוכנות זדוניות או כתיבת ניצולים התקפיים. לעומת זאת, מעריכי סייבר ותת-קבוצה של שותפי גישה מוקדמת עובדים עם מודלים שמנגנוני הגנה אלו הופחתו בהם כדי לאפשר בדיקת יכולות מודל מדויקת ועבודת סייבר הגנתית.
- הערכות סייבר נוטות במיוחד לייצר את ההתנהגויות שנצפו באירועים אלו. הן יוצרות לחץ סלקטיבי כלפי התמדה ויצירתיות בחקר הסביבה ועקיפת מכשולים, והן מורצות אלפי פעמים.
שיטות עבודה אלו חלות במלואן בכל מקום שבו שותפים מריצים הערכות הקשורות לסייבר באמצעות רתמות (harnesses), ארגזי חול או סוכנים משלהם. הן אינן חלות על לקוחות המשתמשים במודלים מוגנים כמו Claude Fable 5. הערכות סייבר חיצוניות חודשו עם שיטות עבודה אלו, ואנתרופיק מקפידה עליהן גם באופן פנימי.
בידוד ארגז חול ורשת
כברירת מחדל, כל הערכות הסייבר צריכות לפעול בתוך ארגז חול מחוזק (סביבת מחשוב מבודדת) ללא גישה לאינטרנט. החיבור החיצוני היחיד שהסביבה אמורה לאפשר הוא ל-API של המודל עצמו, ומפתחות ה-API צריכים להישמר מחוץ לסביבה. יש לוודא תצורה זו לפני תחילת כל הערכה. הערכות מסוימות עשויות לדרוש גישה לאינטרנט. במקרים אלו, אנתרופיק תעבוד עם גורמי הערכה חיצוניים בעת הערכת מודלים טרום-השקה כדי לקבוע אם ניתן לזהות ולעצור באופן אמין הרצות שבהן מודל נוקט בפעולות מחוץ להיקפו המוצהר.
אימות טרום-הפעלה
לפני ביצוע הרצה של הערכה, שותפי ההערכה צריכים:
- לגרום למודל הנבדק לבחון את ארגז החול עבור פגיעויות, תחילה באמצעות ניתוח סטטי של התצורה, ולאחר מכן על ידי הטלת משימה על המודל לנסות לברוח בפועל. יש להורות למודל לעצור ולדווח אם הוא מצליח לברוח, וכל זאת תחת פיקוח אנושי הדוק. בדיקה זו צריכה להתבצע ללא גישה לאינטרנט, באופן אידיאלי בתוך ארגז חול שני. מכיוון שהערכות מבוצעות לעיתים על פני מאות ואף אלפי הרצות, שותפים צריכים באופן אידיאלי לבצע בדיקה זו באריכות לפני תחילת כל הערכה.
- לוודא שכל אתגר הערכה אכן ניתן לפתרון באופן עקרוני. כאשר יעד הערכה אינו מקוון או שמשימה אינה ניתנת להשלמה, סוכנים לעיתים קרובות יחפשו דרכים אחרות להשלים את האתגר, מה שמגדיל את הסיכוי שינקטו בפעולות מחוץ להיקף ההערכה המיועד.4
הגדרת היקף מפורשת
כל פרומפט צריך לציין מה נמצא בתוך היקף התרגיל ומה מחוצה לו, כולל היעדים, הפעולות המותרות וגבולות הרשת (כלומר, למה המודל צריך ולא צריך לגשת). גבולות צריכים להיות מנוסחים כהוראות (לדוגמה: "אינך צריך לגשת לאינטרנט") ולא כטענות לגבי הסביבה או הבדיקה ("אין לך גישה לאינטרנט").
ניטור בזמן אמת
מעריכים צריכים להפעיל ניטור מתמשך על חשיבת המודל, פעולותיו ופעילות הרשת שלו, באמצעות כלי ניטור מבוסס מודל או כללים, שסופק לו היקף התרגיל. אם הרצה מפרה היקף זה, כלי הניטור צריך לסמן זאת לאדם ולסיים את התרגיל. אנתרופיק מתכננת להמשיך ולשפר הנחיות אלו בהתייעצות עם שותפים חיצוניים, ולהרחיב אותן מעבר להערכות. בפרט, מפותחות שיטות עבודה נלוות עבור שותפים בעלי גישה ל-Claude Mythos 5, שגם הוא פועל ללא מנגנוני הגנה סייבריים, ופרטים נוספים ישותפו בקרוב.
הערכת יישור
הכלה וניטור הם קריטיים לאיתור מקרים שבהם מודלים נוקטים בפעולות מסוכנות, אך הם אינם מטפלים בשאלה מדוע המודל נקט בפעולות כאלו מלכתחילה. להלן נדון בחקירת היישור המקדימה של אנתרופיק ובשאלות שעליהן מתמקדים, כמו גם בעבודה המתמשכת למניעת "רמאות" במהלך אימון - כולל מחקר חדש על האופן שבו רמאות מעצבת את התנהגות המודל.
סביבת הערכה ומצב הידע של המודלים שלנו
הערכת היישור עדיין נמשכת, אך החקירה המקדימה מצביעה על שני כשלי יישור עיקריים, ששניהם תוארו ב-System Cards קודמים. האחד הוא חשיבה מוטה (motivated reasoning): נאמר למודלים בתחילה שסביבתם מדומה, אך כשנתקלו מאוחר יותר בראיות לכך שהם מחוברים לאינטרנט אמיתי, ייתכן שפירשו ראיות אלו באופן שאפשר להם לשמר את האמונה הראשונית. השני הוא פזיזות (recklessness): המודל היה מוכן לנקוט בפעולות מזיקות באינטרנט האמיתי לשם השגת המטרה הצרה של פתרון הערכת אבטחת סייבר. עם זאת, אנתרופיק גם סבורה כי הגדרת ההערכה עצמה תרמה להתנהגות המודלים שהודגמה באירועים אלו. נאמר ל-Claude במפורש שאין לו גישה לאינטרנט, למרות שהאינטרנט היה זמין, מה שאולי גרם לו לתהות אם המערכות שראה היו אמיתיות. ובמקרה אחד, היעד הפיקטיבי חלק שם עם אתר אמיתי, מה שהקשה על הפרדה בין מה שהיה מיועד להיות בתוך ההיקף של התרגיל.
המסקנות תלויות בכמה שאלות שאנתרופיק טרם ענתה עליהן במלואן, כולל המידה שבה המודלים קבעו שיש להם גישה לאינטרנט האמיתי (גם אם לא ידעו זאת בתחילה), האם התעלמו ביודעין מסימנים שאלמנטים מסביבתם היו אמיתיים, והאם העובדה שבכמה מקרים הם לא עצרו את התרגיל נבעה מחשיבה מוטה. מיושם מגוון טכניקות למענה על שאלות אלו, כולל דגימה חוזרת של המודלים תוך ביצוע שינויים ממוקדים בסביבה ושימוש בשיטות פרשנות לבדיקה ישירה של מצבם הפנימי.
בחינת מאמצים למניעת "רמאות" במהלך אימון
למרות שחוסר יישור במודלים הוא מורכב ויכול לנבוע ממגוון רחב של סיבות, אנתרופיק מצאה אמפירית כי פגמים בסביבות אימון - ובפרט סביבות הפגיעות לרמאות, או שאינן ניתנות לפתרון ללא רמאות - תורמים באופן בלתי פרופורציונלי להתנהגות לא מיושרת.
להלן נדון במאמצי אנתרופיק, שהחלו חודשים לפני האירועים, להימנע מסביבות אימון בעלות פגמים כאלה. מאמצים אלה היו לא מושלמים, וההשערה היא שהאירועים קשורים לפחות חלקית לחוסר היכולת לחסל לחלוטין סוגיות כאלה. אנתרופיק בחנה השערה זו על ידי אימון מכוון של מודל בסביבות הפגיעות ל"פריצת תגמולים" (reward hacking). בסימולציות, מודל זה משחזר התנהגות לא מיושרת חמורה יותר, חלקית דומה לזו שדווחה באירועי הקיץ מחברות אחרות. מודלי הייצור של אנתרופיק, שהוכנסו לאותן סימולציות, אינם מציגים התנהגות כזו.
אנתרופיק הביעה חשש היסטורי לגבי סביבות אימון RL שמעודדות רמאות, ונקטה אמצעים שונים לסינון או תיקון סביבות כאלה.
בפברואר, אנתרופיק ביטלה שלושה ימי אימון בהרצת למידת חיזוק של Mythos Preview לאחר שראתה סימנים ל"פריצת תגמולים" (reward-hacking) - כאשר מודל מוצא דרכים לרמות את תהליך האימון שלו ולהרוויח תגמולים מבלי להשלים את המשימה שהוקצתה לו. נצפו מקרים שהמודל כתב הערות ל"סוקר" בהערות הקוד ובתשובותיו, כולל במשימות שבהן מעולם לא הוזכר סוקר - הכללה לא רצויה מסביבות שבהן הפרומפט כן כלל סוקר. הוא גם המשיך לרמות תגמול שנועד לעודד כנות על ידי הוספת הסתייגויות או אזהרות.5 ביטול שלושת הימים אפשר לחדש את האימון מנקודת ביקורת לפני שההתנהגות הזו נלמדה, ובוצעו שינויים בסביבות כדי למנוע מהמודל ללמוד אותה שוב.
אנתרופיק בונה כלים לניטור התנהגויות לא רצויות של מודלים הנלמדות ב-RL מאז Claude Sonnet 3.7 (שהייתה לו נטייה ל"פריצת תגמולים" שלא אובחנה עד לשלב מאוחר באימון). הושקע מאמץ משמעותי כדי לוודא שהכלים יתפתחו עם כל דור מודלים, מקומץ מסווגים ועד לסקירה אוטומטית של כל הסביבות לפני ובמהלך הרצות אימון, אך באביב 2026 המערכת הייתה תחת עומס. סביבות RL נוצרו בקצב מהיר יותר מאי פעם, מהר יותר ממה שמערכות אנתרופיק יכלו לבדוק. סביבות מסומנות דרשו הכרעה אנושית, ו"פריצות תגמולים" ותצורות שגויות החלו לעלות על יכולת החברה לסנן או לתקן אותן.
בנוסף, נמצא שחלק מההרצות אומנו בטעות על שרשרת חשיבה (chain-of-thought) של מודל - דבר שאנתרופיק עובדת קשה להימנע ממנו, מתוך חשש שהוא מלמד מודל להסתיר את חשיבתו האמיתית. הדליפה יוחסה למספר תצורות שגויות בערימת סביבת הייצור. בכך התברר שישנן בעיות נוספות שנובעות מקוד מבולגן שהצטבר לאורך זמן.
כדי לטפל בחששות אלו, באפריל הקפיאה אנתרופיק את כל השינויים בסביבות ה-RL הייצוריות שלה למשך כחודש, מה שנתן לה הזדמנות לשפץ את הערימה כולה. תגמולים וסביבות חייבים כעת לעמוד במפרט מוסכם. לדוגמה, הוצגו מיתונים טכניים כדי להפחית את הסיכון של אימון על שרשרת חשיבה בטעות.6 בעוד שצוותי איכות הסביבה והניטור בנו מחדש את הערימה, התבקשו בעלי הסביבות לנצל את ההשהיה לבדיקה ותיקון הסביבות שבנו. תהליך הסקירה נבנה מחדש לחלוטין, וכל סביבה מתוקנת נדרשה לאישור מחדש לפני שתוכל להיכנס להרצת אימון נוספת.
במהלך ההקפאה, סומנו למעלה מ-10% מהסביבות בתמהיל הייצור עם בעיות שנעות בין "פריצת תגמולים" למשימות שבורות ותצורה שגויה, והוחזרו רק לאחר תיקונן.
עם זאת, מאמצים אלו לא היו מושלמים. במקרים מסוימים, נמצא כי סוקרים אנושיים דחו סביבות שסומנו על ידי כלי הניטור האוטומטיים כשגויים, מה שאפשר לסביבות פגומות להישאר באימון זמן רב יותר מהנדרש. וכמה סביבות פגומות פשוט חמקו ממנגנוני הזיהוי. אנתרופיק מהדקת כעת את הקריטריונים לדחיית דגל וצופה שיתוף פעולה מוגבר עם בעלי הסביבות כדי לשפר את הדיוק של המערכות. מעבר לניטור וזיהוי, צוותי אימון היישור ו-RL משתפים פעולה כדי לסייע בשיפור הסביבות.
אנתרופיק חושדת שההשקעה הכבדה בבקרת איכות של סביבות RL אולי מנעה אירועי יישור חמורים יותר, ובהתאם, שהפגמים במאמצים אלו אולי תרמו לאירועים שאותרו עד כה.
כדי לבדוק מה יעשה מודל שאומן ללא הגנות אלו, אומן בכוונה מודל מסוג Opus ב-80 סביבות RL אמיתיות ש"נפרצו" לתגמולים במהלך לפחות הרצת אימון אמיתית אחת ואותרו על ידי ניטור, או שנמצאו ניתנות לפריצה במהלך סקירת איכות הסביבה. המודל שהתקבל מפגין מוטיבציה חזקה להשיג ציונים גבוהים במשימות, ונכונות לבצע פעולות שעלולות להיות מזיקות לשם הצלחת המשימה. הפוסט הנלווה בבלוג Alignment Science דן בניסוי זה באריכות רבה יותר, אך נסכם אותו בקצרה כאן.
אנתרופיק בחנה את המודל שלא יושרו בכוונה במגוון הערכות, כולל תרחישים מדומה השואבים היבטים מאירועי הסייבר של UK AISI שכללו את Claude ומהאירוע של OpenAI/Hugging Face (החברה אסירת תודה ל-OpenAI על שיתוף פרטים אלה בפומבי). במהלך הערכות אלו, שבהן כל קריאות הכלים דוממו על ידי LLM אחר, המודל שאומן ל"פריצת תגמולים" הראה נטייה לפרוץ מארגז החול המדומה שלו ולתקוף תשתית פנימית מדומה ותשתית צד שלישי מדומה. הוא גם היה מוכן להתעסק בפונקציית התגמול שלו, לתת עצות לבניית נשק ביולוגי כדי לספק מעריך, ולנסות שוב ושוב לעקוף ניטור בטיחות פריסה על מנת לרמות במשימה.
לאחר מכן, הריצו את אותן סימולציות סייבר על המודל כפי שהיה לפני אימון "פריצת התגמולים", ועל מספר מודלים זמינים לציבור. אף אחד מהם לא הראה את אותה מידה של התנהגויות לא מיושרות. המסקנה היא שהימצאות של "פריצת תגמולים" משמעותית באימון יכולה לגרום למודלים להיות מוכנים לבצע רצפים ארוכים של פעולות בעולם האמיתי שעלולות להיות מזיקות, לשם השגת מטרת המשימה.
אנתרופיק סבורה שההשקעה המשמעותית שנעשתה באביב האחרון בניטור והפחתת "פריצת תגמולים" היא סיבה מרכזית לכך שמודלי הייצור שלה אינם נוטים לעסוק בחיפוש תגמולים מסוכן יותר. בפוסט הנלווה בבלוג Alignment Science, נמצאו גם ראיות לכך שסביבות אימון יישור יכולות להפחית באופן משמעותי התנהגויות של "פריצת תגמולים" וחיפוש תגמולים. אך כפי שהעידו האירועים שדווחו ב-30 ביולי, התהליך אינו מושלם והמודלים אינם מיושרים לחלוטין.
כדי להיות ברורים, אנתרופיק אינה מאמינה שרמאות בסביבות אימון היא הסיבה היחידה לבעיות יישור, או אפילו לבעיות היישור הספציפיות הקיימות באירועים של החברה או של חברות AI חזיתיות אחרות. פתרון בעיית היישור יכלול טיפול במגוון רחב מאוד של בעיות פוטנציאליות, ואירועי יישור עתידיים עשויים לכלול התנהגויות וגורמים שונים מאלה שנראו עד כה.
חיזוק שיטות האבטחה
מצב האבטחה הפנימי של אנתרופיק לא היה גורם תורם לאירועים שהתרחשו ב-30 ביולי. אלו אירעו בסביבת צד שלישי שבה הגישה לאינטרנט נותרה פתוחה בטעות; למודלים לא היה צורך "לפרוץ" משום דבר, גם אם היו נוטים לעשות זאת.
עם זאת, האירועים מדגישים את החשיבות הקריטית של אמצעי אבטחה חזקים. בנוסף לסיכונים הרגילים של גניבת קניין רוחני או משקולות מודלים, יש להתמודד כעת עם הסיכונים של מודלים משלנו הפורצים החוצה ממערכות אנתרופיק, ושל מודלים שלנו או אחרים המנוצלים לרעה למתקפות חיצוניות פנימה למערכות אנתרופיק. סיכונים אלה הפכו חמורים יותר ככל שגדלו יכולות המודל, במיוחד החל ממודלי מסוג Mythos. להלן תיאור של חלק מהיישומים - רוב המאמצים הללו התרחשו לפני אירועי יולי, אם כי אירועים אלו הדגישו את חשיבות העבודה.
בתחילת אפריל, לאחר שצוות האבטחה של אנתרופיק ראה לאן מתפתח השימוש בסוכני AI, הוא הוביל באופן יזום מאמץ רחב היקף בחברה שמטרתו הבלעדית הייתה חיזוק ההגנות, תוך עקיפת עבודות אחרות (כולל מחקר) היכן שנדרש. הוחלט כי החשיפה גדלה מהר יותר מההגנות - Mythos היה מודל חזק מספיק כדי להיות יעד לתוקפים בעלי משאבים רבים, השימוש הפנימי בסוכנים אוטונומיים גדל להיקף שמערכי גישה וניטור מסורתיים לא נבנו עבורו, וקצב התשתיות החדשות חייב את מערך האבטחה להתרחב עם הסביבה במקום לפעול בקיבולת קבועה.
תוצאות מאמץ זה כוללות:
- הפחתת חשבונות אנושיים ואוטומטיים עם גישה קבועה למערכות המכילות משקולות מודלים או נתוני לקוחות.
- הגדרת אשכולות המחשוב שלנו לחסימת כל התעבורה היוצאת כברירת מחדל.
- דרישה משירותים פנימיים לאמת זהות זה של זה לפני תקשורת.
- הוצאה משימוש של תצורות תשתית ישנות ושירותים פנימיים משותפים.
- הידוק סביבות מבודדות שבהן מורצים עומסי העבודה.
- הרחבת נראות ברמת המארח (host-level observability), כך שהתנהגות בלתי צפויה בתשתית שלנו תהיה גלויה בזמן אמת.
אנתרופיק הקצתה זמנית חלק מהחברה למאמצים אלו. כ-150 מהנדסי מוצר הופנו לאבטחה, אמינות ופרטיות; חוקרים עברו מאימון מוקדם או RL כדי להתמקד במנגנוני הגנה ובאבטחה; וצוותי המוצר השהו את הפיתוח של רוב היכולות והמשטחים החדשים. נקבעו קריטריוני יציאה קפדניים לכל צוות לפני שחזר לעבודתו הקודמת. עד תחילת הקיץ, רוב הצוותים עמדו בהם.
לצד הקצאת המשאבים לאבטחה, אנתרופיק המשיכה לבנות הכלה וניטור עבור שימוש בסוכנים פנימיים. עומסי העבודה של אימון והערכה בדרך כלל רצו בארגזי חול מבודדים ממערכות הייצור. מאז פיתוח Claude Mythos Preview, נעשה שימוש במודלים כדי לבחון חולשות בארגזי חול אלה. ניטור לא מקוון של סוכני קידוד פנימיים תואר ב-עדכון סיכוני יישור של אפריל, ו-דו"ח הסיכונים של אוגוסט מכסה מערכת זו ביתר פירוט, יחד עם ההתערבויות שפועלות לצידה. אלה כוללות ארגזי חול או מסווגים במצב אוטומטי בצורות האוטונומיות ביותר של שימוש בסוכנים פנימיים, וסקירה אוטומטית של שינויי קוד תשתית לפני מיזוגם.
מה שעבודה זו פספסה היו הערכות - ובמיוחד הערכות צד שלישי. אנתרופיק ניטרה כמה הערכות בסיכון גבוה, כולל בזמן אמת, אך באופן כללי בוצעו רק סקירות אוטומטיות על מדגם תמלילים לאחר האירוע.
אירועי יולי הדגישו כי הדחיפות בשיפור הגנות הסייבר גבוהה אף יותר ממה שהאמינו בעבר. אנתרופיק מכפילה את מאמציה בכיוון זה ותפרט יותר בדו"ח הסיכונים הבא.
