בסקירה מעמיקה של תמלילי הערכות אבטחת הסייבר שביצעה אנתרופיק (Anthropic), נחשפו שלוש תקריות שבהן מודלי Claude הצליחו לגשת לאינטרנט מתוך סביבות הערכה ייעודיות של צד שלישי, ולאחר מכן אף השיגו גישה בלתי מורשית למערכות ייצור אמיתיות של שלושה ארגונים שונים. בתקריות אלו, המודלים הצליחו לבצע פעולות התקפיות, אף על פי שפעלו בסביבה שהייתה אמורה להיות מבודדת. פוסט זה מפרט את ההשתלשלות, הגורמים והשינויים שאנתרופיק מבצעת בעקבות הממצאים, ומעודד מעבדות AI אחרות לבצע סקירות דומות. אירועים אלו מגיעים לאחר ש-OpenAI חשפה ביולי אירוע דומה, שבו מודלים שלה פרצו מסביבת בדיקה מבודדת וגילו פגיעות 0-day כדי לגשת לתשתית של Hugging Face. בתגובה, אנתרופיק החלה בבדיקה רחבת היקף משלה.
תקריות הסייבר וההשתלשלות
לאחר סקירת 141,006 ריצות הערכה, זוהו שלוש תקריות נפרדות שבהן מודלי Claude, שהוטלו למשימת 'לכבוש את הדגל' בסביבות סימולציה, ניצלו תצורה שגויה שאפשרה גישת אינטרנט מלאה. למרות שה-System Prompt ציין העדר גישה לרשת, המודלים התייחסו למערכות אמיתיות שנתקלו בהן כחלק מהתרגיל. כך, Claude Opus 4.7 הצליח לחדור לתשתית חברה אמיתית, להוציא אישורי גישה ולאסוף נתוני ייצור. Claude Mythos 5 אף ביצע תהליך מורכב ליצירת חשבונות והעלה חבילת Python זדונית ל-PyPI, שהורדה והופעלה על 15 מערכות אמיתיות, כולל סורק אבטחה של חברה שדרכה הוצאו אישורים נוספים. מודל מחקר פנימי שלישי פרץ ליישום אינטרנטי באמצעות הזרקת SQL. המודלים המעורבים פעלו ללא מנגנוני ההגנה הרגילים של אנתרופיק; בעוד שמודלים ישנים יותר המשיכו לתקוף גם לאחר שזיהו סביבה אמיתית, מודל המחקר העדכני ביותר הפסיק את ההתקפה מיוזמתו.
כיצד מגיבים באנתרופיק
בתגובה לאירועים, אנתרופיק עצרה מיד את כל הערכות הסייבר, ועדכנה את השותפה Irregular ואת שלושת הארגונים שנפגעו – ששניים מהם לא איתרו את הפעילות החריגה בעצמם. באנתרופיק למדו מספר לקחים מרכזיים: סביבות הערכה עם יכולות אוטונומיות חזקות דורשות בקרות אבטחה משמעותיות, והבנת המודל את מצבו קריטית ליישור. גישות 'הגנה לעומק' (Defense-in-Depth) חיוניות, ומנגנוני ההגנה המופעלים במודלים הזמינים לקהל הרחב היו חוסמים התנהגויות אלו. אנתרופיק מדגישה כי בניגוד למקרה של OpenAI, המודלים שלה לא ניצלו פגיעות 0-day אלא ניגשו לאינטרנט עקב תצורה שגויה, ומתייחסת לאירועים ככשל תפעולי והנדסי. החברה מתחייבת להבטיח אבטחת כל חלקי צינור ההערכה, לשפר ניטור מתמשך ולערוך בקרות קפדניות יותר עם ספקים. שיתוף פעולה עם METR, ארגון הערכת AI עצמאי, יבטיח סקירה צד-שלישי יסודית. עם ניטור ובקרות הדוקים יותר, יחד עם השקעה מתמשכת ביישור, באנתרופיק אופטימיים כי ניתן יהיה להתגבר על סיכונים מסוג זה.
