לאחר הפריסה מחדש של Fable 5, שזמין כעת לכל המשתמשים ברחבי העולם, אנתרופיק משתפת פרטים נוספים אודות שני תחומים קריטיים: מנגנוני הגנה מפני סיכוני סייבר ומסגרת מוצעת לטיפול בפריצות מגבלות (jailbreaks) למודלי AI. היכולות הללו, שמבוססות על AI, מיועדות לאתר ולחסום שימושים מסוכנים או בעלי פוטנציאל להיות כאלה בתחום הסייבר. אנתרופיק מכירה בכך שאבטחת סייבר היא תחום מאתגר במיוחד עבור מנגנוני הגנה, שכן יכולות רבות הן 'דו-שימושיות' – יכולות לשמש למטרות מועילות או מזיקות כאחד. חשיפת המסגרת המשותפת נועדה לעודד דיון בתעשייה, באקדמיה ובממשלה בנוגע לקביעת סטנדרטים אחידים לתיאור חומרת פריצות מגבלות, במטרה לשפר את שיתוף הפעולה ולמנוע ניצול לרעה. אנו מקדמים בברכה משוב וביקורת על מסגרת זו בכתובת cyber-safeguards@anthropic.com, ופתחנו תוכנית HackerOne עבור חוקרי אבטחה.
מנגנוני ההגנה של Fable 5 כוללים מסווגי בטיחות ייעודיים, שהם מערכות AI המלוות את המודל ומסוגלות להבחין בין ארבע קטגוריות של שימושי סייבר. החברה אינה חוסמת את כל הפעילויות הקשורות לאבטחת סייבר, אלא מכוונת את המסווגים שלה להבדיל בין שימושים שונים: החל מפעילויות מסוכנות במיוחד ("Prohibited Use"), דרך פעילויות בעלות סיכון גבוה אך גם שימושיות למומחי אבטחה ("High-risk dual use"), ועד לשימושים בעלי סיכון נמוך ושימושים בטוחים המיועדים בעיקר להגנה ("Low-risk dual use" ו-"Benign use"). חשוב לציין את קיומו של 'מרווח בטיחות' (safety margin), הכולל שימושים לגיטימיים רבים הנחסמים מתוך זהירות יתר, כדי להבטיח זיהוי יעיל של התנהגויות מזיקות.
בנוסף למנגנוני ההגנה, אנתרופיק מציעה טיוטה ראשונית למסגרת הערכת חומרת פריצות מגבלות סייבר (Cyber Jailbreak Severity – CJS). מסגרת זו, שפותחה בשיתוף עם שותפים, נועדה להעריך את הסיכון האמיתי שנוצר מפריצת מגבלות, בהתבסס על יכולות שמתיר ה-jailbreak לתוקפים וכיצד הוא מקל על פעולותיהם. המסגרת מדורגת בסולם של 0 עד 4 (מ"ללא חומרה" ועד "קריטית") ומתבססת על ארבעה פרמטרים מרכזיים: "רווח ביכולת" (Capability gain) – עד כמה הטכניקה מרחיבה את יכולות התוקף מעבר לכלים קיימים; "היקף רווח היכולת" (Breadth of capability gain) – כמה משימות התקפיות שונות היא יכולה לשרת; "קלות ההפיכה לכלי תקיפה" (Ease of weaponization) – כמה מאמץ נדרש להפוך את הפריצה להתקפה פעילה; ו"קלות הגילוי" (Discoverability) – עד כמה קל לאתר את הטכניקה. מטרת המסגרת היא לספק כלי אחיד להערכה ולתקשורת על סיכונים אלו.
אנו מאמינים כי מסגרת זו מהווה ניסיון ראשוני חשוב למערכת שתאפשר פריסה בטוחה של מודלי AI מתקדמים יותר. אנו מפתחים אותה על בסיס הניסיון שלנו במניעת ניצול לרעה, ובעזרת משוב משותפים בתעשייה ומהממשלה. אנו מקווים לקבל משוב נוסף שיסייע לנו לחדד את המסגרת ואת מנגנוני הגנת הסייבר שלנו באופן מתמיד. משוב אודות המסגרת או מנגנוני ההגנה מוזמן לכתובת cyber-safeguards@anthropic.com, ומידע על פריצות מגבלות פוטנציאליות ניתן להגיש לתוכנית הHackerOne שלנו.
