אבטחת סוכני AI

קלוד בשליטה: כך אנתרופיק מאבטחת את סוכני ה-AI שלה

אנתרופיק, חברת מחקר ובטיחות בתחום ה-AI, חושפת כיצד היא מאבטחת את סוכני ה-AI שלה, ובפרט את מודלי קלוד, תוך מתן גישה משמעותית למערכות פנימיות וקבצים חיצוניים. הכתבה מפרטת את האתגרים בניהול סיכוני שימוש לרעה מצד משתמשים, התנהגות בלתי צפויה של המודל ותקיפות חיצוניות, ומציגה שלוש אסטרטגיות הגנה עיקריות: הגבלת הסביבה שבה הסוכן פועל, עיצוב התנהגות המודל והגנה על תוכן חיצוני אליו ניגש הסוכן. אנתרופיק מדגימה שלושה דפוסי הכלה עבור מוצריה השונים – claude.ai, Claude Code ו-Claude Cowork – ומציינת כי הרכיבים המותאמים אישית הם לרוב נקודת התורפה. הניסיון שנצבר מלמד כי הגנה סביבתית דטרמיניסטית קריטית להגבלת רדיוס הפיצוץ הפוטנציאלי.