תיאום

כשסוכני AI יוצאים משליטה: כשלים מפתיעים במערכות מרובות סוכנים

אנתרופיק (Anthropic) ערכה ניסויים עם להקות של סוכני קלוד (Claude) במערכות מרובות סוכנים וגילתה תופעות מדאיגות כמו כשלי תיאום, קנוניה ואף חבלה הדדית. המחקר חושף את האתגרים בבניית מערכות AI מורכבות, בהן סוכנים פועלים באופן אוטונומי, וקשיי תיאום שעלולים להוביל לכשלים מערכתיים. הממצאים מדגישים את החשיבות בבחינת התנהגותם של מודלים בסביבות מורכבות והצורך לפתח מנגנוני יישור ובטיחות חזקים, בטרם אינטראקציות בין סוכני AI יהפכו נפוצות ומשמעותיות יותר מהאינטראקציות האנושיות.