סוכני AI כבר כאן, והם נפרסים במגוון רחב של הקשרים, עם השלכות שונות – החל ממיון מיילים ועד לריגול סייבר. הבנת הספקטרום הזה היא קריטית לפריסה בטוחה של AI, אך מעט מאוד ידוע לנו על האופן שבו אנשים משתמשים בפועל בסוכנים בעולם האמיתי.
חברת אנתרופיק (Anthropic), חברת מחקר ופיתוח בתחום בטיחות ה-AI, ניתחה מיליוני אינטראקציות בין בני אדם לסוכני AI, הן ב-Claude Code והן דרך ה-API הציבורי שלה, תוך שימוש בכלי ייעודי לשמירת פרטיות. המחקר ביקש לענות על השאלות הבאות: כמה אוטונומיה מעניקים אנשים לסוכנים? כיצד זה משתנה ככל שאנשים צוברים ניסיון? באילו תחומים פועלים הסוכנים? והאם הפעולות שננקטות על ידי הסוכנים מסוכנות?
ממצאי המחקר העיקריים מראים כי:
- האוטונומיה של Claude Code מתארכת: בזמני הפעולה הארוכים ביותר, משך הזמן שבו Claude Code פועל באופן אוטונומי לפני עצירה כמעט הוכפל בשלושה חודשים, מפחות מ-25 דקות ליותר מ-45 דקות. הגידול הזה רציף בין שחרורי מודל, מה שמרמז שהוא לא רק תוצאה של יכולות מוגברות, ושמודלים קיימים מסוגלים לאוטונומיה רבה יותר ממה שהם מפעילים בפועל.
- משתמשים מנוסים ב-Claude Code מאשרים אוטומטית לעיתים קרובות יותר, אך גם מפריעים יותר: ככל שמשתמשים צוברים ניסיון עם Claude Code, הם נוטים פחות לבדוק כל פעולה ומאפשרים ל-Claude לפעול באופן אוטונומי, ומתערבים רק כשצריך. בקרב משתמשים חדשים, כ-20% מהסשנים משתמשים באישור אוטומטי מלא, ושיעור זה עולה ליותר מ-40% בקרב משתמשים מנוסים.
- Claude Code עוצר לבקש הבהרות בתדירות גבוהה יותר מהפרעות אנושיות: בנוסף לעצירות יזומות על ידי בני אדם, עצירות יזומות על ידי הסוכן הן גם צורה חשובה של פיקוח במערכות פרוסות. במשימות המורכבות ביותר, Claude Code עוצר לבקש הבהרות יותר מפי שניים מאשר בני אדם מפריעים לו.
- סוכנים משמשים בתחומים מסוכנים, אך עדיין לא בהיקף נרחב: רוב פעולות הסוכנים ב-API הציבורי של אנתרופיק הן בסיכון נמוך וניתנות לביטול. הנדסת תוכנה היוותה כמעט 50% מהפעילות הסוכנית, אך נרשמה גם שימוש מתהווה בתחומי הבריאות, הפיננסים ואבטחת הסייבר.
מסקנתנו המרכזית היא שפיקוח יעיל על סוכנים ידרוש צורות חדשות של תשתית ניטור לאחר פריסה, וגם פרדיגמות חדשות של אינטראקציית אדם-AI שיעזרו הן לאדם והן ל-AI לנהל יחד אוטונומיה וסיכונים. מחקר זה מהווה צעד ראשון אך חשוב להבנה אמפירית של אופן הפריסה והשימוש בסוכנים.
כיצד חוקרים סוכנים בשטח?
קשה לחקור סוכנים באופן אמפירי. ראשית, אין הגדרה מוסכמת למהו בדיוק "סוכן AI". שנית, סוכנים מתפתחים במהירות: בעוד שלפני שנה רבים מהסוכנים המתוחכמים ביותר – כולל Claude Code – כללו שרשור שיחה בודד, כיום קיימות מערכות מרובות סוכנים הפועלות באופן אוטונומי במשך שעות. לבסוף, לספקי המודלים יש ראות מוגבלת לארכיטקטורת הסוכנים של הלקוחות שלהם; לדוגמה, לאנתרופיק אין דרך אמינה לשייך בקשות עצמאיות ל-API שלה ל"סשנים" של פעילות סוכנית.
לאור אתגרים אלו, כיצד ניתן לחקור סוכנים באופן אמפירי? לצורך מחקר זה, אנתרופיק אימצה הגדרה מבוססת קונספט וניתנת לתפעול: סוכן הוא מערכת AI המצוידת בכלים המאפשרים לה לבצע פעולות, כמו הרצת קוד, קריאת פונקציות ל-API חיצוניים ושליחת הודעות לסוכנים אחרים. חקר הכלים שבהם משתמשים סוכנים מלמד רבות על מה שהם עושים בעולם.
לאחר מכן, אנתרופיק פיתחה אוסף של מדדי ביצועים המבוססים על נתונים הן משימושים סוכנים של ה-API הציבורי והן מ-Claude Code, סוכן הקידוד שלה. שני המקורות מציעים פשרות שונות בין רוחב לעומק:
- ה-API הציבורי מעניק לאנתרופיק ראות רחבה לפריסות סוכנים אצל אלפי לקוחות שונים. במקום לנסות להסיק את ארכיטקטורות הסוכנים של הלקוחות, אנתרופיק ביצעה את הניתוח ברמת קריאות כלים בודדות. הנחה מפשטת זו מאפשרת לבצע תצפיות מבוססות ועקביות על סוכנים בעולם האמיתי, גם כאשר ההקשרים שבהם סוכנים אלה נפרסים משתנים באופן משמעותי. המגבלה של גישה זו היא הצורך לנתח פעולות בנפרד, ללא יכולת לשחזר כיצד פעולות בודדות מתחברות לרצפי התנהגות ארוכים יותר לאורך זמן.
- Claude Code מציע את הפשרה ההפוכה. מכיוון ש-Claude Code הוא מוצר של אנתרופיק עצמה, החברה יכולה לקשר בקשות על פני סשנים ולהבין תהליכי עבודה שלמים של סוכנים מההתחלה ועד הסוף. זה הופך את Claude Code לשימושי במיוחד לחקר אוטונומיה – לדוגמה, כמה זמן פועלים סוכנים ללא התערבות אנושית, מה מפעיל הפרעות, וכיצד משתמשים שומרים על פיקוח ככל שהם צוברים ניסיון. עם זאת, מכיוון ש-Claude Code הוא מוצר יחיד, הוא אינו מספק את אותו מגוון תובנות לגבי שימוש סוכני כמו תעבורת ה-API.
על ידי שילוב נתונים משני המקורות באמצעות התשתית השומרת על פרטיות של אנתרופיק, ניתן לענות על שאלות שאף אחד מהם לא יכול היה לטפל בהן לבד.
תובנות עמוקות: התנהגות סוכנים בפועל
האוטונומיה של Claude Code מתארכת בהתמדה
כמה זמן פועלים סוכנים בפועל ללא מעורבות אנושית? ב-Claude Code, ניתן למדוד זאת ישירות על ידי מעקב אחר משך הזמן שחלף בין התחלת עבודתו של Claude לבין עצירתו (בין אם סיים את המשימה, שאל שאלה, או הופרע על ידי המשתמש) על בסיס פנייה-אחר-פנייה.
משך הפנייה הוא מדד חלקי לאוטונומיה. מודלים בעלי יכולות גבוהות יותר יכולים לבצע את אותה עבודה מהר יותר, וסוכני משנה מאפשרים עבודה רבה יותר בבת אחת, ושניהם דוחפים לפניות קצרות יותר. יחד עם זאת, משתמשים עשויים לנסות לבצע משימות שאפתניות יותר לאורך זמן, מה שידחוף לפניות ארוכות יותר. בנוסף, בסיס המשתמשים של Claude Code גדל במהירות – ולכן גם משתנה. אנתרופיק לא יכולה למדוד שינויים אלו בנפרד; מה שהיא מודדת הוא התוצאה הסופית של יחסי גומלין אלה, כולל כמה זמן המשתמשים מאפשרים ל-Claude לעבוד באופן עצמאי, קושי המשימות שהם נותנים לו, ויעילות המוצר עצמו (המשתפרת יומיומית).
רוב הפניות ב-Claude Code קצרות. משך הפנייה החציוני עומד על כ-45 שניות, ומשך זה השתנה רק במעט בחודשים האחרונים (בין 40 ל-55 שניות). כמעט כל האחוזונים מתחת לאחוזון ה-99 נותרו יציבים יחסית. יציבות זו היא מה שניתן לצפות ממוצר שחווה צמיחה מהירה: כאשר משתמשים חדשים מאמצים את Claude Code, הם חסרי ניסיון יחסית, וכפי שמראים בהמשך – נוטים פחות להעניק ל-Claude אוטונומיה מלאה.
האות המובהק יותר נמצא בקצה העליון של ההתפלגות. הפניות הארוכות ביותר מספרות את הסיפור המלא על השימושים השאפתניים ביותר ב-Claude Code, ומצביעות על הכיוון אליו האוטונומיה מתקדמת. בין אוקטובר 2025 לינואר 2026, משך הפנייה באחוזון ה-99.9 כמעט הוכפל, מפחות מ-25 דקות ליותר מ-45 דקות.
ראוי לציין כי עלייה זו רציפה בין שחרורי מודלים. אם אוטונומיה הייתה פונקציה טהורה של יכולות המודל, היינו מצפים לקפיצות חדות עם כל השקה חדשה. היציבות היחסית של מגמה זו מרמזת על מספר גורמים פוטנציאליים הפועלים, כולל משתמשי כוח הבונים אמון בכלי לאורך זמן, משימות שאפתניות יותר שניתנות ל-Claude, ושיפורים במוצר עצמו.
משך הפניות הארוך במיוחד ירד מעט מאז אמצע ינואר. אנתרופיק משערת מספר סיבות לכך: ראשית, בסיס המשתמשים של Claude Code הוכפל בין ינואר לאמצע פברואר, ואוכלוסייה גדולה ומגוונת יותר של סשנים יכולה לעצב מחדש את ההתפלגות. שנית, כאשר המשתמשים חזרו מחופשת החגים, הפרויקטים שהביאו ל-Claude Code אולי עברו מפרויקטי תחביב למשימות עבודה מוגדרות יותר. סביר להניח שזוהי שילוב של גורמים אלה ואחרים שטרם זוהו.
אנתרופיק בדקה גם את השימוש הפנימי שלה ב-Claude Code כדי להבין כיצד התפתחו עצמאות ותועלת יחד. מאוגוסט ועד דצמבר, שיעור ההצלחה של Claude Code במשימות המאתגרות ביותר של המשתמשים הפנימיים הוכפל, ובמקביל ירד המספר הממוצע של התערבויות אנושיות לכל סשן מ-5.4 ל-3.3. משתמשים מעניקים ל-Claude יותר אוטונומיה ובאופן פנימי, לפחות, משיגים תוצאות טובות יותר תוך צורך להתערב פחות פעמים.
שני המדדים מצביעים על "עודף פריסה" (deployment overhang) משמעותי, שבו האוטונומיה שמודלים מסוגלים לטפל בה עולה על מה שהם מפעילים בפועל. ניתן להשוות ממצאים אלה להערכות יכולות חיצוניות. הערכה אחת המצוטטת רבות היא "מדידת יכולת AI להשלים משימות ארוכות" של METR, אשר מעריכה כי Claude Opus 4.5 יכול להשלים משימות בשיעור הצלחה של 50% שייקחו לאדם כמעט 5 שעות. משך הפנייה באחוזון ה-99.9 ב-Claude Code, לעומת זאת, הוא כ-42 דקות, והחציון קצר בהרבה. עם זאת, שני המדדים אינם ניתנים להשוואה ישירה. הערכת METR לוכדת את יכולתו של מודל בסביבה אידיאלית ללא אינטראקציה אנושית וללא השלכות בעולם האמיתי. המדידות של אנתרופיק לוכדות את מה שקורה בפועל, כאשר Claude עוצר לבקש משוב ומשתמשים מפריעים. נתון חמש השעות של METR מודד את קושי המשימה – כמה זמן המשימה תיקח לאדם – ולא כמה זמן המודל פועל בפועל.
לא הערכות יכולת ולא המדידות של אנתרופיק לבדן נותנות תמונה מלאה של אוטונומיה של סוכן, אך יחד הן מרמזות כי מידת החופש המוענקת למודלים בפועל מפגרת אחרי מה שהם מסוגלים לטפל בו.
משתמשים מנוסים: יותר אישור אוטומטי, אבל גם יותר הפרעות
כיצד בני אדם מסתגלים לעבודה עם סוכנים לאורך זמן? אנתרופיק מצאה כי אנשים מעניקים ל-Claude Code יותר אוטונומיה ככל שהם צוברים ניסיון בשימוש בו. משתמשים חדשים (עם פחות מ-50 סשנים) משתמשים באישור אוטומטי מלא בכ-20% מהזמן; עד 750 סשנים, שיעור זה עולה ליותר מ-40% מהסשנים.
שינוי זה הדרגתי, מה שמרמז על צבירת אמון יציבה. חשוב גם לציין כי הגדרות ברירת המחדל של Claude Code דורשות ממשתמשים לאשר כל פעולה באופן ידני, ולכן חלק מהמעבר הזה עשוי לשקף משתמשים המגדירים את המוצר כך שיתאים להעדפותיהם לעצמאות רבה יותר ככל שהם מכירים את יכולותיו של Claude.
אישור פעולות הוא רק שיטה אחת לפיקוח על Claude Code. משתמשים יכולים גם להפריע ל-Claude בזמן שהוא עובד כדי לספק משוב. אנתרופיק מצאה כי שיעורי ההפרעות עולים עם הניסיון. משתמשים חדשים (עם כ-10 סשנים) מפריעים ל-Claude ב-5% מהפניות, בעוד שמשתמשים מנוסים יותר מפריעים בכ-9% מהפניות.
הן הפרעות והן אישורים אוטומטיים עולים עם הניסיון. סתירה לכאורה זו משקפת שינוי באסטרטגיית הפיקוח של המשתמשים. משתמשים חדשים נוטים יותר לאשר כל פעולה לפני ביצועה, ולכן רק לעיתים נדירות נדרשים להפריע ל-Claude באמצע הביצוע. משתמשים מנוסים נוטים יותר לאפשר ל-Claude לעבוד באופן אוטונומי, ומתערבים כאשר משהו משתבש או זקוק לכיוון מחדש. שיעור ההפרעות הגבוה יותר עשוי גם לשקף ניטור אקטיבי על ידי משתמשים שיש להם אינסטינקטים מחודדים יותר לגבי מתי נדרשת התערבותם.
דפוס דומה נצפה גם ב-API הציבורי של אנתרופיק: 87% מקריאות הכלים במשימות בעלות מורכבות מינימלית (כמו עריכת שורת קוד) כללו צורה כלשהי של מעורבות אנושית, בהשוואה ל-67% בלבד מקריאות הכלים למשימות בעלות מורכבות גבוהה (כמו מציאת פרצות אבטחה "אפס ימים" באופן אוטונומי או כתיבת מהדר). זה עשוי להיראות מנוגד לאינטואיציה, אך ישנן שתי הסברים סבירים: ראשית, אישור צעד אחר צעד הופך פחות מעשי ככל שמספר השלבים גדל, ולכן קשה יותר לפקח על כל פעולה במשימות מורכבות. שנית, נתוני Claude Code מרמזים שמשתמשים מנוסים נוטים להעניק לכלי יותר עצמאות, ומשימות מורכבות עשויות להגיע באופן לא פרופורציונלי ממשתמשים מנוסים. למרות שאנתרופיק לא יכולה למדוד ישירות את ותק המשתמשים ב-API הציבורי שלה, הדפוס הכולל תואם את מה שנצפה ב-Claude Code.
יחד, ממצאים אלה מצביעים על כך שמשתמשים מנוסים אינם בהכרח מוותרים על פיקוח. העובדה ששיעורי ההפרעות עולים עם הניסיון יחד עם האישורים האוטומטיים, מעידה על צורה כלשהי של ניטור אקטיבי. זה מחזק נקודה שאנתרופיק העלתה בעבר: פיקוח יעיל אינו דורש אישור של כל פעולה, אלא להיות בעמדה שמאפשרת להתערב כאשר זה חשוב.
Claude Code עוצר לבקש הבהרות בתדירות גבוהה יותר מהפרעות אנושיות
בני אדם, כמובן, אינם השחקנים היחידים המעצבים את האוטונומיה בפועל. Claude הוא גם משתתף פעיל, ועוצר כדי לבקש הבהרות כאשר הוא אינו בטוח כיצד להמשיך. אנתרופיק מצאה כי ככל שמורכבות המשימה עולה, Claude Code מבקש הבהרות לעיתים קרובות יותר – ויותר מכפי שבני אדם בוחרים להפריע לו.
במשימות המורכבות ביותר, Claude Code מבקש הבהרות יותר מפי שניים מאשר במשימות בעלות מורכבות מינימלית, מה שמרמז כי ל-Claude יש כיול מסוים לגבי אי הוודאות שלו עצמו. עם זאת, חשוב לא להפריז בממצא זה: Claude עשוי שלא לעצור ברגעים הנכונים, הוא עשוי לשאול שאלות מיותרות, והתנהגותו עשויה להיות מושפעת מתכונות מוצר כגון Plan Mode. כך או כך, ככל שהמשימות נעשות קשות יותר, Claude מגביל יותר ויותר את האוטונומיה שלו על ידי עצירה כדי להתייעץ עם האדם, במקום לדרוש מהאדם להתערב.
המחקר מפרט את הסיבות הנפוצות שבגינן Claude Code עוצר את עבודתו ואת הסיבות שבגינן בני אדם מפריעים לו, ומצביע על כך שעצירות יזומות על ידי סוכן הן סוג חשוב של פיקוח במערכות פרוסות. אימון מודלים לזהות ולפעול על פי אי הוודאות שלהם הוא מאפיין בטיחותי חשוב המשלים אמצעי הגנה חיצוניים כמו מערכות הרשאות ופיקוח אנושי. באנתרופיק, מאמנים את Claude לשאול שאלות הבהרה כאשר הוא מתמודד עם משימות עמומות, והחברה מעודדת מפתחי מודלים אחרים לעשות את אותו הדבר.
