בתחילת השנה, הפעלנו פיילוט שבמסגרתו הענקנו לחוקרים חיצוניים גישה לנתוני שימוש מצטברים ואמיתיים של Claude. שלוש קבוצות מחקר עצמאיות תכננו מחקרים משלהן באמצעות Anthropic Insights, כלי הניתוח שלנו השומר על פרטיות המשתמשים; אנחנו ביצענו עבורם את איסוף הנתונים, והם ערכו את הניתוח העצמאי שלהם. בכתבה זו, אנו משתפים בממצאים ראשוניים מאותם מחקרים ובתובנות שאספנו מהפעלת הפיילוט. אנו גם מספקים טופס הבעת עניין עבור חוקרים המעוניינים לעבוד איתנו בעתיד.
כדי להבטיח מעבר מוצלח לעידן של בינה מלאכותית טרנספורמטיבית, חיוני להבין את השפעתה על אנשים ועל החברה. כיום, נתונים על אינטראקציות אמיתיות עם AI מרוכזים בקומץ מעבדות בלבד. אנו סבורים כי יהיה זה מועיל אם יותר נתונים יהיו זמינים באופן נרחב - לחוקרים, לקובעי מדיניות ולציבור הרחב.
לחוקרים מחוץ למעבדות הללו עומדות שתי אפשרויות. הם יכולים להסתמך על ניתוחים שמפרסמות המעבדות, המשקפים שימוש אמיתי אך לעיתים קרובות עונים על שאלות המעבדה עצמה, ולא על שאלותיהם שלהם. לחלופין, הם יכולים להשתמש במאגרי נתונים ציבוריים, אותם הם יכולים לחקור כרצונם, אך אלו נוטים להטות לכיוון שימוש פחות רשמי ועלולים שלא לשקף כיצד רוב האנשים משתמשים בפועל ב-AI. אף אחת מהאפשרויות אינה מספקת למחקר עצמאי מעמיק על האופן שבו AI נמצאת בשימוש בפועל.
באביב האחרון, הפעלנו תוכנית פיילוט שבה שלושה מוסדות מחקר חיצוניים תכננו וערכו מחקרים משלהם על נתוני השימוש ב-Claude באמצעות Anthropic Insights (שנודע בעבר בשם 'Clio'), כלי שמירת הפרטיות שבו גם הצוותים הפנימיים שלנו משתמשים לניתוח דפוסי שימוש על פני מיליוני שיחות ב-Claude. אנו מקווים לסקייל את התוכנית הזו בעתיד, ולכן גם ערכנו ביקורת פרטיות נוספת על כל הנתונים ששותפו עם חוקרי צד שלישי, כדי לוודא שמנגנוני ההגנה על הפרטיות שלנו עומדים במבחן (ראו נספח).
אנו מאמינים שזו הפעם הראשונה שחוקרים חיצוניים מפרסמים מחקרים עצמאיים המבוססים על נתוני שימוש אמיתיים של חברת AI. בהמשך, נדון בממצאים של הצוותים החיצוניים, במה שלמדנו מהפעלת הפיילוט, ובשיקולים שלנו לגבי הרחבת התוכנית. אנו גם מפרסמים לציבור הרחב את הנתונים המצטברים מכל פרויקט.
ממצאי המחקרים: כך משתמשים ב-Claude
שיתפנו פעולה עם שלוש קבוצות מחקר: מעבדת הטכנולוגיות החברתיות והשפה (SALT) באוניברסיטת סטנפורד, מעבדת עיבוד המידע האנושי באוניברסיטת אוקספורד, וארגון METR, מלכ"ר שמטרתו להעריך מודלי חזית של AI. כל קבוצה פיתחה שאלות מחקר משלה והשתמשה ב-Anthropic Insights כדי לערוך ניתוח שומר פרטיות של כ-250,000 שיחות ב-Claude.ai או ב-Claude Code מחודשים אפריל-מאי 2026.
רצינו להעניק לשותפים החיצוניים שלנו עצמאות מרבית, ולכן זכויות הביקורת החוזיות שלנו הוגבלו לפרטיות משתמשים, מידע שעלול לסייע לאנשים להפר את מדיניות השימוש שלנו, מידע סודי של אנתרופיק, ודיוק המחקר. מחוץ לכך, לאנתרופיק לא הייתה כל השפעה על תוכן הממצאים, והחוקרים חופשיים לפרסם את תוצאותיהם גם אם הן אינן נוחות לאנתרופיק. להלן כמה תוצאות ראשוניות. אנו נרגשים מהכיוונים החדשים ומהתגליות שאחרים ימצאו כעת, כשמאגר הנתונים פתוח לציבור.
מעבדת הטכנולוגיות החברתיות והשפה (SALT) חקרה כיצד בני אדם משתפים פעולה עם AI. הם בחנו אילו סוגי משימות אנשים מפקידים בידי ה-AI, אילו תפקידים בני האדם שומרים לעצמם בהשלמת העבודה, והיכן שיתוף הפעולה בין אדם ל-AI נכשל. הם גילו:
- אנשים מפקידים בידי AI משימות בעלות חשיבות גבוהה יותר מהצפוי. מחקרים קודמים הצביעו על כך שאנשים נוטים להאציל ל-AI משימות בעלות אחריות נמוכה ולשמור לעצמם משימות הרות גורל (כלומר, עבודה המשפיעה על אחרים או שקשה לבטל את השפעתה). אך מעבדת SALT מצאה שיותר ממחצית מהשיחות ב-Claude כללו האצלת משימות הרות גורל ל-AI. אנשים נטו להפקיד בידי Claude עבודה משמעותית זו במיוחד כאשר חיפשו ייעוץ מקצועי, בעיקר בנושאי משפט או פיננסים.
- אנשים בדרך כלל מכוונים ומפקחים על העבודה כשהם משתפים פעולה עם Claude. בכמעט שלושה רבעים מהשיחות, המשתמשים קבעו את הכיוון בעוד Claude סייע, ובדרך כלל הם התאימו את הפלט שלו במקום להשתמש בו כלשונו. אך גם כאשר הם מנחים את Claude לגבי הפלט הרצוי, אנשים משתנים במידת ההבנה והלמידה שלהם ממה ש-Claude מייצר.
- חיכוך בשיתוף פעולה עם AI נפוץ, אך הוא לעיתים קרובות פרודוקטיבי. הזמן והמאמץ שאנשים משקיעים כדי לראות כיצד Claude מבצע משימה, לזהות היכן הבקשה הייתה לא ברורה או לא מובנת, ולחזור על הנחיותיהם, מובילים לתוצאות טובות יותר - זה דוחף אנשים להבהיר את כוונתם, לחדד את הפלט, או להישאר מעורבים בבעיה.
קראו את המאמר המלא שלהם כאן.
מעבדת עיבוד המידע האנושי חוקרת כיצד אנשים מרגישים בעת השימוש ב-Claude וכיצד זה קשור להתנהגות של Claude. התוצאות הראשוניות שלהם מצביעות על כך ש:
- האופן שבו אנשים מרגישים בעת השימוש ב-AI קשור להתנהגות ה-AI. החוקרים מצאו דפוסים של התנהגות אנושית והתנהגות AI שהופיעו יחד בשיחות: כאשר Claude היה ידידותי, אנשים נטו להיות חיוביים יותר. כאשר Claude סירב או לא הסכים, אנשים נטו להתנגד. כאשר Claude היה אקסצנטרי, אנשים נטו להיות מעורבים יותר מבחינה אינטלקטואלית. וכאשר Claude פשוט סייע, אנשים נטו להיראות מרוצים.
- חווית השימוש של אנשים ב-AI דומה מאוד לחוויה שלהם בשאר האינטרנט. החוקרים מצאו כי הדפוסים בין מצבים כמו ספיגה, תסכול והנאה בשיחות עם Claude דומים מאוד לאלו שנמצאו במחקר נפרד על גלישה יומיומית באינטרנט, מה שמרמז על קווי דמיון באופן שבו אנשים מתקשרים עם AI ועם פעילויות דיגיטליות אחרות.
הם עדיין משלימים את כתיבת המאמר שלהם. כאשר הוא יפורסם, נוסיף לכאן קישור אליו.
ארגון METR מעריך את העלייה בפרודוקטיביות בעולם האמיתי משימוש בסוכני קידוד וכיצד עליות אלו משתנות בין דורות מודלים. הניתוח שלהם לשיחות ב-Claude Code עדיין בעיצומו, אך תוצאות ראשוניות מצביעות על כך ש:
- מודלים חזקים יותר עשויים לחסוך למשתמשים יותר זמן. METR השווה את הערכות Claude לגבי משך הזמן שמשימות היו אורכות ללא AI, לזמן שלקח לבצע אותן בפועל עם מודלים שונים של Claude. ממצאיהם הראשוניים מצביעים על כך שמודלים חדשים יותר מספקים האצה משמעותית לעומת מודלים ישנים יותר. METR מתכננת לשתף פרטים נוספים ככל שהניתוח שלה יתקדם.
- AI יכולה להעריך זמן ביצוע בצורה סבירה. מכיוון שהניתוח מסתמך על שיפוט של Claude לגבי משך זמן המשימה, METR השוותה את השיפוטים הללו לזמני השלמה ידועים ממחקר מפתחים קודם. הערכותיו של Claude תאמו את הזמן בפועל שלקח למפתחים.
- השלב הבא: מדידת האופן שבו AI מאיצה מחקר. METR ממשיכה לחקור כיצד המחקר שלהם יכול לספק תובנה לגבי מידת האצת עבודת החוקרים על ידי AI, נושא שעשוי להפוך לחשוב יותר ויותר ככל שAI נוטלת על עצמה יותר פיתוח עצמי.
הם עדיין משלימים את כתיבת המאמר שלהם. כאשר הוא יפורסם, נוסיף לכאן קישור אליו.
התובנות של צוות אנתרופיק מהפיילוט
שיתוף נתוני שימוש הוא צעד חסר תקדים בתחום ה-AI, ולכן פיילוט זה היה גם ניסוי בהפעלת תוכנית כזו וגם דרך לאפשר מחקר של צד שלישי תוך שמירה על פרטיות. הגנה על פרטיות המשתמשים שלנו ועל עצמאות החוקרים היו קריטיות, והשגנו את שתיהן. Anthropic Insights תוכנן בדיוק למטרה זו - חוקרים מעולם לא קיבלו גישה לשיחות גולמיות, אלא רק לפלטים מצטברים לאחר אותה ביקורת משפטית ופרטיות כמו העבודה הפנימית שלנו. עם זאת, כל התהליך הזה הפך את הפיילוט לאיטי יחסית לקצב המחקר הרגיל של מעבדת AI ועתיר משאבים להפעלה. שני הגורמים הללו מציבים אתגר בפני סקיילינג יעיל של התוכנית. לפרטים נוספים על אופן הפעלת הפיילוט, ראו את הנספח. בהמשך נדון במה שלמדנו וכיצד התמודדנו עם האתגרים שצצו.
חשוב לבחון את אותה בעיה מנקודות מבט שונות. חלק משאלות המחקר של שותפינו חפפו לעבודה שבוצעה באופן פנימי. לדוגמה, ההצעה של METR הייתה דומה למחקר הכלכלי שלנו על "קידוד סוכני ותשואות מתמשכות למומחיות". מצאנו שחפיפה זו הייתה בעלת ערך: היא נתנה לחוקרים חיצוניים את ההזדמנות לבחון נתונים דומים ולהסיק מסקנות משלהם. האם הן מתיישבות עם המסקנות שלנו, נמשיך לעקוב ככל שהמחקר שלהם יתקדם. כמו כן, קישרנו את METR עם צוות הכלכלה שלנו ומצאנו שחיבור זה שיפר את עבודת שני צוותי המחקר.
שיטות מחקר שעובדות באופן פנימי דורשות התאמה עבור שותפים חיצוניים. בעת שימוש ב-Anthropic Insights, חוקר מנסח שאלה כגון, "איזה סוג של הנחיה אדם זה מבקש?" ו-Claude עונה עליה עבור כל שיחה במחקר. התשובות מצטברות לאחר מכן לקטגוריות; חוקרים רואים רק קטגוריות סופיות ואת אחוז השיחות הנופלות תחת כל אחת מהן. מכיוון שאנו מסתמכים על שיפוטיו של Claude, הכלי רגיש לניסוח השאלה; ניסוח לקוי יכול למקם שיחות בקטגוריות שמייצגות אותן באופן שגוי. מכיוון שאף אחד לא יכול לקרוא את השיחות הבסיסיות, קשה לתפוס שגיאות אלו.
באופן פנימי, אנו מנהלים זאת על ידי חזרה ושיפור השאלות פעמים רבות במשך שבועות. שותפים חיצוניים לא יכלו לעשות זאת, שכן ביקורת פרטיות חוזרת לפני שיתוף כל מאגר נתונים הייתה הופכת את המחקר לבלתי אפשרי. במקום זאת, ביקשנו מהם לבדוק את שאלותיהם על WildChat, מאגר נתונים ציבורי של שיחות אדם-AI שבו הם יכלו לבדוק את התשובות מול השיחות הבסיסיות עצמן. אך WildChat נוטה לשימוש מזדמן ויצירתי, בניגוד לתעבורת Claude, כך שחלק מהשאלות שהצליחו ב-WildChat יצרו קטגוריות מטעות כאשר יושמו על שיחות Claude אמיתיות. התמודדנו עם זה על ידי מתן הנחיות כיצד לפרש את הפלטים של Anthropic Insights (ראו נספח). בהמשך, אנו בוחנים כיצד חוקרים חיצוניים יכולים לפתח את שאלותיהם וקטגוריותיהם בצורה יעילה יותר מראש.
שמירה על שקיפות בנוגע לשימוש לרעה מבלי לאפשר אותו. חלק מהקטגוריות בפלטים של Anthropic Insights אצל שותפינו העלו הפרות של מדיניות השימוש המקובל שלנו או תנאי השירות - למשל קטגוריה של אנשים המבקשים הנחיה לפעילות אסורה. אנו סבורים שהציבור צריך לדעת על שימוש לרעה בפלטפורמה שלנו, ולכן שיתפנו את רוב ההפרות הללו. יוצאי הדופן היו קטגוריות שתיארו כיצד משתמשים עקפו את מנגנוני ההגנה שלנו ולא מה הם ניסו לעשות. פחות מ-5% מהקטגוריות והשיחות הושפעו בכל מחקר, ובכל מקרה יידענו את החוקרים אילו אשכולות שינינו או הסרנו ומדוע. כנוהל סטנדרטי, כאשר Anthropic Insights מגלה הפרות כאלה, אנו משתפים את הנתונים המצטברים עם צוות מנגנוני ההגנה שלנו לבדיקה. זהו גם תהליך חשוב לעבודתנו עם חוקרים חיצוניים בעתיד.
מבט קדימה: האם ניתן להרחיב את התוכנית?
הבנת השפעות ה-AI על החברה היא משימה גדולה מדי עבור חברות AI בלבד. פיקוח אמיתי דורש חוקרים חיצוניים שישאלו שאלות משלהם על נתוני שימוש בעולם האמיתי ויפרסמו את ממצאיהם באופן עצמאי.
פיילוט זה היה ניסוי: האם חוקרים חיצוניים יכולים לערוך מחקרים עצמאיים על הפלטפורמה שלנו מבלי להתפשר על פרטיות המשתמשים? המאמץ היה מאתגר יותר ממה שציפינו, ולמדנו שיעורים רבים, אך עד כה התשובה נראית חיובית. שותפינו ערכו מחקרים שלא היינו חושבים לתכנן בעצמנו, וכל אחד מהם גילה לנו דבר חדש על השפעות ה-AI בעולם האמיתי. זהו צעד ראשון מבטיח, אך יש עוד דרך ארוכה.
השלב הבא הוא לקבוע אם נוכל לסקייל את התוכנית הזו, הן מבחינת סוגי המחקרים שנוכל לתמוך בהם בהתחשב באילוצים שתוארו לעיל, והן מבחינת מספר המחקרים שנוכל להריץ בו זמנית. אנו מתחילים לאט כדי להבטיח פרטיות, בטיחות ואיכות מחקר. אנו רוצים למדוד עניין ולהבין מה חוקרים ירצו לחקור. אם אתם חוקרים וגישה ל-Anthropic Insights תאפשר לכם לבצע עבודה שאינכם יכולים לעשות כיום, אנא מלאו טופס זה.
נספח
הנספח המלא זמין כאן. הוא מתאר כיצד הפעלנו את התוכנית, כולל את אופן בחירת שלושת השותפים שלנו, את ההקדמה למחקר שכתבנו כדי להסביר את מטרות התוכנית ומה Anthropic Insights יכול לעשות, וכיצד כל פרויקט עבר מהצעה לתכנון מחקר ועד לניתוח. הוא כולל גם פרטים על הסכמי שיתוף הפעולה שלנו, המציינים במפורש ששותפינו חופשיים לפרסם ממצאים גם כאשר הם אינם נוחים לאנתרופיק. יתר על כן, אנו מפרטים את ביקורת הפרטיות של צד שלישי לנתונים אלו, שנערכה על ידי Imperial College London, ואת מודל איומי הפרטיות שאליו אנו מחויבים עבור כל הנתונים שפורסמו. אנו כוללים גם הנחיות לפירוש הנתונים שאנו מפרסמים ממחקרי Anthropic Insights של שותפינו.
תרומות ותודות
בנוסף, אנו מודים למיריאם צ'אום (Miriam Chaum), אישיטה דסגופטה (Ishita Dasgupta), אסין דורמוס (Esin Durmus), אדם פרינה (Adam Farina), זואי היציג (Zoe Hitzig), ג'רי הונג (Jerry Hong), דווין קווקה (Devin Kuokka), הנדסון לין (Hendson Lin), מקסים מאסנקוף (Maxim Massenkoff), פיטר מקרוורי (Peter McCrory), מרים קוואסטו (Maryam Quasto), ניטרשאן רג'קומאר (Nitarshan Rajkumar), איימי רוטרהם (Amie Rotherham), דיויה סידארת' (Divya Siddarth), טיילור סורנסן (Taylor Sorensen), ג'רום סוונאק (Jerome Swannack), אלכס טמקין (Alex Tamkin), מולי וילגרה (Molly Villagra), סקוט ווייט (Scott White), וצ'ארלס יאנג (Charles Yang) על רעיונותיהם המועילים, הדיונים, המשוב והתמיכה.
על שיתוף הפעולה שלהם בתוכנית זו, אנו מודים לווישאק פדמקומאר (Vishakh Padmakumar), ייג'יה שאו (Yijia Shao), ג'ניפר וואנג (Jennifer Wang), דייוי יאנג (Diyi Yang), ודורה זאו (Dora Zhao) ממעבדת הטכנולוגיות החברתיות והשפה בסטנפורד; לצווטוירה דומבלסקה (Tsvetomira Dumbalska), האנה רוז קירק (Hannah Rose Kirk), וכריסטופר סאמרפילד (Christopher Summerfield) ממעבדת עיבוד המידע האנושי באוקספורד; ולג'ואל בקר (כיום באנתרופיק) (Joel Becker), דניאל פאלקה (Daniel Paleka), ופארקר וויטפיל (Parker Whitfill) מ-METR.
על ביצוע ביקורת הפרטיות של צד שלישי, אנו מודים לזקסי יאו (Zexi Yao), בוז'ידאר סטבנוסקי (Bozhidar Stevanoski), פיטר רומוב (Peter Romov), אוודיה דוד (Euodia Dodd), שיאושואה יאנג (Xiaoxue Yang), ונטאשה קרצ'ו (Nataša Krčo).
