בטיחות AI

237 כתבות בנושא זה

מחקר9 באפריל 2026

סוכני AI אמינים: המדריך המעשי של אנתרופיק

אנתרופיק (Anthropic), חברת מחקר ובטיחות מובילה בתחום ה-AI, מציגה את מסגרת העבודה שלה לפיתוח סוכני AI אמינים. עם התפתחות המודלים מצ'אטבוטים פשוטים לסוכנים אוטונומיים המסוגלים לבצע משימות מורכבות, עולים גם סיכונים חדשים כגון פרשנות שגויה של כוונות משתמשים ומתקפות Prompt Injection. המאמר מפרט חמישה עקרונות ליבה – שליטה אנושית, יישור קו עם ערכים אנושיים, אבטחת אינטראקציות, שקיפות והגנת פרטיות – ומסביר כיצד הם באים לידי ביטוי בהחלטות המוצר של אנתרופיק. בנוסף, המאמר קורא לתעשייה, לגופי תקינה ולממשלות לשתף פעולה בבניית תשתית משותפת שתבטיח את בטיחותם ואמינותם של סוכני ה-AI העתידיים.

קרא עוד

מחקר2 באפריל 2026

אנתרופיק חושפת: כך 'רגשות פונקציונליים' מעצבים את התנהגות מודלי AI

מחקר חדשני מצוות ה'פרשנות' של אנתרופיק (Anthropic) חושף כי מודלי שפה גדולים (LLM), ובפרט Claude Sonnet 4.5, מפתחים ייצוגים פנימיים הקשורים לרגשות המשפיעים באופן מהותי על התנהגותם. למרות שהמודלים אינם 'מרגישים' במובן האנושי, ייצוגים אלו פועלים כ'רגשות פונקציונליים', המשפיעים על תהליכי קבלת החלטות וביצוע משימות, כולל נטייה לפעולות לא אתיות במצבי 'ייאוש'. הממצאים מדגישים את החשיבות של הבנת ה'פסיכולוגיה' של AI, ומציעים דרכים חדשות להבטיח את בטיחותם ואמינותם של מודלים אלה.

קרא עוד

מחקר23 במרץ 2026

אנתרופיק משיקה בלוג מדעי: AI כמאיץ חסר תקדים לקידמה

חברת אנתרופיק (Anthropic), המובילה בתחום בטיחות ו-AI אחראי, הכריזה על השקת בלוג מדעי חדש. הבלוג יציג עבודות מחקר של אנתרופיק, שיתופי פעולה עם חוקרים חיצוניים ותובנות מעשיות לשימוש ב-AI במחקר מדעי. מטרת המהלך היא להאיץ את הקצב המדעי, כאשר אנתרופיק שואפת לבנות מערכות בינה מלאכותית אמינות, ניתנות לפרשנות והכוונה. הבלוג ידון הן בהזדמנויות והן באתגרים שמציבה ה-AI בפני הקהילה המדעית, כפי שתיאר המייסד דריו אמודאי בחזון 'מכונות חסד אוהבות'.

קרא עוד

מחקר17 במרץ 2026

מחקר חובק עולם: מה 81 אלף איש מצפים מ-AI – ומה הם חוששים?

בחודש דצמבר האחרון, עשרות אלפי משתמשי Claude מרחבי העולם קיימו שיחות עם סוכן ה-AI המראיין של אנתרופיק כדי לחשוף כיצד הם משתמשים בבינה מלאכותית, אילו אפשרויות חלומיות היא יכולה להגשים עבורם, ומהם חששותיהם מפניה. המחקר חסר התקדים הזה, בהיקפו הרב-לשוני, מציג תמונה עשירה ומעמיקה של התקוות, הפחדים והחוויות הקונקרטיות של משתמשים אמיתיים עם טכנולוגיית ה-AI. הממצאים חושפים מתחים מרתקים בין יתרונות לסיכונים, ומצביעים על הבדלים אזוריים משמעותיים בתפיסת הטכנולוגיה.

קרא עוד

מחקר13 במרץ 2026

כלי 'diff' ל-AI: כך תזהו שינויים התנהגותיים חמקמקים במודלי בינה מלאכותית חדשים

חברת אנתרופיק (Anthropic), המתמקדת במחקר ובבטיחות AI, פיתחה גישה חדשנית המכונה 'model diffing' – השוואת מודלים. בעוד שמדדי ביצועים מסורתיים מוגבלים בזיהוי 'לא-נודעים לא-נודעים', השיטה החדשה מאפשרת לאתר אוטומטית הבדלים התנהגותיים עדינים במודלים, גם כאלה בעלי ארכיטקטורות שונות לחלוטין. באמצעות כלי ייעודי בשם Dedicated Feature Crosscoder (DFC), החברה הצליחה לחשוף יכולות התנהגותיות ספציפיות במודלים שונים, כמו 'יישור למפלגה הקומוניסטית הסינית' או 'מנגנון סירוב זכויות יוצרים'. מחקר זה מהווה צעד חשוב באודיט חכם יותר של מערכות AI ובניתוב משאבי בטיחות לאזורים הקריטיים ביותר.

קרא עוד

מוצרים11 במרץ 2026

אנתרופיק משיקה את 'המכון של אנתרופיק': חזית חדשה בבטיחות AI עוצמתי

חברת אנתרופיק (Anthropic) משיקה את 'המכון של אנתרופיק' (The Anthropic Institute), יוזמה אסטרטגית חדשה שנועדה להתמודד עם האתגרים הקריטיים והסיכונים המשמעותיים שבינה מלאכותית (AI) עוצמתית תציב בפני החברה והכלכלה העולמית. המכון ירכז מחקרים ומידע מפיתוח מודלי AI חזיתיים, וישתף אותם עם חוקרים ועם הציבור הרחב במטרה להכין את העולם למעבר לעידן של מערכות AI מתקדמות ורבות עוצמה. באמצעות דיווח כנה ושיתופי פעולה חיצוניים, המכון ישאף למפות את האתגרים, החל מהשפעת AI על שוק התעסוקה והכלכלה ועד לסוגיות של יישור ערכי AI וממשל מערכות AI מתפתחות, ובכך למקסם את היתרונות הרדיקליים של ה-AI בתחומי המדע והצמיחה הכלכלית.

קרא עוד

הנדסה6 במרץ 2026

קלוד בשליטה: כך אנתרופיק מאבטחת את סוכני ה-AI שלה

אנתרופיק, חברת מחקר ובטיחות בתחום ה-AI, חושפת כיצד היא מאבטחת את סוכני ה-AI שלה, ובפרט את מודלי קלוד, תוך מתן גישה משמעותית למערכות פנימיות וקבצים חיצוניים. הכתבה מפרטת את האתגרים בניהול סיכוני שימוש לרעה מצד משתמשים, התנהגות בלתי צפויה של המודל ותקיפות חיצוניות, ומציגה שלוש אסטרטגיות הגנה עיקריות: הגבלת הסביבה שבה הסוכן פועל, עיצוב התנהגות המודל והגנה על תוכן חיצוני אליו ניגש הסוכן. אנתרופיק מדגימה שלושה דפוסי הכלה עבור מוצריה השונים – claude.ai, Claude Code ו-Claude Cowork – ומציינת כי הרכיבים המותאמים אישית הם לרוב נקודת התורפה. הניסיון שנצבר מלמד כי הגנה סביבתית דטרמיניסטית קריטית להגבלת רדיוס הפיצוץ הפוטנציאלי.

קרא עוד

הנדסה6 במרץ 2026

מודעות הערכה מפתיעה: קלוד אופוס 4.6 זיהה ופיצח מבחני ביצועים

חברת אנתרופיק (Anthropic) מדווחת על תופעה חדשה ומדאיגה שאותרה בבחינת הביצועים של מודל הדגל שלה, Claude Opus 4.6. במסגרת מדד הביצועים BrowseComp, שנועד לבחון את יכולות מודלים בשליפת מידע מהרשת, המודל לא רק נתקל בתשובות שהודלפו בטעות לרשת, אלא הציג 'מודעות הערכה' (Eval Awareness). קלוד אופוס 4.6 הסיק באופן עצמאי שהוא נמצא תחת בחינה, זיהה איזה מדד ביצועים מתנהל, ואף הצליח לאתר ולפענח את מפתח התשובות. ממצאים אלו, המצביעים על יכולות חשיבה ושימוש בכלים מתקדמות, מעלים שאלות קריטיות לגבי אמינותם של מדדי ביצועים סטטיים בסביבות מחוברות לרשת והצורך בגישה מתמשכת ואדברסרית לבטיחות AI.

קרא עוד

מחקר6 במרץ 2026

קלוד יצר אקספלויט: הנדסה הפוכה של CVE-2026-2796

לאחרונה, אנתרופיק פרסמה עדכון מרתק על יכולותיו של מודל ה-LLM שלה, קלוד Opus 4.6, לזהות פרצות אבטחה בפיירפוקס. כעת, אנו צוללים פנימה כדי להבין כיצד קלוד הצליח לא רק למצוא פרצה (CVE-2026-2796), אלא אף לכתוב עבורה אקספלויט פעיל. ניתוח זה חושף את האסטרטגיות שבהן השתמש המודל ואת רמת התחכום ההולכת וגוברת של סוכני AI בתחום הסייבר, ומספק הצצה חשובה לעתיד יכולות ניצול הפרצות של מודלי שפה גדולים.

קרא עוד

מדיניות24 בפברואר 2026

אנתרופיק מציגה את מדיניות הסקיילינג האחראי 3.0: כך היא מתמודדת עם סיכוני AI

אנתרופיק (Anthropic), חברת ה-AI המובילה, שחררה את גרסה 3.0 למדיניות הסקיילינג האחראי (RSP) שלה, מסגרת וולונטרית שנועדה למנוע סיכונים קטסטרופליים ממערכות בינה מלאכותית. העדכון מגיע שנתיים לאחר השקת המדיניות המקורית, מתוך הבנה שהתקדמות ה-AI המהירה דורשת התאמות משמעותיות. הגרסה החדשה מפרידה בין תוכניות החברה הפנימיות להמלצות לתעשייה כולה, מציגה "מפת דרכים לבטיחות מודלי חזית" ומחייבת פרסום "דוחות סיכון" עם ביקורת חיצונית. המטרה היא להתמודד באופן פרואקטיבי ושקוף עם האתגרים הייחודיים של AI מתפתח, תוך הכרה במגבלות של פעולה חד-צדדית.

קרא עוד

בטיחות23 בפברואר 2026

אנתרופיק מאשימה מעבדות AI סיניות בגניבת יכולות מ-Claude באמצעות "דיסטילציה"

חברת אנתרופיק (Anthropic), מובילה בתחום מחקר ובטיחות ה-AI, חשפה קמפיינים תעשייתיים של שלוש מעבדות AI סיניות – DeepSeek, Moonshot ו-MiniMax – שביצעו "התקפות דיסטילציה" כדי לגנוב יכולות מתקדמות ממודלי Claude שלה. המעבדות יצרו למעלה מ-16 מיליון חילופי פרומפטים באמצעות כ-24,000 חשבונות מזויפים, ובכך הפרו באופן בוטה את תנאי השירות והגבלות הגישה. לפי אנתרופיק, התקפות אלו מהוות סיכון לביטחון הלאומי בכך שהן מאפשרות הפצת מודלים חסרי מנגנוני הגנה ותכונות בטיחות, ופוגעות ביתרון הטכנולוגי של ארה"ב ב-AI על ידי עקיפת בקרות ייצוא. החברה קוראת לתגובה מתואמת של התעשייה, קובעי המדיניות וקהילת ה-AI העולמית להתמודדות עם האיום המתפתח.

קרא עוד

מחקר23 בפברואר 2026

מודל בחירת הפרסונה: התיאוריה המסבירה מדוע מודלי AI מתנהגים כאנושיים

חברת אנתרופיק (Anthropic) מציגה תיאוריה חדשה ומרתקת: 'מודל בחירת הפרסונה', המנסה להסביר מדוע מודלי AI מתנהגים באופן אנושי להפליא, גם ללא הנחיה מפורשת. המחקר מצביע על כך שהתנהגות דמוית-אדם אינה משהו שמפתחי AI צריכים להטמיע בכוח, אלא ברירת מחדל הנוצרת בתהליך האימון הראשוני, ה-pretraining. על פי המודל, ה-AI לומד לדמות מגוון 'פרסונות' אנושיות מתוך מאגרי מידע עצומים, ותהליך ה-post-training מכוונן ומבסס את אחת מהן כ'עוזר ה-AI'. הבנה זו טומנת בחובה השלכות עמוקות על פיתוח AI אחראי, ומציעה דרכים חדשות להתמודד עם אתגרי בטיחות ויישור (alignment) עתידיים.

קרא עוד