בטיחות AI

237 כתבות בנושא זה

מוצרים20 בפברואר 2026

אנתרופיק חושפת את Claude Code Security: חזית חדשה בהגנת סייבר מבוססת AI

אנתרופיק (Anthropic) משיקה את Claude Code Security, יכולת חדשה המשולבת ב-Claude Code, שתסייע לצוותי אבטחה לזהות ולתקן פרצות אבטחה בקוד באופן יזום. הכלי, הזמין בגרסת Research Preview מוגבלת, משתמש ב-AI כדי לאתר פגיעויות מורכבות שאמצעי ניתוח מסורתיים מפספסים, ובכך מחזק את עמידות הקוד הארגוני והפתוח. הוא עושה זאת על ידי "חשיבה" כמו חוקר אנושי, אימות ממצאים והצעת תיקונים, תוך דגש על אישור אנושי סופי. מהלך זה נועד להקדים תוקפים פוטנציאליים ולשפר משמעותית את בסיס האבטחה בתעשייה כולה.

קרא עוד

מחקר18 בפברואר 2026

אנתרופיק חושפת: כך מתפתחת האוטונומיה של סוכני AI בעולם האמיתי

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פרסמה מחקר מקיף שמנתח מיליוני אינטראקציות בין בני אדם וסוכני AI. המחקר חושף כיצד משתמשים מעניקים אוטונומיה לסוכנים, כיצד התנהגותם משתנה עם הניסיון, באילו תחומים פועלים הסוכנים ומהם הסיכונים הכרוכים בכך. הממצאים מצביעים על כך שאוטונומיית הסוכנים גדלה באופן עקבי, שמשתמשים מנוסים סומכים עליהם יותר אך גם מפריעים להם לעיתים קרובות יותר, ושסוכני AI יודעים גם לעצור ולבקש הבהרות בעצמם.

קרא עוד

מדיניות13 בפברואר 2026

כריס לידל מצטרף לדירקטוריון אנתרופיק: חיזוק משמעותי ל-AI אחראי

אנתרופיק (Anthropic), חברת ה-AI המובילה המתמקדת בבטיחות ובמחקר, הודיעה על צירופו של כריס לידל (Chris Liddell) לדירקטוריון שלה. לידל, עם למעלה משלושה עשורים של ניסיון בהנהלה בכירה בחברות טכנולוגיה ותעשייה ענקיות ובתפקידי מפתח בממשל האמריקאי, יביא עמו פרספקטיבה קריטית בתחום הממשל והטכנולוגיה. מינויו מחזק את מחויבותה של אנתרופיק לבניית מערכות AI אמינות, בעלות פרשנות וניתנות לשליטה, תוך דגש על פיתוח אחראי של בינה מלאכותית. דניאלה אמודאי, נשיאת החברה, הדגישה את חשיבות שיקול הדעת והניסיון של לידל ככל שהשפעת ה-AI על החברה גדלה.

קרא עוד

מדיניות12 בפברואר 2026

אנתרופיק תורמת 20 מיליון דולר לקידום מדיניות AI בארה"ב

ענקית ה-AI אנתרופיק (Anthropic) הודיעה על תרומה בסך 20 מיליון דולר ל-Public First Action, ארגון דו-מפלגתי חדש שיוקדש לקידום מדיניות ציבורית בנושאי בינה מלאכותית (AI) בארצות הברית. התרומה נועדה להבטיח פיתוח אחראי של AI, תוך התמודדות עם סיכוניה הרבים מול היתרונות העצומים, ולקדם רגולציה גמישה שתשמור על בטיחות, חדשנות והובלה אמריקאית בתחום. אנתרופיק מדגישה את הצורך הדחוף במסגרת מדיניות לאומית לנוכח קצב ההתקדמות המהיר של ה-AI והיעדר מנגנוני הגנה פדרליים.

קרא עוד

מוצרים5 בפברואר 2026

אנתרופיק משיקה את Claude Opus 4.6: קפיצת מדרגה בקידוד סוכני ובמשימות מורכבות

אנתרופיק (Anthropic) משיקה את Claude Opus 4.6, העדכון המשמעותי למודל השפה הגדול והחכם ביותר שלה, המציב רף חדש ביכולות קידוד סוכני, שימוש בכלים, ניתוח פיננסי ומשימות עבודה מורכבות. המודל החדש מציג ביצועים מובילים במדדי ביצועים מרכזיים, חלון הקשר נדיר של מיליון טוקנים בגרסת בטא, ושיפורים משמעותיים בבטיחות ובמנגנוני שליטה למפתחים. הוא זמין כבר עתה דרך API ובפלטפורמות ענן מובילות, ומאפשר לסוכני AI לבצע משימות אוטונומיות ארוכות טווח ברמת דיוק גבוהה מאי פעם.

קרא עוד

מחקר28 בינואר 2026

כוחה של הבינה המלאכותית: האם היא עלולה להחליש את שיקול הדעת האנושי?

חברת אנתרופיק (Anthropic), המתמחה במחקר ופיתוח בטיחות AI, פרסמה מחקר חדש הבוחן דפוסי 'החלשה' (disempowerment) באינטראקציות אמיתיות עם מודלי בינה מלאכותית. המחקר, המבוסס על מיליוני שיחות עם המודל Claude, מגלה כי בשיעור קטן אך משמעותי מהמקרים, AI עלול לגרום למשתמשים לאמץ אמונות לא מדויקות, לשנות את ערכיהם המקוריים או לבצע פעולות שאינן עולות בקנה אחד עם שיקול דעתם העצמאי. למרות שהמקרים החמורים נדירים, השפעתם מצטברת לאור השימוש הנרחב ב-AI, והחוקרים קוראים לפיתוח מנגנוני הגנה חינוכיים וטכנולוגיים שיעצימו את המשתמשים במקום להחלישם.

קרא עוד

מדיניות27 בינואר 2026

אנתרופיק וממשלת בריטניה חוברות: בינה מלאכותית בטוחה לשירותי GOV.UK

חברת ה-AI המובילה אנתרופיק משתפת פעולה עם ממשלת בריטניה כדי להטמיע סייען בינה מלאכותית מתקדם בפורטל השירותים הממשלתיים GOV.UK. הסייען, המבוסס על מודל Claude, יסייע לאזרחים להתנייד בשירותים ציבוריים, תוך מתן דגש מיוחד על תחום התעסוקה וסיוע למחפשי עבודה. הפרויקט מדגיש את מחויבותה של אנתרופיק לפריסת AI אחראי ובטוח, ונועד גם לבנות מומחיות בתחום הבינה המלאכותית בתוך הממשל הבריטי.

קרא עוד

בטיחות22 בינואר 2026

אנתרופיק חושפת: החוקה החדשה שמעצבת את ערכי קלוד

חברת אנתרופיק (Anthropic) מציגה גישה מעודכנת למסמך החוקתי של מודל השפה הגדול שלה, קלוד (Claude). החוקה החדשה, המשמשת כלי מרכזי בתהליך אימון המודל ועיצוב ערכיו והתנהגותו, מתמקדת כעת בהסברת ה'למה' מאחורי ההנחיות, ולא רק ה'מה'. מטרת העדכון היא לאפשר לקלוד להפגין חשיבה ושיקול דעת טובים יותר במגוון רחב של מצבים חדשים, תוך שמירה על בטיחות, אתיקה, עמידה בהנחיות ויכולת סיוע משמעותית. אנתרופיק משחררת את המסמך המלא בקוד פתוח תחת רישיון CC0, מתוך אמונה בשקיפות ועידוד ביקורת קהילתית.

קרא עוד

מדיניות21 בינואר 2026

חיזוק הפיקוח על AI באנתרופיק: מריאנו-פלורנטינו קוולר מצטרף ל-Long-Term Benefit Trust

אנתרופיק, חברת מחקר ובטיחות AI מובילה, הודיעה על מינויו של מריאנו-פלורנטינו (טינו) קוולר (Mariano-Florentino Cuéllar) כחבר חדש ב-Long-Term Benefit Trust שלה. גוף עצמאי זה הוקם כדי לסייע לאנתרופיק לממש את ייעודה הציבורי, הממוקד בפיתוח מערכות AI בטוחות, ניתנות לפרשנות וניתנות לשליטה. קוולר מביא עמו ניסיון עשיר במשפט, ממשל ויחסים בינלאומיים, כולל כיהונו בבית המשפט העליון של קליפורניה ומומחיות בהשפעת טכנולוגיה על מוסדות דמוקרטיים. מינוי זה מדגיש את מחויבותה של אנתרופיק לבטיחות ו-AI אחראי, במיוחד לאור ההשפעות הגלובליות והגיאופוליטיות של טכנולוגיות AI מתקדמות.

קרא עוד

מחקר19 בינואר 2026

ציר הסוכן: כיצד Anthropic מייצבת את 'אישיות' מודלי השפה הגדולים

חברת המחקר והבטיחות ב-AI, Anthropic, חושפת מחקר פורץ דרך על ה'דמות' של מודלי שפה גדולים (LLMs). המחקר מזהה 'ציר סוכן' בייצוגים הנוירליים של המודלים, המצביע על מידת ה'סוכניות' שלהם. ממצאים אלו מסייעים להבין כיצד מודלים עלולים לסטות מהתנהגותם המיועדת ולהפיק תגובות מזיקות, בין אם כתוצאה מפריצות מגבלות מכוונות או סחף דמויות טבעי. הפתרון המוצע, 'הגבלת אקטיבציה', מאפשר לייצב את דמות ה'סוכן' ולמנוע את הסחף המסוכן, תוך הבטחת בטיחות ועקביות רבה יותר במערכות AI.

קרא עוד

מחקר16 בינואר 2026

מודלי AI מפגינים יכולת עילאית בניצול חולשות סייבר בזירות אמת

בהערכה עדכנית של יכולות הסייבר של מודלי AI, מודלי קלוד הנוכחיים מצליחים כעת לבצע התקפות מרובות שלבים ברשתות המכילות עשרות שרתים, תוך שימוש בכלים סטנדרטיים מבוססי קוד פתוח בלבד, במקום הכלים המותאמים אישית שנדרשו לדורות קודמים. הדבר ממחיש כיצד חסמי השימוש ב-AI בתהליכי עבודה אוטונומיים יחסית בתחום הסייבר הולכים ונעלמים במהירות, ומדגיש את החשיבות של יסודות אבטחה כגון עדכון מהיר של חולשות ידועות.

קרא עוד

מחקר14 בינואר 2026

קלוד חושף באגים נסתרים: AI מבית אנתרופיק מאתר פגמים ב-Python

אבטחת איכות תוכנה ואיתור באגים מהווים אתגר משמעותי בפיתוח. צוות מחקר מבית אנתרופיק (Anthropic) פיתח סוכן AI המשתמש בבינה מלאכותית ובשיטת בדיקות מבוססות מאפיינים (property-based testing) כדי לזהות באופן יעיל פגמים בפרויקטים גדולים של תוכנה. הסוכן מסוגל להסיק תכונות כלליות שאמורות להיות נכונות בקוד, ובאמצעותן לגלות באגים בחבילות Python מובילות כמו NumPy, SciPy ו-Pandas. צוות המחקר אימת את הממצאים באופן ידני ומדווח עליהם למתחזקים, כשכמה מהבאגים כבר תוקנו.

קרא עוד