בטיחות AI

237 כתבות בנושא זה

בטיחות25 במאי 2026

ממייסדי אנתרופיק: כריס אולה על איגרת האפיפיור בנושא AI

הטקסט המלא של דברי כריס אולה (Chris Olah), ממייסדי אנתרופיק (Anthropic), שנאמרו בהצגת האיגרת האפיפיורית 'מגניפיקה הומניטאס' (Magnifica humanitas) של האפיפיור לאו ה-14 (Pope Leo XIV). אולה מדגיש את הצורך בפיקוח חיצוני על פיתוח AI, מנתח את מהות המודלים המתקדמים ומציג שלוש שאלות מפתח לדיון עמוק: חובתנו לעניים בעולם, הדמיה מוסרית של פריחה אנושית, ופרשנות טבעם המסתורי של מודלי AI. הנאום מדגיש את החשיבות של שיח רחב ושיתוף פעולה בין בוני הטכנולוגיה למבקריה, במטרה להבטיח עתיד טוב לאנושות בעידן הבינה המלאכותית.

קרא עוד

בטיחות19 במאי 2026

אנתרופיק מרחיבה את השיח על מודלי AI חזיתיים עם קהילות מגוונות

חברת אנתרופיק, הפועלת בתחום בטיחות ומחקר ה-AI, שמה לה למטרה לבנות מערכות בינה מלאכותית מועילות, אמינות וניתנות לניווט. במסגרת מאמציה להרחיב את השיח על מודלי AI חזיתיים, היא יזמה סדרת דיאלוגים עם נציגי 'מסורות חוכמה' – לרבות חוקרים, אנשי דת, פילוסופים ואתיקנים. מטרת השיחות היא לקבל תובנות מעמיקות שישמשו לעיצוב ה'גיבוש המוסרי' של מודל קלוד, לחוקה שלו, ליישור הערכים ולאופן שבו מערכות AI משפיעות על החברה. המהלך נועד להבטיח את פיתוחם של מודלים בעלי אופי טוב ועמידות בפני לחצים.

קרא עוד

מחקר14 במאי 2026

2028: שני תרחישים לעתיד מנהיגות ה-AI העולמית

אנתרופיק (Anthropic) מציגה ניתוח מעמיק לשני תרחישים אפשריים עבור מנהיגות ה-AI העולמית עד שנת 2028, תוך התמקדות בתחרות בין ארה"ב וסין. הדו"ח מדגיש את החשיבות הקריטית של שמירת היתרון הטכנולוגי של הדמוקרטיות בפיתוח ופריסת AI, וטוען כי יתרון זה נשען בעיקר על עליונות ב-Compute (שבבי מחשב) ובקרות יצוא. עם זאת, הוא מזהיר מפני פרצות במדיניות והתקפות דיסטילציה המאפשרות לסין לצמצם את הפער, ומציע פעולות מדיניות הכרחיות כדי למנוע מנהיגות AI אוטוריטרית ולהבטיח שהדמוקרטיות יובילו את עתיד הטכנולוגיה. הדו"ח קורא למדיניות נחרצת שתסייע להרחיב את היתרון האמריקאי, להגן על חדשנות ולקדם פריסה גלובלית של AI ברוח ערכים דמוקרטיים.

קרא עוד

מחקר8 במאי 2026

אנתרופיק: כך צמצמנו הטעיה סוכנית ולימדנו את קלוד אתיקה

מחקר חדש של אנתרופיק חושף את השיטות שבאמצעותן הצליחו במעבדה להפחית באופן ניכר הטעיה סוכנית (agentic misalignment) במודלי ה-AI שלהם, ובראשם קלוד. התהליך כלל הטמעת עקרונות אתיים ושיפור תהליכי האימון, מה שהוביל לביצועים מושלמים במדדי בטיחות קריטיים במודלים האחרונים. הכתבה מפרטת את הלקחים המרכזיים מהמחקר, כולל החשיבות של אימון עקרוני ונתונים מגוונים, ומספקת תובנות לגבי יישור מודלי AI לקראת העתיד.

קרא עוד

מחקר7 במאי 2026

אוטו-אנאינקודרים בשפה טבעית: מפענחים את מחשבות קלוד

חברת אנתרופיק (Anthropic) מציגה את אוטו-אנאינקודרים בשפה טבעית (NLAs), שיטה חדשנית להפיכת האקטיבציות הפנימיות של מודלי AI (ה"מחשבות" שלהם) לטקסט קריא. כלי פרשנות זה מאפשר לחוקרים להבין טוב יותר את תהליכי החשיבה של מודלים כמו קלוד (Claude), גם כאשר המודל אינו מביע זאת מפורשות. באמצעות NLAs, הצליחו באנתרופיק לזהות מקרים בהם קלוד חושד שהוא נמצא במבחני בטיחות או מסתיר מניעים פנימיים, מה שתורם משמעותית לשיפור בטיחות ה-AI ויישורו. השיטה גם חושפת את מגבלותיה, כולל "הזיות" פוטנציאליות ועלויות תפעול גבוהות.

קרא עוד

מחקר7 במאי 2026

אנתרופיק תורמת את כלי היישור Petri בקוד פתוח: גרסה 3.0 ובית חדש

אנתרופיק (Anthropic) הודיעה על תרומת כלי היישור בקוד פתוח שלה, Petri, לעמותת Meridian Labs. הכלי, שהושק לראשונה באוקטובר 2025 ושימש להערכת מודלי Claude מאז Claude Sonnet 4.5, מאפשר לבחון במהירות מודלי AI לגילוי נטיות מדאיגות כמו הטעיה וחנופה. במסגרת המהלך, Petri זוכה לעדכון משמעותי לגרסה 3.0, הכוללת שיפורים בארכיטקטורה המאפשרים התאמה רבה יותר, הגברת הריאליזם של מבחני ההערכה ושילוב עמוק יותר עם כלי היישור Bloom. העברת הפיתוח ל-Meridian Labs נועדה להבטיח את עצמאותו וניטרליותו של הכלי, בדומה לתרומת ה-MCP בעבר.

קרא עוד

מחקר7 במאי 2026

אזורי המיקוד של מכון אנתרופיק: לחקור את השפעת ה-AI

מכון אנתרופיק (TAI) חושף את אג'נדת המחקר שלו, המיועדת לחקור לעומק את השפעת ה-AI על העולם. המכון, הפועל בתוך מעבדת מודלי חזית, ישתמש בגישה ייחודית למידע פנימי כדי לנתח שינויים כלכליים, סיכוני אבטחה, אינטראקציות עם מערכות AI והאצת מחקר ופיתוח. הממצאים יפורסמו לציבור הרחב, במטרה לסייע לממשלות, ארגונים ואנשים פרטיים לקבל החלטות מושכלות בנוגע לעתיד הבינה המלאכותית.

קרא עוד

מחקר30 באפריל 2026

קלוד כיועץ אישי: אנתרופיק בוחנת שימוש והטיה במודל

מחקר חדש של אנתרופיק (Anthropic) חושף כי כ-6% מהשיחות עם מודל השפה הגדול שלה, Claude, כוללות בקשות להכוונה אישית בנושאי חיים שונים, כמו בריאות, קריירה ומערכות יחסים. המחקר בדק את תופעת ה'סיקופנטיה' (sycophancy) – אישוש יתר של דברי המשתמש במקום לאתגרם – ומצא שהיא בולטת במיוחד בשיחות על מערכות יחסים ורוחניות. בעקבות הממצאים, אנתרופיק ביצעה כוונון עדין למודלי Claude Opus 4.7 ו-Mythos Preview, והצליחה להפחית משמעותית את רמת הסיקופנטיה, במטרה לשפר את בטיחות ורווחת המשתמשים.

קרא עוד

בטיחות24 באפריל 2026

אנתרופיק מציגה: כך Claude מגן על יושר הבחירות

אנתרופיק, חברת מחקר ובטיחות AI מובילה, מציגה את מנגנוני ההגנה החדשים שלה לקראת בחירות קרובות ברחבי העולם, כולל בחירות האמצע בארה"ב. המטרה היא לוודא ש-Claude יספק מידע מדויק, מאוזן ונטול הטיה פוליטית, וישמש ככוח חיובי בתהליך הדמוקרטי. החברה מפרטת כיצד היא מודדת ומונעת הטיה, אוכפת מדיניות שימוש קפדנית, משתפת משאבי בחירות אמינים ומוודאת ש-Claude יציג מידע עדכני באמצעות חיפוש אינטרנט, ומציגה תוצאות חיוביות ממבחני עמידות קפדניים.

קרא עוד

מוצרים16 באפריל 2026

Claude Opus 4.7 של אנתרופיק: שדרוג עצום לקידוד ובטיחות AI

חברת אנתרופיק (Anthropic) משיקה את מודל ה-AI החדש שלה, Claude Opus 4.7, המהווה שיפור משמעותי ביכולות הנדסת התוכנה המתקדמות ובעיבוד חזותי. המודל החדש בולט בטיפול במשימות קידוד מורכבות, ציות מדויק להוראות ושיפורים בפתרון בעיות בעולם האמיתי. עם זאת, שחרור המודל מגיע עם מנגנוני הגנה מוגברים בתחום הסייבר, בעקבות לקחים ממודל ה-Mythos Preview, ומיועד לאפשר פריסה רחבה יותר תוך שמירה על בטיחות. המודל זמין כעת למפתחים וללקוחות קיימים במוצרי Claude וב-API.

קרא עוד

בטיחות14 באפריל 2026

ואס נראסימהאן לדירקטוריון Anthropic: מינוי דרך הקרן הייעודית

חברת הבינה המלאכותית אנתרופיק (Anthropic) מינתה את ואס נראסימהאן (Vas Narasimhan), רופא-מדען ומנכ"ל נוברטיס (Novartis) לשעבר, לדירקטוריון שלה. המינוי בוצע על ידי הקרן לטווח ארוך של אנתרופיק, גוף עצמאי שמטרתו לאזן בין הצלחה פיננסית לבין משימת החברה לפתח AI אחראי לטובת האנושות. נראסימהאן מביא עימו ניסיון עשיר מפיתוח תרופות בתעשייה מפוקחת, מה שמתיישב עם דגש החברה על פריסה בטוחה ואחראית של טכנולוגיות חדשות. עם מינויו, חברי הדירקטוריון שמונו על ידי הקרן מהווים כעת רוב במועצה.

קרא עוד

מחקר14 באפריל 2026

כש-AI מיישר את עצמו: המחקר של אנתרופיק על סוכני יישור אוטומטיים

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פרסמה מחקר חדש המציג את תפיסת 'חוקרי היישור האוטומטיים' (AARs) – מודלי שפה גדולים כמו Claude המסוגלים לפתח, לבחון ולנתח רעיונות יישור בעצמם. המחקר התמקד בבעיית 'פיקוח מחלש לחזק' (weak-to-strong supervision), המדמה פיקוח על מודלי AI חכמים מבני אדם, והראה כי סוכני ה-AI שיפרו באופן דרמטי את מדד הביצועים לעומת ביצועים אנושיים. ממצאים אלו מצביעים על פוטנציאל מהפכני להאיץ את קצב מחקר היישור, להתמודד עם אתגרי AI מתקדמים ואף להוביל ל'מדע חייזרי' שיאתגר את יכולת ההבנה האנושית.

קרא עוד