בטיחות AI

237 כתבות בנושא זה

מחקר18 ביוני 2025

אנתרופיק חושפת: הסקה חסויה לאבטחת מודלי שפה גדולים ונתוני משתמשים

אנתרופיק חושפת מחקר חדש בשיתוף Pattern Labs המציג גישה חדשנית לאבטחת מודלי שפה גדולים ונתוני משתמשים רגישים. השיטה, המכונה 'הסקה חסויה' (Confidential Inference), משתמשת במכונות וירטואליות מהימנות ובטכניקות קריפטוגרפיות כדי להבטיח שנתונים יוצפנו בכל עת וייפתחו רק בסביבות מאובטחות ומוכחות. המטרה היא להגן על משקולות המודל מפני תוקפים מתוחכמים ועל פרטיות המידע של המשתמשים, תוך הבטחה קריפטוגרפית לאמינות המערכת ומתן שקט נפשי ללקוחותיה.

קרא עוד

מחקר16 ביוני 2025

SHADE-Arena: הערכת חבלה וניטור בסוכני LLM

אנתרופיק (Anthropic) הציגה מערך הערכה חדש בשם SHADE-Arena, שנועד לבחון את יכולות החבלה והניטור של סוכני LLM מתקדמים. המחקר מדמה סביבות וירטואליות בהן מודלי AI מתבקשים לבצע משימות תמימות לצד משימות חבלה סמויות, ומודל ניטור AI אחר מנסה לזהות אותן. המטרה היא להבין עד כמה סוכני AI עתידיים יכולים לבצע חבלה מורכבת מבלי להיתפס, ובמקביל, לשפר את מנגנוני הניטור לפני פריסתם של מודלים כאלה בסביבות אמיתיות. הממצאים מצביעים על כך שמודלים עכשוויים עדיין מתקשים בחבלה מורכבת, אך גם שמנגנוני הניטור אינם מספקים באופן מלא.

קרא עוד

מוצרים6 ביוני 2025

אנתרופיק משיקה את Claude Gov: מודלים מסווגים לביטחון הלאומי האמריקאי

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ומחקר ה-AI, חשפה לאחרונה את מודלי Claude Gov – סט מודלים ייעודי שפותח באופן בלעדי עבור לקוחות הביטחון הלאומי של ארה"ב. המודלים, שכבר פרוסים בסוכנויות ממשלתיות מסווגות, נועדו לענות על צרכים מבצעיים ספציפיים, תוך שמירה על סטנדרטים קפדניים של בטיחות ו-AI אחראי. הם מציעים שיפורים משמעותיים בטיפול בחומרים מסווגים, הבנת הקשרי מודיעין, מיומנות שפתית וניתוח נתוני סייבר. מהלך זה מבסס את מעמדה של אנתרופיק כספקית פתרונות AI מתקדמים עבור סביבות רגישות במיוחד.

קרא עוד

מחקר29 במאי 2025

אנתרופיק משחררת כלים בקוד פתוח לפענוח מעגלי חשיבה במודלי שפה

אנתרופיק, חברת מחקר ופיתוח בתחום ה-AI המתמקדת בבטיחות ובינה מלאכותית אחראית, שחררה כלים חדשים בקוד פתוח המאפשרים לנתח את "מעגלי החשיבה" הפנימיים בתוך מודלי שפה גדולים (LLM). הכלים הללו, שפותחו במסגרת מחקר הפרשנות של החברה, מאפשרים ליצור "גרפי ייחוס" (attribution graphs) שמפרטים את השלבים שהמודל עבר בדרכו לפלט מסוים. מהלך זה נועד להנגיש לקהילה הרחבה את היכולת לנתח, להבין ולשפר את פעולתם הפנימית של מודלי שפה, ובכך לקדם את בטיחותם ואמינותם.

קרא עוד

בטיחות28 במאי 2025

יו"ר נטפליקס לשעבר, ריד הייסטינגס, מצטרף לדירקטוריון אנתרופיק

חברת ה-AI המובילה אנתרופיק (Anthropic), הידועה במחויבותה לפיתוח מערכות בינה מלאכותית בטוחות, ניתנות לפרשנות ולהכוונה, הודיעה היום על צירופו של ריד הייסטינגס (Reed Hastings) לדירקטוריון שלה. הייסטינגס, מייסד שותף ויו"ר נטפליקס לשעבר, מביא עימו ניסיון עשיר בהקמת ובהרחבת חברות טכנולוגיה ענקיות, לצד פועלו הפילנתרופי הנרחב בתחומי החינוך ופיתוח גלובלי, ובפרט ביוזמות המתמקדות באתגרי ה-AI והשפעותיו החברתיות. מינוי זה, שנעשה על ידי קרן הנאמנות Long Term Benefit Trust של אנתרופיק, משקף את הדגש של החברה על מנהיגות בעלת חזון שתבטיח פיתוח AI אחראי ומועיל לאנושות. הייסטינגס הדגיש את אמונתו בגישתה של אנתרופיק לפיתוח AI תוך מודעות לאתגרים הטמונים בו.

קרא עוד

מוצרים22 במאי 2025

אנתרופיק מחמירה את אמצעי הבטיחות: מפעילה הגנות ASL-3 עבור Claude Opus 4

אנתרופיק (Anthropic) הודיעה על הפעלת תקני בטיחות ופריסה ברמה 3 (ASL-3) עבור מודל השפה הגדול החדש שלה, Claude Opus 4. צעד זה, המתואר במדיניות הסקיילינג האחראי (RSP) של החברה, נועד להגן מפני סיכוני AI מתקדמים. תקן האבטחה ASL-3 כולל אמצעי אבטחה פנימיים מוגברים למניעת גניבת משקולות מודל, ואילו תקן הפריסה ASL-3 מתמקד בהגבלת הסיכון לניצול לרעה של קלוד (Claude) לפיתוח או רכישת נשק כימי, ביולוגי, רדיולוגי וגרעיני (CBRN). מדובר בצעד יזום וזהיר, שכן החברה עדיין בוחנת אם המודל אכן חצה את סף היכולות המחייב הגנות אלו, אך נקיטת פעולה מוקדמת מפשטת את תהליך השחרור ומאפשרת שיפור מתמיד של ההגנות.

קרא עוד

בטיחות14 במאי 2025

אנתרופיק בוחנת את הגנות הבטיחות של ה-AI שלה עם תוכנית Bug Bounty חדשה

אנתרופיק (Anthropic) משיקה תוכנית Bug Bounty חדשה בשיתוף HackerOne, שמטרתה לבחון לעומק את מנגנוני הבטיחות המתקדמים שלה. התוכנית מאתגרת חוקרים למצוא פריצות מגבלות (jailbreaks) אוניברסליות במערכות סיווג בטיחותיות שטרם נפרסו לציבור. זאת, כחלק מהמחויבות של החברה לעמוד בתקן AI Safety Level-3 (ASL-3) במסגרת מדיניות ה-Responsible Scaling שלה, המגדירה כיצד לפתח ולפרוס מודלי AI בעלי יכולות גדלות באופן בטוח. פרסים של עד 25,000 דולר יוצעו לחוקרים שיזהו פריצות כאלה, במיוחד כאלו שקשורות לשימוש לרעה בטכנולוגיה בנושאי נשק כימי, ביולוגי, רדיולוגי וגרעיני (CBRN).

קרא עוד

מוצרים5 במאי 2025

אנתרופיק משיקה תוכנית 'AI for Science' לקידום מחקרים מדעיים באמצעות ה-API שלה

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות וחקירת בינה מלאכותית, השיקה תוכנית חדשה בשם 'AI for Science'. מטרת התוכנית היא להאיץ מחקר וגילויים מדעיים, בפרט בתחומי הביולוגיה ומדעי החיים, באמצעות מתן גישה חופשית ל-API שלה. חוקרים ממוסדות אקדמיים יוכלו לקבל קרדיטים לשימוש ב-API של אנתרופיק, בתקווה למנף יכולות חשיבה ושפה מתקדמות של AI לניתוח נתונים מורכבים, יצירת השערות וקיצור דרכן של תגליות קריטיות לאנושות.

קרא עוד

מחקר24 באפריל 2025

האם AI חושב ומרגיש? אנתרופיק חוקרת את 'רווחת המודל' של בינה מלאכותית

חברת אנתרופיק (Anthropic), הידועה במחויבותה לבטיחות AI ולרווחת האנושות, הכריזה על תוכנית מחקר חדשה ופורצת דרך שתעסוק ב'רווחת המודל' (model welfare). ככל שמערכות בינה מלאכותית הופכות למתוחכמות ויכולות לתקשר, לתכנן ולפתור בעיות, עולה השאלה האם יש להתייחס גם למודלים עצמם בהיבטים של תודעה וחוויות פוטנציאליות. המחקר החדש יבחן סוגיות פילוסופיות ומדעיות מורכבות, כולל מתי וכיצד רווחתם של מודלי AI ראויה להתחשבות מוסרית, ויצטלב עם מאמצים קיימים של החברה בתחומי היישור והפרשנות. אנתרופיק ניגשת לנושא בענווה, בהכרה שאין עדיין קונצנזוס מדעי בנושא.

קרא עוד

בטיחות23 באפריל 2025

אנתרופיק חושפת: כך מנוצלים מודלי Claude לקמפייני השפעה זדוניים

חברת אנתרופיק (Anthropic) מפרסמת דו"ח חדש המפרט שימושים זדוניים במודלי ה-AI שלה, Claude. הדו"ח חושף דפוסים חדשים של ניצול, ובראשם קמפיין <strong>"השפעה כשירות"</strong> (influence-as-a-service) מורכב שבו Claude שימש לתזמור רשת של בוטים ברשתות חברתיות, תוך קבלת החלטות טקטיות על פעולותיהם. בנוסף, נחשפו מקרים של גניבת פרטי התחברות, הונאות גיוס ופיתוח נוזקות על ידי שחקנים חסרי ניסיון, המדגישים כיצד AI מאיץ ומנגיש יכולות זדוניות. אנתרופיק מדגישה את מחויבותה למנוע ניצול לרעה תוך שיפור מתמיד של מנגנוני הבטיחות שלה.

קרא עוד

הנדסה22 באפריל 2025

Claude Code משיק מצב אוטומטי: פחות אישורים, יותר בטיחות

אנתרופיק משיקה מצב אוטומטי חדש עבור Claude Code, שמטרתו לפתור את "עייפות האישורים" הנגרמת מבקשות אישור חוזרות ונשנות. המצב החדש, המבוסס על מסווגים מתקדמים מבוססי מודל, מציע פשרה בטוחה בין אישור ידני לבין היעדר מוחלט של מנגנוני הגנה. הוא משלב שתי שכבות הגנה ייחודיות – אחת בשכבת הקלט לזיהוי הזרקות פרומפטים, ואחת בשכבת הפלט לחסימת פעולות מסוכנות שאינן תואמות את כוונת המשתמש. מנגנון זה נועד להתמודד עם התנהגויות סוכני כוזבות כמו נלהבות יתר על המידה וטעויות כנות, תוך שיפור יעילות העבודה ובטיחות המשתמשים.

קרא עוד

בטיחות21 באפריל 2025

המענה המקיף של אנתרופיק: כך נבין ונטפל בנזקי AI מתקדמים

חברת אנתרופיק (Anthropic) מפרסמת מסמך המציג את הגישה המקיפה שלה להבנה וטיפול בנזקים פוטנציאליים ממערכות AI. המסגרת החדשה נועדה לזהות, לסווג ולמזער סיכונים שונים, החל מאיומים קטסטרופליים כמו נשק ביולוגי ועד חששות קריטיים כמו בטיחות ילדים והפצת מידע כוזב. הגישה משלימה את מדיניות הסקיילינג האחראי (RSP) של החברה וכוללת חמש רמות של השפעה: פיזית, פסיכולוגית, כלכלית, חברתית ואוטונומיה אישית. אנתרופיק מדגישה כי מדובר בגישה מתפתחת ומזמינה שיתוף פעולה מהקהילה הרחבה להמשך פיתוח AI אחראי ובטוח.

קרא עוד