בטיחות AI

237 כתבות בנושא זה

מוצרים22 באוקטובר 2024

אנתרופיק משדרגת את קלוד: מודלי 3.5 Sonnet ו-Haiku חדשים ויכולת Computer Use פורצת דרך

אנתרופיק (Anthropic) משיקה עדכון משמעותי למשפחת מודלי השפה שלה, הכולל את Claude 3.5 Sonnet המשודרג, את Claude 3.5 Haiku החדש ואת יכולת ה-"Computer Use" הניסיונית. Claude 3.5 Sonnet מציג שיפורים מהותיים, במיוחד בקידוד ובשימוש בכלים, בעוד ש-Claude 3.5 Haiku מספק ביצועים ברמת מודל הדגל הקודם, Claude 3 Opus, במהירות ובעלות נמוכה יותר. יכולת ה-"Computer Use" מאפשרת למודל לתקשר עם מחשבים כבני אדם, מה שפותח אופקים חדשים לאוטומציה ולפיתוח תוכנה, וממקם את אנתרופיק בחזית חדשנות ה-AI.

קרא עוד

מחקר18 באוקטובר 2024

הערכות חבלה: כך בוחנים מודלי AI חזיתיים על יכולתם להטעות ולתמרן

צוות ה-Alignment Science של אנתרופיק פרסם מחקר חדש שמציג גישה חדשנית להערכת בטיחותם של מודלי AI. המחקר מתמקד ביכולתם של מודלי חזית עתידיים לבצע 'חבלה' – פעולות מוסוות שמטרתן להטעות משתמשים או לתמרן מערכות פיקוח. הגישה כוללת ארבעה סוגי הערכות שונים, הבוחנות כיצד מודל יכול להשפיע על החלטות אנושיות, להחדיר באגים לקוד, להסתיר יכולות מסוכנות (Sandbagging) או לערער מערכות פיקוח. מטרת המחקר היא לזהות יכולות מסוכנות כאלה מבעוד מועד, כדי לאפשר למפתחים לפתח מנגנוני הגנה יעילים לפני פריסה רחבה.

קרא עוד

מחקר16 באוקטובר 2024

לפרק את הקופסה השחורה: אנתרופיק מציגה כלי חדש להבנת מודלי AI

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, הציגה לאחרונה עבודה מתפתחת מצוות הפרשנות שלה, המציגה גישה חדשנית לשימוש במאפייני למידת מילון (dictionary learning features) כמסווגים. המחקר, שנועד לקדם את היכולת לבנות מערכות AI אמינות, ניתנות לפרשנות ושליטה, מהווה צעד חשוב בהבנת המנגנונים הפנימיים של מודלים מורכבים. זוהי התפתחות קריטית במאמץ לפענח את ה'קופסה השחורה' של הבינה המלאכותית, ולאפשר למפתחים ולחוקרים להבין טוב יותר כיצד מודלי שפה גדולים (LLMs) מגיעים למסקנותיהם, ובכך לתרום לבניית AI אחראי ובטוח יותר.

קרא עוד

מדיניות15 באוקטובר 2024

אנתרופיק משדרגת את מדיניות הבטיחות ל-AI: גישה גמישה יותר לסיכונים קטסטרופליים

אנתרופיק (Anthropic) מפרסמת עדכון משמעותי למדיניות הסקיילינג האחראי (RSP) שלה, מסגרת הבטיחות שנועדה למתן סיכונים קטסטרופליים ממודלי AI חזיתיים. העדכון מציג גישה גמישה ומפורטת יותר להערכת סיכונים וניהולם, תוך שמירה על המחויבות של החברה שלא לאמן או לפרוס מודלים ללא מנגנוני הגנה הולמים. שיפורים מרכזיים כוללים ספי יכולת חדשים הדורשים שדרוג של אמצעי הבטיחות, תהליכים מוגדרים להערכת יכולות המודל ויעילות ההגנות, ומדדים חדשים לממשל פנימי וקבלת משוב חיצוני. המטרה היא להתמודד טוב יותר עם קצב ההתקדמות המהיר של ה-AI, תוך התבססות על שיטות ניהול סיכונים מתעשיות מרובות השלכות.

קרא עוד

בטיחות8 באוקטובר 2024

אנתרופיק נלחמת בזיופים ומידע כוזב: כך נערכת Claude לבחירות בארה"ב

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, מפרסמת את צעדיה לקראת הבחירות בארצות הברית בנובמבר 2024. על רקע הזמינות הנרחבת של כלי AI גנרטיביים, החברה מציגה עדכוני מדיניות האוסרים על שימוש במוצריה לקמפיינים פוליטיים, לובינג וייצור מידע כוזב. בין היתר, קלוד (Claude) מוגבל לייצור טקסט בלבד כדי למנוע יצירת דיפ-פייקים (deepfakes) בנושאים אלקטורליים. אנתרופיק גם פיתחה כלים מתקדמים לזיהוי שימוש לרעה, מבצעת Red Teaming ובדיקות פגיעות מדיניות (Policy Vulnerability Testing) כדי לבחון ולחזק את מנגנוני ההגנה, ומפנה משתמשים למקורות מידע מהימנים בנוגע להצבעה. המהלכים נועדו להבטיח את טוהר ההליך הדמוקרטי ולמנוע את ניצול ה-AI להפצת דיסאינפורמציה.

קרא עוד

מחקר1 באוקטובר 2024

אנתרופיק חושפת הצצות ראשונות למחקר הפרשנות הפנימית ב-AI

אנתרופיק (Anthropic), חברת מחקר ו-AI מובילה בתחום בטיחות הבינה המלאכותית, חשפה לאחרונה סדרת עדכונים המציגים הצצה נדירה למאמציה המתקדמים בתחום הפרשנות (interpretability) של מודלים. העדכונים, המכונים "Circuits Updates", מספקים רעיונות ראשוניים וניסויים מתפתחים במטרה לבנות מערכות AI אמינות וניתנות לשליטה, תוך הדגשה של שקיפות ושיתוף ידע מוקדם. לצד עדכונים טכניים אלו, החברה ממשיכה להרחיב את פעילותה עם פרסום דוחות כלכליים על השימוש ב-Claude והשקת בלוג מדעי חדש, המדגישים את מחויבותה לשקיפות ולשיתוף ידע בקהילה.

קרא עוד

בטיחות8 באוגוסט 2024

אנתרופיק מרחיבה את תוכנית הבאג באונטי: מיקוד בפריצת מגבלות אוניברסליות ב-AI

חברת אנתרופיק (Anthropic) מכריזה על הרחבת תוכנית הבאג באונטי (bug bounty) שלה, שנועדה לחזק את בטיחות מודלי ה-AI שלה. היוזמה החדשה תתמקד באיתור ליקויים במנגנוני ההגנה העתידיים של החברה, במיוחד כאלה שנועדו למנוע מתקפות פריצת מגבלות אוניברסליות (universal jailbreak attacks). במסגרת התוכנית, יוצעו תגמולים של עד 15,000 דולר לחוקרים שיזהו פרצות בתחומי סיכון גבוה כמו CBRN ואבטחת סייבר, במטרה להבטיח את פריסתם האחראית של מודלי ה-AI המתקדמים.

קרא עוד

מחקר31 ביולי 2024

Circuits Updates: אנתרופיק חושפת הצצות ראשוניות למחקר הליבה שלה בפרשנות AI

אנתרופיק, חברת מחקר ובטיחות AI מובילה, מחוייבת לבנות מערכות בינה מלאכותית אמינות, פרשניות וניתנות לשליטה. במסגרת עדכוני Circuits, החברה משתפת תובנות וממצאים ראשוניים מצוות הפרשנות שלה, המציעים הצצה ייחודית לעבודתם המתמשכת. הדיווחים כוללים הן כיווני מחקר חדשים שעתידים להתפרסם בהרחבה, והן נקודות עניין קטנות יותר, במטרה לקדם שקיפות ולעודד דיון בקהילת המחקר. גישה זו מדגישה את חשיבות שיתוף הידע המוקדם בפיתוח AI אחראי.

קרא עוד

מוצרים1 ביולי 2024

אנתרופיק משיקה יוזמה חדשה לקידום הערכות צד שלישי למודלי AI

מערך הערכות צד שלישי חזק וחיוני הוא קריטי להבנת היכולות והסיכונים של בינה מלאכותית, אך המצב הנוכחי מוגבל והביקוש להערכות איכותיות עולה על ההיצע. כדי להתמודד עם אתגר זה, חברת אנתרופיק (Anthropic) משיקה יוזמה חדשה למימון ארגוני צד שלישי שיפתחו הערכות. המטרה היא למדוד ביעילות יכולות מתקדמות במודלי AI ולשפר את בטיחותם, ובכך לקדם את כלל תחום בטיחות ה-AI ולספק כלים יקרי ערך לכלל האקוסיסטם.

קרא עוד

מחקר28 ביוני 2024

אנתרופיק חושפת הצצות למחקר הליבה שלה: מה חדש ב'מעגלים'?

חברת אנתרופיק, המובילה בתחום בטיחות ופרשנות ה-AI, פרסמה עדכון נדיר המציע הצצה למאחורי הקלעים של צוות מחקר ה'פרשנות' שלה. ה'Circuits Updates' חושפים רעיונות מתפתחים וממצאים ראשוניים שמטרתם להבין טוב יותר את אופן פעולתם של מודלי שפה גדולים כמו Claude. עדכונים אלו, אף שאינם מהווים מאמרים סופיים, מדגישים את מחויבות החברה לשקיפות וקידום היכולת לבנות מערכות בינה מלאכותית אמינות, בטוחות וניתנות ליישור.

קרא עוד

שותפויות26 ביוני 2024

אנתרופיק מרחיבה את הנגישות ל-Claude לגורמי ממשל אמריקאיים ב-AWS

חברת ה-AI אנתרופיק ממשיכה להרחיב את פעילותה ומודיעה כי מודלי השפה הגדולים שלה, Claude 3 Haiku ו-Claude 3 Sonnet, זמינים כעת ב-AWS Marketplace עבור קהילת המודיעין האמריקאית (US Intelligence Community) וב-AWS GovCloud. המהלך נועד לאפשר לגורמי ממשל בארה"ב לרתום את יכולות ה-AI של החברה למגוון רחב של יישומים, משירותים אזרחיים משופרים ועד סיוע בתגובה לאסונות, תוך עמידה בתקני אבטחה מחמירים. אנתרופיק מדגישה את מחויבותה לפריסת AI אחראי ועדכנה את תנאי השימוש שלה כדי להתאים לצרכים הייחודיים של גופים ממשלתיים, כולל אפשרות לניתוח מודיעין חוץ, בכפוף למנגנוני הגנה ברורים.

קרא עוד

מוצרים21 ביוני 2024

אנתרופיק משיקה את Claude 3.5 Sonnet: מודל AI חכם ומהיר מאי פעם

אנתרופיק (Anthropic) משיקה את Claude 3.5 Sonnet, המודל המתקדם ביותר שלה עד כה, המצטיין באינטליגנציה חסרת תקדים. המודל עוקף את ביצועי המתחרים ואת Claude 3 Opus במבחני מפתח, תוך כדי שהוא פועל במהירות כפולה ובעלות נמוכה יותר. הוא מציע שיפורים משמעותיים ביכולות קידוד, חשיבה ויזואלית, ומגיע עם תכונה חדשה בשם Artifacts, ההופכת את Claude לסביבת עבודה שיתופית ודינמית. אנתרופיק שמה דגש מיוחד על בטיחות ופרטיות, עם בדיקות קפדניות ושקיפות מול גופי רגולציה.

קרא עוד