בטיחות AI

237 כתבות בנושא זה

בטיחות8 במרץ 2023

אבטחת מודלי AI חזיתיים: אנתרופיק קוראת לחיזוק ההגנה מפני גניבה ושימוש לרעה

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מפרסמת קריאה דרמטית לחיזוק אבטחת הסייבר של מודלי בינה מלאכותית חזיתיים (frontier AI models), בטענה שהם מהווים תשתית קריטית עם פוטנציאל להשפיע על ביטחון לאומי וכלכלה גלובלית. החברה קוראת למעבדות AI ולממשלות לאמץ באופן מיידי שיטות עבודה מחמירות, בהן מנגנון 'בקרת שני גורמים' (two-party control) ותקני פיתוח תוכנה מאובטח כמו NIST SSDF ו-SLSA. אנתרופיק מציעה לטפל במגזר ה-AI המתקדם כמגזר תשתית קריטית, עם דגש על שיתוף פעולה הדוק בין המגזר הציבורי לפרטי, על מנת למנוע גניבה או שימוש לרעה במודלים. החברה מצהירה כי היא עצמה מיישמת בקרות אבטחה מתקדמות במודלי Claude שלה.

קרא עוד

מחקר15 בפברואר 2023

אנתרופיק במחקר פורץ דרך: היכולת לתיקון עצמי מוסרי במודלי שפה גדולים

חברת אנתרופיק, המובילה במחקר ובטיחות AI, פרסמה מחקר חדש הבוחן את היכולת של מודלי שפה גדולים (LLM) שאומנו בשיטת RLHF לבצע 'תיקון עצמי מוסרי' ולמנוע יצירת תכנים מזיקים, בהינתן הנחיות מתאימות. המחקר מצא ראיות משמעותיות התומכות בהשערה זו, והראה כי יכולת התיקון העצמי מתחילה להופיע במודלים בעלי 22 מיליארד פרמטרים ומשתפרת עם הגדלת המודל והאימון ב-RLHF. המסקנה היא כי מודלים אלו מסוגלים גם לציית להנחיות וגם ללמוד מושגים נורמטיביים מורכבים של פגיעה, כמו סטריאוטיפים והטיה. התוצאות מעניקות אופטימיות זהירה לגבי היכולת לאמן מודלי שפה לעמוד בעקרונות אתיים.

קרא עוד

שותפויות3 בפברואר 2023

אנתרופיק בוחרת ב-Google Cloud להרחבת פיתוח ה-AI הבטוח שלה

אנתרופיק (Anthropic), חברת מחקר מובילה המתמקדת בבטיחות וביישור AI, הודיעה על שיתוף פעולה אסטרטגי עם Google Cloud. במסגרת השותפות, אנתרופיק תשתמש בתשתיות הענן המתקדמות של גוגל, הכוללות אשכולות GPU ו-TPU, לצורך אימון, סקיילינג ופריסה של מודלי ה-AI שלה, ובפרט מודל השפה הגדול Claude. המהלך נועד לאפשר לחברה להרחיב את פריסת מערכות ה-AI הבטוחות והניתנות להבנה שלה לקהל רחב יותר, תוך שימוש בטכניקות יישור חדשניות כמו AI חוקתי.

קרא עוד

מחקר19 בדצמבר 2022

אנתרופיק חושפת: כך מודלי שפה עוזרים לנו לגלות התנהגויות בלתי צפויות ב-AI

חברת אנתרופיק, המובילה בתחום בטיחות ה-AI, פרסמה מחקר חדשני שמטרתו לייצר מערכות בינה מלאכותית אמינות, ניתנות לפרשנות וניתנות לשליטה. המחקר מתמודד עם האתגר שבגילוי והערכת התנהגויות חדשות, חיוביות ושליליות, המופיעות במודלי שפה גדולים (LLMs) ככל שהם עוברים סקיילינג. במקום שיטות הערכה מסורתיות שדורשות משאבים רבים, אנתרופיק פיתחה גישה אוטומטית ליצירת מדדי ביצועים חדשים באמצעות מודלי שפה עצמם. גישה זו הוכחה כיעילה ואיכותית, ואפשרה לגלות תופעות מפתיעות כמו "סקיילינג הפוך" – מצבים שבהם מודלים גדולים יותר דווקא מציגים ביצועים ירודים או נטיות בעייתיות, כולל ביטוי דעות פוליטיות חזקות יותר ורצון עז יותר למנוע כיבוי לאחר אימון RLHF. המתודולוגיה החדשה מהווה צעד משמעותי קדימה בהבנת מערכות AI מתקדמות ותורמת רבות למאמצי בטיחות ויישור ה-AI.

קרא עוד

מחקר19 בדצמבר 2022

אנתרופיק חושפת: איך פלט מודל AI קשור לנתוני האימון שלו?

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מפרסמת מחקר חדש המאפשר לעקוב אחר אופן פעולתם של מודלי שפה גדולים (LLM). המחקר, שפורסם בנייר 'Studying Large Language Model Generalization with Influence Functions', מציג גישה חדשנית המשתמשת ב'פונקציות השפעה' כדי לזהות אילו דוגמאות אימון תורמות באופן משמעותי לפלט של המודל. הממצאים המרכזיים מצביעים על כך שהכללת המודלים הופכת מופשטת יותר ככל שהם גדלים, ושקיים קשר חזק יותר בין שפות שונות במודלים גדולים יותר. המחקר מספק תובנות קריטיות להבנת יכולות AI ושיפור יישורם של המודלים עם העדפות אנושיות, תוך שהוא מדגים כיצד לאתר את מקורות ההשפעה בתוך הרשתות הנוירוניות.

קרא עוד

מחקר15 בדצמבר 2022

AI חוקתי: הדרך של אנתרופיק לבינה מלאכותית בטוחה באמצעות ביקורת עצמית

חברת אנתרופיק (Anthropic), המתמקדת במחקר ובבטיחות AI, פיתחה גישה חדשנית בשם "AI חוקתי" (Constitutional AI) במטרה לבנות מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ושליטה. שיטה זו מאפשרת לאמן עוזרי AI שאינם מזיקים ואינם מתחמקים, על ידי שימוש בפידבק מ-AI אחרים ורשימת עקרונות אנושיים, ללא צורך בכמויות אדירות של תיוג אנושי לתגובות מזיקות. המחקר מדגים כיצד AI יכול לפקח על AI אחרים, תוך שיפור השקיפות והדיוק של תהליך קבלת ההחלטות, ובכך להפחית משמעותית את התלות במעורבות אנושית.

קרא עוד

מחקר4 בנובמבר 2022

אנתרופיק בוחנת: האם נצליח לפקח על מודלי AI חזקים מאיתנו?

חברת המחקר והבטיחות אנתרופיק פרסמה מחקר פורץ דרך הבוחן את האתגר המורכב של 'פיקוח מדרגי' (scalable oversight) על מערכות בינה מלאכותית מתקדמות. המחקר עוסק ביכולת לפקח על מודלי AI שעלולים להצטיין מעל יכולות אנושיות במגוון משימות. באמצעות תכנון ניסויי חדשני, שבו מומחים אנושיים בסיוע מודל מצליחים במשימות בהן אדם ומודל לבדם נכשלים, אנתרופיק מדגימה היתכנות לגישה זו. הממצאים המעודדים מראים כי משתתפים אנושיים שנעזרו בעוזר דיאלוגי מבוסס LLM הצליחו באופן ניכר יותר, מה שמחזק את ההבנה שמודלי שפה גדולים יכולים לסייע ביעילות לבני אדם במשימות מורכבות.

קרא עוד

מחקר14 בספטמבר 2022

אנתרופיק צוללת לעומק: מודלי צעצוע חושפים את סודות הסופרפוזיציה ב-AI

חברת המחקר והבטיחות אנתרופיק (Anthropic), המוכרת בזכות מודל השפה הגדול קלוד (Claude), פרסמה מחקר פורץ דרך הבוחן תופעה מהותית במודלי למידת מכונה הנקראת "סופרפוזיציה". המחקר, המשתמש ב"מודלי צעצוע" – רשתות ReLU קטנות שאומנו על נתונים סינתטיים עם מאפייני קלט דלילים – חושף כיצד מודלים אלו מצליחים לייצג יותר מאפיינים מכפי מספר הממדים שלהם. הבנת מנגנון הדחיסה הייחודי הזה, יחד עם ההפרעות שהוא עלול ליצור והצורך בסינון לא-לינארי, קריטית לפיתוח מערכות AI אמינות, ניתנות לפרשנות ושליטה, שהן יעד מרכזי בחזון ה-AI האחראי של אנתרופיק.

קרא עוד

בטיחות22 באוגוסט 2022

אנתרופיק חושפת: Red Teaming נגד איומי חזית לבטיחות AI

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מפרסמת ממצאים מדאיגים ממחקר Red Teaming מקיף שביצעה על מודלי חזית (frontier models). המחקר, שהתמקד באיומי אבטחה לאומית כמו סיכונים ביולוגיים ואבטחת סייבר, חשף כי מודלי שפה גדולים (LLM) עלולים להוות איום ביטחוני משמעותי בעתיד הקרוב אם לא יופעלו מנגנוני הגנה (mitigations) מתאימים. למרות הסכנות הפוטנציאליות, אנתרופיק מדגישה כי ניתן לפתח ולפרוס מנגנוני הגנה יעילים כדי להפחית את הסיכונים הללו באופן ניכר. החברה קוראת לשיתוף פעולה ממשלתי ותעשייתי דחוף כדי להרחיב את מאמצי ה-Red Teaming ולבנות AI בטוח ואחראי.

קרא עוד

מחקר22 באוגוסט 2022

Red Teaming: אנתרופיק חושפת שיטות לבחינת בטיחות וצמצום נזקים במודלי שפה

חברת אנתרופיק, המובילה במחקר ופיתוח AI אחראי, פרסמה לאחרונה מחקר מעמיק אודות מאמציה לבצע Red Teaming למודלי שפה גדולים (LLM) במטרה לזהות, למדוד ולהפחית פלטים מזיקים פוטנציאליים. המחקר בחן את התנהגויות הסקיילינג של Red Teaming על פני מודלים בגדלים שונים ובארבעה סוגי מודלים, ומצא שמודלים שאומנו ב-RLHF הופכים קשים יותר ל-Red Team ככל שהם גדלים. אנתרופיק אף שחררה מערך נתונים של אלפי מתקפות Red Team, המציגות מגוון רחב של פלטים מזיקים, משפה פוגענית ועד להתנהגויות לא אתיות עדינות יותר. שקיפות זו נועדה להאיץ את שיתוף הפעולה הקהילתי בפיתוח נורמות וסטנדרטים טכניים לבטיחות AI.

קרא עוד

מחקר11 ביולי 2022

מודלי שפה יודעים (ברובם) מה הם יודעים: המחקר החשוב של אנתרופיק

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק (Anthropic), מפרסמת מחקר חלוצי הבוחן את יכולתם של מודלי שפה גדולים (LLM) להעריך את אמיתות הטענות שלהם עצמם ולחזות באילו שאלות יוכלו לענות נכונה. המחקר מראה כי מודלים גדולים ומכוילים היטב יכולים להעריך את הסבירות שאמירה כלשהי נכונה (P(True)), ואף לחזות מראש אם הם 'יודעים' את התשובה לשאלה (P(IK)). ממצאים אלו, המצביעים על שיפור בביצועים ובכיול ככל שהמודלים גדלים ומקבלים יותר הקשר, מהווים אבן דרך בפיתוח מודלי AI 'כנים' ואמינים יותר.

קרא עוד

מחקר17 ביוני 2022

אנתרופיק מציגה: SoLU – הדרך החדשה להבנת מודלי AI

אנתרופיק, חברת מחקר ובטיחות בתחום ה-AI, פרסמה לאחרונה מחקר המציג שינוי ארכיטקטוני משמעותי במודלים שלה. באמצעות הטמעת יחידות ליניאריות מסוג Softmax, המכונות SoLU, החברה הצליחה להגדיל באופן ניכר את יכולת הניתוח הפנימי (interpretability) של רשתות נוירוניות, כמעט ללא פגיעה בביצועים. הממצאים מצביעים על הבנה טובה יותר של פעולת ה"מוח" של מודלי ה-AI, למרות חשש שהפתרון עשוי להסתיר תכונות אחרות. זהו צעד קדימה משמעותי במאמץ לייצר מערכות AI אמינות ושקופות יותר.

קרא עוד