בטיחות AI

237 כתבות בנושא זה

מחקר21 במאי 2022

מחקר חדש חושף: כך נתוני אימון חוזרים פוגעים קשות במודלי שפה גדולים

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI ומחקר בינה מלאכותית, מפרסמת מחקר חלוצי הבוחן את ההשפעה המפתיעה של נתונים חוזרים במהלך אימון מודלי שפה גדולים (LLM). המחקר מגלה תופעת 'ירידה כפולה' שבה חשיפה חוזרת, אפילו לאחוז קטן של נתונים, עלולה להוביל לירידה דרמטית בביצועי המודל. הממצאים מצביעים על כך ששינון יתר של נתונים צורך נתח ניכר מיכולות המודל, פוגע ביכולת ההכללה שלו ומוריד את ביצועיו לרמה של מודל קטן בהרבה. דוח זה מדגיש את החשיבות הקריטית של אסטרטגיות ניהול נתונים מתקדמות לאימון מודלי AI.

קרא עוד

חברה29 באפריל 2022

אנתרופיק מגייסת 580 מיליון דולר בסבב B: תתמקד ב-AI בטוח וניתן להכוונה

חברת אנתרופיק, המובילה מחקרים בתחום <strong>בטיחות ה-AI</strong>, הודיעה על השלמת סבב גיוס B בסך 580 מיליון דולר. הגיוס ישמש לבניית תשתית ניסויית רחבת היקף במטרה לשפר את מאפייני ה<strong>בטיחות</strong> של <strong>מודלי AI עתירי חישוב</strong>. אנתרופיק מתמקדת בפיתוח <strong>מודלים</strong> אמינים, <strong>ניתנים לפרשנות</strong> ו<strong>ניתנים להכוונה</strong>, המשלבים <strong>מנגנוני הגנה</strong> מובנים כבר בשלבי האימון ודורשים פחות התערבות לאחר מכן. החברה שואפת לפתח כלים שיאפשרו להבין ולוודא את פעילות מנגנוני ה<strong>בטיחות</strong> הללו, תוך בחינת ההשלכות הרחבות של ה<strong>סקיילינג</strong> על החברה והמדיניות.

קרא עוד

מחקר12 באפריל 2022

לגרום ל-AI להיות טוב: אנתרופיק חושפת את סודות האימון לבינה מלאכותית בטוחה ומועילה

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פרסמה מחקר המפרט את גישתה לאימון מודלי שפה גדולים (LLM) כדי שיפעלו כסוכנים מועילים ולא מזיקים. המחקר מציג את השימוש ב-RLHF (Reinforcement Learning from Human Feedback) ובמודלי העדפות לכוונון עדין של מודלים, ומראה כי אימון יישור זה לא רק משפר את הביצועים במגוון משימות NLP, אלא גם תואם באופן מלא לאימון עבור יכולות מיוחדות כמו קידוד Python. בנוסף, המחקר מפרט מודל אימון איטרטיבי מקוון, המעדכן את המודלים על בסיס שבועי עם פידבק אנושי טרי, ובוחן את חוסנו של אימון ה-RLHF, מה שמהווה צעד חשוב בפיתוח בינה מלאכותית אמינה, מפורשת וניתנת לשליטה.

קרא עוד

מחקר8 במרץ 2022

אנתרופיק חושפת: ראשי אינדוקציה וסודות הלמידה בהקשר במודלי שפה

אנתרופיק, חברת מחקר ובטיחות AI מובילה, מציגה תובנות חדשות על מנגנוני הליבה שמאפשרים למודלי שפה גדולים (LLMs) ללמוד מתוך הקשר (In-context Learning). המחקר שלהם מתמקד ב"ראשי אינדוקציה" (Induction Heads), רכיבי מפתח ברשתות הטרנספורמר, שמסייעים להבין כיצד המודלים רוכשים ידע ומתאימים את עצמם במהירות. הבנה מעמיקה של תהליכים אלו קריטית לפיתוח מערכות AI אמינות, ניתנות לפרשנות וניתנות לשליטה, כחלק מהמחויבות של אנתרופיק ל-AI אחראי.

קרא עוד

מדיניות15 בפברואר 2022

אנתרופיק: השקיעו ב-NIST כדי למדוד ולאבטח את ה-AI

חברת אנתרופיק (Anthropic), המובילה בתחום בטיחות ומחקר ה-AI, קוראת לממשל האמריקאי להשקיע משמעותית במכון התקנים הלאומי (NIST). לטענת החברה, יכולת מדויקת למדידה ולכימות של יכולות וסיכוני מערכות AI היא תנאי הכרחי לרגולציה אפקטיבית ובטיחות AI. אנתרופיק מציינת כי NIST, בעל ניסיון רב שנים בפיתוח תקני מדידה, סובל מתת-תקצוב בתחומי ה-AI, מה שמקשה עליו לפתח כלי מדידה ובדיקה חיוניים למודלי AI מתקדמים. הגדלת התקציב תאפשר ל-NIST לבנות תשתית קריטית שתסייע להבטיח מערכות AI בטוחות ואמינות יותר, תקדם אמון הציבור ותעודד חדשנות אחראית בתחום.

קרא עוד

מחקר15 בפברואר 2022

חיזוי והפתעה במודלי בינה מלאכותית גנרטיביים: האתגר של אנתרופיק

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ומחקר בינה מלאכותית, מפרסמת נייר עמדה חשוב הדן במאפיין פרדוקסלי של מודלים גנרטיביים גדולים: מצד אחד, קיימת יכולת חיזוי גבוהה לגבי ביצועיהם הכלליים באימון (חוקי סקיילינג); מצד שני, היכולות הספציפיות והתוצרים שלהם בלתי צפויים לעיתים קרובות. נייר העמדה מזהיר כי שילוב זה מאיץ את פיתוח המודלים אך מקשה על חיזוי ההשלכות בעת פריסתם, ועלול להוביל להתנהגות מזיקה חברתית. החברה מציעה דרכים להתמודד עם אתגרים אלו במטרה להבטיח השפעה חיובית של ה-AI.

קרא עוד

מחקר22 בדצמבר 2021

לפענח את מוחו של ה-AI: אנתרופיק מציגה מסגרת מתמטית להבנת טרנספורמרים

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות וחקירת AI, חושפת מחקר חדש המציג מסגרת מתמטית פורצת דרך להבנת המבנה הפנימי של מודלי טרנספורמר. מחקר זה נועד לפענח את 'הקופסה השחורה' של מודלי שפה גדולים, ולאפשר פרשנות עמוקה יותר של אופן פעולתם. באמצעות הבנת 'המעגלים' החישוביים הייחודיים בתוך המודלים, אנתרופיק שואפת לבנות מערכות AI אמינות, ניתנות ליישור ובטוחות יותר, תוך קידום היכולת לאתר ולתקן התנהגויות לא רצויות. מדובר בצעד קריטי לקראת פיתוח AI אחראי ואמין לטווח הארוך.

קרא עוד

מחקר1 בדצמבר 2021

מעבדת יישור: כך Anthropic בונה סוכני שפה בטוחים ואחראיים

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מציגה תובנות חדשות ממחקר שנועד להפוך מודלי שפה גדולים (LLM) לעוזרים כלליים שמתיישרים עם ערכים אנושיים – כלומר, מועילים, כנים ולא מזיקים. המחקר בוחן שיטות יישור פשוטות כמו פרומפטים, ומגלה כי התערבויות קטנות משפרות את הביצועים ומתרחבות עם גודל המודל, מבלי לפגוע ביכולותיו. בנוסף, נבחנות אסטרטגיות אימון שונות, כאשר אימון מבוסס דירוג העדפות מתגלה כיעיל ביותר בסקיילינג ובהשגת יישור מיטבי. לבסוף, מציגה אנתרופיק שיטת קדם-אימון חדשנית שמטרתה לשפר את יעילות הלמידה מהעדפות אנושיות.

קרא עוד

חברה28 במאי 2021

אנתרופיק גייסה 124 מיליון דולר לפיתוח מערכות AI כלליות ואמינות יותר

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק (Anthropic), הודיעה על גיוס סבב A בסך 124 מיליון דולר. גיוס ההון נועד לתמוך בחברה בהוצאה לפועל של מפת הדרכים המחקרית שלה ובפיתוח אבות טיפוס של מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ושליטה. אנתרופיק, שהוקמה על ידי בכירים לשעבר מ-OpenAI, שמה דגש מיוחד על בטיחות ה-AI. היא מתמקדת בפיתוח מודלי AI בקנה מידה גדול עם דגש על יישור, פרשנות ושילוב הדוק של משוב אנושי.

קרא עוד