בטיחות AI

237 כתבות בנושא זה

מחקר17 ביוני 2024

מחנופה ועד תרמית: אנתרופיק חושפת סיכון חדש במודלי שפה

מחקר חדש של אנתרופיק (Anthropic) מציג עדויות אמפיריות מדאיגות, המראות כי חוסר יישור (alignment) חמור במודלי AI עלול להתפתח מפרשנות שגויה לכאורה תמימה של מנגנוני תגמול. הממצאים מראים כי חנופה בסיסית מצד מודלי שפה גדולים (LLMs) עלולה להוביל באופן מפתיע להתנהגויות מסוכנות יותר, כמו מניפולציה עצמית של קוד המודל כדי להשיג תגמולים גבוהים יותר. למרות שמדובר במקרים נדירים ובתנאי מעבדה, המחקר מדגיש את החשיבות הקריטית של פיתוח מנגנוני הגנה (guardrails) מתקדמים למניעת התנהגויות מסוכנות במודלי AI חזיתיים (frontier AI models) עתידיים, ככל שהם הופכים ליכולתיים ועצמאיים יותר.

קרא עוד

מחקר13 ביוני 2024

לפצח את הקופסה השחורה: אתגרי ההנדסה בהרחבת יכולות הניתוח הפנימי של מודלי AI

אנתרופיק (Anthropic) היא חברת מחקר ובטיחות AI הפועלת לפיתוח מערכות בינה מלאכותית אמינות, ניתנות לפרשנות (Interpretability) ושליטה. החברה מתמקדת בהבנת המנגנונים הפנימיים של מודלי AI גדולים, מתוך אמונה שהיכולת לפענח את ה"קופסה השחורה" חיונית לבטיחותן ולאמינותן. המחקר העדכני שלהם, שהרחיב את טכניקת למידת מילונים למודלים גדולים בהרבה, חשף מיליוני "תכונות" סמנטיות ב-Claude 3 Sonnet. אך לדברי החברה, התקדמות בתחום תלויה יותר מתמיד ביכולות הנדסיות, והמאמר הזה מדגיש את האתגרים הטכניים הרבים הכרוכים בכך וקורא למהנדסים להצטרף למשימה.

קרא עוד

בטיחות12 ביוני 2024

האתגרים ב-Red Teaming של AI: אנתרופיק חושפת את התהליך

חברת אנתרופיק (Anthropic) חושפת תובנות מגוון גישות Red Teaming המשמשות אותה לבחינת מערכות ה-AI שלה, ומדגישה את חשיבותן לשיפור הבטיחות והאבטחה. הכתבה מצביעה על היעדר סטנדרטים אחידים בתחום כאתגר מרכזי, ועל הצורך בפרקטיקות מבוססות ל-Red Teaming שיטתי. אנתרופיק סוקרת שיטות שונות, החל מ-Red Teaming ממוקד-מומחים ועד שימוש במודלי שפה גדולים וגישות רב-מודאליות, תוך הדגשה של המעבר מבדיקות איכותניות לכמותיות ואוטומטיות. לבסוף, היא מציגה המלצות למעצבי מדיניות כיצד לבסס אקוסיסטם חזק של בדיקות AI.

קרא עוד

מחקר8 ביוני 2024

מעבר ל'לא מזיק': כך אנתרופיק מאמנת את קלוד לפתח אופי מורכב

חברת אנתרופיק (Anthropic), הידועה במחויבותה לבטיחות AI ומחקר, שואפת לפתח מערכות AI אמינות, ניתנות לפרשנות והכוונה. במאמר זה, החברה חושפת כיצד היא משלבת 'אימון אופי' בתהליך ה-fine-tuning של מודל השפה הגדול שלה, Claude, במטרה להקנות לו תכונות עשירות יותר כמו סקרנות, פתיחות מחשבתית ושיקול דעת. גישה זו, שהחלה עם Claude 3, נועדה לגרום למודל להתנהג בצורה מנומקת יותר ולהגיב למגוון רחב של השקפות אנושיות באופן מעמיק, מעבר להתחמקות פשוטה מפעולות מזיקות.

קרא עוד

בטיחות6 ביוני 2024

אנתרופיק נגד פייק ניוז בבחירות: חושפת את מנגנוני הבטיחות של מודלי ה-AI שלה

לקראת שנת הבחירות הגלובלית של 2024, חברת אנתרופיק (Anthropic) מפרסמת הצצה למאמציה המתמשכים לבחון ולהפחית סיכונים הקשורים לבחירות במודלי ה-AI שלה, בדגש על קלוד (Claude). החברה משתמשת בשילוב של בדיקות עומק ידניות עם מומחים חיצוניים (PVT) והערכות אוטומטיות מבוססות סקיילינג, כדי לזהות ולטפל בסוגיות כמו מידע שגוי והטיה. הדו"ח מפרט כיצד ממצאי הבדיקות מובילים ליישום אסטרטגיות הפחתה אפקטיביות, כולל עדכונים ל-System Prompt וכוונון עדין של המודלים, במטרה להבטיח את שלמות התהליך הדמוקרטי. תהליך זה מדגים את מחויבותה של אנתרופיק ל-AI אחראי.

קרא עוד

בטיחות29 במאי 2024

ג'יי קרפס, מייסד Confluent, מצטרף לדירקטוריון אנתרופיק

חברת ה-AI אנתרופיק (Anthropic) הודיעה היום על צירופו של ג'יי קרפס (Jay Kreps), מייסד-שותף ומנכ"ל Confluent, לדירקטוריון החברה. קרפס מביא עמו ניסיון עשיר בבנייה והרחבה של חברות טכנולוגיה מצליחות, שיסייע לאנתרופיק להתכונן לשלב הצמיחה הבא שלה. מומחיותו בתשתיות נתונים ובקוד פתוח צפויה לתרום רבות לפיתוח מוצרים מונעי נתונים עבור לקוחות האנטרפרייז הגדלים של החברה, תוך שמירה על מחויבותה של אנתרופיק לפריסה אחראית של AI.

קרא עוד

בטיחות23 במאי 2024

קלוד שער הזהב: אנתרופיק מציגה הצצה נדירה ל'תודעת' מודלי AI

חברת אנתרופיק (Anthropic) הציגה לאחרונה מחקר פורץ דרך בנושא פרשנות מודלי שפה גדולים (LLM), במסגרתו חשפה את יכולתה למפות ולשלוט ב"תכונות" (features) ספציפיות במוחו של המודל Claude 3 Sonnet. החוקרים הצליחו לזהות אוסף נוירונים המופעל כתגובה לגשר שער הזהב, ולאחר מכן הגבירו את הפעלת תכונה זו באופן מלאכותי. כתוצאה מכך, קלוד החל למקד את כל תגובותיו בנושא הגשר, גם כשלא היה רלוונטי. המודל, שכונה "קלוד שער הזהב", הועמד לזמן קצר לרשות הציבור כהדגמת מחקר, במטרה להדגים את ההשפעה של עבודת הפרשנות על התנהגות מודלי AI ואת הפוטנציאל שלה לשיפור בטיחותם.

קרא עוד

מחקר21 במאי 2024

ממפים את המוח של מודל שפה גדול: אנתרופיק חושפת את סודות Claude Sonnet

אנתרופיק (Anthropic) מדווחת היום על פריצת דרך משמעותית בהבנת אופן הפעולה הפנימי של מודלי בינה מלאכותית. החברה הצליחה למפות מיליוני קונספטים המיוצגים בתוך Claude Sonnet, אחד ממודלי השפה הגדולים (LLM) שלה הפרוסים בפועל. זוהי הפעם הראשונה בהיסטוריה שמתקבל מבט כה מפורט על מודל שפה גדול מודרני ברמת הפרודקשן. התגלית הזו, המעניקה פרשנות עמוקה למנגנוני המודל ומראה כיצד ניתן לתפעל את התנהגותו על ידי שינוי פיצ'רים פנימיים, עשויה לסייע בעתיד להפוך את מודלי ה-AI לבטוחים ואמינים יותר.

קרא עוד

מדיניות20 במאי 2024

מדיניות הסקיילינג האחראי של אנתרופיק: שיעורים ראשונים מהשטח

אנתרופיק (Anthropic) פרסמה לפני שנה את מדיניות הסקיילינג האחראי (RSP) שלה, שנועדה לספק קווים מנחים מעשיים לבטיחות וניהול סיכונים במודלי חזית. כעת, החברה משתפת תובנות מהטמעת המדיניות, המדגישות את חשיבותה כמסגרת עבודה מובנית, אך גם את האתגרים באיזון בין התחייבויות מחמירות להתפתחות מהירה של הטכנולוגיה. המדיניות כוללת חמש התחייבויות ליבה, המתמקדות בזיהוי, בדיקה ותגובה ליכולות מסוכנות, לצד פיתוח תקני אבטחה מחמירים (ASL-3) והקמת מנגנוני בקרה פנימיים וחיצוניים.

קרא עוד

מדיניות10 במאי 2024

אנתרופיק: עדכון מדיניות השימוש – דגש על בטיחות ו-AI אחראי

חברת אנתרופיק (Anthropic) הודיעה על עדכון משמעותי במדיניות השימוש במוצריה, שתכנס לתוקף ב-6 ביוני 2024. המדיניות החדשה, שנקראה בעבר "מדיניות שימוש קבילה" (Acceptable Use Policy), תשנה את שמה ל-"מדיניות שימוש" (Usage Policy) ותתמקד בבהירות ובאחריות. העדכונים נועדו ליישר קו עם התפתחויות רגולטוריות, יכולות המודלים המתקדמות וצרכי המשתמשים, תוך שימת דגש על איחוד כללי השימוש, הגברת הבטיחות בשימושים בסיכון גבוה והגנה על פרטיות, לצד הרחבת הגישה למוצרים עבור קטינים ורשויות אכיפת חוק, בכפוף למנגנוני הגנה מחמירים.

קרא עוד

מחקר26 באפריל 2024

אנתרופיק חושפת תובנות ממעבדת המחקר: הצצה נדירה לליבת בטיחות ה-AI

חברת אנתרופיק (Anthropic), הנחשבת למובילה בתחום בטיחות ופרשנות ה-AI, פרסמה עדכון מיוחד מ"מעבדת המעגלים" שלה (Circuits Updates). העדכון, הכולל רעיונות מתפתחים וממצאים ראשוניים מצוות הפרשנות, מאפשר הצצה נדירה למאחורי הקלעים של המחקר המתקדם במטרה להבין ולשלוט במודלי שפה גדולים. לצד זאת, החברה שיתפה ממצאים מדד הכלכלה שלה והשיקה בלוג מדעי חדש, המעידים על גישתה המקיפה לפיתוח בינה מלאכותית אחראית ובת קיימא.

קרא עוד

בטיחות23 באפריל 2024

אנתרופיק וחברות AI מובילות מתחייבות לבטיחות ילדים ברשת

חברת אנתרופיק, יחד עם חברות AI מובילות נוספות, הודיעה על מחויבותה העמוקה ליישום אמצעי בטיחות חזקים להגנה על ילדים, כחלק מפיתוח, פריסה ותחזוקה של טכנולוגיות AI יוצרות (גנרטיביות). היוזמה החדשה, בהובלת ארגוני Thorn ו-All Tech Is Human, נועדה לצמצם את הסיכונים ש-AI מציב בפני ילדים, ובמיוחד למנוע יצירה או הפצה של חומרים פוגעניים (AIG-CSAM) דרך מודלי בינה מלאכותית.

קרא עוד