חדשות

כל החדשות, העדכונים וההכרזות האחרונות מאנתרופיק ומעולם הבינה המלאכותית

החוקה של Claude: אנתרופיק מפרטת את עקרונות ה-AI האחראי שלה

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פיתחה את גישת ה-AI החוקתי (Constitutional AI) כדי להפוך מודלי שפה גדולים (LLM) לאמינים, ברי פרשנות וניתנים לשליטה. גישה זו, המוטמעת במודל Claude שלהם, מציעה מענה לשאלת ה"ערכים" של מודלי שפה על ידי מתן עקרונות מפורשים, בניגוד להסתמכות בלעדית על משוב אנושי. השיטה מאפשרת סקיילינג יעיל של פיקוח AI, שקיפות גבוהה יותר של המודל, ומבטיחה תגובות מועילות ולא מזיקות מבלי לחשוף מפעילים אנושיים לתכנים מטרידים.

8 במרץ 2023קרא עוד

8 במרץ 2023

אנתרופיק מקימה נאמנות חדשה: להבטיח את עתיד ה-AI לטובת האנושות

אנתרופיק, חברת מחקר ובטיחות בינה מלאכותית מובילה, חושפת מנגנון ממשל תאגידי חדש בשם "נאמנות לטובת הטווח הארוך" (Long-Term Benefit Trust – LTBT). המבנה החדשני נועד ליישר את מטרות החברה עם המשימה לפתח מודלי AI מתקדמים שיהיו בטוחים, ניתנים לפרשנות וניתנים לשליטה, למען טובת האנושות בטווח הארוך. ה-LTBT יעניק לנאמנים עצמאיים סמכות משמעותית בדירקטוריון, ויבטיח איזון בין אינטרסים מסחריים לבין שיקולי בטיחות ורווחה ציבורית, במיוחד עבור סיכונים אקסטרימיים הנובעים מפיתוח מודלי חזית של AI. זהו ניסוי מהפכני בממשל תאגידי בעולם הבינה המלאכותית.

קרא עוד

8 במרץ 2023

אנתרופיק מתריעה: AI טרנספורמטיבי בפתח – אך הבטיחות עדיין בגדר תעלומה

אנתרופיק (Anthropic), חברת ה-AI המובילה, מפרסמת מסמך עמדה שבו היא מזהירה כי מערכות בינה מלאכותית טרנספורמטיביות (Transformative AI) עשויות להגיע כבר בעשור הקרוב, עם יכולות שישתוו או יעלו על ביצועי אדם במרבית המשימות האינטלקטואליות. עם זאת, היא מדגישה כי הקהילה עדיין אינה מבינה כיצד להפוך מודלים חזיתיים אלו לבטוחים, מהימנים ומיושרים באופן יציב עם ערכי האדם. החברה קוראת למאמץ מחקרי דחוף ורב-גוני בתחום בטיחות ה-AI, ומציגה את הגישה האמפירית שלה לטיפול ב"בעיית היישור" (alignment) כדי למנוע סיכונים קטסטרופליים אפשריים, העשויים לנבוע מתקלות טכניות או מהפרעה חברתית נרחבת.

קרא עוד

3 בפברואר 2023

אנתרופיק בוחרת ב-Google Cloud להרחבת פיתוח ה-AI הבטוח שלה

אנתרופיק (Anthropic), חברת מחקר מובילה המתמקדת בבטיחות וביישור AI, הודיעה על שיתוף פעולה אסטרטגי עם Google Cloud. במסגרת השותפות, אנתרופיק תשתמש בתשתיות הענן המתקדמות של גוגל, הכוללות אשכולות GPU ו-TPU, לצורך אימון, סקיילינג ופריסה של מודלי ה-AI שלה, ובפרט מודל השפה הגדול Claude. המהלך נועד לאפשר לחברה להרחיב את פריסת מערכות ה-AI הבטוחות והניתנות להבנה שלה לקהל רחב יותר, תוך שימוש בטכניקות יישור חדשניות כמו AI חוקתי.

קרא עוד

22 באוגוסט 2022

אנתרופיק חושפת: Red Teaming נגד איומי חזית לבטיחות AI

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, מפרסמת ממצאים מדאיגים ממחקר Red Teaming מקיף שביצעה על מודלי חזית (frontier models). המחקר, שהתמקד באיומי אבטחה לאומית כמו סיכונים ביולוגיים ואבטחת סייבר, חשף כי מודלי שפה גדולים (LLM) עלולים להוות איום ביטחוני משמעותי בעתיד הקרוב אם לא יופעלו מנגנוני הגנה (mitigations) מתאימים. למרות הסכנות הפוטנציאליות, אנתרופיק מדגישה כי ניתן לפתח ולפרוס מנגנוני הגנה יעילים כדי להפחית את הסיכונים הללו באופן ניכר. החברה קוראת לשיתוף פעולה ממשלתי ותעשייתי דחוף כדי להרחיב את מאמצי ה-Red Teaming ולבנות AI בטוח ואחראי.

קרא עוד

29 באפריל 2022

אנתרופיק מגייסת 580 מיליון דולר בסבב B: תתמקד ב-AI בטוח וניתן להכוונה

חברת אנתרופיק, המובילה מחקרים בתחום בטיחות ה-AI, הודיעה על השלמת סבב גיוס B בסך 580 מיליון דולר. הגיוס ישמש לבניית תשתית ניסויית רחבת היקף במטרה לשפר את מאפייני הבטיחות של מודלי AI עתירי חישוב. אנתרופיק מתמקדת בפיתוח מודלים אמינים, ניתנים לפרשנות וניתנים להכוונה, המשלבים מנגנוני הגנה מובנים כבר בשלבי האימון ודורשים פחות התערבות לאחר מכן. החברה שואפת לפתח כלים שיאפשרו להבין ולוודא את פעילות מנגנוני הבטיחות הללו, תוך בחינת ההשלכות הרחבות של הסקיילינג על החברה והמדיניות.

קרא עוד

15 בפברואר 2022

אנתרופיק: השקיעו ב-NIST כדי למדוד ולאבטח את ה-AI

חברת אנתרופיק (Anthropic), המובילה בתחום בטיחות ומחקר ה-AI, קוראת לממשל האמריקאי להשקיע משמעותית במכון התקנים הלאומי (NIST). לטענת החברה, יכולת מדויקת למדידה ולכימות של יכולות וסיכוני מערכות AI היא תנאי הכרחי לרגולציה אפקטיבית ובטיחות AI. אנתרופיק מציינת כי NIST, בעל ניסיון רב שנים בפיתוח תקני מדידה, סובל מתת-תקצוב בתחומי ה-AI, מה שמקשה עליו לפתח כלי מדידה ובדיקה חיוניים למודלי AI מתקדמים. הגדלת התקציב תאפשר ל-NIST לבנות תשתית קריטית שתסייע להבטיח מערכות AI בטוחות ואמינות יותר, תקדם אמון הציבור ותעודד חדשנות אחראית בתחום.

קרא עוד

28 במאי 2021

אנתרופיק גייסה 124 מיליון דולר לפיתוח מערכות AI כלליות ואמינות יותר

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק (Anthropic), הודיעה על גיוס סבב A בסך 124 מיליון דולר. גיוס ההון נועד לתמוך בחברה בהוצאה לפועל של מפת הדרכים המחקרית שלה ובפיתוח אבות טיפוס של מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ושליטה. אנתרופיק, שהוקמה על ידי בכירים לשעבר מ-OpenAI, שמה דגש מיוחד על בטיחות ה-AI. היא מתמקדת בפיתוח מודלי AI בקנה מידה גדול עם דגש על יישור, פרשנות ושילוב הדוק של משוב אנושי.

קרא עוד

נושאים פופולריים

Claude אנתרופיק מודלי שפה בטיחות AI Anthropic בינה מלאכותית AI אחראי AI API קלוד מודלי חזית רגולציה