בטיחות AI

237 כתבות בנושא זה

מוצרים11 במאי 2023

אנתרופיק משיקה את Claude 2: מודל שפה חזק, בטוח ועם חלון הקשר ענק

חברת ה-AI אנתרופיק (Anthropic), הנחשבת לאחד השחקניות המובילות בתחום, שחררה את Claude 2, הדור החדש של מודל השפה הגדול (LLM) שלה, שנועד להיות אמין, ניתן לפרשנות ובטוח יותר. המודל החדש מציג שיפורים משמעותיים בביצועים, יכולות קידוד וחשיבה, ומגיע עם חלון הקשר עצום של 100 אלף טוקנים. בנוסף, הוא זמין דרך API וגם באתר בטא ציבורי חדש, מה שמאפשר נגישות רחבה יותר למודל המתקדם. אנתרופיק מדגישה את מחויבותה לבטיחות ה-AI, ומציינת ש-Claude 2 מציג עמידות כפולה בפני פרומפטים מזיקים בהשוואה לקודמו.

קרא עוד

חברה11 במאי 2023

אנתרופיק מגייסת 450 מיליון דולר ב-Series C: בדרך ל-AI אמין ובטוח

חברת אנתרופיק (Anthropic), המתמקדת במחקר ובטיחות בתחום ה-AI, הודיעה על גיוס סבב C בהיקף 450 מיליון דולר. הגיוס, שהובל על ידי Spark Capital וכלל משקיעות מובילות כמו גוגל ו-Salesforce Ventures, נועד לתמוך בהרחבת פיתוח מערכות AI אמינות, ניתנות לפרשנות וניתנות לשליטה. בין היתר, המימון ישמש להרחבת יכולות העוזרת הווירטואלית Claude ולקידום מחקר בטיחות ה-AI, תוך התמקדות בטכניקות יישור מתקדמות.

קרא עוד

מחקר9 במאי 2023

AI חוקתי קולקטיבי: אנתרופיק מאמנת את קלוד על פי חוקה שנכתבה בידי הציבור

חברת אנתרופיק (Anthropic), המובילה בתחום בטיחות ויישור AI, פרסמה מחקר חדשני על גישת 'AI חוקתי קולקטיבי'. במקום לאמץ את החוקה הפנימית שלה, אנתרופיק הזמינה כאלף אזרחים אמריקאים לנסח במשותף מערכת עקרונות עבור מודל השפה קלוד (Claude). מטרת המחקר הייתה לבדוק כיצד תהליכים דמוקרטיים יכולים להשפיע על פיתוח AI ועל יישור המודלים לערכים ציבוריים רחבים יותר. הממצאים חשפו נקודות הסכמה ושוני משמעותיות בין העדפות הציבור לחוקה המקורית, והובילו לאימון מודל חדש המבוסס על העקרונות שנוסחו באופן קולקטיבי.

קרא עוד

מחקר4 במאי 2023

אנתרופיק חוקרת את נבכי ה-AI: קומפוזיציה וסופרפוזיציה בייצוגים מבוזרים

חברת אנתרופיק (Anthropic), המובילה במחקר ובטיחות AI, פרסמה מאמר חדש המעמיק בייצוגים מבוזרים – רעיון קלאסי במדעי המוח ובלמידת מכונה. המחקר מציע חלוקה חדשנית של מושג ה"ייצוגים המבוזרים" לשני רעיונות נפרדים: קומפוזיציה וסופרפוזיציה. הבנת הדינמיקה בין רכיבים אלה קריטית לפיתוח מערכות AI אמינות, ניתנות לפרשנות ושליטה, ומסייעת להתגבר על מורכבותן של רשתות נוירוניות ומודלי שפה גדולים (LLMs).

קרא עוד

בטיחות26 באפריל 2023

אנתרופיק ו-Scale מאחדות כוחות: Claude מגיע לעולם האנטרפרייז

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק, הפועלת לבניית מערכות AI אמינות, בעלות פרשנות וניתנות לשליטה, הודיעה על שיתוף פעולה אסטרטגי עם Scale. השותפות נועדה להנגיש את מודל השפה הגדול שלה, Claude, למגוון רחב של ארגונים באמצעות הפלטפורמה המובילה של Scale. מהלך זה יאפשר לעסקים לפרוס ולנהל יישומי AI גנרטיביים מתקדמים, תוך ניצול יכולות הנדסת פרומפטים, אימות מודלים ואבטחה ברמת אנטרפרייז שמציעה Scale, בצירוף למערכת ה-AI החוקתי של אנתרופיק.

קרא עוד

מוצרים20 באפריל 2023

אנתרופיק משיקה את קלוד: סייען ה-AI החדש ששם דגש על בטיחות

חברת אנתרופיק, המתמקדת במחקר ובטיחות AI, פותחת את הגישה הרחבה למודל השפה הגדול שלה, קלוד (Claude). לאחר תקופת אלפא סגורה עם שותפים מובילים, קלוד זמין כעת למפתחים וארגונים דרך ממשק צ'אט ו-API, ומציע יכולות מתקדמות במגוון משימות לצד התחייבות לבטיחות, כנות ומועילות. המודל מושק בשתי גרסאות – קלוד וקלוד אינסטנט – ומבטיח פלטים אמינים וניתנים לכוונון, כפי שמעידות חברות כמו Quora, Juni Learning ו-Notion שכבר משתמשות בו.

קרא עוד

מדיניות20 באפריל 2023

אנתרופיק קוראת לרגולציה: מפת דרכים לאחריות מודלי AI מתקדמים

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק (Anthropic), הגישה לאחרונה מסמך המלצות מפורט לממשל האמריקאי, המתווה דרכים להבטחת אחריות ופיקוח על מערכות בינה מלאכותית מתקדמות. המסמך קורא להקמת תשתית ופרוטוקולים אחידים להערכה, ניהול סיכונים ופריסה בטוחה של מודלי AI, תוך שיתוף פעולה בין גורמי ממשל, חברות טכנולוגיה וחוקרים. המטרה היא לגשר על הפער הקיים כיום בהערכה מקיפה של מערכות AI, ולהבטיח שהשפעותיהן העתידיות יהיו חיוביות ובטוחות.

קרא עוד

מדיניות20 באפריל 2023

אנתרופיק מברכת: צעדי רגולציה גלובליים חדשים לבטיחות AI

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ומחקר בינה מלאכותית, פירסמה לאחרונה את עמדתה בנוגע לשלושה אירועים מדיניים מכוננים שהתרחשו בשבוע האחרון: הצו הנשיאותי המקיף על AI בארה"ב, קוד ההתנהגות הבינלאומי של מדינות ה-G7, ופסגת בטיחות ה-AI בבלצ'לי פארק (Bletchley Park) בבריטניה. החברה, שמטרתה לפתח מערכות AI אמינות, ניתנות לפרשנות וניתנות לשליטה, מברכת על המאמצים הגלובליים הללו. היא רואה בהם אבן דרך חשובה לקביעת סטנדרטים ורגולציה שתבטיח את פיתוחה הבטוח והאחראי של בינה מלאכותית, ותקדם שיתוף פעולה בינלאומי בנושא.

קרא עוד

מחקר16 במרץ 2023

בסיסים מועדפים בטרנספורמרים: אנתרופיק חושפת כיצד אלגוריתם Adam משפיע על מודלי AI

אנתרופיק (Anthropic), חברת מחקר ובטיחות AI מובילה, פרסמה מחקר פורץ דרך השופך אור על התנהגות בלתי צפויה במודלי טרנספורמר, הארכיטקטורה שעומדת בבסיסם של מודלי שפה גדולים (LLMs). המחקר מגלה כי בניגוד לתאוריה המתמטית, לא כל "נתיבי המידע" הפנימיים במודלים אלו שווים בחשיבותם, כאשר קיימים "בסיסים מועדפים" המקודדים מידע בצורה שונה. ממצאים ראשוניים מצביעים על כך שאלגוריתם האופטימיזציה Adam, המשמש לאימון מודלים, הוא הגורם להיווצרותם של בסיסים אלו, תגלית בעלת השלכות קריטיות על פרשנות, בטיחות ויישור (alignment) של מערכות AI.

קרא עוד

מדיניות8 במרץ 2023

אנתרופיק מקימה נאמנות חדשה: להבטיח את עתיד ה-AI לטובת האנושות

אנתרופיק, חברת מחקר ובטיחות בינה מלאכותית מובילה, חושפת מנגנון ממשל תאגידי חדש בשם "נאמנות לטובת הטווח הארוך" (Long-Term Benefit Trust – LTBT). המבנה החדשני נועד ליישר את מטרות החברה עם המשימה לפתח מודלי AI מתקדמים שיהיו בטוחים, ניתנים לפרשנות וניתנים לשליטה, למען טובת האנושות בטווח הארוך. ה-LTBT יעניק לנאמנים עצמאיים סמכות משמעותית בדירקטוריון, ויבטיח איזון בין אינטרסים מסחריים לבין שיקולי בטיחות ורווחה ציבורית, במיוחד עבור סיכונים אקסטרימיים הנובעים מפיתוח מודלי חזית של AI. זהו ניסוי מהפכני בממשל תאגידי בעולם הבינה המלאכותית.

קרא עוד

בטיחות8 במרץ 2023

החוקה של Claude: אנתרופיק מפרטת את עקרונות ה-AI האחראי שלה

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פיתחה את גישת ה-AI החוקתי (Constitutional AI) כדי להפוך מודלי שפה גדולים (LLM) לאמינים, ברי פרשנות וניתנים לשליטה. גישה זו, המוטמעת במודל Claude שלהם, מציעה מענה לשאלת ה"ערכים" של מודלי שפה על ידי מתן עקרונות מפורשים, בניגוד להסתמכות בלעדית על משוב אנושי. השיטה מאפשרת סקיילינג יעיל של פיקוח AI, שקיפות גבוהה יותר של המודל, ומבטיחה תגובות מועילות ולא מזיקות מבלי לחשוף מפעילים אנושיים לתכנים מטרידים.

קרא עוד

בטיחות8 במרץ 2023

אנתרופיק מתריעה: AI טרנספורמטיבי בפתח – אך הבטיחות עדיין בגדר תעלומה

אנתרופיק (Anthropic), חברת ה-AI המובילה, מפרסמת מסמך עמדה שבו היא מזהירה כי מערכות בינה מלאכותית טרנספורמטיביות (Transformative AI) עשויות להגיע כבר בעשור הקרוב, עם יכולות שישתוו או יעלו על ביצועי אדם במרבית המשימות האינטלקטואליות. עם זאת, היא מדגישה כי הקהילה עדיין אינה מבינה כיצד להפוך מודלים חזיתיים אלו לבטוחים, מהימנים ומיושרים באופן יציב עם ערכי האדם. החברה קוראת למאמץ מחקרי דחוף ורב-גוני בתחום בטיחות ה-AI, ומציגה את הגישה האמפירית שלה לטיפול ב"בעיית היישור" (alignment) כדי למנוע סיכונים קטסטרופליים אפשריים, העשויים לנבוע מתקלות טכניות או מהפרעה חברתית נרחבת.

קרא עוד