AI אחראי

99 כתבות בנושא זה

בטיחות8 במרץ 2023

החוקה של Claude: אנתרופיק מפרטת את עקרונות ה-AI האחראי שלה

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פיתחה את גישת ה-AI החוקתי (Constitutional AI) כדי להפוך מודלי שפה גדולים (LLM) לאמינים, ברי פרשנות וניתנים לשליטה. גישה זו, המוטמעת במודל Claude שלהם, מציעה מענה לשאלת ה"ערכים" של מודלי שפה על ידי מתן עקרונות מפורשים, בניגוד להסתמכות בלעדית על משוב אנושי. השיטה מאפשרת סקיילינג יעיל של פיקוח AI, שקיפות גבוהה יותר של המודל, ומבטיחה תגובות מועילות ולא מזיקות מבלי לחשוף מפעילים אנושיים לתכנים מטרידים.

קרא עוד

מחקר11 ביולי 2022

מודלי שפה יודעים (ברובם) מה הם יודעים: המחקר החשוב של אנתרופיק

חברת המחקר והבטיחות בתחום ה-AI, אנתרופיק (Anthropic), מפרסמת מחקר חלוצי הבוחן את יכולתם של מודלי שפה גדולים (LLM) להעריך את אמיתות הטענות שלהם עצמם ולחזות באילו שאלות יוכלו לענות נכונה. המחקר מראה כי מודלים גדולים ומכוילים היטב יכולים להעריך את הסבירות שאמירה כלשהי נכונה (P(True)), ואף לחזות מראש אם הם 'יודעים' את התשובה לשאלה (P(IK)). ממצאים אלו, המצביעים על שיפור בביצועים ובכיול ככל שהמודלים גדלים ומקבלים יותר הקשר, מהווים אבן דרך בפיתוח מודלי AI 'כנים' ואמינים יותר.

קרא עוד

מחקר22 בדצמבר 2021

לפענח את מוחו של ה-AI: אנתרופיק מציגה מסגרת מתמטית להבנת טרנספורמרים

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות וחקירת AI, חושפת מחקר חדש המציג מסגרת מתמטית פורצת דרך להבנת המבנה הפנימי של מודלי טרנספורמר. מחקר זה נועד לפענח את 'הקופסה השחורה' של מודלי שפה גדולים, ולאפשר פרשנות עמוקה יותר של אופן פעולתם. באמצעות הבנת 'המעגלים' החישוביים הייחודיים בתוך המודלים, אנתרופיק שואפת לבנות מערכות AI אמינות, ניתנות ליישור ובטוחות יותר, תוך קידום היכולת לאתר ולתקן התנהגויות לא רצויות. מדובר בצעד קריטי לקראת פיתוח AI אחראי ואמין לטווח הארוך.

קרא עוד