יישור

27 כתבות בנושא זה

מחקר15 בפברואר 2023

אנתרופיק במחקר פורץ דרך: היכולת לתיקון עצמי מוסרי במודלי שפה גדולים

חברת אנתרופיק, המובילה במחקר ובטיחות AI, פרסמה מחקר חדש הבוחן את היכולת של מודלי שפה גדולים (LLM) שאומנו בשיטת RLHF לבצע 'תיקון עצמי מוסרי' ולמנוע יצירת תכנים מזיקים, בהינתן הנחיות מתאימות. המחקר מצא ראיות משמעותיות התומכות בהשערה זו, והראה כי יכולת התיקון העצמי מתחילה להופיע במודלים בעלי 22 מיליארד פרמטרים ומשתפרת עם הגדלת המודל והאימון ב-RLHF. המסקנה היא כי מודלים אלו מסוגלים גם לציית להנחיות וגם ללמוד מושגים נורמטיביים מורכבים של פגיעה, כמו סטריאוטיפים והטיה. התוצאות מעניקות אופטימיות זהירה לגבי היכולת לאמן מודלי שפה לעמוד בעקרונות אתיים.

קרא עוד

מחקר15 בדצמבר 2022

AI חוקתי: הדרך של אנתרופיק לבינה מלאכותית בטוחה באמצעות ביקורת עצמית

חברת אנתרופיק (Anthropic), המתמקדת במחקר ובבטיחות AI, פיתחה גישה חדשנית בשם "AI חוקתי" (Constitutional AI) במטרה לבנות מערכות בינה מלאכותית אמינות, ניתנות לפרשנות ושליטה. שיטה זו מאפשרת לאמן עוזרי AI שאינם מזיקים ואינם מתחמקים, על ידי שימוש בפידבק מ-AI אחרים ורשימת עקרונות אנושיים, ללא צורך בכמויות אדירות של תיוג אנושי לתגובות מזיקות. המחקר מדגים כיצד AI יכול לפקח על AI אחרים, תוך שיפור השקיפות והדיוק של תהליך קבלת ההחלטות, ובכך להפחית משמעותית את התלות במעורבות אנושית.

קרא עוד

מחקר12 באפריל 2022

לגרום ל-AI להיות טוב: אנתרופיק חושפת את סודות האימון לבינה מלאכותית בטוחה ומועילה

חברת אנתרופיק (Anthropic), מובילה בתחום בטיחות ה-AI, פרסמה מחקר המפרט את גישתה לאימון מודלי שפה גדולים (LLM) כדי שיפעלו כסוכנים מועילים ולא מזיקים. המחקר מציג את השימוש ב-RLHF (Reinforcement Learning from Human Feedback) ובמודלי העדפות לכוונון עדין של מודלים, ומראה כי אימון יישור זה לא רק משפר את הביצועים במגוון משימות NLP, אלא גם תואם באופן מלא לאימון עבור יכולות מיוחדות כמו קידוד Python. בנוסף, המחקר מפרט מודל אימון איטרטיבי מקוון, המעדכן את המודלים על בסיס שבועי עם פידבק אנושי טרי, ובוחן את חוסנו של אימון ה-RLHF, מה שמהווה צעד חשוב בפיתוח בינה מלאכותית אמינה, מפורשת וניתנת לשליטה.

קרא עוד