יכולות מודלים

האם קלוד יכול להיות מדען? מבחן BioMysteryBench מגלה

חברת אנתרופיק (Anthropic) הציגה לאחרונה את BioMysteryBench, מדד ביצועים חדשני המעריך את יכולות המחקר הביו-אינפורמטי של מודלי ה-AI שלה, קלוד (Claude), במשימות מורכבות בעולם האמיתי. המחקר מגלה כי קלוד מציג שיפור משמעותי מדור לדור, משתווה למומחים אנושיים ואף עולה עליהם בחלק מהאתגרים, תוך שימוש באסטרטגיות ייחודיות המשלבות בסיס ידע עצום וגישה מרובת שיטות. BioMysteryBench מאפשר להעריך את ה-AI גם במשימות שקשות או בלתי אפשריות לבני אדם, ומציב את קלוד בחזית המחקר המדעי.