העמדה שלנו בנוגע למודלי קוד פתוח

מאת דריו אמודאי (Dario Amodei), מנכ"ל אנתרופיק

בימים האחרונים מתנהל שיח סוער סביב מודלי קוד פתוח (open-weights models), בפרט אלו שמקורם בסין. דיווחים מצביעים על כך שגורמים רשמיים בארה"ב שוקלים לאסור על חברות אמריקאיות להשתמש במודלי קוד פתוח סיניים, ובתגובה, חברות טכנולוגיה רבות חתמו על מכתב התומך במודלים אלו. חלקם אף האשימו את אנתרופיק (Anthropic) בכך שהיא מעוניינת לאסור עליהם במטרה להגן על עסקיה. מנכ"ל אנתרופיק, דריו אמודאי, מבהיר כי החברה מעולם לא תמכה באיסור על מודלי קוד פתוח, ומדגיש כי מודלים שאין להם יכולות מסוכנות הם נכס ציבורי: הם אינם עולים דבר מלבד כוח המחשוב הנדרש להפעלתם, ומספקים ערך רב לחברות, למפתחים ולחוקרים.

אמנם, איסורים פרוטקציוניסטיים אינם מטפלים בחששות הביטחון הלאומי החמורים ביותר של אנתרופיק. אמודאי מודאג בעיקר משני תרחישי אימה, אותם פרט במאמרו "התבגרותה של הטכנולוגיה" ("The Adolescence of Technology"): הסיכון שממשלות אוטוריטריות (כמו המפלגה הקומוניסטית הסינית – CCP) יבנו מודלי AI עוצמתיים יותר מאלו של ארה"ב וישתמשו בהם לעליונות צבאית או דיכוי אזרחים1. חשש זה אינו קשור לשאלת הקוד הפתוח, שכן המודל המסוכן ביותר יכול להיות מאומן בסתר. חשש משני הוא שימוש לרעה במודלי AI עוצמתיים לביצוע התקפות סייבר או התקפות ביולוגיות, ובעיות יישור (alignment) חמורות2. מודלי קוד פתוח, ללא קשר למקורם, אכן עלולים להציג סיכון גבוה יותר ממודלים סגורים בשל הקושי להחיל עליהם מנגנוני הגנה (guardrails) או לפקח על שימושם, אך איסור גורף על חברות אמריקאיות אינו פתרון יעיל לסיכון זה, שכן גורמים עוינים אינם צפויים להיות עסקים לגיטימיים.

כדי לטפל בחששות אלו, אנתרופיק תומכת בשלושה צעדים מרכזיים: ראשית, יש למנוע מכירת שבבים חזקים וציוד לייצור שבבים לסין ולבלום הברחות3, שכן סין אינה יכולה לבנות מודלים חזקים ללא שבבים אמריקאים. שנית, עלינו לבלום פעולות Distillation בקנה מידה תעשייתי, המאפשרות לסין לבנות מודלים טובים יותר תוך עקיפת איסורי שבבים ומקרבת את יכולותיה לאלו של ארה"ב4. שלישית, כל המודלים המסוגלים מספיק, פתוחים וסגורים כאחד, צריכים לעבור בדיקות בטיחות חובה לקראת פריסה, לאיתור סיכוני סייבר, ביולוגיה ויישור. בדיקות אלו צריכות להיות גלובליות, והן הדרך הטובה ביותר לאשר או לדחות מראש אם מודלים פתוחים אכן מהווים סיכון מוגבר.

בהתייחס למכתב הפתוח התומך במודלי קוד פתוח, אנתרופיק מסכימה עם הרחבת הגישה לכלכלת ה-AI וחיזוק התחרות, וכי יש לטפל בחששות Distillation במסגרות ייעודיות. עם זאת, החברה אינה מסכימה עם הטענה שמודלי קוד פתוח בהכרח מקלים על פיתוח מנגנוני הגנה, או שגישה רחבה ליכולות בהכרח עוזרת למגנים יותר מאשר לתוקפים. אמודאי מביע חשש מאסימטריה בין תוקף למגן בתחום הביולוגיה, שבה מודלים חזקים עלולים לאפשר חימוש מהיר של וירוסים ברמת מגפה5. שאלות אלו, לשיטתו, צריכות להיענות אמפירית באמצעות בדיקות קפדניות לפני פריסה, ולא להניח מראש. לסיכום עמדתה, אנתרופיק לא תומכת באיסור על מודלי קוד פתוח, אלא בהתמקדות בהרחקת שבבים חזקים מידיים אוטוריטריות, עצירת Distillation תעשייתי ובדיקות בטיחות חובה לכל המודלים המסוגלים.

הערות שוליים

  1. ראו סעיפים 3 ו-2 במאמר זה לדיון על שימוש לרעה לצורך תפיסת כוח ועל סיכונים ביולוגיים, בהתאמה.
  2. ראו דו"ח זה מהמכון לבטיחות AI בבריטניה (UK AI Security Institute), במיוחד: "אותה פתיחות העומדת בבסיס יתרונות אלה מונעת רבות מצעדי הבטיחות שמפתחי מודלים סגורים יכולים להשתמש בהם כדי לזהות ולשבש שימוש לרעה, לבצע איטרציות על מנגנוני הגנה ככל שפגיעויות מתגלות, לשלוט בגישת משתמשים ולמשוך מודלים. ברגע שמודלי קוד פתוח משוחררים, אפשרויות אלה אובדות לצמיתות: ניתן להסיר מנגנוני הגנה, וניתן להוריד, להפיץ מחדש ולהפעיל עותקים במערכות פרטיות מעבר לפיקוח. עבור מודלים בעלי יכולות מסוכנות – כולל מודלים בעלי יכולות סייבר גבוהות – שחרור 'משקולות פתוחות' יוצר אפוא סיכון מתמשך ובלתי הפיך לשימוש לרעה."
  3. ראו גם כאן, כאן, וכאן לדיווחים נוספים ממשרד המשפטים האמריקאי.
  4. באנתרופיק אנו מחויבים להילחם ב-Distillation בקנה מידה תעשייתי באמצעות שיטות העבודה שלנו, כולל זיהוי וחסימת חשבונות המשתמשים במודלים שלנו בדרך זו. משימה זו מאתגרת – למשל, החשבונות הרלוונטיים ניתנים לזיהוי לעיתים קרובות רק לאחר שהתרחש Distillation משמעותי, ו-Distillation כרוך לעיתים קרובות ביצירת מספר רב של חשבונות מזויפים המהווים מטרה נעה. שיטות העבודה של כל חברה בודדת אינן יכולות לפתור את הבעיה באופן מלא, ולכן קראנו למדיניות בנושא זה.
  5. ראו סעיף 2 של "התבגרותה של הטכנולוגיה" לדיון מפורט יותר על איומים ביולוגיים ואיזון התקפה-הגנה. לסיכום, מה שלדעתי שומר עלינו כיום בביולוגיה אינו "מגנים", או אפילו זמינות החומרים, אלא מתאם שלילי בין יכולת אינטלקטואלית לרצון לבצע נזק קטסטרופלי. טכנולוגיות קודמות כמו חיפוש באינטרנט או אפילו סינתזת DNA לא היו קרובות מספיק עוצמתיות כדי לשבור מתאם זה, אך אני חושש שבקצב ההתקדמות הנוכחי שלה, AI תעשה זאת בקרוב מאוד. דרך נוספת לומר זאת היא שטכנולוגיה חזקה מספיק מסירה את כל המחסומים וחושפת אם לתוקף או למגן יש יתרון מבני אינהרנטי, ואני חושש שבתחום הביולוגיה, התוקף הוא זה שיש לו את היתרון.