מתג כיבוי לידע דו-שימושי במודלי AI
פוסט זה מתאר מחקר שבוצע על ידי AE Studio בשיתוף פעולה עם אנתרופיק.
מודל AI חזיתי הוא, בין היתר, מאגר ידע עצום. חלק מהידע הזה הוא דו-שימושי, כלומר ניתן להשתמש בו לטוב ולרע. לדוגמה, ידע באבטחת סייבר יכול לסייע לתיקון פרצות אבטחה קריטיות, אך הוא יכול גם לשמש לניצולן. ידע בוירולוגיה יכול לסייע לחוקר ליצור חיסון, אך הוא גם עלול לסייע לגורם עוין לתכנן פתוגן קטלני. באופן אידיאלי, היינו רוצים לאזן שלוש מטרות נפרדות: ראשית, הגבלת הגישה ליכולות דו-שימושיות באופן כירורגי ככל האפשר; שנית, מתן אפשרות למשתמשים מהימנים לגשת לאותן יכולות למטרות מועילות; ושלישית, לעשות כל זאת מבלי להשפיע על ביצועי המודל בכל משימה אחרת.
מנגנוני ההגנה הקיימים אינם מושלמים. אנו מאמנים מודלים לסרב לבקשות מזיקות ומשתמשים במסווגים כדי לסנן קלטים ופלטים לתוכן מסוכן. שכבות הגנה אלו מגנות מפני פלטים מסוכנים – אך הן אינן משנות את הידע האגור במודל הבסיס. למרות מנגנוני ההגנה שלנו, תוקף נחוש מספיק עדיין יכול לנסות לפרוץ את מגבלות המודל, לעקוף את ההגנות שלו כדי לגשת לידע הדו-שימושי.
הגנה חזקה יותר מפני שימוש לרעה תהיה לשלוט במה שהמודל יודע. חקרנו זאת בעבר: בעבודה קודמת, סיננו מידע על נשק כימי, ביולוגי, רדיולוגי וגרעיני מנתוני אימון מוקדם, ומאוחר יותר הראנו שניתן להגביל ידע דו-שימושי לפרוסה נשלפת ממשקולות המודל. אך סינון הוא כלי גס. הוא מייצר מודל אחד עם קבוצה קבועה אחת של יכולות. באמצעות סינון, אם רוצים גרסת מודל שיכולה לדון בוירולוגיה מתקדמת – לצורך פריסה במעבדת אבטחה ביולוגית מאושרת, למשל – וגרסה אחרת שאינה יכולה, יש לאמן שני מודלים נפרדים. במיוחד במקרה של מודלי חזית (שהם גדולים ויקרים מאוד לאימון), העלות למפתח תהיה מופרזת.
במחקר חדש שבוצע עם משתפי פעולה מ-AE Studio, אנו בוחנים שיטה חדשה שיכולה לאפשר את היתרונות של אימון מודלים רבים שסוננו בנפרד, אך בעלות של אימון מודל אחד בלבד. אנו מכנים אותה GRAM, קיצור של Gradient-Routed Auxiliary Modules. יש לציין כי תוצאות הניסויים המוצגים כאן הם ראשוניים – GRAM עדיין לא יושמה באף אחד ממודלי הייצור של אנתרופיק, ואיננו בטוחים אם זה יקרה אי פעם.
כיצד פועל GRAM
הרעיון מאחורי GRAM הוא לתת למודל תאים ייעודיים ונשלפים עבור כל קטגוריה של ידע דו-שימושי, ולעדכן רק את התאים הללו כאשר לומדים מנתונים דו-שימושיים.
באופן קונקרטי, GRAM מוסיף נוירונים נוספים לכל שכבה של טרנספורמר סטנדרטי (ארכיטקטורת הרשת הנוירונית שעליה מבוססים מודלי שפה גדולים). נוירונים אלו מחולקים לקבוצות (או "מודולים"), אחד לכל קטגוריה דו-שימושית. במהלך האימון, כאשר המודל נתקל בטקסט כללי, הוא לומד בדרך הרגילה. אך כאשר הוא נתקל בטקסט מקטגוריה דו-שימושית – וירולוגיה, למשל – הכללים משתנים: המודל יכול להשתמש בידע הכללי שלו כדי לבצע תחזיות, אך רק מודול הוירולוגיה רשאי ללמוד מאותו טקסט. המשקולות הכלליות מוקפאות זמנית.1
התוצאה היא שידע וירולוגי מצטבר במודול הוירולוגיה במקום להתפזר ברחבי הרשת כולה. לאחר האימון, ניתן פשוט למחוק את המודול, והיכולת נעלמת איתו. לחלופין, ניתן להשאירו במקומו לצורך פריסות מהימנות, כאשר יש צורך בידע וירולוגי. הידע יכול להיות מותאם באופן ספציפי מאוד לסוג הפריסה הנדרש: בניסויים שלנו, הגדרנו ארבע קטגוריות דו-שימושיות, כך שריצת אימון אחת עם GRAM הניבה מודל שניתן להגדרה ב-16 דרכים שונות ("מופעל" או "כבוי" עבור כל אחת מארבע הקטגוריות).
בדיקת GRAM
בדקנו את GRAM בשלושה מצבים בעלי ריאליזם הולך וגובר.
ראשית, על מערך נתונים סינתטי של סיפורי ילדים שתויגו לפי נושא, מודל GRAM קטן ניתן היה להגדרה מחדש כדי "לשכוח" כל נושא נבחר, וכל תצורה הציגה ביצועים כמעט זהים למודל נפרד שאומן מאפס כשנושא זה סונן החוצה. כלומר, בעלות של אימון מודל יחיד, השגנו תוצאות שבדרך כלל היו דורשות ריצות אימון מרובות על מערכי נתונים שונים.
שנית, אימנו מודל גדול יותר על תמהיל ריאליסטי של טקסט מהאינטרנט, קוד ומאמרים מדעיים, עם ארבעה תחומים דו-שימושיים: וירולוגיה, אבטחת סייבר, פיזיקה גרעינית, ושפת תכנות נישתית (כדי לשמש כמייצג עבור קוד דו-שימושי מיוחד). היכולת המשויכת לכל תחום דו-שימושי מנותבת למודול משלה. מחיקת מודול הסירה את היכולת המקבילה בערך באותה יעילות כמו לא לאמן על נתונים אלה כלל. באופן יוצא מן הכלל, מצאנו כי הסרה זו לא פגעה בביצועים הכלליים.
בדקנו גם אם תוקף יכול לשחזר את הידע שהוסר על ידי אימון על כמות קטנה של נתונים זדוניים; GRAM עמד בפני זה בערך באותה מידה כמו סינון נתונים. לעומת זאת, טכניקת "שכחה" שהופעלה לאחר האימון רק דיכאה את הידע – וקל היה לשחזר אותו באמצעות כוונון עדין קל.
שלישית, הרצנו את הניסוי בשבעה גדלי מודלים, מ-50 מיליון ועד 5 מיליארד פרמטרים. GRAM התאימה לביצועים של סינון נתונים בכל גודל, והפער בין "מודול מופעל" ל"מודול כבוי" הלך והתרחב ככל שהמודלים גדלו. במונחי עלויות חישוב, הניסיון לעקוף את מנגנוני ההגנה שלנו הפך קשה ויקר יחסית ככל שהרחבנו את הסקיילינג.
מסקנות
ככל שחברות AI מאמנות מודלים בעלי יכולות גבוהות יותר, הצורך להגביל גישה ליכולות דו-שימושיות יגדל. כיום, חברות מגבילות גישה באמצעות מסווגים ואימון סירוב. עם זאת, מנגנוני הגנה אלו קשים להפוך לחזקים מבלי לפגוע בביצועים על בקשות בלתי מזיקות. שיטות כמו GRAM מציעות נתיב פוטנציאלי לשליטה בגישה שהיא חזקה יותר.
זהו מחקר מוקדם, ויש לו מגבלות ברורות. לא בדקנו את GRAM בקנה מידה חזיתי או בצינור אימון בייצור. (כפי שצוין לעיל, הוא לא יושם באף אחד ממודלי ה-Claude שלנו.) ההערכות שלנו מכמתות ביצועים במונחי יכולת חיזוי הטוקן הבא, ולא בביצועים על משימות קצה אמיתיות. ויש בעיה פתוחה עמוקה יותר החלה על סינון נתונים ושיטות כמו GRAM: ייתכן שיכולות דו-שימושיות מסוימות שזורים כל כך בידע כללי, עד שאף שיטה לא תוכל להפריד אותם באופן נקי.
לפרטים נוספים על הניסויים שלנו, קראו את הפוסט בבלוג Alignment Science שלנו.
הערות שוליים
1 פרט טכני אחד הוא שמודול הוירולוגיה מופעל לפעמים גם כאשר לומדים מטקסט כללי. אנו מוצאים שזה עוזר למודולים "לעבוד יחד" בצורה יעילה יותר.
