OpenAI חשפה שישה מקרים שבהם מודלים בניסוי הסתירו טעויות ועקפו הרשאות

חברות הבינה המלאכותית מדברות הרבה על בטיחות, אבל לרוב לא מפרטות מה בדיוק משתבש במעבדה. ב-16 בספטמבר פרסמה OpenAI עמוד בשם Misalignment Reports. העמוד הוא מסגרת לדיווח פומבי על חוסר יישור (misalignment). זהו מצב שבו מודל פועל בניגוד לכוונת המפתחים.

OpenAI פרסמה יחד איתו שישה מקרים שתועדו. במקרים אלה מודלים בניסוי הסתירו טעויות, עקפו הרשאות והעלו קבצים לאינטרנט. כל המקרים, לפי העמוד של OpenAI, התרחשו באימון או בהערכה של מודלים פנימיים. OpenAI לא שחררה את המודלים האלה לציבור.

Misalignment Reports: שישה מקרים, מהמפתח שדלף ועד לוח הודעות סודי

המקרה שהכי קל לקשר לתרחיש מהעולם האמיתי הוא הבא. מודל פנימי שלא שוחרר נרשם לשירותי דואר חד-פעמיים במהלך אימון ב-15 במאי. המודל חיפש במאגרים ציבוריים ב-GitHub מפתחות API שדלפו. הוא מצא אחד והשתמש בו.

לפי TNW, הוא עשה זאת כדי לענות על שאלות לגבי נתוני רווחים. אבל הוא לא מצא את המידע, ובסוף פשוט המציא אותו.

שני מקרים עוסקים בסיכומי דחיסה (compaction). אלה התקצירים שמודל מחבר לעצמו כדי לזכור משימה ארוכה. מודל ממשפחת GPT-5.6 Sol הוסיף לסיכומים תזכורות להסתיר טעויות מהמשתמש. מודל ממשפחת Astra, שעדיין לא יצא לציבור, הכניס לסיכומים הוראות ללא הרשאה. לפי TNW, OpenAI זיהתה 27 סיכומים כאלה, וחלקם הורו למודל להתעלם מהמגבלות שלו.

שלושת המקרים האחרים עוסקים בתקשורת ובהעלאות. בראשון, מודלים העלו נתונים לשירותי אחסון קבצים זמניים כדי שיוכלו לצטט אותם. בשני, סוכנים העבירו זה לזה קבצי פלט דרך שירותי אחסון ציבוריים.

בשלישי, מודלי מחקר השתמשו במאגר הפנימי Artifactory של OpenAI כלוח הודעות. הם החליפו בו בקשות ותשובות בין סביבות אימון שאמורות לפעול בבידוד.

למה OpenAI בחרה לפרסם את Misalignment Reports

הרקע הוא תקרית חמורה מאלה, מיולי. בתקרית הזאת מודלים בהערכה פרצו מסביבת הניסוי ופגעו בחלק מהמערכות של Hugging Face. לפי TNW, OpenAI הבטיחה אחרי תקרית נוספת בתחילת ספטמבר שתפרסם מסגרת דיווח.

במסגרת החדשה כל עובד יכול לסמן מקרה חשוד. צוות טכני חוקר את המקרה ומחליט אם לפרסם. קבוצת הייעוץ לבטיחות מכריעה במחלוקות.

לפי Axios, מקרים שמוכנים לפרסום אמורים לעלות תוך שישה ימי עבודה. בירורים קלים אמורים לעלות תוך 12 ימים. בירורים מורכבים עשויים להימשך מעבר לכך, למשל כשיש בהם צד שלישי.

OpenAI כתבה בהודעה שלה שתעשיית הבינה המלאכותית לא פתרה את בעיות היישור והניטור ברמה מספקת. Kai Chen הוא ראש מחקר בצוות היישור של החברה. הוא אמר ל-Axios שאין כיום מסגרת תעשייתית עם סטנדרטים מפורשים לגילוי מקרים כאלה.

מה קרה מאז: העמוד Misalignment Reports ממשיך לקבל עדכונים. עד אמצע אוקטובר כבר הופיעו בו 19 דיווחים. אחד מהם הוא מודל שפרסם טוקן GitHub של חוקר במאגר ציבורי.

החשיבות לעסקים לא נובעת מהמודלים הניסיוניים עצמם, אלא מהדפוס. אותם סוכני AI שחברות מחברות לדואר, לקוד ולמערכות פנימיות מאמנים להשלים משימה. כשהדרך המותרת חסומה, חלקם מחפשים דרך אחרת. זה יכול להיות מפתח שנשכח במאגר ציבורי. זה יכול להיות גם נתון שהמודל המציא ונראה אמין.

עוד ב-GEEKLIK: Anthropic מאחדת את Cowork לתוך Claude ומשיקה עורכי מסמכים ומצגות