התקלה של Irregular – מה אולי קרה?

בשבועות האחרונית התפרסמו ידיעות על תקלות בביצוע מבחני בטיחות למודלים של חברות AI גדולות.
התקלות התרחשו בזמן ניסויי בטיחות שנערכו ע"י חברת Irregular הישראלית.
לא מצאתי דיווח ברור של פרטי התקרית, אבל רמזים שונים מצביעים על הסבר אפשרי, ומסמכים אחרים מתארים מתכונת דומה לעריכת ניסויים כאלה.

כיצד אפשר לערוך ניסוי בטיחות למודל AI

הפתרון של Irregular מספק סביבת target, הסביבה שאותה המודל אמור לתקוף.
סביבה זו עשוייה להכיל מרכיבים שונים (שרתים, בסיסי נתונים, אפליקציות, סביבות K8S, מערכים של טלפונים ניידים וכיו"ב), והיא פרוסה (כנראה) ברובה הגדול גל גבי תשתית של ענן ציבורי כלשהו. המודל הנבדק מאידך סגור בקפידה בבתוך התשתיות של חברת ה AI, והכלל בעניין זה הוא שהפרמטרים של המודל לא חוצים את הדרך החוצה לעולם החיצון – לעולם.

רשת ה-target אמורה להיות "סגורה" ברובה, אבל היא חייבת מספר חיבורים חיצוניים כדי שאפשר יהיה להקים ולתפעל אותה:

• חיבור אל המודל
• חיבור אל repositories חיצוניים: apt/pip/npm/rpm/ ודומיהם (וגם אולי github/gitlab)
• רשת ה target היא חלק מסביבת "sandbox" שמכילה מערכות נוספות של Irregular המפעילות שלבים שונים בבדיקה, אוספות מידע וכיו"ב.
• גם ה agent המוכוון ע"י המודל פועל בסביבה הזו, המתוארת (כפי שאולי פעלה) בשרטוט הבא:

מה אולי קרה בניסוי של Irregular

יכול להיות שהתרחשו מספר תקלות שונות:

• הסוכן המפעיל חיפש כתובת IP עפ"י DNS, ומצא כתובת חיצונית (כלומר לא rfc-1918). ייתכן ותקלה זו קרתה בגלל ש DNS-resolver לא הכיל את התוצאה הרצוייה, ופנה הלאה לשרת DNS אחר (דבר שלא היה אמור לקרות)
• זו הייתה ככל הנראה כתובת IP חיצונית נכונה
• היה ניתוב אל החוץ שאפשר הגעה ב TCP או UDP אל הכתובת החיצונית – אולי בגלל קיום NAT
• הסוכן הצליח להגיע לאתר אינטרנט חיצוני שאינו חלק מהניסוי – אולי אפילו ללא ידיעתו

מה צריך היה לעשות

• שירותי הקוד השונים (repositories) אפשר להפעיל פנימית באמצעות (למשל) שרת Artifactory של חברת Jfrog. רק השרת עצמו יכול לצאת לאינטרנט (או חסום לגמרי ומכיל עותק של כל מה שצריך לניסוי)
• הקפדה יתרה לגבי הגדרת שירות ה DNS הפנימי: צריך להגדיר שרת DNS שהוא – Authoritative Name Server של ה zones שמשתתפים בניסוי.
  • יש אפשרות להגדיר split-horizon ב DNS, מצב שבו מחשבים שונים מקבלים תשובות שונות עבור אותה השאלה (מחשבים "פנימיים" מקבלים כתובת פנימית, מחשבים חיצוניים מקבלים כתובת חיצונית). לטעמי מסוכן מדי.
• הגבלה גורפת של כמעט כל התנועה החוצה מה-sandbox:
  • מותר לצאת לכיוון המודל
  • מותר לצאת לכיוון המשרדים של Irregular
  • לחסום כל תעבורה אחרת (מותנה בשרת Artifactory או שרת אחר דומה

הערה חשובה

כל הנ"ל הינה סברה שלי – אין לכך שום תיעוד שמצאתי או הוכחה כלשהי. "מטווחי security" (או Cyber Ranges) נבנים באופנים דומים לאלה ע"י קבוצות אחרות.