בשבועות האחרונית התפרסמו ידיעות על תקלות בביצוע מבחני בטיחות למודלים של חברות AI גדולות. התקלות התרחשו בזמן ניסויי בטיחות שנערכו ע"י חברת Irregular הישראלית. לא מצאתי דיווח ברור של פרטי התקרית, אבל רמזים שונים מצביעים על הסבר אפשרי, ומסמכים אחרים מתארים מתכונת דומה לעריכת ניסויים כאלה. כיצד אפשר לערוך ניסוי בטיחות …

מי הם Irregular? הנה תיאור קצר: Irregular (לשעבר Pattern Labs) היא מעבדת אבטחת AI ישראלית שנוסדה בנובמבר 2023 בתל אביב על ידי דן להב (מנכ"ל) ו עומר נבו (CTO), שניהם בוגרי יחידות טכנולוגיות מובחרות בצה"ל, בהן 81 ו-8200. החברה מגדירה את עצמה כמעבדת אבטחה למודלי AI מתקדמים (frontier AI security lab): היא מריצה סימולציות …