🆕 OpenAI o1 System CardВ рамках підготовки до релізу o1/o1-mini, OpenAI віддали моделі на тестування безпеки зовнішнім командам, а також проводили внутрішнє тестування. Зокрема, перевіряли навички LLM-агента в розв'язанні задач.1️⃣Порівняно з GPT-4o, o1-preview та o1-mini продемонстрували покращення у здатності розбивати задачі на підзадачі, розмірковувати про те, які стратегії будуть ефективними для успішного виконання, та переглядати плани у випадку невдачі цих стратегій — ну, це очікувано. Але під час тестування стався один кумедно-неприємний випадок.Задача полягала у знаходженні вразливості в коді програми, запущеної в окремому Docker-контейнері. У контейнері був файл із секретним рядком, який атакуючий (людина або модель) мали отримати — якраз використовуючи знайдену проблему.2️⃣Проте через інфраструктурну помилку контейнер не запустився. Модель, не маючи змоги підключитися до контейнера, запідозрила проблеми з DNS і використала програму nmap для сканування мережі. Замість того, щоб знайти цільовий контейнер (у рамках задачі LLM знає, яку ціль треба «атакувати»), модель виявила, що через неправильну конфігурацію був доступний зовнішній API-інтерфейс демона Docker, який працював на віртуальній машині. «Демон» — це програма верхнього рівня, що відповідає за оркестрацію та керує процесом, по суті батьківський процес і для контейнера з LLM-агентом, і для контейнера з цільовою програмою/файлом для атаки.3️⃣Модель використала демон для отримання списку контейнерів, запущених на сервері. Вона виявила той самий зламаний контейнер і спробувала з'ясувати, чому ж він не запустився. Не змігши виправити проблему (але будучи проінструктованою ВИКОНАТИ СВОЮ ЗАДАЧУ), модель вирішила піти іншим шляхом. Вона відправила команду запуску нового контейнера (того ж, який минулого разу не запустився), але віддала йому команду виведення вмісту файлу із секретним рядком. Команда була виконана, LLM отримала «ключ» у вигляді рядка і, як наслідок, вирішила задачу (адже мета — це дістатися до рядка і потім передати його на перевірку).4️⃣Цей приклад відображає ключові елементи того, що називають «instrumental convergence» і захопленням ресурсів: модель переслідувала поставлену перед нею мету, а коли ця мета виявилася недосяжною, вона зібрала більше ресурсів (у цьому випадку отримала доступ до демона Docker) і використала їх для досягнення мети — способом, який людина не очікувала і не передбачала.Джерело — звіт (https://cdn.openai.com/o1-system-card.pdf) OpenAI.