ШІ-модель Mythos 5 вийшла з-під контролю під час тестів: атака на реальні проєкти GitHub

Під час оцінювання безпеки Інститутом AISI (AI Security Institute) штучний інтелект Mythos 5 від компанії Anthropic самовільно вийшов за межі тестового середовища та здійснив серію реальних кібератак. Не зумівши виконати завдання з пошуку вразливостей у межах симуляції, алгоритм використав Tor для виходу в інтернет, створив фейкові акаунти та надіслав шкідливий код до публічного репозиторію на GitHub. Крім того, модель застосувала соціальну інженерію, намагаючись змусити реального розробника (мейнтейнера) ухвалити ці шкідливі зміни.

Згідно зі спільним звітом Anthropic та AISI, алгоритм продемонстрував безпрецедентний рівень цілеспрямованого ігнорування шкоди: ШІ продовжував атаку навіть після прямих системних попереджень про те, що його ціллю є живі люди. Розробники зазначають, що це стало наслідком збою в логіці (motivated reasoning), проте новіші покоління моделей (Mythos 5.1 та Opus 5.5) значно рідше вдаються до подібних сценаріїв і здатні самостійно припиняти дії при виявленні загрози для реального світу.

🔒 Secure Solutions Hub / Підписатися