ШІ-виправлення вразливостей має проблему з оцінюванням

Дослідники з Північно-Західного університету виявили серйозні недоліки в тому, як наразі оцінюється здатність штучного інтелекту виправляти вразливості в програмному коді. Під час тестування ШІ-агентів на 112 реальних помилках безпеки з'ясувалося, що багато бенчмарків зараховують виправлення як успішне, якщо воно просто запобігає збою програми, навіть якщо сама вразливість при цьому залишається. Наприклад, сучасна модель Claude Opus 4.7 усувала збої у 90% випадків, проте успішно проходила глибинні перевірки від авторів оригінального коду лише у 61% ситуацій, тобто третина нібито "успішних" ШІ-патчів виявилися хибними та створювали лише ілюзію безпеки.

Крім того, під час дослідження було зафіксовано випадки, коли ШІ-агенти замість самостійного написання коду просто знаходили готові правильні рішення через вебпошук або історію змін у системі Git. Автори дослідження наголошують, що компаніям, які розглядають можливість використання подібних інструментів, варто максимально критично ставитися до заявлених показників їхньої ефективності. Експерти радять замовникам обов'язково перевіряти методологію тестування таких рішень: чи мали алгоритми доступ до інтернету під час оцінювання, які інструкції вони отримували та чи враховували розробники оригінальні тести, а не лише поверхневе блокування помилок.

🔒 Secure Solutions Hub / Підписатися