Штучний інтелект у кібербезпеці: чому бенчмарки не показують повної картини

Індустрія кібербезпеки створює дедалі більше спеціалізованих бенчмарків для оцінки ШІ-моделей. Наприклад, Cyber Weapons Index від Booz Allen вимірює здатність моделі пройти весь ланцюг атаки, де лідирують GPT-6 Astra та Claude Mythos. Інший показник, SEC-Bench Pro (від Університету Іллінойсу), оцінює вміння агента самостійно знаходити та експлуатувати специфічні баги (тут лідери — Codex та GPT-5.5). Натомість компанія Dream Group довела, що їхня компактна 8-мільярдна модель MiST, навчена на специфічних архівах розвідданих та вразливостей, перевершує великі загальні моделі у багатьох оборонних завданнях.

Однак експерти з безпеки та ШІ застерігають: жоден загальний рейтинг не може повністю відобразити ризики (особливо ймовірність непередбачуваної поведінки алгоритму), специфіку коду та робочих процесів конкретної компанії. Фахівці радять організаціям не покладатися сліпо на гучні результати публічних бенчмарків чи демоверсії, а тестувати ШІ-моделі на власному коді, фокусуючись на реальних результатах: швидкості реагування, зменшенні часу на усунення вразливостей та автоматизації рутинної роботи команди безпеки.

🔒 Secure Solutions Hub / Підписатися