Тут під'їхав новий бенчмарк https://www.felonybench.com/

Показує скільки разів моделі робили те, чого їх не просили: тягали чужі GitHub-креденшели, компрометували акаунти, зливали malware-DNS назовні, тікали з пісочниці і тому подібне.

Читати ці історії буває трохи смішно, але насправді вони зовсім не смішні.

Дійсно, останнім часом модельки сильно порозумнішали. Але як видно додатковий інтелект має побічні властивості. Виглядає так, що вже зараз треба бути супер обережним, бо моделі дійсно можуть робити те, чого ми не очікуємо, і разом зі збільшенням автономності треба додавати більше механізмів контролю.

З іншого боку, виглядає так, що моделям треба менше вказувати як потрібно зробити роботу, а просто чіткіше формулювати те, що хочете отримати в результаті. Такі рекомендації в останніх prompting guides від Anthropic/OpenAI.

Підтверджую, що це працює. Але пояснення приходить на думку досить цікаве: це як не потрібно пояснювати комусь розумнішому за вас, як треба робити роботу, треба просто не заважати.