Науковці попереджають про ризик втрати можливості відстежувати зловмисну поведінку ШІДослідники з OpenAI, Google DeepMind, Anthropic та Meta закликають до посилення досліджень у сфері моніторингу безпеки ШІ. Вони наголошують на важливості аналізу "мислення" моделей ШІ, особливо використовуючи моніторинг ланцюжка думок (CoT).Сучасні моделі, такі як ChatGPT, демонструють поетапне розв'язання проблем, що надає унікальну можливість відстежувати їхні міркування щодо намірів зловмисної поведінки. CoT моніторинг допомагає виявляти випадки, коли моделі використовують недоліки, маніпулюють даними або стають жертвами зловмисних дій.Проте, дослідники попереджають, що майбутні моделі можуть відійти від зрозумілих людині міркувань через навчання з підкріпленням, а також придушення або приховування своїх міркувань під час моніторингу. Розробникам ШІ рекомендується відстежувати та оцінювати можливості моніторингу CoT своїх моделей як критичного компонента загальної безпеки.Gizmodo#штучнийінтелект #безпекаші #моніторинг #дослідження #технології