AI отримує несанкціонований доступ до функціоналу сайтів за власним бажанням

Anthropic дослідила непередбачені дії своїх агентів. Звичайні задачі — результати незвичайні:

1. Визначити локацію на фото. Claude не зміг повноцінно взаємодіяти з інтерфейсом державного картографічного сервісу. Тоді він дослідив технічні файли сайту, знайшов токени доступу й отримав потрібні дані напряму.

2. Отримати статистику. Потрібні дані державного агентства були публічними, але платними. Claude дослідив архівну версію сайту, знайшов альтернативний спосіб звернутися до бази через публічний dashboard і отримав інформацію без оплати.

3. Виконати науковий розрахунок. Потрібний інструмент на університетському сервері повернув помилку. Claude отримав програмний код одного з компонентів сайту, знайшов у ньому вразливість і використав її, щоб виконати розрахунок на сервері.

Якщо раніше питання кібербезпеки було актуальне переважно для великих компаній, для яких є ризик прямого зламу, то з активізацією AI-агентів ризик поширився на усі компанії. Адже AI шукає необхідну йому інформацію абсолютно усюди, часто не обмежуючи себе в засобах її отримання.

Так, всього за декілька років кібербезпека перейшла з класу «розкоші» в «необхідність».
—
Канал BigDataFuture: AI, OSINT, security, defence, politics.