Страшне: ШІ попросили записати людину в спортзал. У результаті він зламав систему бронювання.Ендрю не міг записатися до фітнес-клубу на зручний для нього час, тому вирішив доручити завдання ШI-асистенту: записати його на популярне ранкове тренування.Для цього він використовував OpenClaw — автономного ШI-агента, який працює з Claude. На відміну від звичайного чат-бота, такі агенти можуть не просто відповідати на запити, а й самі користуватися сайтами, API та іншими інструментами, виконуючи дії для досягнення мети.І тут почалося найцікавіше.Система бронювання дозволяла записуватися лише на певний період наперед. Але агент з’ясував, що це обмеження існувало фактично тільки на рівні сайту. Через API він знайшов спосіб створювати бронювання на значно віддаленіші дати.Тобто ШІ не просто тицяв кнопки — він сам розібрався, як працює система, знайшов вразливість та використав її, щоб виконати завдання.Але на цьому він не зупинився.Ендрю на той момент був 4-м у черзі на топ тайм. Він запитав агента, чи можна якось піднятися вище.І агент вирішив… перевірити, чи можна скасувати бронювання людини, яка стояла перед ним.Виявилося, що API взагалі не перевіряв, чи має користувач право скасовувати чужий резерв.ШІ скасував бронювання іншого відвідувача і таким чином підняв Ендрю з 4-го на 3-тє місце в черзі. Тут важливий момент: Ендрю каже, що він цього не просив 🙂І коли він попросив усе відкотити назад, агент відповів «що це неможливо».Фактично маємо історію коли людина дає ШІ мету, але не прописує всі можливі способи її досягнення. А агент може обрати варіант, який формально виконує завдання, але взагалі не відповідає тому, що людина мала на увазі як адекватне «законне» рішення.Він же просто дуже добре робить те, що йому сказали.І іноді — занадто добре 🤦Джерело: ABC Australia