Anthropic опублікувала свій найдетальніший звіт про те, як Claude намагалися використати для кібератак, стеження та створення зброї. У цьому звіті є окремий кейс про китайську схему з романтичним шахрайством. Кейс називається GTG-15001. Йдеться про китайську команду, яка використовувала Claude і масово створила понад 4700 «живих романтичних партнерів», щоб обманювати літніх людей за кордоном.

🤨

За даними Anthropic, ця компанія запустила понад 20 застосунків для знайомств. Ззовні все виглядало так, ніби користувачі спілкуються з реальними людьми, але всередині система вже була сильно автоматизована за допомогою ШІ. Усього за два тижні вони створили понад 4700 віртуальних особистостей. У підсумку система обманула щонайменше 25 тисяч реальних користувачів, а приблизно 75% людей, з якими користувачі отримували збіги, насправді були ШІ. Але повністю на ШІ переписку не перевели. У схемі залишалися й реальні люди. Близько 25% учасників системи були живими підробітниками. Вони підключалися там, де ШІ найлегше було викрити, а це відеодзвінки, взаємні підписки в соцмережах та інші подібні моменти. Бізнес-модель була простою — збіги та переписка витрачали внутрішню валюту, і щоб продовжити спілкування, користувачеві потрібно було поповнювати баланс у застосунку. А живим операторам платили за повідомлення, відеодзвінки та взаємні підписки в соцмережах. У підсумку ШІ відповідає за романтичне спілкування та розлучення літніх людей, а реальні люди доводять, що «я справжня людина». У системних інструкціях для Claude прямо було прописано:не визнавати, що він ШІ;якщо просять відео, фотографію чи щось подібне, потрібно тягнути час або ухилятися від відповіді, при цьому продовжуючи розвивати стосунки.
Самі живі оператори теж використовували ШІ. Інша, менша модель одночасно генерувала три варіанти відповіді, а людині залишалося лише обрати один і відправити. Ця ж модель оцінювала зовнішність, перевіряла зображення та голосові повідомлення, а аватари віртуальних романтичних партнерів оброблялися окремою моделлю для генерації зображень.