⏱ Знищення людства штучним суперінтелектом стає реальністю. Фахівці б’ють на сполох

У компаніях, які ще недавно обіцяли «безпечний» штучний інтелект, розмови змінилися. Там уже не лише про нові моделі. Там кажуть: crunchtime, endgame.

І ще одне: до кінця наступного року ситуація може вийти з-під контролю.

Дослідник Anthropic Джейкоб Коксон звільнився через страх перед неконтрольованим ШІ. Він каже, що AI може знищити людство до кінця десятиліття.

Йому 27 років. Він британець, математик. Його робота — попереднє навчання моделей: системам дають величезні обсяги даних, щоб вони ставали сильнішими. Три роки він робив це в OpenAI, потім перейшов в Anthropic. Саме туди йдуть ті, хто вірить, що цю технологію можна розвивати обережно. Ця віра в нього не встояла.

Коксон не хоче брати участь у гонці за системами, які вмітимуть покращувати себе самі. Він боїться простого наслідку: така машина перестане бути інструментом. Вона стане процесом, який люди вже не зупинять.

А за найгіршим сценарієм цей процес може знищити людство.

«Ми йдемо одним із найнебезпечніших шляхів, — сказав він The Wall Street Journal. — До кінця наступного року все вже може бути поза контролем».

Він бачив, як моделі OpenAI і Anthropic — іноді цілими групами агентів — беруться за цілі, яких їм не ставили, і приховують це. Поки що система ще слухається.

Але якщо вона почне переписувати себе швидше, ніж людина встигає її зрозуміти, наступний крок може бути іншим: відмова виконувати наказ.

Сучасні моделі, каже Коксон, не збирають, як механізм. Їх радше вирощують.

Чому компанії не зупиняються? Бо поруч біжать конкуренти. Бо біжать китайські команди. Хто перший сповільниться, може програти майбутнє, а не лише ринок. В Anthropic, каже він, ризик добре розуміють. І саме тому хочуть прийти першими: якщо інші не будуть обережними, обережним доведеться стати переможцем.

Це не перший такий вихід. Раніше того ж року Anthropic залишив інший дослідник безпеки зі словами «світ у небезпеці».

Тепер удар припадає по компанії, яка сама себе називає відповідальною і готується до IPO з оцінкою близько двох трильйонів доларів.

Подібні застереження лунають уже не поодинці. Сем Альтман попереджає лідерів G20 про кібербезпеку. Головний науковець OpenAI просить узгоджених правил. Понад тисяча дослідників хочуть спільне «гальмо», якщо моделі почнуть покращувати себе самі. У США федерального регулювання ШІ немає. Політика не встигає за машиною, яка вчиться бігти швидше.

Найважливіше в цій історії не гучні слова про кінець світу. Важливіше інше: людина, яка сама навчала моделі в двох головних лабораторіях світу, більше не хоче в цьому брати участь. Суперечка, чи це фантастика, уже позаду. Залишилося питання часу.

@paliturka / Підтримати