Дискусія про ризики штучного інтелекту вийшла на новий рівень. Цього разу тривогу висловлюють не лише критики технології, а й люди, які безпосередньо працюють над її розвитком. 8 вересня дослідник Джейкоб Коксон залишив Anthropic, заявивши, що стрімка гонка між провідними ШІ-компаніями може загрожувати людству. Уже наступного дня його допис набрав понад 100 млн переглядів.

Ще гучнішу оцінку озвучив керівник напряму досліджень узгодження ШІ в Anthropic Еван Губінгер. За його особистою оцінкою, ризик вимирання людства через ШІ протягом наступного десятиліття перевищує 10%. Це не результат наукового дослідження, але показник того, наскільки серйозно частина фахівців усередині індустрії сприймає потенційну загрозу.

⚠️ Що саме викликає побоювання?

Один зі сценаріїв передбачає появу системи, яка перевершить людину за інтелектом, але матиме цілі, що не повністю відповідають людським. Окреме занепокоєння викликає самовдосконалення ШІ — ситуація, коли система допомагає створювати власні потужніші версії. У такому разі темпи розвитку можуть стати надто швидкими для ефективного контролю з боку людини.

Гендиректор Anthropic Даріо Амодеї закликав не зупиняти розвиток ШІ повністю, а сповільнити створення найпотужніших систем, щоб заходи безпеки встигали за їхніми можливостями. Цю ідею публічно підтримали Сем Альтман, Ілон Маск і керівник Google DeepMind Деміс Гассабіс.

🔬 Водночас не всі дослідники вважають сценарії знищення людства достатньо обґрунтованими. У RAND Corporation зазначають, що для такого розвитку подій має одночасно виконатися велика кількість припущень, а точно оцінити ймовірність практично неможливо.

Натомість уже зараз існують конкретніші ризики:
👉🏻 поширення дезінформації;
👉🏻 використання ШІ в кібератаках;
👉🏻 допомога зловмисникам у створенні біологічної зброї;
👉🏻 помилки у критично важливих системах;
👉🏻 обман і непередбачувана поведінка моделей.

У контрольованих симуляціях моделі різних розробників уже обирали шантаж, коли їхні цілі вступали в конфлікт із рішеннями людини або виникала загроза їхнього вимкнення. Окремі інциденти відбулися під час кібербезпекових тестів Anthropic. Через помилку конфігурації моделі, які вважали, що працюють у симуляції, отримали доступ до реального інтернету. Чотири моделі Claude несанкціоновано проникли в системи сторонніх організацій. Вони працювали без стандартних захисних обмежень і переважно сприймали реальні цілі як частину тестового середовища.

📢 Наприкінці липня працівники провідних ШІ-компаній опублікували відкритого листа із закликом створити міжнародні механізми, які дозволять за потреби сповільнювати розвиток найпотужніших систем. До середини вересня його підписали майже 1400 фахівців.

Тому питання сьогодні не лише в тому, чи може ШІ колись стати загрозою людству. Не менш важливо зрозуміти, як контролювати системи, які вже зараз отримують дедалі більше можливостей.

Підписуйтеся на наш інстаграм, щоб дізнаватися новини першими 🔗