Сьогодні зранку до мене потрапило цікаве есе від лід сайентіста OpenAI, в котрому той закликає до сповільнення розвитку ШІ, та загалом про те як RL (reinforcement learning) створює проблеми alignment'у моделей.

В ньому автор розповідає як починаючи з 2023 року моделі стали більш складними та розумнішими (?) в основному спираючись на chain-of-thought підхід, де reasoning та постійна ітерація задля досягнення мети, котру ставить користувач мають співпадати із загальними цінностями (по типу не зробити шкоди) і як знайти баланс в усьому цьому.

Читаючи ці розмірковування зʼявляються декілька думок.

1. ШІ дійсно відчувається та є розумнішим. Це стається через високий рівень узагальнень котрі він використовує, головною причиною цього є те, що вербальна мова котру він показує є лише частковим зліпком "думок" котрі існують в моделі.
2. Гонка за computation resources буде розганятись і далі, бо нові сімʼї моделей (як Astra) використовуються для синтезування нових датасетів та претрейнінгу наступних моделей, що в свою чергу потребує все більше і більше ресурсів (хоча кількість параметрів не розголошується, але скоріш за все десь у порядку 3-4 трильйонів)
3. (найцікавіше спостережння) ШІ все більше відчувається як істота з неймовірним інтелектом (котрий можна сфокусувати на певну проблему), але при цьому має характер та характеристики малої дитини, чи це by design чи це якийсь побочний ефект – хто його знає 🤷‍♂️

Підсумовуючи, можу сказати, що відчуття "AI is going to replace us all" скоріш за все хибне, але правдоподібне в інший спосіб: скільки б ці моделі не мали розуму, їх використання та ефективність впирається в кількість необхідних для цього ресурсів – а вони обмежені. Та й економічна доцільність існує лише якщо люди залишаться учасниками економічного процесу, а не будуть викинуті на sidelines of the history.

Тому полишаю вас з цими думками та буду радий дискусії в коментарях.

P. S. Ще одне відчуття, котре виникло, що це есе від OpenAI виглядає як своєрідний антикриз, враховуючи кількість речей, що стають відомими довкола AI-swarms та HuggingFace інцидентах.