Маємо апдейт від OpenAI - GPT-о1 із здатністю “розмірковувати” 💥 Та судячи із бенчмарку, який розробники наводять у презентації модельки - результати реально проривні - точність відповідей особливо для точних наук (математика, фізика, хімія) злетіла просто в рази! В chatGPT вже доступна версія o1-preview, тож особисто я вже погралася та переконалася, що це дійсно працює! (в каментах кину приклад)

Що ж то за Chain-of-Thought (CoT) та чому неможна так було одразу?

👉 Підхід із “послідовним розмірковуванням” був запропонований ще у 2022 році, як стратегія покращення якості роботи LLM через промптинг (тобто сама модель не змінюється, але змінюється підхід до конструювання запиту для отримання більш точної відповіді). Доречі сама ідея навіть запатентована та давно вже є на озброєнні у просунутих prompt-інженерів. Цікавий факт, що ефективність такого підходу є емерджентною властивістю LLM - тобто на відносно невеликих моделях він просто не працювтиме, а іноді навіть погіршуватиме результати. У 2022му Google Research писали про появу емерджентності у модельках на 100 млн параметрів мінімум, пізніше зʼявлялись успішні кейси і з меншими розмірами, але поріг приблизно такий.

Сама ідея з того часу також “не стояла на місці” та отримувала розвиток її втілень у вигляді агентів до LLM на сонові Multiple CoT (коли створюється одразу декілька “послідовностей міркувань” та потім обирається найкращий результат) —> потім Tree-of-Thought (ланцюжок міркувань будується за принципом Decision Tree) —> Graph-of-Thoughts (агент будує “граф міркувань” - така собі ускладнена версія ToT) —> та навіть Everything-of-Thoughts (щось поза моїм розумінням 😄). Ідея виявилася на стільки робастною, що гріх було не екстраполювати її на мультимодальні моделі, результатом чого став visual reasoning 👀 Ну тобто підхід еволюціонував із простої ідеї розширеного few-shots (кількома прикладами) промпту до досить складних систем.



Повертаючись до GPT-о1, можна із впевненістю ствердити, що для неї на новому рівні запрацював саме цей промнтинг-агент, який реалізує CoT підхід. Цьому є навіть візуальне підтвердження - адже у попередніх версіях чату, після відправки запиту, відповідь майже одразу починає генеруватися суцільним текстом. Для версії “о1” процес генерування явно розбивається на ітерації, які чат навіть сам характеризує та “звітує” про них юзеру. Окрім цього, розробники ввели CoT-компоненту і в процес тренування моделі на етапі Reinforcement Learning (донавчання з підкріпленням про який розповідала ось тут). Звичайно таких подробиць розробники не розкривають, але я не здивуюся, якщо 80% (або й більше) успіху тут склав саме оновлений промптинг-агент, ніж процес файн-тюнингу (є таке внутрішнє відчуття).

Ще один цікавий момент, що такий підхід в реалізації OpenAI в мережі одразу проасоціювали із людським “повільним мисленням” за Канеманом. Справді дуже красива аналогія 🔥 та непогана спроба антропоморфізувати сучасне втілення ШІ. Проте заглиблюючись у деталі ралізації, аналогія перестає бути такою вже очевидною)) Можна сказати, що процес формування Chain-of-Thought для LLM такий же далекий від людського, як власне і їх спосіб “думати” підбираючи найімовірніше слово за словом. Та можливо ми ще замало знаємо про себе, аби робити остаточні висновки.. who knows 🤔