FUTURE × SIMPLE ⛩ | Китайська кімната», один рілс та як мене забайтили на дописЗаймаюсь я,...

😠 «Китайська кімната», один рілс та як мене забайтили на дописЗаймаюсь я, значить, своїми рутинними та важко-інтелектуальними справами — гортаю рілси споживаю контент короткого вертикального формату, як раптом натрапляю на одне відео.😂 Воно присвячене темі «чому LLM ніколи не стане справжнім інтелектом». Все б нічого, але єдиний аргумент — мисленнєвий експеримент «Китайська кімната».→ Якщо коротко: уявіть, що ви зачинені в кімнаті і не знаєте жодного слова китайською. Але у вас є довідник правил — і за ним ви складаєте ідеальні відповіді на записки, які вам підсовують під двері. Людина ззовні впевнена, що ви знаєте мову. А ви просто слідуєте інструкціям, не розуміючи жодного символу.😮 LLM, каже автор відео, роблять те саме — просто повторюють з довідника. Тому галюцинують. Тому інтелект — не інтелект, і на цьому все — «follow me for more content». Ну ок, але давайте розберемось.👍 Якраз гарний привід зібрати в одному дописі те, що там кажуть дослідження про внутрішні механізми LLM.→ «Китайська кімната» — це 1980 рік. Філософ Джон Серл придумав цей експеримент як аргумент проти ідеї, що будь-яка програма, яка правильно маніпулює символами, буквально «розуміє» те, що робить. Людина в кімнаті — це, по великому рахунку, процесор, який виконує інструкції, не розуміючи жодного символу. І для систем, що працюють за жорсткими правилами, аргумент Серла ще цілком валідний.Але чи працюють LLM так само?🤑 У 2023 році команда з Гарварду, МІТ та Northeastern опублікувала рецензовану роботу на одній з топових наукових конференцій у machine learning.Вони натренували GPT-модель грати в Отелло — настільну гру. Модель бачила лише послідовності ходів. Жодних правил гри, жодного зображення дошки.→ Результат: модель побудувала у себе всередині щось на кшталт уявної дошки — повноцінну модель стану гри, яку дослідники змогли виявити, інтерпретувати та навіть модифікувати. Коли вони штучно змінювали внутрішній стан «дошки» всередині моделі, модель коригувала свої ходи відповідно.😐 Йдемо далі — в 2024 році інші дослідники показали на тій самій конференції, що LLM формують лінійні просторові та часові репрезентації.З активацій Llama-2 вони витягли буквально карту світу та часову шкалу історичних подій, і вони виявились точними.Людина в кімнаті Серла не формує жодних внутрішніх репрезентацій. LLM — формують.→ Чи означає наявність таких репрезентацій «розуміння»? Не обов'язково — є дослідники, які вважають, що модель може мати внутрішню карту і при цьому використовувати її суто інструментально, без будь-якого «розуміння». Але це точно щось принципово інше, ніж механічне слідування інструкціям.👍 Наступний моментик — в 2024–2025 роках Anthropic вирішили подивитися на Claude не як на код, а як на «біологічну систему» — подивитись на «анатомію» його внутрішніх механізмів.Вони витягли мільйони внутрішніх концептів — кожен активується для конкретного і зрозумілого поняття. Не патерни символів, а абстрактні ідеї.🤨 А потім створили метод, який дозволяє прослідкувати ланцюжок активацій від запиту до відповіді.→ Виявилось, що модель часто проходить через приблизно ті самі логічні кроки, що й людина, навіть якщо не «проговорює» їх у відповіді. → При тому тестували вони НЕ reasoning-модель. 😀 До речі, я майже рік тому про це писав окрему статтю, тож кому цікаві деталі — ви знайдете їх тут.Тепер про галюцинації — автор каже: галюцинації доводять, що моделі не можуть зупинитись і виправитись.→ Сам аргумент побудований на хибній логіці — люди теж конфабулюють, плутають спогади, впевнено стверджують неправду. Галюцинації — це архітектурна проблема, а не доказ відсутності розуміння. 😵 Тож, чи є LLM «справжнім інтелектом»? Чесно — ми не знаємо. Питання відкрите, і будь-хто, хто радикально та серйозно стверджує «так» або «ні» — або хоче вам набрехати, або не розуміє тему.💻 Але аргументувати це все мисленнєвим експериментом 45-річної давності, ігноруючи емпіричні дані останніх трьох років — це, як мінімум, несерйозно.