Як це не прикро, але з усіх наук у сучасних LLM-ок найбільші проблеми із фізикою. Для чисто фізичних задач (у моєму випадку біофізичних, але саме з фізичного боку), всі сучасні моделі тупі я табуретка і не здатні навіть на дуже базове фізичне мислення. Найбільше бісить, що моделі вперто не сприймають просту концепцію "перевіряй кожне припущення, яке ти робиш, на фізичну адекватність". Той же клод хапається за перше-ліпше пояснення, яке виглядає хоч якось правдоподібно і заявляє, що це "доведено". Доходить до повного абсурду: є кілька точок, які йдуть по зростанню, тому якщо наша формула передбачає, що й далі буде зростання, то ця модель апріорі правильна і далі ми вже не думаємо. І пох що фізика процесу однозначно пеедбачає криву з максимумом, якого ми не досягли і тому не знаємо де він.Це "поверхове" мислення неймовірно бісить і жодними промптами відучити модель від нього не виходить. Людина-фізик (та й не тільки фізик насправді) завжди має в голові модель явища, вписану відповідним чином у загальну картину світу. Багато хибних моделей відсікаються людиною підсвідомо, на інтуітивному рівні, як такі, що не вписуються у фізичний контекст. Це так сама "жопна чуйка", яка відрізняє хорошого фізика від поганого. ЛЛМ-ка має нульову фізичну інтуіцію і добросовісно хапається за такі очевидно неправильні моделі явищ, чим викликає у живого фізика бажання прибити її чимось важким, щоб тваринка не мучилася.Чому так виходить? Тому що "жопна чуйка" не формалізується. У корпусі текстів, на якому вчилися ЛЛМ-ки, нема розлогих пояснень як саме людина відрізняє хорошу гіпотезу від очевидно неправильної і як саме оцінити адекватність гіпотези фізичному контексту задачі - те що людина робить миттєво та підсвідомо.Цікаво, що набагато більші успіхи ЛЛМ-ок у хімії та біології показують, що в цих науках набагато більшу роль грає екстенсивне накопичення фактів та заучування емпіричних закономірностей в них - те, в чому нейронкам нема рівних. У фізиці таке працює погано - скільки калейдоскоп не крути, відновити його будову по кольровим картинкам, які він генерує не вийде. Треба побудувати спрощену модель його будови, сумісну із узагальненими характеристиками картинок (симетрією, наприклад, яка скаже скільки там всередені дзеркал та під яким кутом кони стоять), а не намагатися передбачити наступну картинку по тисячам попердніх (що неможливо, бо стохастика) і заявляти що це й є модель калейдоскопу.Коротше кажучи, з фізикою у ЛЛМок епік фейл. Не буду стверджувати, що для цього потрібен власне AGI, але точно треба щось інше, ніж стохастичний предиктор текстів.