Я не боюся LLM, яка знає вирішення 10 000 задач. Я боюся LLM, які вирішувати одну задачу 10 000 разів. © я тільки но придумавПобачив серед фіналістів NeurIPS цікаву статтю, яка обережно натякає на те, що AGI з сучасними технологіями ми не отримаємо ☕️Що саме вони зробили:🪙 Взяли для тесту «думаючі» моделі, натреновані технікою RLVR (Reinforcement Learning with Verifiable Rewards) — це коли модель отримує винагороду за правильну відповідь і аж ціле нічого за неправильну відповідь. Зараз таким чином готують майже всі топові моделі;🪙 І порівняли їх з базовими версіями цих самих моделей, але вже без «думалки». Наприклад, DeepSeek R1 та DeepSeek V3;🪙 Порівнювали на задачках з математики, написання коду та інших різних точних наук;🪙 Досліджували два фактори: як багато завдань модель може вирішити з першої спроби і як багато завдань модель може вирішити взагалі. Для останнього тесту моделям давали просто божевільну кількість спроб на вирішення однієї задачки — 256;🪙 Результат несподіваний: чим більше завдань модель розв'язує з першої спроби, тим менше завдань вона може розв'язати взагалі;🪙 Базові моделі (типу DeepSeek V3) постійно пробували нові шляхи до вирішення й з 200+ спроби все ж знаходили правильниq підхід. «Думаючі» (типу DeepSeek R1) постійно обирали одні й ті самі методи розв'язання, за які отримували винагороду на RLVR. Навіть якщо ці методи не працюють 😁🪙 Якщо ж «думаюча» модель виходить за межі своїх патернів, то всі ідеї та формули здаються їй сміттям. Навіть якщо вони ведуть до правильної відповіді.Ну типу так, хочеться мати LLM, яка може з першої спроби обчислити квадратний корінь зі 125, але чи знайде така модель ліки він раку?ооо нейромережеве | Монобаза