Статистика telegram channel - @itmindset

Вийшов дуже цікавий репорт від Apple про мислення в Large Reasonins Models https://ml-site.cdn-apple.com/papers/the-illusion-of-thinking.pdfАвтори ставлять під сумнів традиційні бенчмарки для оцінки мислення — такі як математика і програмування — стверджуючи, що вони можуть містити “забруднення” даних і не відображати справжніх процесів мислення, тому для експериментів використовуються моделі великих мов (LRM), що вирішують процедурні головоломки (наприклад, “Вежа з Ханою”) з контрольованою складністю.Вони виділяють три режими продуктивності: прості задачі, де моделі без справжнього “мислення” іноді перевершують LRMs; середньої складності, де перевага на боці LRMs; і високої складності, де обидва типи моделей втрачають точність до нуля.Дослідники виявили, що LRMs витрачають більше токенів (тобто демонструють більше “мислення”) у міру зростання складності, але лише до певного рівня — після чого, незважаючи на ще доступний ліміт, вони ніби “здаються”.Навіть якщо надати моделям чіткі алгоритми для вирішення цих головоломок, LRMs не можуть їх надійно застосувати, що вказує на обмеження у систематичному мисленні та здатності до узагальнення.Висновок дослідження полягає в тому, що поточні механізми “міркування” в LRMs насамперед віддзеркалюють складне розпізнавання узорів та паттернів, а не справжнє, масштабоване мислення — те, що здається “думанням”, насправді може бути лише ілюзією.