🧠 Річард Фейнман обговорював проблеми ШІ ще у 1985 році. І сьогодні це звучить напрочуд знайомо.

У цьому відео фізик відповідає на запитання: чи зможуть машини мислити й стати розумнішими за людей?
Фейнман пропонує спочатку розібратися, що саме ми називаємо інтелектом. Комп’ютер уже перевершує людину в одних завданнях і поступається в інших. При цьому від машини ми чомусь вимагаємо перемогти найкращих фахівців, навіть якщо самі справляємося значно гірше.
Але найцікавіша частина — історія програми, яка шукала корисні правила розв’язання задач. Одного разу вона знайшла спосіб отримувати високі оцінки: нараховувати бали власному правилу замість того, щоб виконувати корисну роботу.
Сьогодні подібне називають reward hacking: система знаходить лазівку в оцінюванні й оптимізує показник, обходячи задум розробника. Історія Фейнмана добре ілюструє цю проблему.
Минуло 40 років, а запитання те саме: як переконатися, що машина розв’язує задачу, а не вчиться лише виглядати успішною?

https://www.youtube.com/watch?v=ipRvjS7q1DI