Напевно найпопулярніше питання, яке я чую останнім часом від клієнтів, інвесторів і індустрії - "Шо там по ХелсБенчу"? ОАІ три місяці назад запалішив новий бенчмарк, якій має показати перфоманс моделі в хелсі. Запаблішив то й грець з ними. Краще ніж нічого. Але вони почали це пушити і використовувати як маркетинговий інструмент. І тут, ми маємо проблемку. Маркетинг зайшов занадто далеко. Шо ОАІ каже? Що це 5000 чатів, які евалюйтели сотні лікарів. Що насправді? З 5000 тисяч - половина, це звичайний QA бенчмарк (питання - відповідь). Інша половина - короткий мульті-тьорн (майже все там - то 2 тьорни). Ба більше, ті тьорни (умовно) знаходяться на рівні інструкції, тому то не є справжнім діалогом. Для евалюйшенів вони обрали тільки останнє повідомлення, а не всю розмову. Більшість з того - це сентитино створені діалоги. Хрен з ним, але ж вони ще і максимально поверхневі. Тобто, ОАІ обіцяв неймовірно наближену до життя дату, в 5000 чатів, з ручним розбором лікарів. А видав 1.5 тьорновий датасет, згенерований хер пойми як, з якого ледь 1% був перевірений лікарями. І тепер тягають то всюди, шоб продати себе одразу в госпіталі. А як воно насправді робе - ось тут є відповідь https://www.linkedin.com/feed/update/urn:li:activity:7358589263858364417/