🤑 Про Upwork, брунатні штанці та брехню бенчмарківКожен реліз нової моделі супроводжується одним і тим самим ритуалом: їй влаштовують іспит — задачі з кодингу, тести з медицини чи права — і потім звітують, що модель «обійшла людину». 🤡 Проблема в тому, що сам «іспит» — це зазвичай стерильна задача, чіткі умови та одна правильна відповідь (або, як це часто буває, взагалі задачі, які модель бачила на тренуванні).Але якщо вам хоч трішки більше, ніж 10 років, то ви розумієте, що реальна робота виглядає, мʼяко кажучи, інакше))→ В умовах коли клієнт пише «зроби красіво, як у конкурентів, тільки інакше... і не як у конкурентів» модель, що отримує 90% на бенчмарк-тестах, зазвичай розсипається об перший же реальний бриф. 🤵 Але є цікавий бенчмарк, який якраз присвячений цим реаліям та ринку праці — Remote Labor Index.Дуже коротко зупинимось на тому, як цей бенчмарк створювали.→ Восени 2025-го Center for AI Safety разом зі Scale AI зробили річ, до якої чомусь ніхто не додумався раніше: замість вигадувати задачі — пішли на Upwork і викупили у фрилансерів їхні реальні завершені проєкти. Не просто описи, а повні проєкти: бриф від клієнта, вхідні файли й готову роботу, за яку їм заплатили ґроши.🤯 Загалом так набралося 240 замовлень із 23 категорій: ювелірні 3D-моделі, архітектурні плани, рекламна анімація, монтаж, аудіо, геймдев, дашборди. Медіанна ціна проєкту — $200, медіанний час виконання — 11.5 годин, а весь цей кошик роботи разом коштував замовникам понад $140 тисяч. → При цьому у продавців цих проєктів у середньому 2 300+ відпрацьованих годин і по $23K заробітку на платформі — ну тобто в більшості випадків це не просто рандомний підробіток. Далі кожному агенту дають рівно те, що колись отримав фрилансер — бриф і файли, — і він видає власний результат.🥃 Результат оцінює жива людина — кладе поруч дві роботи й відповідає на одне питання: чи прийняв би адекватний клієнт це замість людської роботи? Варіанти відповіді: «так» або «ні» — альтернатив немає.→ Щодо можливого включення цих проєктів до тренувальних даних — 230 з 240 проєктів лежать у приватному сеті, брифи не гугляться, а для робіт, що колись світилися онлайн, ведуть окремий блокліст доменів. В таких умовах найкращі моделі станом на осінь минулого року закривали 2.5% проєктів — тобто 6 із 240.😨 І ось нещодавно CAIS прогнали через бенчмарк свіжі моделі, результати: GPT-5.5 — 6.3%, Opus 4.8 — 8.3% та, найбільш очікуана модель, Fable 5 від Anthropic — 16.1%. З 2.5% → 16% за неповний рік, і найбільші зміни саме там, де було найгірше — 3D, CAD, відео.☺️ Для розуміння контексту: Fable 5 встигли протестувати лише на 218 задачах із 240 — далі доступ до моделі обмежили. Але навіть якщо всі непрогнані кейси зарахувати як «невдача», вийде 14.6% — все ще перше місце з єбать яким відривом.→ Це все дійсно чудово, але щоб коректно сприймати результати цього бенчмарку важливо проговорити один нюанс. Ось ці 16% — це не про те, що AI поглине шосту частину фрилансу. Це радше про те, що у 16% проєктів оцінювач не зміг сказати, що згенерована робота гірша за людську.🔫 Якщо ваші штанці стали наближені до бруна́тного кольору — не поспішайте. Самі ж CAIS визнають: жодну з робіт Fable 5 замовник як фінальну б не прийняв.Але тут важлива не точка, а вектор руху.😎 Бо в світі, де моделями рівня Fable 5 чи ну бодай Opus користується крихітна частка людей, досвід усіх інших — це безкоштовний ChatGPT чи AI Overview в видачі Google.→ Тобто більшість бачить технологію в її найдешевшій версії — звідси й суспільне нерозуміння: людині поза нашою чудовою АІ-бульбашкою розповідають про якісь мільярдні інвестицій і загрозу автоматизації цілих робочих кластерів, а вона у підсумку бачить якусь шляпу, що плутається у чотирьох абзацах. RLI, як бенчмарк, міряє якраз ось цю верхню планку — моделі, до яких у більшості поки не дійшли руки та бюджети. Але верхня планка має звичку дешевшати і за рік-два спускатися в масові продукти.🖕 Приблизно тут за класикою жанру я мав би написати щось заспокійливе, типу «але не перейматесь — AI лише інструмент у ваших руках». Не напишу — лякайтесь, бійтесь, панікуйте. Мені нравиця, як воно горить, як люди суєтяться, пожарки приїжджають…🙅‍♂️ В будь-якому разі у вас (та й в мене) є приблизно стільки часу, скільки майбутній (!) верхній планці треба буде, щоб здешевіти до масового продукту.💻 Перейматись можна, звісно, і вже, але рекомендую дочекатись трішки кращих та дешевших моделей)))