Вийшло чергове дуже цікаве дослідження від команди Етана Моліка, Каріма Лакхані та колег з Гарварду, Wharton і MIT. Уявіть: ви даєте своїй команді доступ до AI. Люди працюють швидше, пишуть краще, роблять більше. Ви задоволені. А потім з'ясовується, що частина рішень, які вони прийняли з допомогою AI, були помилковими. Причому оформлені так переконливо, що ніхто цього не помітив. Саме це і сталося в експерименті.Вони взяли 758 консультантів BCG. Елітні фахівці з найкращих університетів світ. Їм дали реальні робочі завдання і випадковим чином розділили на три групи: одні працювали без AI, інші з GPT-4, треті з GPT-4 плюс коротким інструктажем, як ним ефективно користуватися.І далі починається найцікавіше.На першому типі завдань (придумати продукт, проаналізувати ринок, написати прес-реліз, переконати команду) AI спрацював блискуче. Якість роботи підскочила на 30-40%, швидкість зросла на чверть, люди встигали зробити на 12% більше завдань. А ті, хто раніше показував посередні результати, раптом почали працювати майже на рівні найкращих. AI буквально зрівняв гру.Якби експеримент на цьому закінчився, висновок був би простий: давайте всім AI і насолоджуйтесь зростанням продуктивності. Але був другий тип завдань.Бізнес-кейс: є таблиця з фінансовими даними компанії і файл з інтерв'ю з інсайдерами, потрібно визначити, який бренд має потенціал зростання, і дати рекомендацію CEO. Хитрість у тому, що цифри з таблиці ведуть до одного висновку, а уважне прочитання інтерв'ю перевертає картину. GPT-4 щоразу купувався на цифри й ігнорував контекст.Результат: без AI правильну відповідь дали 84% консультантів, а з AI від 60% до 71%. AI відчутно погіршив результат.І дуже притаманно АІ-генерації: ті, хто помилився з допомогою AI, оформили свою помилку переконливіше, ніж ті, хто відповів правильно без AI. Оцінки за структуру аргументації та якість викладу в AI-групах були значно вищими навіть серед тих, хто прийшов до хибного висновку. Уявіть такий документ на столі у вашого CEO: виглядає бездоганно, а всередині неправильне рішення.Автори називають це "нерівний технологічний рубіж" (jagged technological frontier). Можливості AI нерівномірні, і завдання, які людині здаються однаковими за складністю, можуть опинитися по різні боки цієї межі. На одних AI різко підвищує якість, на інших так само різко її знижує. І заздалегідь ви не знаєте, де саме ця межа проходить.Що з цим робити?Перше: перестати думати про AI як про "увімкнув і працює". Кожен робочий процес складається з набору завдань, і частина з них лежить всередині можливостей AI, де він дає реальний приріст, а частина за межами, де потрібна людська експертиза. Без такого розбору буде складно.Друге: навчати людей не лише як використовувати AI, а і коли йому не довіряти. В експерименті група з інструктажем показала кращі результати там, де AI справді працює. Але на завданнях за межами його можливостей саме ця група постраждала найбільше, бо люди, які краще вміють витягувати з AI гарні відповіді, більше схильні цим відповідям довіряти і легше втрачають пильність.Третє: АІ відчутно урівнює. На правильних завданнях він підтягує слабших до рівня найсильніших, і грамотне впровадження може різко підняти середню якість роботи цілих команд. Але саме слово "грамотне" тут ключове.Оригінальна стаття тут, для тих кому буде цікаво заглибитися в деталі.