Компанії навчились міряти AI неправильно

Спочатку був наказ: усі користуються AI. Навіщо – розберемось потім, скільки коштує – теж потім. Головне, щоб цифри росли. Але не ті, які потрібно.

Тому зробили дашборди хто скільки токенів спалив за місяць і придумали слово tokenmaxxing, а потім хтось відкрив таблицю з витратами, і в кімнаті стало тихо 😅

І тоді прозвучало питання, на яке відповісти вже набагато складніше: а яка наша ціль?
Бо використовувати AI в використовувати його для досягнення цілей – не одне й те саме.

Дослідник з фінського університету LUT формулює це так: користь від AI зазвичай розчиняється по людях дрібними шматочками зекономленого часу.

Якщо AI звільнив твоєму менеджеру дві години, а він пішов скролити інстаграм – виграв інстаграм. А не ти, як власник бізнесу.

Саме тому в Google інженерів міряють одразу по трьох осях: швидкість, легкість і якість.

А тепер про те, де віддачу видно неозброєним оком.

Медицина – мій улюблений приклад, бо там метрики нормальні від природи. Нікому не спаде на думку міряти, скільки лікар згенерував тексту.

Перше – документація. Лікар пів дня пише, а не лікує. Коли розмову з пацієнтом розшифровує і структурує AI, лікар отримує назад години. І метрика тут одразу правильна: скільки пацієнтів встигли прийняти.

Друге – скринінг. У великому шведському дослідженні AI працював другим читачем/ мамограм разом із рентгенологом. Результат: більше вчасно знайдених пухлин і менше навантаження на лікарів. Знову ж таки метрика не про кількість оброблених знімків, а про діагнози, які не пропустили.

Третє, найнудніше, зате про гроші: запис, нагадування і no-shows. Порожнє вікно в графіку клініки – це прямий мінус у виручці і його видно в той самий день.

І ще одне, про що майже не попереджають. В AI трансформаціях є так звана J-крива: після впровадження нового процесу продуктивність спочатку падає і тільки потім росте. Люди вчаться, з'являються нові вузькі місця, ламаються старі способи контролю. У зрілих компаніях просідання глибше, ніж у молодих – бо там більше налагоджених процесів, які треба переламати.
Тобто другий місяць із гіршими цифрами – це не обов'язково провал. Це може бути дно кривої для великого стрибку.

Але так не тільки з AI, згадайте як просідають цифри коли вводяться нові тули, наприклад треба користуватися Jira або ввели нову CRM, спочатку повний мес, а потім досягнуті цілі за квартал.

Тому якщо ваші боси досі міряють ефективність тим, скільки ви користуєтесь AI, скиньте їм цей пост. А якщо кажуть взагалі не користуватися, то просто пишіть мені і знайомте з вашим босом, ми розкажемо скільки потенційно бізнес недозаробляє 😅

Обняла! 🫶