Трохи думок...

Навіяно процесом підготовки AI дата-агента для одного з наших партнерів

Перш за все гляньте на скрін прикріплений до поста: чи є щось що вас бентежить? Наскільки ви готові вірити цим підрахункам?

А якщо я додам трохи додаткової інформації (чи змінюється ваша думка після кожної нової деталі?):
- дата-агент точно не придумав дані. Він взяв реальні дані бізнесу з потрібних таблиць
- SQL написаний саме так, як і вказано в ланцюжку міркувань і математичні розрахунки вірні

Ну а поки ви думаєте, чи з підвохом це запитання, чи ні, ось вам декілька цікавих фактів в тему:

1. Люди схильні віддавати перевагу простішим поясненням і рішенням, особливо коли не мають достатньо інформації, щоб оцінити їхню надійність (це не я придумав, тут дослідження)
2. AI дуже впевнено подають свої рішення і чим більше вони пояснюють свої розрахунки, тим люди більш схильні їм вірити (теж є дослідження)

До чого я це все? На початку поста, я задав питання і можливо це змусило вас прискіпливіше дивитись на дані і свідомо шукати в них помилку. Але як часто ви перевіряєте відповіді, які видає вам LLM?

Чим більше ми перекладаємо роботу на AI, тим важливішою стає навичка: розуміти, коли він має рацію, а коли ні. І для цього вам усе ще потрібно знати предмет, із яким ви до нього звертаєтесь. Бо інакше можна завершити як герої цих матеріалів (почалось з рекомендацій ChatGPT та Gemini про похід, а завершилось евакуаціями на вертольотах).

З однією тільки відмінністю: у поході наслідок поганої поради видно вже через кілька годин. У бізнесі все складніше. Ви можете прийняти неправильне рішення сьогодні, а побачити його наслідки через тиждень, місяць або квартал.

Дуже легко написати в чат: «Проаналізуй мої дані й скажи:
- Яка група користувачів приносить більше грошей?
- Яка рекламна кампанія працює краще?
- Які матеріали на блозі приносять більше грошей? і т.д.».

Агент піде у вашу базу, візьме ваші реальні дані, напише цілком валідний SQL і дуже впевнено напише вам висновок. Ще й запропонує наступні дії. Технічних помилок не має. Цифри є. Висновок є. І все це за 5 хвилин поки ви робили собі чашку кави. Ну клас же?

Якби не одне але... повертаючись до питання на початку поста: агент помилився. І цю помилку досить складно помітити:
- цифри вірні і з правильних таблиць
- SQL сам по собі теж хороший
- і висновки, які він робить на отриманих цифрах теж наче питань не викликають.

Що ж тоді не так? Вся його відповідь не має сенсу: для відповіді на поставлене запитання як мінімум потрібно орієнтуватись не просто на фактичні дати оплат, а на когорти і дату їх залучення. Інакше дуже легко отримати красивий, але хибний висновок.

Наприклад, користувачі, які зареєструвалися в серпні, фізично ще не могли потрапити в групу «перша оплата через 1–3 місяці». У цій групі будуть лише старіші когорти — наприклад, люди, залучені у травні, червні чи липні. Якщо влітку змінився маркетинг, продукт або ціни, агент легко може побачити, що користувачі з довшим шляхом до оплати платять більше, і зробити висновок: «чим довше користувач думає, тим більший у нього перший чек».

А це лише один приклад, якби не обмеження на кількість символів в пості, я б міг би написати значно більше. І ось тут ми підходимо до головного: LLM пришвидшив обробку даних, але швидка обробка неправильних даних - це просто більша кількість помилок на одиницю часу.

А для того щоб швидка обробка даних давала реальну користь вам потрібно розуміти як працює аналітика. А точніше, як працює сучасна аналітика, бо період коли Google Analytics вирішував всі питання маркетингу і продукту вже давно минув. А ще розуміти, які показники важливо аналізувати для того чи іншого бізнесу. І які взагалі підходи до аналізу даних існують. І ще як перевірити дані. І ще багато чого, наприклад як не прийняти красиву відповідь за правильну тільки тому, що вона звучить переконливо.

Все це я буду розбирати на курсі PRO ANALYTICS вже через 14 днів. Записатись можна в особистих