Сьогодні тестувала мовну модель, яка не вміє писати тексти)

Увага, буде лонгрід 🙈

Чули про Jev?
Хто не в темі: Jev - нова модель від TypeSafe AI, створена для швидких структурованих рішень усередині програм.

GPT, Claude або Gemini ми зазвичай даємо запит і чекаємо згенеровану відповідь.
А Jev отримує поточну ситуацію та видає структуроване рішення.

Бачила що модельку тестували на іграх, то вона прийняла понад 200 рішень, проходила гру і навіть жодного разу не дала персонажу загинути). Година такої гри, за підрахунком автора тесту, коштувала б приблизно $0,27.

Я такий собі геймер 😏, але з цього кейсу зрозуміла що це щось дуже швидке і дешеве.
Тому почала думати на чому її потестити в своїх кейсах.

Я дала Jev опис такого ліда:

Інтернет-магазин має 12 менеджерів і близько 400 повідомлень щодня. Менеджери вручну відповідають на типові запитання, перевіряють статуси замовлень і переносять дані в CRM. Компанія хоче зрозуміти, що можна автоматизувати і скільки це коштуватиме.

І поставила три питання:

• Який це тип запиту?
• Наскільки якісний це лід?
• Чи потрібен зідзвон-знаомство з клієнтом?

Jev визначила:

👉 це проєкт з автоматизації - 82%;
👉 сильний лід - 99%
👉 зідзвон потрібен - 88%

Результат отримала менш ніж за пів секунди.
Але самі ці цифри нічого не автоматизують. Потрібно одразу визначити, що система робитиме після кожного рішення.

Наприклад:

• сильний лід і впевненість понад 80% - створити угоду в CRM та поставити дзвінок менеджеру
• середня впевненість - поставити клієнту уточнювальне запитання
• низька впевненість - передати звернення людині

І ось тут стає зрозуміло, навіщо потрібна окрема модель, яка не пише пости, не підтримує розмову і не розказує, яка у вас чудова ідея)

Вона може багато разів усередині одного процесу:

• сортувати ліди, листи й тікети
• визначати терміновість звернення
• обирати потрібний skill або AI-агента
• перевіряти, чи безпечно виконувати команду
• знаходити ризикові зміни в коді
• вирішувати, коли потрібна потужніша модель або людина

Плюси тут не тільки у швидкості та ціні.

• Jev повертає результат у форматі, який програма може одразу використати (тобто код).
• Разом із рішенням ми отримуємо ймовірність і можемо встановлювати власні пороги (тобто корегувати результат).
• Для кожної нової задачі не потрібно навчати окремий класифікатор. Можна змінити стан, питання та варіанти відповіді.
• Дорогу модель можна підключати тільки до складних або сумнівних випадків, а не проганяти через неї весь потік.
• Одне звернення до Jev може містити одразу кілька оцінок: категорію, якість, ризик і необхідну наступну дію.

У моєму тесті однаковий запит під час повторних запусків давав трошки різні цифри. Це очікувано для ймовірнісної моделі. Тому орієнтуватися треба не на 82%, а на стабільність рішення та результати на власному наборі кейсів.

На відео показала, як налаштовувала питання (GPT допомагав, хочу навіть під це скіл зробити), які дані передавала і що Jev повертала.

Щоб потестувати, я додавалася в вейтліст тут https://typesafe.ai/, але моделька також доступна на OpenRouter та навіть в хайповому Hermes, про якого я вам розкажу завтра. І навіть можливо саме він стане зіркою нашого міні-курсу про агентів.

Хто тестив Jev і чи є ідеї на чому ще потестити?

АІ для експертів та підприємців