Вітаннячка шановні 🤌🏻
Як Ви?

Я тут принесла ще одну вижимку з «загашнику» 😁 і знаєте, я вирішила її притримати спеціально, бо щось останнім часом було забагато контенту про АІ.
Потурбувалась про Вашу менталочку і принесла цю вижимку зараз 😆
Тому давайте дивитись ⬇️

👩🏼‍💻 Марина Дідковська, «Токеноміка без ілюзій: скільки насправді коштує ваш AI»

🔗 Прийнято вважати, що в токен у нас входить 4 символи (англійська мова).

⚠️ Але якщо ми будемо спілкуватись іншою мовою, то нам це обійдеться дорожче.

1️⃣ Моделька ніколи не бачить наш текст, вона бачить тільки значення.
Однаковий рядок майже завжди трансформується в однакові ІД.
Тому існує детермінованість в рамках однієї моделі.

2️⃣ Токен - це зазвичай не все слово.
Якщо слово популярне воно буде вартувати менше.
Пробіл опрацьовується окремо.
У всіх моделях словники різні, то ж популярне слово в одній моделі, може бути непопулярним у іншій.

3️⃣ Чим більше контенту на якому вчаться системи - тим дешевше будуть коштувати токени.
Більшість контенту англомовна, тому й ця мова найдешевша по кількості токенів.

4️⃣ Цифри розділяються.
Одна цифра - один токен.

5️⃣ Код дуже щільний з точки зору токенів.

6️⃣ Чим краще зображення - тим більше токенів.

💡

Старі моделі не є дешевші.

🫱🏻‍🫲🏼 Токенайзер - наш найкращий друг.
Краще прозріти на етапі токенайзера, а не на етапі рахунку.

💡 Світ дуже сильно змінився, і ми не були готові до цього в першу чергу з точки зору тестування, адже у нас зʼявився новий тип користувача - АІ агент. І ми не дуже розуміємо, що таке тестувати продукт, яким буде користуватись агент.

⚠️ Input & output має різну вартість токенів.

❔

Куди токени йдуть?
• tool schemas
• tool outputs
• system + memory + RAG
• prompt caching
• trim & summarize
• output costs more

⚠️ Більш дороге рішення може стати дешевшим, якщо на нього піде менше кроків.
Вся справа в мізках того, хто використовує.

❗️

Всі токенайзери різні.
Тому використовуємо токенайзери від систем, які ми використовуємо або схожі на них.

⚠️ Контекстне вікно - це наші гроші і кожен зайвий токен який потрапляє у наше вікно - додає час до роботи системи, вартості рахунків незадоволеності наших користувачів.

❔ А яка ситуація з токенами у Вас?
😎 - вистачає, юзаємо професійно.
🥲 - постійно бракує.
🤯 - забагато і того, що є.