Місяць тому прочитав один тред на Reddit, а пишу про нього тільки зараз 🤑
Не можу відчепитися від цієї теми. Там людина розповідає, як у вихідні вирішив подивитися витрати компанії і виявив, що на API OpenAI йде 1200 доларів щомісяця. Він пише, що спочатку думав це нормальні операційні витрати, доки не глянув детальніше на що саме витрачається GPT-4.

Виявилося що модель використовується для парсингу телефонних номерів з емейлів, модерації тексту на нецензурну лексику, переформатування JSON-структур і навіть для конвертації тексту в верхній регістр. Після цього він переключив все на gpt-4o-mini і витрати впали до 200 доларів на місяць.

Але в коментарях відразу почалася дискусія. Люди питали чи не дивно використовувати LLM для таких елементарних операцій, які можна зробити звичайними автоматизаціями, або простими функціями.
Можна було б попросити той самий ChatGPT написати нормальне рішення замість того щоб гонять через API кожен запит. І там розгорнулася ціла суперечка на сотні коментарів.

Я читаю все це і розумію, що знаю чимало компаній, які роблять приблизно те саме. Використовують Claude чи GPT для задач, які можна було б вирішити простіше, але їм це просто зручно і працює. Ніхто не пише документацію з поясненням чому зробили саме так, не рахує показники ефективності, не перевіряє код один одного перед запуском.​​​​​​​​​​​​​​​​Просто платять за API і все працює.

Поки виручка компанії значно перекриває ці витрати, нікого це особливо не турбує. А коли раптом економіка зміниться, то швидше почнуть скорочувати команду ніж переписувати систему на більш оптимальне рішення.​​​​​​​​​​​​​​​​

🧬 Yoshu 🧬