Keep calm and grow | Оптимізація, яка спрацювала. І майже не мала сенсуДуже легко закохатис...

Logotipo de la comunidad de telegram -
2025-01-06

Número de suscriptores:
77
Fotos:
126 
Videos:
12 
Enlaces:
132 
Categoría:
Tecnologías
Descripción:
KCAG - блог для зростання в IT. 📝 Історії, 🧠 ментальне здоров'я, 💻 тех. лайфхаки, 🚀 лідерство/менеджмент. Знання, які хотів би мати 10 років тому. 📩 Зв'язок: @radomyr_kcag

Canal Keep calm and grow - @keepcalmandgrow - №165

💻 Оптимізація, яка спрацювала. І майже не мала сенсуДуже легко закохатися в оптимізацію, яка гарно виглядає в цифрах. Мінус 30% тут, мінус 500 токенів там — і вже здається, що ось воно, інженерне щастя.Я нещодавно так стиснув інструкції для свого тьютора німецької в OpenClaw. Це агент, який на старті кожного діалогу тягне за собою чималий пакет правил: роль, тон, поведінку, підказки по інструментах, пам’ять, робочі процедури. Ідея була проста: винести необов’язкове в посилання, а основне переписати коротше й простіше — але не зламати саму поведінку.Технічно все вийшло дуже пристойно. Базовий пакет інструкцій зменшився з 7422 до 5192 символів. У середньому це дало мінус 500+ токенів на API call. Для мовного тьютора це вже відчутно: звичайна практика легко набирає 50 коротких реплік у дві сторони, тобто одна розмова може зекономити десь 25 тисяч токенів. На цьому місці дуже хочеться сказати: ну все, перемога.Але доросла частина інженерії починається саме тут. Бо оптимізація — це не лише про те, скільки вдалося зекономити. Це ще й про те, скільки коштувало довести, що ти нічого не зламав.Підготовка, переписування, прогони, перевірки, документація, фінальне допилювання — сумарно цей експеримент з’їв близько 16.7 мільйона токенів. Щоб така економія відбилася, треба майже 30 тисяч запусків. Або приблизно 600 повних навчальних діалогів. Тобто відповідь вийшла кумедна: як технічний експеримент — успіх, як окреме бізнес-рішення — майже ні.І це, мабуть, найкорисніший висновок. Не кожна неефективність заслуговує на твій час. Не кожна красива оптимізація варта того, щоб за неї битися. Іноді найдоросліше інженерне рішення — чесно визнати: метод хороший, але інвестував не туди.---🌱 Keep calm and grow | 💬 Обговорити 1-на-1
61
26-05-02 10:08