Keep calm and grow | Печерні промпти і доросла оптимізаціяПів року тому всі рахували, скіль...

Telegram community logo -
2025-01-06

Number of subscribers:
77
Photos:
126 
Videos:
12 
Links:
132 
Category:
Technology
Description:
KCAG - блог для зростання в IT. 📝 Історії, 🧠 ментальне здоров'я, 💻 тех. лайфхаки, 🚀 лідерство/менеджмент. Знання, які хотів би мати 10 років тому. 📩 Зв'язок: @radomyr_kcag

Channel Keep calm and grow - @keepcalmandgrow - №167

💻 Печерні промпти і доросла оптимізаціяПів року тому всі рахували, скільки коштує сказати ChatGPT “thanks”. Остання хвиля була смішніша: пиши промпти як печерна людина — коротко, грубо, без зайвих слів — і рахунок за AI нібито впаде на 80–90%.Звучить як магічний ритуал із LinkedIn. Але мем не повністю бреше. Він просто пропускає головне: масштаб і перевірку на живій системі.Я прогнав схожу ідею на OpenClaw — agentic-системі з реальним трафіком: 13 агентів з окремими воркспейсами, локальними/шареними скілами, крон-джобами і щоденним активним використанням. За період аналізу система прокрутила ~327M токенів і ~7700 записів використання.Компресія справді спрацювала. Постійно підвантажені інструкції для agents/skills “схудли” з ~245k до ~132k символів. Мінус 46.2%. За оцінкою “що було б без компресії”, це дало ~37.2M зекономлених prompt/cache токенів за 7 днів.І ось тут починається доросла частина. У мемі 700 зекономлених токенів у 4k-діалозі виглядають як революція. У реальному agentic-запиті на 100k–150k токенів ті самі 700 токенів — уже не “мінус 90%”. Це корисно, але лише шматок великої системи. На всьому масштабі вийшло близько 12.3% промпт-токенів.Ще один нюанс: дешевше не завжди означає краще. Задачі здебільшого працювали нормально, але текстура агентів просіла: теплота −26.3%, присутність від першої особи −49.9%, emoji у відповідях −50.9%, шаблонні фрази й ШІ-слоп +54.5%.Простіше: агент став економнішим, але сухішим, більш шаблонним і менш “живим” у розмові.Тому висновок не “будь грубішим до моделі” і не “всі ці оптимізації — маячня”. Стиснення промптів — це інфраструктурна робота, а не лайфхак. Вона має сенс, коли є обсяг, метрики й перевірка регресій. Без цього “пиши як печерна людина” — не інженерія, а cost-saving cosplay.---🌱 Keep calm and grow | 💬 Обговорити 1-на-1
53
26-05-15 10:27