Canal Keep calm and grow - @keepcalmandgrow - №167
💻 Печерні промпти і доросла оптимізаціяПів року тому всі рахували, скільки коштує сказати ChatGPT “thanks”. Остання хвиля була смішніша: пиши промпти як печерна людина — коротко, грубо, без зайвих слів — і рахунок за AI нібито впаде на 80–90%.Звучить як магічний ритуал із LinkedIn. Але мем не повністю бреше. Він просто пропускає головне: масштаб і перевірку на живій системі.Я прогнав схожу ідею на OpenClaw — agentic-системі з реальним трафіком: 13 агентів з окремими воркспейсами, локальними/шареними скілами, крон-джобами і щоденним активним використанням. За період аналізу система прокрутила ~327M токенів і ~7700 записів використання.Компресія справді спрацювала. Постійно підвантажені інструкції для agents/skills “схудли” з ~245k до ~132k символів. Мінус 46.2%. За оцінкою “що було б без компресії”, це дало ~37.2M зекономлених prompt/cache токенів за 7 днів.І ось тут починається доросла частина. У мемі 700 зекономлених токенів у 4k-діалозі виглядають як революція. У реальному agentic-запиті на 100k–150k токенів ті самі 700 токенів — уже не “мінус 90%”. Це корисно, але лише шматок великої системи. На всьому масштабі вийшло близько 12.3% промпт-токенів.Ще один нюанс: дешевше не завжди означає краще. Задачі здебільшого працювали нормально, але текстура агентів просіла: теплота −26.3%, присутність від першої особи −49.9%, emoji у відповідях −50.9%, шаблонні фрази й ШІ-слоп +54.5%.Простіше: агент став економнішим, але сухішим, більш шаблонним і менш “живим” у розмові.Тому висновок не “будь грубішим до моделі” і не “всі ці оптимізації — маячня”. Стиснення промптів — це інфраструктурна робота, а не лайфхак. Вона має сенс, коли є обсяг, метрики й перевірка регресій. Без цього “пиши як печерна людина” — не інженерія, а cost-saving cosplay.---🌱 Keep calm and grow | 💬 Обговорити 1-на-1
53
26-05-15 10:27