( ಠ ʖ̯ ಠ)☞ Я тестую: SEO та ШІ 🇺🇦 | Пам'ятаю, як наприкінці 2023 року всі кинулися проходити курси з промп...

Пам'ятаю, як наприкінці 2023 року всі кинулися проходити курси з промптинг, а вже в 2024-му промпт-інжиніринг поховали під гаслом, що мовні моделі тому так і називаються, що вони розуміють звичайну мову і всі ці складнощі їм не потрібні. Але промпти як працювали, так і працюють досі, а люди як недооцінювали їх важливість, так і... ну, ви зрозуміли.З іншого боку, я не раджу проходити всі ці курси з промптинг, так як у вільному доступі інформація і актуальніша, і якісніша. Ось, наприклад, мій улюблений сайт з промптинг — www.promptingguide.ai. Рекомендую почати своє занурення саме з нього.Ну і 10 порад для новачків і не тільки:1. Приклади працюють краще за інструкції. Моделі краще розпізнають патерни, ніж дотримуються правил (за винятком розумних LLM на кшталт o1).2. Системні промпти — фундамент. 90% проблем виникають через слабкі системні промпти. Відточіть їх, перш ніж братися за користувацькі промпти. Ось тут купа системних промптів для вивчення. 3. Ваша експертиза в предметній області набагато важливіша за навички створення промптів. Наприклад, коли інструкцію для медичного ШІ-агента пишуть лікарі, результати набагато кращі. Профільні експерти оперують такими нюансами, про які не здогадуються промпт-інженери. 4. «Ланцюжок міркувань» (Chain-of-thought) — не завжди найкращий вибір. Складні ланцюжки міркувань часто працюють гірше, ніж прямі інструкції. Починайте з простого, ускладнюйте, тільки коли поліпшуються метрики.5. Контролюйте версії промптів, як код. Пам'ятаю, як зміна всього одного слова в промпти зламала воркфлоу ШІ-агента. Треба змусити себе робити git commit для промптів і відстежувати метрики продуктивності. Коротше кажучи, до роботи над промпти треба ставитися, як до продакшн-коду.6. Використовуйте ШІ для написання промптів для ШІ. Звучить наївно, але це працює: Claude пише промпти для Claude краще, ніж я. Нехай моделі самі оптимізують інструкції для себе.7. Багато хто сильно недооцінює налаштування температури. Всі схиблені на промпти. Тим часом, іноді зміна температури з 0,7 до 0,3 добре вирішує проблеми зі стабільністю відповідей.8. Тестове покриття важливіше за якість промпта. Часто тестуючи різні сценарії, виявляв, що мій «ідеальний» промпт сипався в 30% випадків на великих обсягах. Тепер використовую автоматизовану оцінку з валідацією людиною (human-in-the-loop).9. Не забувайте оптимізувати інструкцію під конкретну модель. Промпт для GPT-4o не завжди підходить для Claude або Llama. У кожної моделі свої особливості. Те, від чого GPT видає якісну відповідь, змушує Claude галюцинувати.10. Робіть захист від ін'єкцій в промпт відразу. Кожен промпт в продакшені потребує тестування на ін'єкції. Один хитрий запит користувача здатний зламати всю вашу систему.