Fuente
QA Co-pilot | Ефект Метелика в AI: Чому той самий промпт дає різні відповіді?Привіт,...
43 Vistas/Alcance
2026-01-26 09:04
Mensaje №173
🎲 Ефект Метелика в AI: Чому той самий промпт дає різні відповіді?Привіт, екіпаж!Було таке? Вранці ви просите ChatGPT написати SQL-запит, і він ідеальний. Ввечері ви кидаєте той самий промпт, а він видає помилку або пише якусь лірику. Ви думаєте: "Вони що, оновили модель? Чи він "подурнішав"?".Ні. Просто ви граєте в кості з математикою.Давайте заглянемо під капот, щоб зрозуміти, як цим керувати.🧠 Як працює мозок LLM? (Це просто Т9 на стероїдах). Модель не генерує речення цілком. Вона генерує по одному слову (токену) за раз. Уявіть, що вона закінчує фразу: "Кіт сидить на..." У неї є варіанти з різною ймовірністю:
килимку (60%)дивані (30%)дереві (9%)хмарі (1%)
Якщо ви запускаєте промпт двічі, модель може кинути віртуальний кубик і другий раз обрати слово дивані замість килимку.🦋 Ефект Метелика. Як тільки модель обрала інше перше слово, контекст змінюється. Наступне слово вона вже підбирає не до "Кіт на килимку...", а до "Кіт на дивані...". Через 50 слів це будуть дві абсолютно різні історії. Одна про домашній затишок, інша — про подряпані меблі.🌡 Головний важіль: Температура (Temperature). Ви можете цим керувати! У налаштуваннях API (або в Playground) є параметр Temperature (від 0 до 1, іноді до 2).
🔹Temperature = 0 (Режим "Робот") 🤖 Модель ЗАВЖДИ обирає варіант з найвищою ймовірністю (тільки килимок). Для чого: Код, JSON, автотести, факти. Тут потрібна стабільність.🔹Temperature = 1 (Режим "Поет") 🎨 Модель починає ризикувати. Вона може обрати хмару. Для чого: Генерація ідей, креативні тексти, edge cases (нестандартні дані).
🛠 Що робити QA інженеру?Якщо ви використовуєте AI для роботи (генерація тестів, перевірка коду):
1️⃣ Якщо потрібна стабільність: Використовуйте API або Playground і ставте Temperature = 0. Тоді відповідь буде (майже) завжди однакова.2️⃣ Якщо працюєте в чаті (ChatGPT): Там температура за замовчуванням стоїть десь 0.7 (креатив). Тому додавайте в промпт фразу: 🔹"Be concise and deterministic. Do not be creative." (Це не гарантує 100%, але "заспокоює" модель).3️⃣ Pro Tip: В API є параметр seed (зерно). Якщо передати однаковий номер (наприклад, 123), модель буде змушена видавати ідентичний результат.
Висновок: Різні відповіді — це не баг, це фіча. Це те, що робить AI "живим". Але коли вам потрібен інженерний результат — вимикайте "творчість" на нуль.А ви помічали, як настрій AI змінюється протягом дня? 😉 👇