Інференція: як моделі “говорять” з нами 🗣💡Після тренування нейромережі на мільярдах фрагментів тексту настає етап інференції (inference) — тобто генерація моделлю або використання моделі. Це той момент, коли ви пишете щось у ChatGPT, натискаєте Enter — і починаєте отримувати відповідь. 👨‍💻Чим відрізняється інференція від тренування?Під час тренування модель навчається і змінює свої параметри, щоб краще “вгадувати” наступний токен. А під час інференції усі параметри вже зафіксовані, і модель просто застосовує свої знання: на основі твоїх слів (токенів) вона статистично “добирає” наступний токен, потім ще один, і так — поки не сформує відповідь.⚡️По суті, модель працює як ультрапросунута функція автозаповнення: вона підбирає наступне слово (токен), спираючись на мільярди прикладів з інтернету. Кожна відповідь — це результат мільйонів обчислень і “кидання монетки” (бо вибір може бути випадковим у певних межах).Тому ChatGPT — це справді дуже потужне й дороге “автозавершення”, яке будує відповідь крок за кроком, не запам’ятовуючи нічого нового після завершення тренування.#AIforBA