Canal IASAedu 🇺🇦 - @iasa_edu - №1123
Junior MLOps Engineer interview: Model & Concept Drift#Edu_preparationЩо таке дрейф моделі і як його виявляти?Дрейф (Drift) — це явище, коли продуктивність розгорнутої ML-моделі з часом погіршується, оскільки реальні дані починають відрізнятися від тих, на яких вона навчалася. Розрізняють два основні типи дрейфу:• Дрейф даних (Data / Feature Drift):Змінюється статистичний розподіл вхідних даних. Наприклад, цільова аудиторія вашого сервісу стала старшою, або змінилися масштаби цін. Закономірності ті самі, але самі дані виглядають інакше.• Дрейф концепцій (Concept Drift):Змінюється фундаментальний зв'язок між вхідними даними та результатом. Те, що модель вважала правильним раніше, більше не працює. Класичний приклад: зміна купівельної поведінки клієнтів або поява нових, раніше невідомих схем шахрайства.Як виявляти дрейф у продакшені?Для цього налаштовують моніторинг, який працює в реальному часі або за розкладом. Основні методи:1. Порівняння розподілів: Система постійно порівнює свіжі дані (inference data) з еталонними даними, на яких тренували модель (baseline).2. Статистичні тести: Щоб математично довести наявність дрейфу, використовують такі метрики та тести, як:• KS-test (тест Колмогорова-Смірнова)• PSI (Population Stability Index)• Дивергенція Дженсена-Шеннона3. Автоматизація (Tools): Замість ручного написання скриптів MLOps-інженери використовують готові інструменти: Evidently AI, WhyLabs або Fiddler AI.Коли інструмент фіксує дрейф, що перевищує допустимий поріг, система надсилає алерт і може автоматично запустити пайплайн перенавчання (retraining) моделі на свіжих даних.
422
26-04-23 07:01