Наприклад, якщо модель прогнозує 67, це означає, що очікувані продажі становлять приблизно 67 одиниць товару.

Крок 9. Оцінюємо якість прогнозу

Для оцінки використовуємо MAE - Mean Absolute Error.
MAE показує, наскільки в середньому прогноз відрізняється від фактичного значення.

Якщо:
MAE = 5.8 - це означає, що модель у середньому помиляється приблизно на 5–6 одиниць товару.

Чим менший MAE, тим точніший прогноз.

Також можна використовувати RMSE чи MAPE, але для першої версії достатньо MAE, оскільки його легко інтерпретувати в одиницях товару.

Крок 10. Порівнюємо модель з baseline

Не можна просто отримати MAE і сказати, що модель досить добре працює.

Потрібно перевірити, чи справді ML дає кращий результат, ніж простий підхід.

Наприклад, створюємо baseline:

Прогноз на завтра дорівнює продажам сьогодні.
Припустимо, baseline показав MAE = 8.2, а наша Random Forest - MAE = 5.8.

Отже, ML-модель помиляється менше і справді покращує прогноз порівняно з простим правилом.

Крок 11. Аналізуємо наші помилки

Після цього дивуємося, в яких ситуаціях модель прогнозує найгірше.
Умовно ми можемо виявити, що:

👉🏻 звичайні дні помилка невелика;
👉🏻 у вихідні вона трохи збільшується;
👉🏻 у святкові дні модель помиляється значно сильніше.

Тоді виникає логічне припущення: моделі не вистачає інформації про свята, акції чи інші події, що впливають на продаж.

Крок 12. Покращуємо модель

На наступній ітерації можемо додати нові ознаки:

1️⃣ is_holiday;
2️⃣ інформацію про знижки;
3️⃣ рекламні кампанії;
4️⃣ спеціальні пропозиції;
5️⃣ сезонні події.

Після цього знову навчаємо модель і порівнюємо її результат із попередньою версією.
Якщо MAE зменшився, нові ознаки справді допомогли.

Це, звичайно, досить сирий приклад, в ідеалі ще б зробити графіки, покодити, але логіка, сподіваюсь, зрозуміла))

Ставте реакцію, якщо хочете ще задач. А поки - всім гарної неділі 😉