Курс Embeddings від Google та пояснення на основі борщуУявімо, що ви створюєте застосунок для рекомендацій їжі. Користувач вводить улюблену страву — скажімо, *борщ* — а ваша модель рекомендує схожі страви, наприклад, *шурму* або *солянку*. Для цього вам потрібно навчити модель розуміти схожість між стравами.Ви зібрали датасет з 5 000 популярних страв (борщ, хот-дог, салат, піца, шурма тощо) і вирішили використати one-hot encoding для представлення кожної страви у вигляді вектора.Як виглядає one-hot encoding- борщ → [1, 0, 0, ..., 0]- хот-дог → [0, 1, 0, ..., 0]- шурма → [0, 0, 0, ..., 1]Це вектори розміром 5 000, де всі значення — 0, крім однієї одиниці, яка вказує на позицію страви в списку.Проблеми такого підходу1. Мільйони параметрів Якщо у вас 5 000 ознак і навіть 128 нейронів у першому шарі, отримаємо 640 000 ваг тільки на першому шарі.2. Мало інформації у векторі One-hot не містить жодної інформації про схожість між стравами. борщ та шаурма мають однакову "відстань", як і борщ та молочний коктейль.3. Високі обчислювальні витрати Чим більше параметрів, тим більше обчислень і памʼяті потрібно. На мобільних пристроях така модель буде непрацездатною.4. Потреба у великій кількості даних Велика кількість ваг → потрібно більше прикладів для навчання, щоб уникнути overfitting.Рішення — ембеддингиЕмбеддинги — це щільні вектори меншої розмірності (наприклад, з 5 000 → 128), які навчаються разом з моделлю. Вони:- зберігають інформацію про схожість між стравами- суттєво зменшують кількість параметрів- підходять для мобільних пристроїв- дозволяють швидше й ефективніше тренувати моделіЕмбеддинг борщу може бути ближчим до шурми, ніж до піци, якщо це випливає з даних користувача.Пройти курс та дізнатись більше тут: https://developers.google.com/machine-learning/crash-course/embeddings