Junior Data Engineer interview: Data Mesh
#Edu_preparation

Що таке Data Mesh і чим ця концепція відрізняється від традиційного сховища даних (Data Warehouse)?

Data Mesh — децентралізована архітектурна та організаційна модель управління аналітичними даними, у якій дані розглядаються як продукт, а відповідальність за їх створення, якість, доступність та підтримку покладається безпосередньо на бізнес-домени, які ці дані генерують.

До того ж Data Mesh не скасовує потребу в Data Warehouse — сховище може залишатися компонентом self-service платформи або використовуватись для створення конкретних Data Products.

Відмінності Data Mesh від традиційного Data Warehouse базуються на чотирьох ключових принципах:

• Децентралізоване доменне володіння (Domain-oriented Ownership):
У традиційній моделі дані консолідуються в єдиному сховищі та обробляються центральною data-командою. У Data Mesh відповідальність розподіляється: команди маркетингу, фінансів тощо самі володіють даними свого домену та відповідають за них протягом усього життєвого циклу.

​• Дані як продукт (Data as a Product):
Замість розгляду даних як просто набору таблиць, у Data Mesh кожен домен створює Data Products для інших споживачів. Ці продукти мають бути надійними, доступними, безпечними, супроводжуватися документацією та чіткими правилами використання.

​• Інфраструктура самообслуговування (Self-serve Data Platform):
У централізованій архітектурі data-команда часто стає обмежувальним фактором (bottleneck) через великий потік запитів на інтеграцію. У Data Mesh platform-команда створює автоматизовану інфраструктуру, яка дозволяє доменним командам самостійно створювати, підтримувати та публікувати свої Data Products.

​• Федеративне управління (Federated Computational Governance):
Оскільки дані децентралізовані, необхідні спільні правила. Представники доменів та governance-команди спільно визначають стандарти безпеки, якості та сумісності (interoperability), виконання яких здебільшого автоматично контролюється самою платформою.