Junior Data Engineer interview: Slowly Changing Dimensions (SCD)
#Edu_preparation

Що таке Slowly Changing Dimensions (SCD) та які існують основні типи?

Slowly Changing Dimensions (SCD) — концепція у сховищах даних (DWH), що визначає підходи до обробки змін атрибутів вимірів із плином часу. Оскільки бізнес-дані можуть змінюватися (наприклад, адреса клієнта), інженери обирають стратегію обробки таких змін: перезаписувати попередні значення, зберігати історію змін або фіксувати попередні значення в обмеженому обсязі.

Залежно від бізнес-вимог виділяють такі основні типи SCD:

• SCD Type 0 (Retain Original):
Дані записуються один раз, а подальші зміни відповідних атрибутів ігноруються. Початкове значення зберігається без оновлення. Використовується для атрибутів, значення яких потрібно зафіксувати на момент першого запису, наприклад, для збереження початкового каналу залучення клієнта (original acquisition channel).

• SCD Type 1 (Overwrite):
Нові значення атрибутів перезаписують попередні без збереження їхньої історії. У результаті в межах відповідного запису виміру зберігаються актуальні значення атрибутів. Цей підхід простий у реалізації та не потребує додаткового зберігання історичних версій, але не дозволяє відстежувати попередні значення атрибутів.

• SCD Type 2 (Add New Row):
Зберігає історію змін атрибутів виміру шляхом створення нового рядка для кожної нової версії запису, коли змінюються атрибути, що відстежуються за Type 2. Попередній рядок залишається в таблиці, а його період актуальності завершується. Для відстеження версій часто використовують поля start_date, end_date та is_current. Такий підхід дає змогу аналізувати дані станом на різні моменти часу, але потребує більше місця для зберігання та складнішої логіки обробки даних.

• SCD Type 3 (Add New Column):
Зберігає обмежену історію змін атрибутів у додаткових колонках тієї самої таблиці, не створюючи нового рядка для кожної версії виміру. Наприклад, колонки current_city та previous_city дають змогу порівняти поточне й попереднє місця проживання клієнта. Обсяг історії обмежений структурою таблиці, тому цей підхід підходить для випадків, коли потрібно відстежувати лише визначену кількість попередніх значень.