Junior Data Engineer interview: Change Data Capture (CDC)
#Edu_preparation

Що такe Change Data Capture (CDC) і як цей патерн використовується в інженерії даних?

CDC (Change Data Capture) — патерн, який у реальному часі фіксує та передає зміни в даних (INSERT, UPDATE, DELETE). Замість періодичного копіювання всього масиву (batch processing), CDC миттєво обробляє лише змінені записи, забезпечуючи високу швидкість та актуальність інформації.

Використання CDC в інженерії даних базується на таких підходах та перевагах:

• Робота на основі логів (Log-based CDC):
Це найпопулярніший і найефективніший метод. Інструменти (наприклад, Debezium) безпосередньо читають транзакційні логи бази даних (WAL у PostgreSQL або Binlog у MySQL). Це дозволяє захоплювати події без виконання SQL-запитів і майже не створює додаткового навантаження на production-базу.

• Синхронізація у реальному часі (Real-time Data Replication):
CDC забезпечує постійну та швидку реплікацію даних з операційних баз (OLTP) до аналітичних сховищ (Data Warehouse або Data Lake). Це гарантує, що бізнес-аналітики та BI-інструменти працюють із найактуальнішою інформацією без затримок, характерних для нічних ETL-завантажень.

• Подієво-орієнтована архітектура (Event-Driven Architecture):
Кожна зміна в базі даних перетворюється на стрімінгову подію (event), яка відправляється до брокера повідомлень, найчастіше Apache Kafka. Це дозволяє десяткам незалежних мікросервісів та пайплайнів паралельно підписуватися на ці зміни та миттєво на них реагувати.

• Повний аудит та збереження історії (Audit & Historical Tracking):
CDC фіксує не лише фінальний стан запису, але й зберігає контекст транзакції: тип операції, старе значення, нове значення та час. Це ідеально підходить для наповнення таблиць фактів та реалізації Slowly Changing Dimensions (SCD) для відстеження еволюції даних у часі.

• Відмова від ресурсоємних опитувань (Eliminating Polling):
Традиційний підхід вимагає регулярних запитів до бази за міткою часу. CDC повністю усуває необхідність такого "опитування", оскільки зміни надсилаються автоматично (push-модель), що кардинально знижує навантаження на джерело.