Microsoft Fabric: Natives CDC für SQL-Umgebungen und SCD Typ 2 im Copy Job

Zusammenfassung

Microsoft hat die allgemeine Verfügbarkeit (General Availability, GA) von Change Data Capture (CDC) für SQL-Datenbanken (SQL estates) im Copy Job von Microsoft Fabric bekannt gegeben. Dies ermöglicht eine extrem latenzarme Replikation von Einfügungen (Inserts), Aktualisierungen (Updates) und Löschungen (Deletes) aus Azure SQL Database, lokalem SQL Server und Azure SQL Managed Instance in Fabric-Ziele. Zusätzlich bringt die erweiterte Unterstützung von Slowly Changing Dimensions (SCD) Typ 2 im Copy Job (Preview) eine native, quellcodefreie Historisierung mit Gültigkeitsdaten und Soft-Delete-Verarbeitung in Fabric Data Warehouse-Ziele.

Was ist passiert?

Microsoft Fabric hat zwei wichtige Funktionserweiterungen für das Datenintegrations-Tool Copy Job in Data Factory veröffentlicht:

Natives CDC für SQL-Umgebungen (Allgemein verfügbar - GA): Der Copy Job unterstützt nun die native Datenreplikation mittels Change Data Capture (CDC) direkt aus SQL-Datenquellen. Bisherige komplexe Wasserzeichen-basierte Skripte werden überflüssig. Zu den unterstützten Quellen gehören Azure SQL Database, SQL Server und Azure SQL Managed Instance. Die Replikation kann in Ziele wie Fabric SQL, Lakehouses, Data Warehouses und Snowflake erfolgen.
SCD Typ 2 Unterstützung (Vorschau - Preview): Bei Replikationen in ein Fabric Data Warehouse oder Synapse SQL Pool kann die Historisierung nach SCD Typ 2 nativ konfiguriert werden. Der Copy Job übernimmt dabei automatisch das logische Setzen von Gültigkeitszeiträumen (z. B. Valid_To-Daten) sowie das Einfügen neuer Zeilen bei Änderungen. Zudem wird das Behandeln von “Soft Deletes” (gelöschte Quellzeilen werden im Ziel als inaktiv markiert statt physisch gelöscht zu werden) nativ abgebildet.

Warum es wichtig ist

Diese Neuerungen lösen zentrale Herausforderungen im Data Engineering:

Echte Echtzeit-Nähe ohne Overhead: Statt ressourcenintensive Full-Table-Reloads durchzuführen, überträgt CDC nur noch die tatsächlichen Delta-Änderungen. Das schont die Quellsysteme und reduziert Latenzen drastisch.
Kein Code für Historisierung: SCD Typ 2 gehört zu den komplexesten Standard-Transformationen im Data Warehousing. Die native Integration im Copy Job spart Data Engineers Hunderte Stunden an Entwicklungszeit für Pipelines, Notebook-Skripte oder Stored Procedures.
Robustes Soft-Delete-Handling: Das automatische Erkennen und Verarbeiten von Löschungen im Quellsystem sorgt für konsistente und verlässliche Historisierungen.

Beweise

Microsoft Fabric Updates Blog: Ye Xu (Principal Program Manager) beschreibt den Nutzen und die einfache Einrichtung des Copy Jobs mit CDC für SQL-Umgebungen.
Microsoft Learn (“What’s New in Fabric”): Die offizielle Dokumentation listet die allgemeine Verfügbarkeit des CDC-Features sowie die öffentliche Vorschau der SCD Typ 2-Funktionen.
Praxisberichte und Foren: In der Microsoft Fabric Community wird hervorgehoben, dass bei der SCD-Nutzung manuelle Spaltenzuordnungen vermieden werden sollten, da Fabric die Historisierungsspalten (wie Gültigkeitsdaten) eigenständig verwaltet.

Analyse

Mit diesen Updates positioniert Microsoft Fabric den Copy Job als das zentrale No-Code-Integrationstool für Datenbewegungen über Cloud- und Mandantengrenzen hinweg. Während historisch oft aufwendige Delta-Lake-Notebooks mit PySpark oder T-SQL Stored Procedures für SCD Typ 2 notwendig waren, etabliert Microsoft hier einen standardisierten, deklarativen Ansatz. Die GA von CDC für SQL Server und Azure SQL festigt Fabrics Eignung für hybride Enterprise-Infrastrukturen. Sie schließt die Lücke zwischen betrieblichen SQL-Datenbanken und der analytischen OneLake-Umgebung und minimiert die Time-to-Value für Echtzeit-Dashboards und KI-Analysen.

Praktische Erkenntnisse

Für Data Engineers: Nutzen Sie ab sofort das native CDC im Copy Job für SQL-Umgebungen, um alte Batch-Pipelines zu modernisieren und die Systemlast auf Ihren operativen Datenbanken zu verringern.
Für Data Warehouse Architekten: Testen Sie SCD Typ 2 für Fabric Warehouses im Copy Job. Wichtig: Verzichten Sie dabei auf manuelle Spalten-Mappings, damit Fabric die Historisierungs-Metadaten fehlerfrei generieren kann.
Für Entwickler: Sollten Quellsysteme kein CDC unterstützen oder hochgradig individuelle Logiken erforderlich sein, bleiben Dataflows Gen2 oder PySpark-Notebooks weiterhin die flexiblere Alternative.

Offene Fragen

Welche Auswirkungen hat die CDC-Replikation auf sehr große Tabellen mit hohem Transaktionsvolumen bezüglich der CU-Lizenzen (Capacity Units) in Fabric?
Wann wird die SCD Typ 2 Unterstützung für Lakehouses (Delta-Ziele) verfügbar gemacht, da sie sich derzeit primär auf Data Warehouse-Ziele konzentriert?
Wie gut skaliert die Performance der Soft-Delete-Erkennung bei Millionen täglicher Löschungen in der Preview-Phase?

Microsoft Fabric: Natives CDC für SQL-Umgebungen und SCD Typ 2 im Copy Job veröffentlicht