Azure Databricks Unity Catalog direkt in Microsoft Fabric OneLake integriert

Zusammenfassung

Microsoft und Databricks haben eine direkte Integration angekündigt, mit der Azure Databricks die Metadaten des Unity Catalogs (UC) direkt in Microsoft Fabrics OneLake speichern und spiegeln kann. Diese native Interoperabilität ermöglicht es Unternehmen, dieselben Daten plattformübergreifend zu nutzen, ohne sie kopieren, verschieben oder duplizieren zu müssen. Damit entsteht ein einheitliches Fundament für das moderne Data Engineering, das Silos zwischen den beiden führenden Analytics-Plattformen abbaut.

Was ist passiert?

Im Rahmen von Produkt-Updates haben Microsoft und Databricks neue Brücken für die Zusammenarbeit ihrer Data-Intelligence-Plattformen vorgestellt:

Speicherung von UC-Metadaten in OneLake: Azure Databricks kann nun verwaltete Tabellen (Managed Tables) unter Verwendung von OneLake als direktem Speicherlayer ablegen.
Katalog-Spiegelung (Mirrored Catalog): Unity Catalog-Tabellen können direkt über den Databricks Catalog Explorer an Microsoft Fabric übergeben („Publish to Fabric“) und dort als gespiegelte Datenbanken mit SQL-Endpunkten und im Power BI Direct Lake-Modus abgefragt werden.
Katalog-Föderation (OneLake Catalog Federation): Azure Databricks kann umgekehrt Metadaten aus Fabric OneLake synchronisieren, um diese als externe Kataloge (Foreign Catalogs) abzufragen.

Warum es wichtig ist

Bisher mussten Unternehmen, die sowohl Azure Databricks als auch Microsoft Fabric einsetzten, Daten aufwendig duplizieren oder komplexe Pipelines aufbauen, um Datenstände synchron zu halten. Die direkte Integration etabliert OneLake als echten, gemeinsamen Datenspeicher (Single Source of Truth) bei gleichzeitiger Beibehaltung der Governance-Funktionen des Unity Catalogs. Dies reduziert Speichergebühren, verringert den Wartungsaufwand für ETL-Strecken und beschleunigt den Zugriff auf Business-Intelligence-Systeme wie Power BI.

Beweise

Die Integration und deren strategische Relevanz sind durch mehrere Quellen belegt:

Offizieller Fabric-Blog: Microsoft erläuterte die technischen Details zur Speicherung von Unity Catalog-Metadaten in OneLake.
Architektur-Analysen: Führende Azure-Experten wie Adam Marczak beschreiben diese Entwicklung als Ende einer Ära klassischer Azure-Datenplattformen und Einzug einer neuen, plattformzentrierten Databricks- und Fabric-Architektur.
Community-Diskussionen: Auf Plattformen wie LinkedIn und Reddit wird die Integration als Durchbruch zur Vermeidung von Tooling-Reibungen diskutiert.

Analyse

Dieser Schritt verdeutlicht einen Paradigmenwechsel im Cloud-Data-Warehousing. Anstatt proprietäre Datensilos zu verteidigen, öffnen Microsoft und Databricks ihre Ökosysteme für offene Tabellenformate (wie Delta Lake). Da OneLake und Databricks beide auf Delta-Tabellen aufbauen, ist die physische Kompatibilität ohnehin gegeben; die eigentliche Neuerung liegt in der Synchronisation der Governance- und Metadaten-Ebenen. Microsoft passt zudem sein Cloud Adoption Framework (CAF) an, indem ältere Konzepte wie Data Landing Zones zugunsten dieser neuen, integrierten Architektur abgelöst werden.

Praktische Erkenntnisse

Architektur vereinfachen: Evaluieren Sie vorhandene Datenpipelines, die Daten zwischen Databricks ADLS-Speicher und Fabric hin- und herkopieren. Diese können durch gespiegelte Kataloge oder Föderation ersetzt werden.
Berechtigungskonzepte harmonisieren: Da Metadaten gespiegelt werden, müssen Sicherheitsrichtlinien (z. B. Spalten- und Zeilen-Zugriffsrechte) sorgfältig auf beiden Seiten definiert und abgeglichen werden.
Kostenpotenziale nutzen: Durch den Wegfall von Datenduplikation und Datenbewegungs-Pipelines (Egress/Ingress und Compute-Kosten für Kopierjobs) lassen sich die Gesamtbetriebskosten (TCO) der Datenplattform senken.

Offene Fragen

Wie verhält sich die Performance bei hochfrequenten Schreib- und Lesezugriffen über OneLake im Vergleich zu nativem ADLS Gen2?
Inwiefern werden komplexe, granulare Sicherheitsrichtlinien (Fine-Grained Access Control) aus dem Unity Catalog vollautomatisch und fehlerfrei in die Fabric-Rollen übersetzt?