Azure Databricks: Integration in Microsoft Fabric und verbesserte Cloud-Sicherheit

🔄 Update — 09. Juni 2026: Cross-Tenant Firewall-Einschränkungen bei gespiegelten Databricks-Katalogen

Beim Einsatz des gespiegelten Azure Databricks Catalogs in Microsoft Fabric in Kombination mit durch Firewalls geschützten ADLS Gen2-Speicherkonten in Cross-Tenant-Umgebungen ist eine gravierende Kompatibilitätslücke aufgetreten. Das Abfragen des Katalogs führt zu einem PowerBINotAuthorizedException-Fehler, da der vertrauenswürdige Workspace-Zugriff (Trusted Workspace Access, TWA) nicht mandantenübergreifend funktioniert. Daher gibt es derzeit keinen direkten Workaround, wenn sich das Speicherkonto in einem anderen Tenant befindet und durch eine Azure Storage Firewall geschützt ist.

Was ist neu?

PowerBINotAuthorizedException: Benutzer stoßen auf blockierende Fehler bei der Konfiguration gespiegelter Azure Databricks Catalogs, wenn sie auf mandantenübergreifende, per Firewall geschützte ADLS Gen2-Speicherkonten zugreifen.
TWA-Cross-Tenant-Inkompatibilität: Der vertrauenswürdige Workspace-Zugriff (TWA), der Fabric Workspace Identities den Zugriff durch Speicher-Firewalls erlaubt, ist derzeit auf Single-Tenant-Setups beschränkt.
Fehlende alternative Netzwerkwege: Weder VNet Data Gateways noch Managed Private Endpoints unterstützen derzeit den Fluss der gespiegelten Databricks-Kataloge.

Warum es den Artikel ergänzt

Dieses Update erweitert die Abschnitte „Zero-ETL evaluieren“ und „Netzwerksicherheit konfigurieren“ um eine kritische architektonische Einschränkung, die Data Engineers bei komplexen Multi-Tenant-Implementierungen berücksichtigen müssen.

Zusammenfassung

Die wachsende Nachfrage nach integrierten Cloud-Datenplattformen führt zu einer tiefgehenden Interoperabilität zwischen Azure Databricks und Microsoft Fabric. Gleichzeitig stehen Sicherheits- und Governance-Mechanismen wie Unity Catalog und Entra ID im Mittelpunkt von Updates. Neue Lernressourcen und Bootcamps reagieren auf den gestiegenen Fachkräftebedarf im Bereich Data Engineering.

Was ist passiert?

In den letzten Wochen gab es mehrere wichtige Ankündigungen und Veröffentlichungen im Azure- und Databricks-Ökosystem:

Microsoft Fabric Integration: Die Spiegelung von Azure Databricks (Mirrored Catalogs) ermöglicht es, Unity-Catalog-Tabellen als schreibgeschützte Repliken direkt in Fabric OneLake anzuzeigen, ohne Daten physisch verschieben zu müssen.
Entra ID RBAC für Azure Managed Redis: Mit dem Azure-Update 564873 wurde die rollenbasierte Zugriffskontrolle (RBAC) über Microsoft Entra ID für Azure Managed Redis in der Public Preview eingeführt, was Passwörter oder Verbindungszeichenfolgen überflüssig macht.
Erweitertes MLflow-Logging: Data Scientists können ML-Artefakte und Experimente aus Azure Databricks direkt in Fabric protokollieren.
Steigende Nachfrage nach Ausbildung: Neue Bootcamps (wie das Free Azure Databricks & PySpark Bootcamp von Vaanii) und aktualisierte Kurse auf DataCamp verdeutlichen den Schulungsbedarf für Enterprise-Data-Stacks.
Terraform Updates: Die Aktualisierungen des Terraform azurerm-Providers erleichtern die automatisierte, sichere Bereitstellung von Databricks-Workspaces mittels Infrastructure as Code (IaC).

Warum es wichtig ist

Die Zeiten, in denen sich Unternehmen strikt zwischen Azure Databricks oder Microsoft Fabric entscheiden mussten, sind vorbei. Der Trend geht klar hin zu hybriden, interoperablen Architekturen (“Ecosystem Gravity”). Sicherheit steht dabei an erster Stelle: Da Daten nahtlos zwischen Systemen fließen, müssen Zugriffsberechtigungen (wie Unity Catalog im Databricks-Umfeld oder OneLake-Sicherheitsrollen in Fabric) konsistent synchronisiert und abgesichert werden. Zudem zeigt die Einführung von Entra ID RBAC für Managed Redis einen plattformweiten Push hin zu passwortlosen Identitäten.

Beweise

Die Beweiskette stützt sich auf mehrere aktuelle Quellen:

Ausbildung und Enablement: Der Start des “Free Azure Databricks & PySpark Bootcamp” sowie der beliebte DataCamp-Kurs “Introduction to Databricks” belegen das enorme Interesse.
Technologische Updates: Die Dokumentation zum Terraform-Provider azurerm_databricks_workspace zeigt die kontinuierliche Weiterentwicklung der IaC-Unterstützung.
Integration und Sicherheit: Microsofts Ankündigung zur Absicherung gespiegelter Azure-Databricks-Daten in Fabric über OneLake-Sicherheitsrollen und vertrauenswürdigen Workspace-Zugriff (Trusted Workspace Access) stellt den Kern der Integration dar.
Cloud-Security-Updates: Das offizielle Microsoft-Azure-Update ID 564873 zur Entra ID-RBAC-Steuerung für Redis-Daten.

Analyse

Die Integration von Databricks in Fabric bringt enorme Vorteile bei der Analyse-Geschwindigkeit (Zero-ETL), führt jedoch zu Governance-Herausforderungen. Da Berechtigungen aus dem Unity Catalog nicht standardmäßig in Fabric übernommen werden, müssen Administratoren Fabric-eigene Sicherheitsmodelle definieren. Die Nutzung von Microsoft Entra ID-Gruppen zur konsistenten Berechtigungssteuerung über beide Plattformen hinweg ist hierfür der Standard-Lösungsansatz. Die Einführung von Entra ID RBAC für Azure Managed Redis zeigt außerdem, dass Microsoft die gesamte Daten- und Cache-Infrastruktur konsequent auf eine einheitliche, zertifikats- und schlüsselbasierte Governance umstellt.

Praktische Erkenntnisse

Für Data Engineers und Cloud-Architekten ergeben sich daraus folgende Maßnahmen:

Zero-ETL evaluieren: Nutzen Sie gespiegelte Azure Databricks Catalogs in Microsoft Fabric, um Power BI-Berichte und Notebooks direkt auf Databricks-Daten aufzusetzen, ohne Pipelines bauen zu müssen.
Sicherheits-Sync einrichten: Verwenden Sie Microsoft Entra ID-Gruppen als Single Source of Truth für Zugriffsrechte. Mappen Sie diese Gruppen sowohl im Unity Catalog als auch in den OneLake Data Access Roles von Fabric.
Netzwerksicherheit konfigurieren: Aktivieren Sie bei firewalled Speicherkonten den “Trusted workspace access” in Fabric und nutzen Sie gegebenenfalls das Fabric VNet Data Gateway.
Passwortlose Authentifizierung nutzen: Stellen Sie bei der Nutzung von Azure Managed Redis auf Entra ID-basierte RBAC um, um Sicherheitsrisiken durch geteilte Zugriffsschlüssel zu minimieren.
Infrastruktur automatisieren: Nutzen Sie die neuesten Versionen des Terraform azurerm-Providers, um Databricks-Workspaces standardisiert und sicher bereitzustellen.

Offene Fragen

Wie performant verhält sich die Datenspiegelung bei extrem großen, sich schnell ändernden Datensätzen im Petabyte-Bereich?
Wann wird die Berechtigungssynchronisierung zwischen Unity Catalog und Microsoft Fabric vollautomatisch im Hintergrund ablaufen, ohne dass manuelle Mappings erforderlich sind?