Das Ende der klassischen Azure-Datenplattform: Der Shift zu Databricks- und Fabric-zentrierten Architekturen
Das Ende der klassischen Azure-Datenplattform: Der Shift zu Databricks- und Fabric-zentrierten Architekturen
Zusammenfassung / Summary
Die Architektur moderner Datenplattformen im Microsoft-Ecosystem durchläuft einen fundamentalen Wandel. Die Ära, in der Datenplattformen als lose Sammlungen von Azure-Komponenten (wie Azure Data Factory, Synapse und Data Lake Storage) entworfen wurden, nähert sich ihrem Ende. An ihre Stelle treten zunehmend integrierte, plattformzentrierte Architekturen auf Basis von Microsoft Fabric und Databricks. Azure Data Factory (ADF) bleibt zwar als eigenständiger PaaS-Dienst bestehen, doch die strategische Ausrichtung und neue Best Practices von Microsoft fokussieren sich auf Fabric Data Factory und einheitliche SaaS-Strukturen.
Was ist passiert? / What happened?
- Strategische Neuausrichtung: Microsoft hat im Juni 2026 offizielle Referenzarchitekturen zu „Cloud-scaled Analytics“ und „Data Landing Zones“ aus den Microsoft Learn-Dokumenten entfernt. Dies signalisiert den Abschied von klassischen, komplexen PaaS-Architekturmustern.
- Zertifizierungsänderungen: Alle traditionellen rollenbasierten Azure-Datenzertifizierungen wurden eingestellt, was den Fokus auf die neuen, konsolidierten Fabric- und Databricks-Zertifizierungspfade lenkt.
- BMC Control-M Integration: BMC Software hat die Integration von Control-M für Azure Data Factory vorgestellt, um die Steuerung von hybriden ETL/ELT-Pipelines zu erleichtern, während Unternehmen den Übergang zu Fabric planen.
- Databricks Workflows als Alternative: Entwickler und Architekten nutzen Databricks Workflows immer häufiger als direkten Orchestrator, wodurch der Bedarf an separaten Data-Factory-Instanzen in rechenintensiven Pipelines sinkt.
Warum es wichtig ist / Why it matters
Der Wandel betrifft sowohl Data Architects als auch Data Engineers. Statt Pipelines mühsam über verschiedene PaaS-Ressourcen hinweg zu orchestrieren und sich mit Integration Runtimes, Berechtigungen und Netzwerkschnittstellen zu beschäftigen, verlangt der Markt heute SaaS-zentrierte Ansätze. Unternehmen müssen ihre Infrastruktur-Roadmaps anpassen, da Microsoft Innovationen primär in Fabric Data Factory treibt.
Beweise / Evidence
- Löschung von Architekturdokumenten: Die Entfernung der „Cloud-scaled Analytics“-Richtlinien durch Microsoft im Juni 2026.
- Community-Diskussionen: Verstärkte Debatten auf Plattformen wie Medium, YouTube und der Databricks Community bezüglich des Vergleichs zwischen ADF und Databricks Workflows.
- BMC Software Ankündigung: Die Veröffentlichung der Control-M-Dokumentation zur Integration von Azure Data Factory im SaaS-Bereich.
Analyse / Analysis
Der Übergang von PaaS zu SaaS vereinfacht die IT-Governance und reduziert den administrativen Aufwand erheblich. Bei Fabric- oder Databricks-zentrierten Architekturen dient die jeweilige Plattform als zentraler „Kernel“, während Azure die notwendige Compute- und Storage-Infrastruktur im Hintergrund liefert. Dies ermöglicht eine schnellere Integration von KI-Technologien wie Copiloten, da Datenquellen und Verarbeitungslogik standardmäßig in einer einheitlichen Umgebung (wie OneLake) organisiert sind.
Praktische Erkenntnisse / Practical Takeaways
- Infrastruktur bewerten: Prüfen Sie bestehende ADF-Pipelines und evaluieren Sie Migrationsszenarien hin zu Fabric Data Factory oder Databricks Workflows, besonders für neue Datenprojekte.
- Weiterbildung anpassen: Richten Sie Schulungen für Data Engineers an Microsoft Fabric und Databricks aus, da klassische Azure-Datenzertifizierungen keine Zukunft mehr haben.
- Konnektoren und Tools nutzen: Setzen Sie auf moderne Integrationswerkzeuge wie Control-M oder Fivetran, um Datenquellen nahtlos an die neuen Fabric-Umgebungen anzubinden.
Offene Fragen / Open Questions
- Wie schnell können regulierte Unternehmen in hochsicheren Branchen die Migration von lokalen/PaaS-Strukturen zu einer SaaS-Plattform wie Microsoft Fabric vollziehen?
- Wird Fabric Data Factory die klassische Azure Data Factory vollständig ersetzen, oder koexistieren beide Dienste langfristig für unterschiedliche Anwendungsfälle?