Azure Databricks Roadmap: Wichtige Updates für Lakeflow Connect, Abrechnung und Compliance-Sicherheit

Zusammenfassung

Azure Databricks hat seine Plattform-Roadmap mit mehreren wichtigen Feature-Erweiterungen, Änderungen an den Sicherheitsprofilen und Abrechnungs-Updates für Mitte bis Ende 2026 aktualisiert. Zu den wichtigsten Änderungen gehört die standardmäßige Aktivierung des Zerobus Ingest-Connectors in Lakeflow Connect und Lakeflow Designer für Workspaces mit aktiviertem Compliance-Sicherheitsprofil (HIPAA, HITRUST etc.) ab Mitte bis Ende Juli. Zudem führt Databricks neue Gebühren für den Daten-Egress über Regionen und das öffentliche Internet unter OpenSharing SecureConnect ein, migriert Declarative Automation Bundles (DABs) auf eine direkte Deployment-Engine und stellt Genie-Produkte auf ein Pay-as-you-go-Abrechnungsmodell um.

Was ist passiert?

Die offizielle Release-Dokumentation von Azure Databricks beschreibt mehrere kritische Plattform-Updates und Zeitpläne:

• Lakeflow-Compliance-Integration: Der push-basierte Zerobus Ingest-Connector und der Lakeflow Designer (eine visuelle No-Code-Oberfläche zur Datenvorbereitung) werden ab Mitte bis Ende Juli 2026 standardmäßig in Workspaces mit Compliance-Sicherheitsprofil aktiviert.
• Standardisierung von SQL-KI-Funktionen: Die SQL-KI-Funktionen ai_extract und ai_classify stehen ab Mitte Juli 2026 standardmäßig in Workspaces mit Compliance-Sicherheitsprofil zur Verfügung, wenn die Kontrollen HIPAA, HITRUST, C5 und TISAX ausgewählt sind.
• Egress-Gebühren für OpenSharing SecureConnect: Ab Mitte 2026 berechnet Azure Databricks den Egress-Datenverkehr zwischen Regionen und ins öffentliche Internet für Datenanbieter. Der Ingress zu SecureConnect sowie der Egress innerhalb derselben Region bleiben kostenlos.
• Migration der DABs-Deployment-Engine: Am 24. Juli 2026 wechseln Declarative Automation Bundles standardmäßig auf die direkte Deployment-Engine. Die bisherige Terraform-Deployment-Engine wird abgelöst und zukünftig vollständig entfernt.
• Restrukturierung der Workspace-Berechtigungen: Ab dem 15. Juni 2026 (Opt-in) bzw. 14. September 2026 (verpflichtend) erben Principals keine Workspace-Berechtigungen mehr automatisch aus der Systemgruppe users. Berechtigungen müssen explizit pro Principal zugewiesen werden.
• Nutzungsbasierte Preise für Genie: Ab dem 6. Juli 2026 wechseln die Genie-Produkte (Genie Spaces, Genie Code, Genie One) zu einem Pay-as-you-go-Modell. Jeder Benutzer erhält monatlich 150 DBUs kostenlose LLM-Nutzung, darüber hinausgehende Nutzung wird nach DBU abgerechnet.
• Erzwingung des Compliance-Sicherheitsprofils: Ab dem 1. September 2026 ist das Compliance-Sicherheitsprofil zwingend erforderlich, um geschützte Daten nach HIPAA, HITRUST und IRAP zu verarbeiten.

Warum es wichtig ist

Diese Änderungen bedeuten eine stärkere Ausrichtung auf Compliance-Sicherheit sowie eine granularere Kostenkontrolle:

• Sicherheit und Auditing: Durch die Abschaffung der automatischen Berechtigungsvererbung über die Systemgruppe users schließt Databricks ein Sicherheitsrisiko, bei dem Consumer-Only-Benutzer unbeabsichtigt Schreib- oder Autorenrechte erhielten.
• Architektur-Vereinfachung: Die Ablösung der Terraform-Deployment-Engine durch die direkte Deployment-Engine für DABs vereinfacht die Bereitstellungspipelines und reduziert Abhängigkeiten.
• Kontrolle der Datenübertragungskosten: Egress-Gebühren für OpenSharing SecureConnect erfordern eine präzise geografische Planung der Datenarchitektur und Empfängerstandorte, um unerwartete Kosten zu vermeiden.
• Kostenstruktur für KI-Tools: Die Umstellung der Genie-Produkte auf nutzungsbasierte Preise spiegelt die Betriebskosten moderner LLMs wider. IT-Verantwortliche müssen den DBU-Verbrauch künftig genauer überwachen.

Beweise

Die Änderungen sind in der offiziellen Release-Planung von Azure Databricks dokumentiert:

• Release-Dokumentation: Die offizielle Dokumentationsseite „What’s coming“ von Azure Databricks.
• Berechtigungsmigration: Detaillierte Migrationsleitfäden zur Umstellung der Berechtigungen ab dem 15. Juni 2026.
• Preiskatalog: Preisübersichten für Datenübertragung und Konnektivität auf der Databricks-Website.

Analyse

Die Updates verdeutlichen, dass Azure Databricks seine Governance- und Sicherheitsfunktionen weiter professionalisiert. Die standardmäßige Bereitstellung von ai_extract und ai_classify in hochregulierten Umgebungen zeigt den steigenden Bedarf an sicheren KI-Funktionen, die strengen Zertifizierungen wie HIPAA und HITRUST entsprechen. Die Abkehr von Terraform für Declarative Automation Bundles (DABs) stellt einen strategischen Schritt dar. Terraform bot zwar Flexibilität, führte jedoch in automatisierten CI/CD-Pipelines häufig zu Drift-Problemen beim State-File. Die direkte Deployment-Engine verspricht schnellere und robustere Bereitstellungen direkt über die nativen Databricks-APIs. Die Restrukturierung der Systemgruppen behebt eine gängige Schwachstelle in Großunternehmen, bei denen die SCIM-Synchronisierung standardmäßig allen Entwicklern und Analysten über die Gruppe users umfassende Berechtigungen erteilte. Die Einschränkung stellt das Prinzip der minimalen Rechtevergabe (Least Privilege) sicher.

Praktische Erkenntnisse

Unternehmen, die Azure Databricks nutzen, sollten umgehend folgende Schritte einleiten:

1. Workspace-Berechtigungen prüfen: Überprüfen Sie alle Terraform-Skripte, SCIM-APIs oder benutzerdefinierten Skripte, die Systemgruppen verwalten. Diese dürfen künftig nicht mehr auf users oder admins verweisen.
2. DABs-Engine migrieren: Testen Sie alle Declarative Automation Bundles auf Kompatibilität mit der direkten Deployment-Engine vor der Frist am 24. Juli 2026.
3. Genie-Budgets einplanen: Analysieren Sie die LLM-Nutzung aktiver Genie Spaces- und Genie Code-Nutzer, um den DBU-Verbrauch jenseits des Freibetrags von 150 DBUs pro Monat zu steuern.
4. Geografie des Datensharing prüfen: Kartografieren Sie vorhandene OpenSharing SecureConnect-Endpunkte, um potenzielle regionsübergreifende Egress-Kosten vorab zu kalkulieren.

Offene Fragen

• Wie sieht der endgültige Zeitplan für die vollständige Entfernung der Terraform-Deployment-Engine nach dem Standardwechsel am 24. Juli aus?
• Wie wird sich das Pay-as-you-go-Modell für Genie-Produkte bei großen Unternehmensbereitstellungen mit Hunderten von aktiven Anwendern auswirken?

Quellen

1. What’s coming? - Azure Databricks
2. Data transfer and connectivity pricing
3. Migrate workspace entitlement control