Databricks Lakehouse//RT: Echtzeit-Engine Reyden soll spezialisierte Echtzeitdatenbanken ablösen

Zusammenfassung

Databricks hat auf dem Data + AI Summit 2026 die neue Echtzeit-Analyse-Engine Lakehouse//RT vorgestellt. Angetrieben von der neu entwickelten Engine Reyden verspricht die Plattform Abfrage-Latenzzeiten im Millisekundenbereich direkt auf offenen Tabellenformaten wie Delta Lake und Apache Iceberg. Damit greift Databricks spezialisierte Echtzeit-OLAP-Datenbanken wie Apache Pinot (StarTree), ClickHouse und Apache Druid an. Der Vorteil liegt in der Eliminierung separater Serving-Layer und Datenkopien. StarTree reagierte umgehend mit einer Analyse der technologischen Unterschiede.

Was ist passiert?

Produktvorstellung: Databricks hat offiziell Lakehouse//RT angekündigt. Die Engine soll Abfragen mit Latenzen von bis zu 10 Millisekunden auf kleineren Datensätzen und unter 100 Millisekunden auf großen Tabellen ermöglichen.
Neue Engine „Reyden“: Herzstück der Lösung ist eine komplett neu entwickelte Compute-Engine namens Reyden (interner Codename „Reynold’s Dream Engine“ nach Mitgründer Reynold Xin), die speziell auf extrem hohe Nebenläufigkeit (High Concurrency) und minimalste Latenzen getrimmt ist.
Konkurrenzreaktion: StarTree, das kommerzielle Unternehmen hinter Apache Pinot, veröffentlichte direkt einen Vergleichsbericht, um die Stärken spezialisierter Echtzeit-Systeme gegenüber All-in-One-Lakehouses zu betonen.
Heise-Bericht: Heise Online berichtete unabhängig über die Ankündigung und hob hervor, dass Databricks das Ziel verfolgt, separate Echtzeitdatenbanken überflüssig zu machen.

Warum es wichtig ist

Bisher mussten Unternehmen, die Echtzeitanalysen für benutzerorientierte Dashboards, Betrugserkennung oder AI-Agenten benötigten, ihre Daten aus dem Lakehouse in spezialisierte Datenbanken (z. B. ClickHouse oder Pinot) exportieren. Dies führt zu Datenredundanz, zusätzlichen ETL-Pipelines und Governance-Problemen. Lakehouse//RT verspricht, diese Workloads direkt in Delta Lake oder Apache Iceberg auszuführen, verwaltet über den Unity Catalog. Dies könnte die Datenarchitektur drastisch vereinfachen und Kosten einsparen.

Beweise

Benchmark-Versprechungen: Databricks gibt an, dass Lakehouse//RT mediane Latenzen bietet, die bis zu 72 % schneller als SQL Serverless sind, bei gleichzeitiger Unterstützung von zehntausenden parallelen Nutzern und AI-Agenten.
Kompatibilität: Das System arbeitet „Zero-Copy“ direkt auf standardmäßigen Delta Lake- und Iceberg-Tabellen, ohne dass eine Konvertierung in ein proprietäres Format notwendig ist.
Vergleich von StarTree: In ihrer Analyse hebt StarTree hervor, dass dedizierte Engines wie Pinot durch fortschrittliche Indizierungen (z. B. Star-Tree-Indizes) bei extremen Skalierungen und strengen SLAs weiterhin überlegen sind, räumt aber ein, dass Lakehouse//RT für Standard-Workloads attraktiv ist.

Analyse

Der Vorstoß von Databricks zeigt die zunehmende Verschmelzung von transaktionalen und analytischen Architekturen (oft als LTAP – Lake Transactional/Analytical Processing bezeichnet). Durch das Reyden-Triebwerk wird die Grenze zwischen dem klassischen Data Lake und dem Real-Time Serving Layer fließend. Für spezialisierte Anbieter wie StarTree oder ClickHouse bedeutet dies eine ernsthafte Bedrohung im Mainstream-Markt. Dennoch bleibt Pinot für Anwendungsfälle mit extremen Concurrency-Anforderungen (z. B. LinkedIn-Feeds mit Millionen von Nutzern) die erste Wahl, da das Scannen offener Formate wie Delta/Iceberg physikalische Grenzen bei der Festplatten-I/O hat, die auch Reyden nicht vollständig umgehen kann.

Praktische Erkenntnisse

Architektur-Check: Evaluieren Sie, ob Ihre aktuellen Echtzeit-Pipelines, die Daten in ClickHouse, Pinot oder Redis kopieren, durch Lakehouse//RT konsolidiert werden können, um Lizenz- und Wartungskosten einzusparen.
SLAs prüfen: Bei geschäftskritischen, kundenorientierten Anwendungen mit extremen Anforderungen an Sub-Sekunden-Latenz und hoher Nebenläufigkeit bleibt eine spezialisierte OLAP-Serving-Datenbank wie StarTree/Pinot weiterhin die sicherere Wahl.
Governance nutzen: Nutzen Sie die tiefe Integration von Lakehouse//RT mit dem Unity Catalog, um Sicherheits- und Governance-Richtlinien ohne zusätzliche Konfiguration auf Echtzeitdaten anzuwenden.

Offene Fragen

Wie schlägt sich die Reyden-Engine in unabhängigen, neutralen TPC-DS Benchmarks im Vergleich zu ClickHouse und Apache Pinot unter realer Last?
Welche zusätzlichen Kosten fallen für die Nutzung von Lakehouse//RT innerhalb der Databricks-Plattform an?
Kann Databricks die physikalischen Limitierungen offener Cloud-Speicher (wie S3/Blob Storage) bei extrem hohem Abfragedurchsatz wirklich rein softwareseitig kompensieren?