Llama 3 allgemein verfügbar in Azure Databricks Foundation Model APIs

Zusammenfassung

Microsoft und Databricks haben die allgemeine Verfügbarkeit (General Availability, GA) der Meta-Llama-3-Modelle (8B und 70B) innerhalb der Azure Databricks Foundation Model APIs bekannt gegeben. Diese native Integration ermöglicht es Entwicklern, Llama-3-Modelle direkt in ihrem Databricks-Workspace abzufragen und bereitzustellen, ohne eine eigene GPU-Infrastruktur verwalten zu müssen. Zur Auswahl stehen Pay-per-Token- und Provisioned-Throughput-Optionen. Die Integration gewährleistet ein hohes Maß an Datensicherheit und Governance (über Unity Catalog), da die Daten den Databricks-Mandanten zu keinem Zeitpunkt verlassen.

Was ist passiert?

Im Rahmen der kontinuierlichen Erweiterung ihrer KI-Plattformen haben Microsoft und Databricks die Llama-3-Modelle von Meta nativ in die Azure Databricks Foundation Model APIs integriert. Die Modelle in den Größen 8 Milliarden (8B) und 70 Milliarden (70B) Parametern stehen Entwicklern ab sofort für produktive Workloads zur Verfügung. Diese können über standardisierte, OpenAI-kompatible APIs angesprochen werden.

Warum es wichtig ist

Kein Infrastruktur-Overhead: Entwickler müssen keine virtuellen Maschinen mit GPUs oder Kubernetes-Cluster konfigurieren und skalieren, um Llama 3 zu hosten. Databricks übernimmt die gesamte Bereitstellung und Skalierung im Hintergrund.
Datensicherheit und Compliance: Enterprise-Kunden zögern oft, sensible Geschäftsdaten an externe APIs zu senden. Bei dieser Integration verbleiben alle Daten vollständig innerhalb des abgesicherten Databricks-Mandanten (Workspace) unter der Kontrolle des Azure Unity Catalogs.
Optimierte Kostenkontrolle: Durch das Pay-per-Token-Modell zahlen Unternehmen nur für die tatsächliche Nutzung. Für anspruchsvollere Workloads mit garantierten Antwortzeiten und Durchsätzen steht zudem die Option “Provisioned Throughput” zur Verfügung.

Beweise

Die offizielle Azure-Updates-Seite (Update ID 567194) hat die allgemeine Verfügbarkeit der Llama-3-Modelle in den Azure Databricks Foundation Model APIs bestätigt. Zudem belegen die offiziellen Dokumentationen von Databricks und Microsoft die Bereitstellung dieser Modelle über das Databricks Model Serving.

Analyse

Die Integration zeigt einen klaren Trend im Enterprise-KI-Bereich: Die Abkehr vom Betrieb eigener Open-Source-Modellinstanzen hin zu vollverwalteten, serverlosen Endpunkten. Während das Hosten von Modellen wie Llama 3 70B auf eigenen Computern erhebliche Wartungs- und Optimierungsaufwände erfordert, standardisieren Cloud-Plattformen diesen Schritt zunehmend. Databricks positioniert sich hierbei als neutrale Datenplattform, die LLMs direkt dort bereitstellt, wo sich die Unternehmensdaten befinden, was Latenzzeiten und Sicherheitsrisiken minimiert.

Praktische Erkenntnisse

Für Entwickler: Die Llama-3-Modelle können direkt über die Databricks-SDKs oder standardisierte REST-APIs mit minimalem Konfigurationsaufwand integriert werden.
Kostenoptimierung: Kleinere Experimente oder unregelmäßige Batch-Jobs sollten über das Pay-per-Token-Modell abgerechnet werden. Für kontinuierliche Echtzeitanwendungen in Produktion ist das Provisioned-Throughput-Modell zur Sicherung konstanter Latenzen ratsam.
Data Governance: Da Unity Catalog die Foundation Model APIs überwacht, können Zugriffsberechtigungen und Auditing nahtlos auf die Modellnutzung ausgeweitet werden.

Offene Fragen

Inwieweit beeinflussen künftige Updates (wie Llama 3.1 oder neuere Generationen) die Kompatibilität und die Preisgestaltung bestehender Llama-3-Endpunkte?
Welche spezifischen Latenzvorteile bietet die native Integration im Vergleich zu alternativen Bereitstellungsformen auf Azure (z. B. Azure AI Studio)?