Databricks
Kürzere Analysezyklen durch eine Self-Service-Datenplattform
Erfolgsgeschichte
Scalefocus arbeitete mit einem multinationalen Getränkehersteller zusammen, um eine Data-Mesh- und Advanced-Analytics-Plattform auf Basis von Databricks in Azure aufzubauen.
Ziel war es, Fachbereiche in die Lage zu versetzen, vertrauenswürdige Datenprodukte eigenständig zu verantworten und bereitzustellen.
Zuvor waren Datenquellen fragmentiert, und zahlreiche Analyse- und Reportinganforderungen mussten über ein zentrales Datenteam abgewickelt werden. Dies führte zu Verzögerungen bei Berichten und Entscheidungsprozessen.
Die neue Plattform auf Basis von Databricks standardisierte Datenintegration, Automatisierung und Überwachung. Dadurch wurde der Zugriff auf verlässliche Erkenntnisse deutlich beschleunigt.
Schnellere Gewinnung
von Erkenntnissen
Höheres Vertrauen in Reporting und Kennzahlen
Bessere Transparenz
und Steuerbarkeit der Datenprozesse
Der Kunde
Der Kunde ist ein international tätiges Unternehmen der Getränkeindustrie mit starker Präsenz in zahlreichen Märkten.
Das Unternehmen betreibt großvolumige Produktions- und Distributionsprozesse und unterstützt ein umfangreiches Netzwerk aus Vertriebs-, Finanz- und Supply-Chain-Teams.
Vergleichbare und verlässliche Daten über alle Märkte hinweg sind entscheidend für:
- Planung
- Leistungsüberwachung
- schnelle operative Entscheidungen
Die Herausforderung
Das Unternehmen operierte über viele Märkte hinweg, während Daten aus einer Vielzahl unterschiedlicher Systeme stammten.
Der Zugriff auf diese Daten war schwierig, und ihre Struktur unterschied sich je nach Fachbereich. Reporting-Zyklen waren langsam, und Geschäftsteams waren für viele Änderungen auf ein zentrales Datenteam angewiesen.
Dies führte zu:
- langen Bearbeitungszeiten für Analyseanforderungen
- verzögerten Entscheidungsprozessen
- sinkendem Vertrauen in Kennzahlen
Oft existierten mehrere unterschiedliche Versionen derselben Kennzahl, wodurch die Abstimmung zwischen Teams erschwert wurde.
Die Lösung
Um ein dynamisches, international aufgestelltes Unternehmen besser zu unterstützen, entwickelte Scalefocus eine Data-Mesh-Plattform, die Datenverantwortung näher an die Fachbereiche bringt und gleichzeitig unternehmensweite Standards, Automatisierung und Transparenz sicherstellt.
Dazu wurde ein domänenorientiertes Arbeitsmodell eingeführt, das es Teams aus Vertrieb, Finanzen und Supply Chain ermöglicht, eigene Datenprodukte zu entwickeln und kontinuierlich weiterzuentwickeln.
Parallel wurde eine Self-Service-Dateninfrastruktur aufgebaut. Diese ersetzte manuelle Einzelpipelines durch wiederverwendbare Komponenten und standardisierte Integrationsmuster.
Dadurch konnten neue Datenquellen schneller angebunden und mit geringerer Variabilität integriert werden.
Zudem wurde von Beginn an ein Betriebs- und Governance-Modell integriert, das stabile und messbare Datenprozesse gewährleistet und eine nachhaltige Skalierung der Plattform ermöglicht.
Umgesetzte Komponenten
Datenintegration und Datenaufbereitung
Integration mehrerer Quellsysteme, sodass Daten konsistent und strukturiert bereitgestellt werden.
Automatisierte ETL-Prozesse
Reduzieren manuelle Arbeitsschritte und erhöhen die Wiederverwendbarkeit von Datenpipelines.
Python- und PySpark-Bibliotheken
Eigene Bibliotheken implementieren standardisierte Abläufe für Datenintegration, Transformation und Veröffentlichung von Datenprodukten im Data Lake.
Monitoring- und Reporting-Schicht
Ein Monitoring auf Basis von Power BI bietet Transparenz über Plattformzustand, Pipeline-Performance und den Status von Datenprodukten.
Die Ergebnisse
Durch den Wechsel von einem zentral gesteuerten Datenmodell hin zu einer Self-Service-Architektur für Datenprodukte konnte das Unternehmen Geschwindigkeit und Zuverlässigkeit seiner Analysen deutlich steigern.
Fachbereiche können ihre Datenprodukte nun eigenständig veröffentlichen und aktualisieren, ohne auf zentrale Bearbeitungswarteschlangen angewiesen zu sein.
Die standardisierte Datenintegration und -aufbereitung erhöhte das Vertrauen in Berichte und reduzierte widersprüchliche Kennzahlen.
Darüber hinaus führte die Automatisierung zu:
- geringerem manuellem Aufwand
- schnellerer Integration neuer Datenquellen
- stabileren Datenprozessen
Die Monitoring-Funktionen in Power BI schaffen zusätzliche Transparenz über Zustand und Leistung der Datenpipelines.
Die Plattform auf Basis von Databricks und Azure bietet zudem eine skalierbare Grundlage für zukünftige Analyseinitiativen, darunter:
- Prognosemodelle
- Performance-Analysen
- Optimierungsmodelle über verschiedene Märkte hinweg
ohne dass die Plattformarchitektur neu aufgebaut werden muss.