Energie und Versorgung
Plattform zur Analyse von Marktdaten für den Rohstoffhandel
Erfolgsgeschichte
Wer Geschäftsprozesse messbar macht, versteht sie besser und erkennt schneller, wo Verbesserungen nötig sind. Unser Kunde, ein europäisches Energiehandelsunternehmen, wollte Informationen schneller verfügbar machen, damit Marktanalysten, Trader und interne Systeme unmittelbar darauf reagieren können. Gleichzeitig musste sichergestellt werden, dass die Daten definierte Qualitätsgrenzen einhalten. Scalefocus entwickelte eine ereignisgesteuerte Pipeline mit Echtzeit-Triggern, damit Front- und Middle-Office Risiken frühzeitig adressieren und auf aktuelle Erkenntnisse reagieren können.
Aus Rohdaten werden verwertbare Informationen
Höhere
Resilienz
Moderne Datenpipeline-Architektur
Der Kunde
Ein internationales Energieunternehmen, das zahlreiche Kraftwerke betreibt und moderne Technologien sowie Innovationen einsetzt, um große Energiesysteme und Infrastrukturen zu steuern. Das Unternehmen beschafft Öl, Erdgas und globale Rohstoffe und handelt mit Strom, Emissionszertifikaten, Erdgas, LNG und Kohle.
Die Herausforderung
Die Trading- und Market-Analytics-Teams des Kunden führen vielfältige Analyse-, Modellierungs- und Optimierungsaktivitäten durch, um Positionen in internationalen Rohstoffmärkten gezielt zu nutzen. Markt-, Preis-, Wetter- und weitere Datentypen spielen dabei eine zentrale Rolle, um Chancen schnell zu erkennen und Risiken zu bewerten.
Das Rückgrat der operativen Arbeit bildet eine Big-Data-Speicherplattform, die von verschiedenen Bereichen für Analysen und Forecasting genutzt wird. Auf die Daten konnte unterschiedlich zugegriffen werden, direkt über die Benutzeroberfläche, über REST-API-Calls, per Excel-Plugin oder durch Abfragen im Snowflake-Datenspeicher. Die Legacy-Plattform sorgte dafür, dass Marktdaten system-, prozess- und abteilungsübergreifend fließen und schnelle, qualitativ hochwertige Erkenntnisse liefern.
Da die Plattform Daten aus mehreren externen Quellen aufnahm, automatisch oder manuell angestoßen, setzte das Scalefocus-.NET-Team 2022 gemeinsam mit dem internen Team des Kunden einen wichtigen Entwicklungsschritt um. Wir entwickelten eine Kombination aus Azure-API-Services, Azure Functions und speziell konzipierten Datentriggern, damit Prozesse und Workflows auf Basis bestimmter Ereignisse automatisch ausgelöst werden können. Zusätzlich musste sichergestellt werden, dass die in die Zeitreihen eingespielten Daten je nach Anwendungsfall die erwarteten Qualitätsgrenzen einhalten.
Diese sehr großen Datenmengen umfassen Zehntausende Datenreihen mit mehr als einer Milliarde Datensätzen. Deshalb mussten sowohl Event-Triggering als auch Qualitätsprüfungen skalierbar und effizient umgesetzt werden, ohne den bestehenden Ingestion-Prozess zu gefährden.
Der Kunde brauchte zudem einen erfahrenen Partner, der die Qualitätsziele der Analytics-Plattform definiert und ein Datenqualitäts-Framework implementiert, das Daten kontinuierlich auf Fehler, Vollständigkeit, Konsistenz und Verlässlichkeit prüft.
Die Lösung
Die Lösung wurde in zwei Hauptphasen umgesetzt:
Event-Based Pipeline, EBP
Zunächst etablierten wir die EBP-Architektur über Azure API Management, damit Ereignisse verschiedene nachgelagerte Tools anstoßen können. Regelprüfungen und nachfolgende EBP-Abläufe konnten starten, sobald Daten für überwachte Objekte eingespielt wurden. So lassen sich viele Prozesse automatisiert oder teilautomatisiert auslösen, sobald Daten verfügbar oder vollständig sind.
Data Quality Framework, DQF
Anschließend entwickelten wir ein Framework, das sicherstellt, dass eingespielte Daten die geforderten Qualitätsgrenzen je Anwendungsfall erfüllen. Im Mittelpunkt standen zwei Kernkonzepte: Verfügbarkeit und Vollständigkeit.
Die wichtigsten DQF-Mechanismen waren:
Datenverfügbarkeit
Prüft, ob ausreichend Datenpunkte in das System geschrieben wurden. Dafür wird die Anzahl der Datensätze in Snowflake für einen definierten Zeitraum gezählt. So kann ein Nutzer zum Beispiel prüfen, ob für eine Energiekurve über drei Monate hinweg exakt 96 Datenpunkte pro Tag vorliegen. Wird die erwartete Anzahl nicht erreicht, kann automatisch ein Tableau-Dashboard gestartet oder eine Benachrichtigung ausgelöst werden. Regeln konnten zu einem bestimmten Zeitpunkt oder bei neu eingehenden Daten starten. Mehrere Verfügbarkeitsregeln ließen sich zudem zu sogenannten Meta-Regeln bündeln.
Werteschwellen
Die Verfügbarkeitsregel konnte auch nachgelagerte Prozesse auslösen, wenn ein definierter Wert erreicht wurde. Liegen neu eingespielte Daten beispielsweise über 100 EUR/MWh, konnte automatisch ein Report oder eine Benachrichtigung angestoßen werden.
Datenvollständigkeit
Prüft, ob für jeden Zeitpunkt eines Zeitstempels die erforderliche Anzahl an Datensätzen vorhanden ist. So konnte das System für stündliche Kurven etwa exakt ausweisen, in welchen Stunden innerhalb von 30 Tagen Daten fehlten. Vergleichbare Regeln wurden auch für Minuten-, Viertelstunden-, Tages- oder Monatsintervalle umgesetzt.
Die technische Herausforderung bestand darin, alle Datenquellen abzudecken und gleichzeitig die Leistungsfähigkeit des Systems zu sichern. Die DQF-Regeln mussten Daten aus Hunderten Quellen parallel lesen und verarbeiten, darunter Hunderte Datenobjekte und Zeitreihen. Durch die Reife der Plattform war klar, wie sich EBP und DQF gezielt weiterentwickeln lassen, um echten geschäftlichen Mehrwert zu schaffen, ohne die bestehende Performance zu beeinträchtigen.
Die Vorteile
Scalefocus erweiterte die bestehende Legacy-Plattform des Kunden um neue Funktionen und Features, die ihre Leistung deutlich verbesserten. Während des gesamten Projekts hielten wir Plattform, Codebasis und externe Bibliotheken konsequent auf dem aktuellen stabilen Stand. Unser Team überwacht, dokumentiert und priorisiert notwendige Upgrades fortlaufend und setzt sie je nach Workload und Dringlichkeit um. Durch die tägliche Zusammenarbeit mit dem Kunden konnten wir agil auf dringende Anforderungen reagieren und laufend neue Funktionen und Services einführen.
Dazu gehörten unter anderem:
- automatische Aktionen auf Basis von Ereignissen und Datenqualitätsregeln
- eine neue Frontend-Bibliothek für das Listen und Filtern von Daten in tabellarischer Form
- erweiterte Clustering-Indizes auf Snowflake-Ebene für bessere Partitionierung und Filterung
- vollständige Neugestaltung der Suchfunktionen auf Basis von Azure Cognitive Search / Azure AI
Wir verbesserten die Datenqualität deutlich. Nutzer können sich heute auf schnelle Dateninjektion und ein Datenqualitäts-Framework verlassen, das vollständige Transparenz über alle Datenreihen bietet. Bei fehlenden oder inkonsistenten Daten werden sie automatisch benachrichtigt. Gerade für das Middle Office und Trader ist das entscheidend. Früher blieb oft unbemerkt, dass wichtige Datenpunkte fehlten. Heute erhalten die Nutzer aktuelle Reports und sehen innerhalb von Sekunden, welche Daten fehlen, selbst wenn Hunderte Datenobjekte überwacht werden müssen.
Zu den wichtigsten Vorteilen zählen:
Höhere Resilienz durch eine ereignisgesteuerte Architektur, die Abhängigkeiten zwischen Anwendungen reduziert
Skalierbarkeit durch eine moderne Datenpipeline-Architektur, die neue Datenquellen nahtlos integrieren kann
Vorhersehbarkeit durch klare Nachverfolgbarkeit von Datenflüssen und fehlenden Zeitreihen
Verwertbare Informationen statt isolierter Rohdaten