Kurzbeschreibung:

Ein global tätiger Energieerzeuger nutzt ein Data Warehouse (Snowflake DB) in der Microsoft Azure Cloud für das Reporting der KPIs in den Bereichen Arbeits- und Umweltschutz sowie im Kraftwerksmanagement. Im Rahmen einer Modernisierung des Prozesses wird ein neues technisches Datenmodell erstellt und die Ladeprozeduren auf neue Technologien migriert.

Ergänzung:

Im Rahmen einer Standardisierung und Modernisierung der Prozesse werden verschiedene KPIs (Kennzahlen) in den Bereichen Arbeits- und Umweltschutz sowie für das Kraftwerksmanagement in die zentrale Snowflake-Datenbank in der Azure Cloud des Unternehmens umgezogen. Dabei wird das technische Datenmodell verbessert und weitestgehend als Star-Schema dargestellt. Die Logiken der Datentransformationen werden als Python-Scripts implementiert und mithilfe der Azure Batch Services ausgeführt. In Snowflake vorhandene Features, wie das Management von Zeitzonen und Time Travel Funktionalitäten für Analysen mit verschiedenen Versionsständen, werden genutzt. Weiterhin dient Talend 7 als Scheduling-Tool. Falls Anwender*innen das Laden von Daten initiieren möchten, zum Beispiel nach dem Upload einer Excel-Datei, steht ein dediziertes Web-Frontend in Python dafür zur Verfügung.

Fachbeschreibung:

Die bestehende Darstellung der KPIs beruht auf unterschiedliche Technologien wie beispielsweise MS Excel oder Datentransformation in PowerBI. Um eine Standardisierung zu erreichen und die Qualität der Daten zu erhöhen werden die Kennzahlen mit Hilfe der bewährten Praxis mit Python-Skripten transformiert und in der Snowflake-Datenbank zentral gespeichert.