Menü
Dies ist eines von 4558 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.Wobei dürfen wir Sie unterstützen?
Zentrales Data Warehouse auf Azure
Projektdauer: 1 Jahr, 11 Monate
Kurzbeschreibung
Ein global tätiger Energieerzeuger möchte ein Data Warehouse in der Microsoft Azure Cloud für das Front Office Reporting aufsetzen. Die fachlichen Anforderungen werden aus Gesprächen sowie von den bestehenden Berichten erhoben. Eine wichtige Rolle spielen die gewünschten Verbesserungen gegenüber den jetzigen Systemen. PTA unterstützt bei der Anforderungsanalyse, bei der Entscheidung für eine technologische Architektur auf Basis von Microsoft Azure, beim Proof-of-Concept, bei der Implementierung und im Testen der weiteren Use Cases.
Ergänzung
Das Azure SQL Data Warehouse wird als Datenspeicher gewählt, da alle Quelldaten fest strukturiert sind und die geplante Datenmenge sehr groß ist. Für das Extrahieren der Daten aus den Branchensystemen setzt das Unternehmen Talend als strategisches Tool ein. Die Azure BLOB Storage in der Cloud dient als Staging Area. Von dort erfolgt die weitere Transformation der Daten innerhalb des SQL Data Warehouse. Zusätzlich werden einige Azure Function Apps mit REST APIs erstellt, damit bestehende Prozesse ihre Daten direkt in die Cloud übertragen können. Zusätzliche Funktionen, z.B. Data Reconciliation, werden damit bereitgestellt. Die Reporting-Tabellen enthalten die transformierten, aggregierten Daten, z.B. nach Markt, Lastprofil und Zeit. Somit kann die Performanz der Berichte in Tableau verbessert werden. In einer zukünftigen Projektphase soll das Azure SQL Data Warehouse durch Snowflake ersetzt werden. Nach aktueller Einschätzung bietet dieses System mehr Flexibilität und Performanz bei der Datenanalyse.
Fachbeschreibung
Aktuell sind die Use Cases für das Front Office Reporting in voneinander getrennten Systemen implementiert. Daher ist es für den Fachbereich schwierig, die unterschiedlichen Datenbestände miteinander zu vergleichen, um beispielsweise die aktuellsten Marktpreise für die offenen Positionen aus den Stromerzeugungsdaten zu ermitteln. Um dieses Problem zu lösen bietet das neue System eine zentralisierte Datenbasis, in die alle gewünschten Ausprägungen an Daten einfließen. Aufgrund der Cloud-Architektur ist das Setup und die Pflege des Data Warehouse leichter als bisher. Insbesondere kann die Leistung und Speicherkapazität des Systems schnell an die aktuellen Anforderungen angepasst werden. Somit wird die interne IT entlastet. Die Azure-Berater von Microsoft unterstützen im Projekt bei der Berücksichtigung der Best Practices für die Datensicherheit, Business-Regeln und technische Implementierung.
Überblick
- Branchen Energie
- Fachaufgaben Big Data, Data Warehouse (DWH), Energiedatenmanagement, Energiehandel, Energieversorgung, Prognose, Reporting
- DV-Aufgaben Data Warehouse
- Systemumgebungen Business Intelligence, Cloud Computing, Middleware
- Vorgehensmodell Iteratives Vorgehen
- Datenbanken Azure SQL Data Warehouse, Azure SQL DB
- Entwicklungs- und Testtool Azure Functions
- Standardsoftware und BI Endur, Tableau Desktop
Projektzeitraum01.06.2018 - 30.04.2020
Haben wir Ihr Interesse geweckt?
Kontakt
PTA GmbH Zentrale
Weberstraße 2-4
D-68165 Mannheim
© Copyright 2024 PTA GmbH | Alle Rechte vorbehalten | Impressum | Datenschutz | Rechtliche Hinweise | Werte & Verhaltenskodex
