Dieses IT-Projekt ist Teil unserer Digitalisierung und Optimierung der IT-Landschaft unserer Kunden. Durch gezielte Maßnahmen fördern wir den technologischen Fortschritt, optimieren systemübergreifende Prozesse und schaffen eine nachhaltige Basis für zukünftige Entwicklungen. Unsere IT-Referenzprojekte dienen als Grundlage zur Orientierung. Sie unterstützen die Wiederverwendbarkeit erprobter Konzepte im Rahmen der Projektumsetzung.
Dies ist eines von 4819 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.Wobei dürfen wir Sie unterstützen?
Evaluation von Snowflake als Enterprise Cloud Data Warehouse (DWH)
Projektdauer: 3 Monate
Kurzbeschreibung
Ziel des Vorhabens ist die Evaluation von Snowflake als ein Kandidat für die Ablösung eines auf Teradata bestehenden Enterprise Data Warehouses (EDWH). Neben Performanceanalysen im Vergleich zu dem bestehenden, auf Teradata basierenden, DWH ist die Integrierbarkeit in die Systemlandschaft des Kunden von besonderem Interesse. Evaluiert wird eine Near-Realtime Datenbewirtschaftung nach dem Change Data Capture Prinzip, ein umfangreicher Datenimport aus dem AWS S3 Storage, eine Datentransformation samt analytischen Funktionen und Python sowie ein Reporting auf Detaildatenebene von mehreren Milliarden Datensätzen mit einem Frontend Tool. Die PTA unterstützt bei der Definition eines Kriterienkataloges, der Bereitstellung und dem Import von repräsentativen Testdaten und erarbeitet Szenarien für das Reporting. Weiter wird eine Performanceanalyse durchgeführt.
Ergänzung
Die Anbindung der Quellsysteme an das Enterprise DWH erfolgt primär nach dem Change Data Capture Prinzip mit dem Tool HVR (High Volume Replication). Für Quellsysteme mit großen Datenmengen und häufigen Datenänderungen wird eine effiziente Methode (Burst Mode) geprüft, die in Verbindung mit dem AWS S3 Storage funktioniert. Zusätzlich wird ein effizienter Datenimport aus dem AWS S3 Storage direkt evaluiert, bei dem mehrere Dateien simultan in Tabellen geladen werden. Auf den Testdaten führt die PTA ein Performance Benchmark durch, um die Reporting-Antwortzeiten mit dem bestehenden DWH zu vergleichen. Mit einer horizontalen aber auch einer vertikalen Skalierung der Snowflake Warehouse Compute-Leistung wird in Abhängigkeit von dem Nutzerverhalten die Antwortzeit gemessen. Neben dem Tool-basierten Zugriff mit Tableau wird ein Mehrbenutzerzugriff mithilfe eines Snoflake Connectors für Python simuliert. Die PTA bereitet die Ergebnisse des Benchmarks für eine Entscheidungsgrundlage auf.
IT-Projektdaten
- Branchen Logistik
- Fachaufgaben Big Data, Business Intelligence (BI), Data Warehouse (DWH), ETL, Handelslogistik, Performanceanalyse
- DV-Aufgaben Data Warehouse
- Systemumgebungen Business Intelligence, Cloud Computing
- Vorgehensmodell Agile Softwareentwicklung
- Datenbanken Oracle Data Integrator, Snowflake
- Entwicklungs- und Testtool Aqua Data Studio
- Standardsoftware und BI MS PowerBI, Tableau Desktop
- Middleware und Frameworks HVR
Projektzeitraum01.05.2019 - 31.07.2019
Kunden, die uns vertrauen
Haben wir Ihr Interesse geweckt?
