Evaluation von Snowflake als Enterprise Cloud Data Warehouse (DWH)

Die Anbindung der Quellsysteme an das Enterprise DWH erfolgt primär nach dem Change Data Capture Prinzip mit dem Tool HVR (High Volume Replication). Für Quellsysteme mit großen Datenmengen und häufigen Datenänderungen wird eine effiziente Methode (Burst Mode) geprüft, die in Verbindung mit dem AWS S3 Storage funktioniert. Zusätzlich wird ein effizienter Datenimport aus dem AWS S3 Storage direkt evaluiert, bei dem mehrere Dateien simultan in Tabellen geladen werden. Auf den Testdaten führt die PTA ein Performance Benchmark durch, um die Reporting-Antwortzeiten mit dem bestehenden DWH zu vergleichen. Mit einer horizontalen aber auch einer vertikalen Skalierung der Snowflake Warehouse Compute-Leistung wird in Abhängigkeit von dem Nutzerverhalten die Antwortzeit gemessen. Neben dem Tool-basierten Zugriff mit Tableau wird ein Mehrbenutzerzugriff mithilfe eines Snoflake Connectors für Python simuliert. Die PTA bereitet die Ergebnisse des Benchmarks für eine Entscheidungsgrundlage auf.