Dieses IT-Projekt ist Teil unserer Digitalisierung und Optimierung der IT-Landschaft unserer Kunden. Durch gezielte Maßnahmen fördern wir den technologischen Fortschritt, optimieren systemübergreifende Prozesse und schaffen eine nachhaltige Basis für zukünftige Entwicklungen. Unsere IT-Referenzprojekte dienen als Grundlage zur Orientierung. Sie unterstützen die Wiederverwendbarkeit erprobter Konzepte im Rahmen der Projektumsetzung.
Dies ist eines von 4751 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.Wobei dürfen wir Sie unterstützen?
Datenvalidierung im Rahmen einer Data-Warehouse Migration von Teradata Vantage nach Snowflake
Projektdauer: 7 Monate
Kurzbeschreibung
Im Zuge der Migration eines Cloud-basierten Enterprise Data Warehouses (EDW) von Teradata Vantage zu Snowflake wird die korrekte Überführung der bestehenden ELT-/ETL-Prozesse überprüft. Gemeinsam mit dem Kunden entwickelt die PTA ein umfassendes Testkonzept und definiert geeignete Metriken, um die Datenbestände in Teradata Vantage und Snowflake systematisch zu vergleichen. Darüber hinaus unterstützt die PTA bei der Auswahl passender Tools und entwirft ein Reporting-Werkzeug, das eine gezielte Identifikation und Behebung potenzieller Problemstellen ermöglicht.
Ergänzung
Ein Datenabgleich auf Tabellenebene dient dazu, Abweichungen zwischen beiden Umgebungen systematisch zu identifizieren und zu quantifizieren. Dabei ist insbesondere auf datenbankspezifische Eigenheiten, vor allem bei den Datentypen, zu achten. Eine besondere Herausforderung besteht darin, dass beide Umgebungen nicht synchron betrieben werden können, wodurch insbesondere bei Bewegungstabellen mit Abweichungen zu rechnen ist. Gemeinsam mit dem Kunden erarbeitet die PTA einen Ablaufplan, der in Abhängigkeit von Größe und Art der Tabellen (Stamm- oder Bewegungstabelle) eine passende Strategie für den Abgleich definiert. Da eine große Anzahl an Tabellen zu prüfen ist, wird bei der Planung auch den Laufzeiten der Vergleiche besondere Bedeutung beigemessen. Aufbauend auf den Ergebnissen des Tabellenabgleichs konzipiert die PTA ein Tableau-Dashboard, um zielgerichtet Problemstellen zu identifizieren.
Fachbeschreibung
Durch den gezielten Tabellenabgleich erhält der Kunde eine belastbare Grundlage, um zu bewerten, in welchem Umfang sich die Zieltabellen der produktiven Datenverarbeitungsprozesse (Teradata Vantage) von denen der migrierten Prozesse (Snowflake) unterscheiden. Anhand geeigneter Kennzahlen und Visualisierungen lassen sich Abweichungen auf unterschiedlichen Aggregationsebenen – beispielsweise die Anzahl der Unterschiede zwischen beiden Umgebungen – transparent darstellen. So kann der Kunde gezielt Anpassungen oder Korrekturen an den migrierten ETL-/ELT-Prozessen vornehmen und die Datenqualität nachhaltig sichern.
IT-Projektdaten
- Branchen Logistik
- Fachaufgaben Automatisierte Testfallerstellung, Automatisiertes Testen, Big Data, Business Intelligence (BI), Data Warehouse (DWH), Datenanalyse
- DV-Aufgaben Data Warehouse
- Systemumgebungen Business Intelligence, Cloud Computing
- Vorgehensmodell Kundenstandard
- Programmiersprachen Python, SQL
- Datenbanken Snowflake, Teradata
- Entwicklungs- und Testtool Bitbucket, DBeaver, Google Cloud Platform Artifact Registry, great expectations, MS Visual Studio Code, reladiff, snyk
- Systemsoftware Docker
- Middleware und Frameworks Argo Workflows, Google Cloud Platform (GCP), Google Kubernetes Engine (GKE)
Projektzeitraum01.06.2025 - 31.12.2025
Kunden, die uns vertrauen
Haben wir Ihr Interesse geweckt?
