Dies ist eines von 4636 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.

Wobei dürfen wir Sie unterstützen?

Weißes Quadrat mit umrandeten Seiten rechts oben

Monitoring von ETL- / ELT-Prozessen im Business Intelligence-Umfeld

Kurzbeschreibung

Ziel des Projektes ist die Überwachung aller ETL- bzw. ELT-Prozesse im Rahmen der Datenbewirtschaftung eines Enterprise Data Warehouses (EDWH). Im Sinne der Qualitätssicherung sowohl für die Entwicklung als auch für den Betrieb eines EDWHs sollen die Integrationsprozesse transparent gemacht werden, um somit frühzeitig Fehlerquellen zu identifizieren. Die PTA konzipiert und implementiert Dashboards, um ausgewählte Metriken komponentenübergreifend nach dem Drill-Down-Prinzip in übersichtlicher Form zu visualisieren.

Ergänzung

Die PTA identifiziert relevante bzw. geeignete Metriken, um die ETL- bzw. ELT-Prozesse zu überwachen. Hierzu werden die Metadaten aus der Oracle Repository Datenbank des ETL/ELT Tools Oracle Data Integrator (12c) in regelmäßigen Abständen extrahiert und als Metriken in die dafür vorgesehene Timeseries Database InfluxDB importiert. Analog zu der bestehenden Data-Warehouse-Architektur in der Form eines Business Object Models (BOM) erstellt die PTA auf Grundlage der Metriken für alle Komponenten dedizierte Grafana Dashboards. In einem Übersichtsdashboard wird außerdem jede Komponente als Kachel visualisiert, die den aktuellen Zustand anhand der Metriken und definierter Schwellenwerte in den Farben grün, gelb oder rot anzeigt. Via Drill-Down kann jederzeit das Detaildashboard der jeweiligen Komponente bzw. Teilkomponenten aufgerufen werden.

Fachbeschreibung

Der verwendete Monitoring Stack auf Basis von Grafana und InfluxDB ermöglicht eine übersichtliche Darstellung aller Komponenten und ETL-/ETL-Prozesse analog zu der vorgegebenen Architektur des Data Warehouses (DWH). Außerdem können die Metriken auf unterschiedlichem Detailgrad (Komponente/Teilkomponente) im zeitlichen Verlauf analysiert werden, um somit Anomalien zu identifizieren.

Jetzt Kontakt aufnehmen

Zum Umgang mit den hier erhobenen Daten informieren wir in unserer Datenschutzerklärung.

Datei herunterladen

Zum Umgang mit den hier erhobenen Daten informieren wir in unserer Datenschutzerklärung.