Monitoring von ETL- / ELT-Prozessen im Business Intelligence-Umfeld
Kurzbeschreibung
Ziel des Projektes ist die Überwachung aller ETL- bzw. ELT-Prozesse im Rahmen der Datenbewirtschaftung eines Enterprise Data Warehouses (EDWH). Im Sinne der Qualitätssicherung sowohl für die Entwicklung als auch für den Betrieb eines EDWHs sollen die Integrationsprozesse transparent gemacht werden, um somit frühzeitig Fehlerquellen zu identifizieren. Die PTA konzipiert und implementiert Dashboards, um ausgewählte Metriken komponentenübergreifend nach dem Drill-Down-Prinzip in übersichtlicher Form zu visualisieren.
Ergänzung
Die PTA identifiziert relevante bzw. geeignete Metriken, um die ETL- bzw. ELT-Prozesse zu überwachen. Hierzu werden die Metadaten aus der Oracle Repository Datenbank des ETL/ELT Tools Oracle Data Integrator (12c) in regelmäßigen Abständen extrahiert und als Metriken in die dafür vorgesehene Timeseries Database InfluxDB importiert. Analog zu der bestehenden Data-Warehouse-Architektur in der Form eines Business Object Models (BOM) erstellt die PTA auf Grundlage der Metriken für alle Komponenten dedizierte Grafana Dashboards. In einem Übersichtsdashboard wird außerdem jede Komponente als Kachel visualisiert, die den aktuellen Zustand anhand der Metriken und definierter Schwellenwerte in den Farben grün, gelb oder rot anzeigt. Via Drill-Down kann jederzeit das Detaildashboard der jeweiligen Komponente bzw. Teilkomponenten aufgerufen werden.
Fachbeschreibung
Der verwendete Monitoring Stack auf Basis von Grafana und InfluxDB ermöglicht eine übersichtliche Darstellung aller Komponenten und ETL-/ETL-Prozesse analog zu der vorgegebenen Architektur des Data Warehouses (DWH). Außerdem können die Metriken auf unterschiedlichem Detailgrad (Komponente/Teilkomponente) im zeitlichen Verlauf analysiert werden, um somit Anomalien zu identifizieren.