Dieses IT-Projekt ist Teil unserer Digitalisierung und Optimierung der IT-Landschaft unserer Kunden. Durch gezielte Maßnahmen fördern wir den technologischen Fortschritt, optimieren systemübergreifende Prozesse und schaffen eine nachhaltige Basis für zukünftige Entwicklungen. Unsere IT-Referenzprojekte dienen als Grundlage zur Orientierung. Sie unterstützen die Wiederverwendbarkeit erprobter Konzepte im Rahmen der Projektumsetzung.
Dies ist eines von 4897 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.Wobei dürfen wir Sie unterstützen?
KI-gestützter Aufbau eines Data Warehouse mit BI-Frontend
Kurzbeschreibung
Für einen Kunden wird eine unternehmensweite Data-Warehouse- und Business-Intelligence-Plattform neu aufgebaut. Die Daten mehrerer Quellsysteme (TMS) werden regelmäßig als Dateiexporte übernommen, in einem mehrschichtigen Datenmodell harmonisiert und als Kennzahlen in einem BI-Frontend bereitgestellt. Die Plattform läuft vollständig auf einem Open-Source-Stack: PostgreSQL als Datenbank, dbt Core für die Transformationen, Apache Airflow für die Orchestrierung und Apache Superset als BI-Frontend, betrieben als containerisierter Docker-Compose-Stack. Der Aufgabenbereich umfasst neben der technischen Umsetzung auch die Anforderungsaufnahme mit den Fachbereichen sowie die Definition der Kennzahlen. Die Umsetzung erfolgt als MVP mit einem klar abgegrenzten ersten Kennzahlenumfang.
Ergänzung
Das Datenmodell wird in einer Medallion-Architektur umgesetzt: eine Rohdatenschicht (Bronze), eine Schicht zur Harmonisierung und Bereinigung der verschiedenen Quellsysteme (Silber) und eine Auswertungsschicht (Gold), die die Kennzahlen für das Reporting bereitstellt. Transformationen, Historisierung (SCD Type 2) und Datenintegritätstests werden mit dbt umgesetzt. Apache Airflow wird für die planmäßige automatische Beladung der Schichten und die Ausführung der dbt-Tests verwendet. Im BI-Frontend Apache Superset werden Dashboards, Visualisierungen und KPIs unter anderem mithilfe von Views umgesetzt. Die Zugriffskontrolle wird in Form von RLS auf zwei Ebenen umgesetzt: zum einen in der PostgreSQL-Datenbank und zum anderen in Apache Superset. Sämtliche Implementierungen und Konfigurationen der Tools und Services werden vollständig mit Git versioniert. Eine Dokumentation der Datenherkunft wird automatisch erzeugt. Die gesamte Plattform ist containerisiert und in wenigen Schritten reproduzierbar aufsetzbar.
Fachbeschreibung
Die Auswertungen beruhen derzeit auf getrennten Quellsystemen und manuell gepflegten Tabellen. Mit dem Data Warehouse entsteht eine einheitliche Kennzahlenbasis: Jede Zahl ist bis zum Quellfeld nachvollziehbar, die Berechnungsregeln liegen als Code vor und werden automatisiert geprüft. Die Trennung in Roh-, Harmonisierungs- und Auswertungsschicht ermöglicht es, weitere Quellsysteme und Kennzahlen anzubinden, ohne bestehende Auswertungen zu verändern. Da die Unternehmensgruppe aus mehreren eigenständigen Gesellschaften besteht, sieht die Lösung neben der gesellschaftsbezogenen Zugriffssteuerung auch eine konsolidierte Sicht auf Holding-Ebene vor, die eine gemeinsame Auswertung aller Gesellschaften ermöglicht. Der Betrieb im eigenen Rechenzentrum auf Open-Source-Komponenten vermeidet Lizenzkosten und reduziert die Anbieterabhängigkeit. Da die Plattform vollständig als Code vorliegt, ist sie reproduzierbar sowie nach der Übergabe wartbar und erweiterbar.
IT-Projektdaten
- Branchen Logistik
- Fachaufgaben Business Intelligence (BI), Data Warehouse (DWH), Datenanalyse, KI: Allgemein, Transportmanagement
- DV-Aufgaben Data Warehouse
- Systemumgebungen Business Intelligence, Hostsysteme, Künstliche Intelligenz (KI)
- Vorgehensmodell Kanban
- Programmiersprachen Bash, Python, SQL
- Datenbanken PostgreSQL
- Entwicklungs- und Testtool DBeaver, Git
- Betriebssysteme Linux
- Standardsoftware und BI Apache Superset, MS PowerBI
- Systemsoftware Docker
- Middleware und Frameworks dbt (data build tool)
Projektbeginn01.04.2026
Kunden, die uns vertrauen
Haben wir Ihr Interesse geweckt?
