Datenanbindung von Webservice mit Apache Airflow

Der Kunde möchte Informationen bzw. Daten von verschiedenen Webservices in das unternehmenseigene Warenwirtschaftssystem auf Basis von IBM iSeries (AS/400) integrieren. Mit Apache Airflow ist es möglich, unterschiedliche Datenbanksysteme (SQL, NoSQL, GraphQL etc.) anzubinden und Daten im Sinne des (E)xtract-(T)ransform-(L)oad (ETL) zu verarbeiten. Die PTA evaluiert Apache Airflow als Werkzeug zur Implementierung von Workflows bzw. ETL-Strecken, um die Daten von Webservices in das Zielsystem zu überführen. Die Workflows in Apache Airflow werden vollständig in der Skriptsprache Python beschrieben. Am Beispiel eines Prototypen untersucht die PTA die Eignung des Tools hinsichtlich der Anforderungen des Kunden. Hierbei stehen nicht nur die Gestaltung der Workflows bzw. ETL-Prozesse im Vordergrund, sondern auch Aspekte wie Benutzerverwaltung, Scheduling und Monitoring der Prozesse.