Entwickeln komplexer Data Pipelines mit Argo Workflows

Anfragen aus den Fachbereichen erfordern oftmals das Entwickeln komplexer Data-Pipelines, welche sich mit gängigen ETL/ELT Tools wie z. B. Oracle Data Integrator nur schwer realisieren lassen. Das Orchestrieren von Verfahren aus dem Bereich Data-Science zu komplexen Workflows benötigt häufig die Flexibilität bei der Entwicklung, welche klassiche ETL/ELT Tools selten bieten. Aus diesem Grund hat sich der Kunde für 'Argo Workflows' entschieden. Argo Workflows ist eine Container-native Open-Source-Workflow-Engine zur Orchestrierung paralleler Jobs auf Kubernetes. Mit Argo Workflows können Prozessabläufe (Workflows) definiert werden, bei denen jeder Schritt (Step) im Workflow ein Container ist. Dies ermöglicht Workflows zu entwickeln, deren Steps unterschiedlichste Versionen von Bibliotheken oder Technologien nutzen. Mit Argo Workflows können außerdem mithilfe gerichteter azyklischer Graphen (DAG) mehrstufige Workflows als Abfolge von Schritten modelliert werden inkl. ihrer Abhängigkeiten untereinander.