Migration einer Datenbank für Gasspeichermanagement von Microsoft SQL Server zu Snowflake on Azure

Der MS SQL Server auf Azure wird durch eine Snowflake-Datenbank auf Azure ersetzt. Die auf den MS SQL Server in Stored Procedures gespeicherte Geschäftslogik der Anwendung wird in Python-Skripte ausgelagert. Für die Migration auf Snowflake laufen die Python-Skripte auf einem Azure Batch Account. Das ETL-Tool Talend wird benutzt, um einerseits die Daten aus dem externen Quellsystem zu lesen und diese anschließend in der Snowflake-Datenbank abzulegen als auch den Azure Batch Account zu starten, der wiederum die Python-Skripte aufruft. Die Python-Skripte führen vor allem SQL-Befehle auf Snowflake zur Datentransformation aus und speichern die transformierten Daten auch in Snowflake wieder ab. Snowflake kann mit den aufbereiteten Daten für bestehende Reports in Tableau und Power BI als Datenquelle verwendet werden.