Dies ist eines von 4583 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.

Wobei dürfen wir Sie unterstützen?

Aufbau eines Middleware Datenkatalogs

Kurzbeschreibung

Erstellung einer Wissensdatenbank über die fachlichen Bedeutungen der Daten, die aus dem Energiehandels- und Risikomanagementsystem (ETRM) stammen: Die fachliche Bedeutung der Daten, die von den Endur-Systemen (ETRM-Produkt von Openlink/ION) zur Middleware fließen, wird dokumentiert. Die Wissensdatenbank wird in einen Talend Data Catalog integriert. Dank der Wissensdatenbank hat sich das Verständnis der in der Middleware transportierten Daten bei den beteiligten Entwicklern verbessert. Die Entwicklung neuer Schnittstellen und die Pflege bestehender Schnittstellen soll damit effizienter werden. PTA ist für alle Aspekte der Katalogerstellung verantwortlich. Der automatische Teil der Analyse des JSON-Dateistroms, der von Endur zur Middleware fließt, wird mit Python und Pandas durchgeführt. Die fachliche Bedeutung der Datenfelder in den JSON-Dateien wird mit Hilfe der Anwenderdokumentation sowie der Dokumentation der kundenspezifischen Anpassungen analysiert.

Ergänzung

Für die Katalogerstellung werden die Inhalte des JSON-Dateistroms mit Python und Pandas analysiert. Die JSON-Dateien werden zur fachlichen Einordnung kategorisiert und die für eine einzelne Kategorie typischen Datenfelder werden dargestellt. Im Anschluss erfolgt die Analyse der fachlichen Bedeutung der Datenfelder mit Hilfe von Projektdokumentationen, Anwenderdokumentationen und Experteninterviews. In Anwendungsfällen wird herausgearbeitet, welche Arten von Informationen für die Benutzer am wichtigsten sind und wie diese genutzt werden. Eine besondere Herausforderung ist die Verknüpfung der an die Middleware übermittelten Daten zu deren Darstellung in den Dialogfeldern in der ETRM Standardsoftware Endur. Als erster Schritt zur Lösung wird eine Excel-basierte Wissensdatenbank aufgebaut, die im nächsten Schritt an den Talend Data Catalog übertragen wird.

Fachbeschreibung

Endur ist ein hoch konfigurierbares ETRM-System, das zum Management von Zahlungsströmen und Risiken für Energiehandelsgeschäfte aller Art eingesetzt wird. Die Informationen von Endur als Quellsystem fließen über die auf Apache Kafka basierende Streaming-Schnittstelle als Stream von JSON-Dateien zu den Konsumentensystemen. Das implementierte public subscribe pattern der Kafka Lösung soll durch die Einführung des Datenkatalogs besser nutzbar werden und ggf. zu einer echten Self-Service Lösung ausgebaut werden. Der Daten Catalog wird damit zu einem elementaren Bestandteil des implementierten public subscribe patterns. Die Wissensdatenbank wird mithilfe des Talend Data Catalog in die Datensuch- und Datenermittlungstools des Kunden integriert.

Überblick

Projektbeginn01.02.2023

Haben wir Ihr Interesse geweckt?

Dr. Andreas Schneider

Branchenverantwortlicher Energie

Jetzt Kontakt aufnehmen

Zum Umgang mit den hier erhobenen Daten informieren wir in unserer Datenschutzerklärung.

Datei herunterladen

Zum Umgang mit den hier erhobenen Daten informieren wir in unserer Datenschutzerklärung.