Datenbank als Entkopplung zwischen Quell- und Analysesystemen
Kurzbeschreibung
Daten aus diversen Quellen, die über spezielle Middlewaresysteme unter anderem ein Kafka Streaming angebunden sind, müssen verarbeitet und analysiert werden. Die Analyseprogramme waren bisher direkt an die Quellsysteme angebunden, was zu hoher Fehleranfälligkeit, Wartung und Kommunikationsaufwand geführt hat. Zur Lösung dieser Probleme wird eine Kaffka Middleware und eine Datenbank zwischengeschaltet, sodass Quell- und Zielsysteme entkoppelt werden und asynchron agieren können.
Ergänzung
Es wird eine relationale Datenbank verwendet (SQL Server). Der Quellcode wird in einem .NET Datenbankprojekt verwaltet, deployt und versioniert. Spezielle Herausforderung ist hier, dass auf Änderungen in den Quellsystemen möglichst flexibel und konfigurativ im Datenbank-Schema reagiert werden können soll. Für die Datenkonsumenten können, je nach Aufgabenstellung aufbereitete Daten über Views bereitgestellt werden.
Fachbeschreibung
Die Datenkonsumenten sollen selbst konfigurieren können, welche Daten sie aus einem System beziehen möchten, ohne dass die Middleware, die diese Daten liefert, angepasst werden muss.