Dieses IT-Projekt ist Teil unserer Digitalisierung und Optimierung der IT-Landschaft unserer Kunden. Durch gezielte Maßnahmen fördern wir den technologischen Fortschritt, optimieren systemübergreifende Prozesse und schaffen eine nachhaltige Basis für zukünftige Entwicklungen. Unsere IT-Referenzprojekte dienen als Grundlage zur Orientierung. Sie unterstützen die Wiederverwendbarkeit erprobter Konzepte im Rahmen der Projektumsetzung.
Dies ist eines von 4790 IT-Projekten, die wir erfolgreich mit unseren Kunden abgeschlossen haben.Wobei dürfen wir Sie unterstützen?
Datenintegration aus Webquellen: Scraping, Speicherung in Snowflake und Visualisierung mit Streamlit
Projektdauer: 3 Monate
Kurzbeschreibung
Dieses Projekt realisiert eine automatisierte Datenpipeline zur Extraktion, Speicherung und Visualisierung von Webdaten. Open- und Closed-Source-Daten werden gescraped, in Snowflake gespeichert und interaktiv visualisiert. Die Lösung ermöglicht eine schnelle, skalierbare Datenbereitstellung mit einer effizienten Integration und Analyse webbasierter Datenquellen.
Ergänzung
Die Datenerhebung erfolgt mittels Web Scraping in Python, wobei Databricks als Rechenumgebung dient. Die gesammelten Daten werden in einer Snowflake-Datenbank im für Nutzer aufbereiteten Datenlayer abgelegt, um eine effiziente Weiterverarbeitung und Analyse zu ermöglichen. Für die interaktive Visualisierung der Daten kommt Streamlit als low code Tool zum Einsatz. Die Streamlit WebApp wird auf Azure gehostet.
Fachbeschreibung
Daten aus unterschiedlichen Quellen, welche für Handelsentscheidungen genutzt werden, werden adhoc bereitgestellt, gebündelt und auf eine übersichtliche Weise dargestellt. Dies erleichtert eine flexible Analyse der Daten und dient zur Erstellung von Prognosen.
IT-Projektdaten
- Branchen Energiehandel
- Fachaufgaben Energiehandel, Forecasting, Prognose
- DV-Aufgaben Individualsoftware-Weiterentwicklung
- Vorgehensmodell Kundenstandard
- Programmiersprachen Python
- Datenbanken Snowflake
- Entwicklungs- und Testtool Azure DevOps
- Standardsoftware und BI Databricks, Streamlit
- Middleware und Frameworks Azure App Service
Projektzeitraum03.03.2025 - 30.05.2025
Kunden, die uns vertrauen
Haben wir Ihr Interesse geweckt?
