Big Data Engineering
Ziel des Projektes
Unser Kunde möchte sich innovativer aufstellen, daher sollen verschiedene Anwendungsfälle mittels RAW-Daten im Data-Lake entwickelt werden.
Tags
Big Data, Hadoop, Spark
Herausforderungen
In den Data-Lake-Clustern des Kunden befinden sich die aus Quellsystemen zur Verfügung gestellten RAW-Daten inklusive der Historisierung. Bevor die Daten zu den entsprechenden "innovativen Anwendungsfällen" genutzt werden können, müssen diese zusätzlich bearbeitet werden. Hierzu gehört die Reduzierung, Formatierung und Aggregierung der Daten.
Lösung
Mit hoher Rechenleistung konnten entsprechende Verarbeitungsprozesse erfolgen. Anschließend wurden die Daten auf dem skalierbaren Spark-Cluster abgelegt.
Ergebnis
Dem Kunden wurden entsprechende Datengrundlagen und Schnittstellen zur Verfügung gestellt, um hierauf basierend entsprechende Anwendungsfälle zu erstellen.
Kunde / Branche
Telekomunikation
Projektstatus
Aktuell
Eingesetzte Technologien / Produkte
Hadoop, Impala, Hive, Python, Azure DevOps, Scrum, HUE, Cloudera Data Science Workbench, Jupyter Notebook, Innovator, JIRA, Git