OpenData Processing mit Scala, Apache Flink und Apache Kafka
Big Data & Algorithmic Business
9:10 – 17:00 Uhr
HSR Hochschule für Technik Rapperswil
Max. Teilnehmer: 28
Einleitung
- Der Workshop gibt eine Einführung in die Verarbeitung und Analyse von BigData-Sets.
- Mit einer im Workshop erstellten BigData-Pipieline verarbeiten wir öffentlich, frei verfügbare Daten.
- Die Daten werden mit Hilfe von Flink sessionisiert und danach in Kafka Topics publiziert.
Programm
Einführung in die BigData Verarbeitung
- Dataset
- Datenanalyse
- Events
Kurzeinführung in Scala
- Funktionen
- Pattern Matching
- Collections
Datenverarbeitung
- Sessionization
- Watermarks
- Triggers
- Pitfalls
Kursziel
Die Teilnehmenden erhalten einen Einblick in den Aufbau einer BigData-Pipeline.
Die gewonnenen Kenntnisse werden an einer frei verfügbaren OpenData-Quelle angewendet.
Adressaten
Software-Entwickler*innen
Voraussetzungen
Die Teilnehmenden sollten Erfahrung haben mit Java, Ruby, C# oder ähnlichen Sprachen. Scala-Kenntnisse werden nicht vorausgesetzt.
Infrastruktur
- Bitte bringen Sie Ihren Laptop mit.
- Die Anleitung zur Installation der nötigen Tools wird vorgängig verschickt.
Referenten
Thomas Rawyler
Tegonal GmbHThomas Rawyler hat an der HTI in Biel Informatik studiert. Er arbeitet seit 2012 bei Tegonal GmbH als Software Entwickler und ist Partner. Bei Tegonal GmbH sind wir seit 2012 mit Scala unterwegs. Thomas hat Erfahrung in BigData-Projekten mit Scala und Kafka.
Mike Toggweiler
Tegonal GmbHMike Toggweiler hat an der HTI in Biel Informatik studiert. Am Ende der Studienzeit 2004 hat er, zusammen mit Mitstudenten die Tegonal GmbH gegründet und arbeitet als Software Entwickler. Mike hat mehrjährige Erfahrung in der Architektur und Entwicklung von BigData-Pipelines mit Scala, Spark, Flink und Kafka.