OpenData Processing mit Scala, Apache Flink und Apache Kafka

Big Data & Algorithmic Business


9:10 – 17:00 Uhr
HSR Hochschule für Technik Rapperswil
Max. Teilnehmer: 28

Einleitung

  • Der Workshop gibt eine Einführung in die Verarbeitung und Analyse von BigData-Sets.
  • Mit einer im Workshop erstellten BigData-Pipieline verarbeiten wir öffentlich, frei verfügbare Daten.
  • Die Daten werden mit Hilfe von Flink sessionisiert und danach in Kafka Topics publiziert.

Programm

Einführung in die BigData Verarbeitung

  • Dataset
  • Datenanalyse
  • Events

Kurzeinführung in Scala

  • Funktionen
  • Pattern Matching
  • Collections

Datenverarbeitung

  • Sessionization
  • Watermarks
  • Triggers
  • Pitfalls

Kursziel

Die Teilnehmenden erhalten einen Einblick in den Aufbau einer BigData-Pipeline.
Die gewonnenen Kenntnisse werden an einer frei verfügbaren OpenData-Quelle angewendet.

Adressaten

Software-Entwickler*innen

Voraussetzungen

Die Teilnehmenden sollten Erfahrung haben mit Java, Ruby, C# oder ähnlichen Sprachen. Scala-Kenntnisse werden nicht vorausgesetzt.

Infrastruktur

  • Bitte bringen Sie Ihren Laptop mit.
  • Die Anleitung zur Installation der nötigen Tools wird vorgängig verschickt.

Referenten

Thomas Rawyler

Tegonal GmbH


Thomas Rawyler hat an der HTI in Biel Informatik studiert. Er arbeitet seit 2012 bei Tegonal GmbH als Software Entwickler und ist Partner. Bei Tegonal GmbH sind wir seit 2012 mit Scala unterwegs. Thomas hat Erfahrung in BigData-Projekten mit Scala und Kafka.

Mike Toggweiler

Tegonal GmbH


Mike Toggweiler hat an der HTI in Biel Informatik studiert. Am Ende der Studienzeit 2004 hat er, zusammen mit Mitstudenten die Tegonal GmbH gegründet und arbeitet als Software Entwickler. Mike hat mehrjährige Erfahrung in der Architektur und Entwicklung von BigData-Pipelines mit Scala, Spark, Flink und Kafka.