Machine Learning & Edge Computing auf dem ESP32

Einleitung

Die Anwendung von Machine Learning auf IoT-Geräten ist ein breit diskutiertes Thema. Der korrekte Einsatz dieser Technologie berücksichtigt die Anforderungen an die Privatsphäre, da die von Sensoren gesammelten Daten bereits auf dem Edge-Gerät verdichten werden können. Eine solche Architektur erhöht ausserdem die Laufzeit von batteriebetriebenen Geräten weil die zu übertragende Datenmenge minimiert wird.

In diesem Workshop werden wir anhand von praktischen Beispielen eine Einführung in AIoT resp. Edge-Computing geben. Ein ESP32-Entwicklungsboard wird Daten von Kamera, Accelerometer oder Mikrophon erfassen, mittels Inferenz Muster darin erkennen und darauf reagieren. Wir zeigen ausserdem wie Modelle mit Hilfe eines Online-Services an die eigene Anwendung angepasst werden können.

Programm

• Grundlagen Machine Learning
• Eigenheiten AIoT/ Machine Learning
• Vorstellung der Kurs-Hardware
• Einrichtung von Software/ Treibern
• Übersicht ML Frameworks für den ESP32
• Erste Beispiele mit vorgefertigten Modellen
  • Offline Hotword Erkennung
  • Personen Erkennung
  • Erkennung von Bewegungsmustern
• Anpassung bestehender Modelle an eigene Bedürfnisse
• Ausblick/ Weiterführende Themen

Kursziel

Die Kursteilnehmer*innen lernen anhand praktischer Beispiele die Möglichkeiten aber auch Grenzen von Machine Learning auf Mikrokontrollern kennen. Sie erhalten damit die Grundlagen später eigene Ideen und Anwendungen in die Tat umzusetzen.

Adressaten

Der Kurs richtet sich an Entwickler*innen, die bereits erste Erfahrungen mit der Arduino IDE, mit ESP8266/ESP32 oder ähnlichen Mikrocontrollern gesammelt haben und sich für das Thema AIoT/ Edge Computing interessieren.

Voraussetzungen

• Erfahrung mit Arduino IDE und ESP8266 / ESP32 oder ähnlichen Mikrocontrollern
• Kenntnisse in einer höheren Programmiersprache wie Java, C/C++

Infrastruktur

• Bitte bringe Deinen Laptop mit.
• Die Programmierumgebung läuft auf Windows, macOS und Linux. Administrator-Rechte zur Installation der Treiber sind Voraussetzung.
• Die im Workshop verwendeten Komponenten werden Dir zur Verfügung gestellt damit du sie auch zu Haus weiterverwenden kannst. Sie sind im Kurspreis inbegriffen.