In dem Inhalt geht es darum, wie der Autor eine kleine Xiao ESP32S3 mit einem OV2640-Kamerasensor gefunden hat, die perfekt für sein Projekt schien. Er versuchte herauszufinden, wie er diese Kamera mit Alvik verbinden kann, aber zunächst konnte er nur die Strompins verwenden. Da sowohl das Alvik-Hauptboard als auch das Xiao-Kameraboard ESP32 verwenden, entschied er sich für die Verwendung von ESPNow, einem schnellen Kommunikationsprotokoll zwischen ESP-Boards. Damit konnte Alvik vorwärts bewegt, Bilder aufgenommen und an ein Machine-Learning-Modell gesendet werden. Wenn die Polizei erkannt wurde, leuchtete ein rotes Licht auf und es wurde ein Wendemanöver durchgeführt. Zusätzlich wird eine Logdatei mit allen Kommunikationen mit der Kamera gespeichert, und verschiedene Roboterfunktionen wie Bewegung, Kommunikation, Dateiverwaltung, Beleuchtung und Tiny Machine Learning sind in das Projekt involviert.
Um das Modell zu trainieren, wurden etwa 110 Bilder der Lego-Polizeifigur und eines Balls aufgenommen, die dann in Edge Impulse hochgeladen und ein Modell trainiert wurden. Das trainierte Modell wurde dann als Arduino-Bibliothek exportiert und in die Arduino-IDE importiert. Es wurden auch einige Konfigurationen in den Dateien vorgenommen, bevor das Modell hochgeladen wurde. Es wurde betont, dass es keinen Schaltkreis gibt, sondern nur die Stromleitungen vom ESP32 zur Kamera verbunden werden müssen.
Für die Implementierung wurden ein Gehäuse für die Kamera und zwei Stützstangen modelliert, um diese am Alvik zu befestigen. Der Code für die Kamera wurde entsprechend angepasst, und das Alvik wurde für die Verwendung von Micropython konfiguriert. Es wurde erwähnt, dass Alvik langsam bewegt wird, um genügend Zeit für die Bilderfassung und Inferenz zu bieten. Der Autor erwähnte auch, dass es bald eine Dokumentation zur Integration einer schnelleren AI-Kamera geben werde.
Abgesehen von diesem Projekt hat der Autor bereits drei weitere Programme für Alvik entwickelt und zeigt sich bereit, bei Fragen oder weiterem Bedarf behilflich zu sein.