So kommt AI in den Kühlschrank

Embedded Vision für die Identifikation von Weinflaschen – schnell und kostengünstig integriert

Der Weg zum Prototyp mit MIPI-Kameramodulen

Embedded Vision für smarte Technologie

Embedded Vision Systeme sind essenzielle Bestandteile für die Entwicklung smarter elektronischer Geräte. Durch die integrierte Bilderfassung und Datenverarbeitung kann das Nutzerverhalten analysiert und die Technologie immer weiter optimiert werden. Um die leistungsstarken Funktionsweisen und Vorteile eines solchen Systems zu demonstrieren hat NOTAVIS gemeinsam mit der DAB-Embedded einen smarten Weinkühler-Prototypen mit integrierten MIPI-Kameras entwickelt.

Flaschen erkennen und Nutzerverhalten analysieren

Innerhalb des Weinkühlschranks wurde eine vollständiges Embedded Vision System, bestehend aus MIPI-Kameramodulen, einem CPU-Board und entsprechender Beleuchtung, integriert. Aufgabe des Systems ist Identifikation von Flaschen, die aus der Kühlung entnommen werden. Durch die Rechenleistung des Prozessorboards können Daten über einen bestimmten Zeitraum gesammelt und das Nutzerverhalten mit dem Gerät-AI basiert analysiert werden.

Die Herausforderung: freie Sicht für MIPI-Kameras

Innerhalb des Projekts gestaltete sich die Integration der Kameras als größte Herausforderung. Der Prototyp des Weinkühlers wurde mit einem Schubladensystem ausgestattet, das aus Metallstäben besteht. Diese Konstruktion bot den Kompromiss aus idealer Raumnutzung und kompakten Gerätemaßen sowie der guten Einsicht ins Sortiment für Betrachtende. Ein weiterer Vorteil war, das alle Flaschen von und unten für die Kameras sichtbar sind. Die Genauigkeit bei der Objekterkennung hing jedoch von der perfekten Positionierung der Sensoren ab.

Die Lösung: Kameras an Deckel und Boden positionieren

Nach einigen Tests mit unterschiedlichen Kamerapositionen hat sich eine Lösung als optimal herausgestellt, bei der jeweils eine Kamera inklusive Beleuchtung in einem automatisch ausfahrenden Arm im Deckel und Boden des Weinkühlers integriert waren. Dadurch sind alle Flaschen auf den Regalen von oben oder von unten darstellbar. Dieses Setup galt es, als möglichst unkompliziert und basierend auf Standardkomponenten umzusetzen – sowohl für den Prototyp als auch für die späterer Serienversion.

MIPI-Kameramodule für beste Performance

Hochwertige Elektronik im ultrakompakten Design

Die MIPI-Kameras von Vision Components sind kaum größer als die Bildsensoren selbst, wodurch sie perfekt für die kleinen Zwischenräume des Prototyps geeignet sind. Für die Schärfe der Aufnahmen sind die Auszüge des Weinkühlers mit Sensoren zur Positionserkennung ausgestattet. Die Kameras wiederum verfügen über eine elektromagnetische Verstellung der Optik, um den Fokus entsprechend anzupassen.

Bildverarbeitung & Analyse direkt auf dem CPU-Board

Innerhalb des Prototypens sind die Kameras jeweils mit einem CPU-Board verbunden, das dank der kompakten Größe optimal in Deckel bzw. Boden des Weinkühlers integriert werden kann. Die Einplatinenrechner steuern die Optik und den Bildeinzug, analysieren die Bilddaten und geben nur die Ergebnisse an die Hauptelektronik weiter des Kühlschranks weiter. Dabei könne auch umfangreiche AI-Algorithmen lokal und ohne Internetverbindung auf den Embedded Systemen durchgeführt werden.

Schnell zur Serienreife & übertragbar auf weitere Anwendungen

Die VC MIPI-Kameramodule sind langzeitverfügbar und dank ihrer industrietauglichen Qualität optimal für den Serieneinsatz geeignet. Für die Serienreife wird ein individuelles Mainboard entwickelt. Alle Entwicklungsarbeiten im Bereich Software und die zur Verfügung stehenden Kameratreiber können direkt übernommen werden, sodass die finale Lösung schnell, einfach und kosteneffizient fertiggestellt werden kann.

DAB-Embedded

DAB-Embedded ist ein unabhängiger belgischer Entwicklungsdienstleister, spezialisiert auf Design und Entwicklung elektronischer Produkte inklusive Software. Schwerpunkte sind Elektroniken für Industrie, Multimedia und Consumer-Produkte sowie Hardware zur Verarbeitung von Bild- und Videodaten

Wie könnte der FPGA-Beschleuniger in Ihr Projekt integriert werden?

Wir helfen Ihnen die perfekte Lösung zu finden.