Leistungsstarke Objekterkennung Einzelhandel mittels KI und Robotik wieder attraktiv machen

Den stationären Einzelhandel mithilfe digitaler Lösungen wieder attraktiver für die Kundschaft machen – diesem Ziel widmeten sich die Beteiligten in „Knowledge4Retail“ (K4R) von Januar 2020 bis Dezember 2022. Beim Abschlusstreffen in diesem Frühjahr präsentierten sie die Ergebnisse.

Kern des Projekts ist eine auf dem Versionsverwaltungssystem GitHub verfügbare K4R-Open-Source-Plattform, die dem Einzelhandel die Ergebnisse zugänglich macht. Einzelhandelsunternehmen können über die Plattform analoge und digitale Welten verbinden und beispielsweise Prozesse einfacher analysieren und Prognosen zum Kaufverhalten erstellen. Die Projektpartner entwickelten dabei Lösungen für die Anwendungskontexte Logistik, Filialaufbau, Servicerobotik und einen vollautomatischen Kiosk.

Flexible und schnelle 3D-Bildverarbeitung

Die IPA-Forscherinnen und Forscher hatten mehrere Entwicklungsschwerpunkte im Projekt, durch die sie ihr Know-how und das daraus resultierende Angebot rund um die 3D-Bildverarbeitung erweitert haben. Ein Kernaspekt war die Erstellung sogenannter semantischer Digitaler Zwillinge der Einzelhandelsprodukte.

Hierbei wird ein beliebiges, auch vorher noch nie gesehenes Produkt mit Hilfe von Sensoren beispielsweise in einer Scanstation erfasst und dann mit vielfältigen Informationen wie Form, Farbe oder Textur dreidimensional modelliert. Für das Modellieren, bei dem das Fraunhofer IPA mit der Firma Kaptura zusammenarbeitete, kommen auch Methoden des Maschinellen Lernens, einem Teilgebiet der Künstlichen Intelligenz (KI), zum Einsatz.

Mit Hilfe der entwickelten Technologien ist es möglich, breite Produktpaletten schnell und hochaufgelöst in 3D zu modellieren. Im Zuge der Modellierung werden auch semantische Informationen wie Logos, Nährwert- oder Mengenangaben auf den Produkten erkannt und digital erfasst. So sind die erzeugten Modelle die Grundlage zum Beispiel für digitale Abbilder einer Filiale, einen Webshop oder auch automatisierte Produktanalysen, wie sie unter anderem in Labors stattfinden.

Ferner ist eine skalierbare, für den Handel optimierte Objekterkennungslösung entstanden, die durch präzise optische Identifizierung von Produkten Automatisierungslösungen in Produktion und Logistik ermöglicht. Beispielanwendungen sind das roboterbasierte Bin Picking (Griff-in-die-Kiste) oder Bin Packing, also das Einpacken von Gütern aller Art und Form.

Letztere, auch „Order Picking“ oder „Pick & Pack“ genannte Aufgabe, bei der die Waren aus Kisten oder Regalen entnommen und ordentlich in einen Zielkarton verpackt werden, wird insbesondere in Zeiten eines boomenden Online-Handels immer wichtiger. Die entwickelte Objekterkennungslösung kann zur Unterstützung dieser Prozesse vollautomatisch direkt anhand der digitalen 3D-Produktmodelle in weniger als einer Stunde für jedes neue Produkt eingelernt werden.

Integration in die Open-Source-Plattform

Nicht zuletzt berieten die IPA-Expertinnen und Experten auch dabei, wie die im Projekt entwickelten Lösungen spezifiziert und bestmöglich in die K4R-Open-Source-Plattform integriert werden konnten. Die offen erweiterbare Plattform stellt Funktionen und Schnittstellen für die Anbindung an unterschiedliche Logistiksysteme, Sensoren, Roboter oder die umfangreichen Softwaremodule aus dem Umfeld des Robot Operating System ROS ebenso bereit wie die notwendige Infrastruktur für vernetzte digitale Zwillinge von Filialen und Produkten.

Dadurch, dass das Fraunhofer IPA bereits seit Jahren den europäischen Teil des ROS-Industrial-Konsortiums leitet, liegt hier umfangreiche Erfahrung in der Entwicklung leistungsfähiger, modularer Open-Source-Systeme vor. Und auch in Vorgängerprojekten wie beispielsweise „Serviceroboter-Netzwerk“ (SeRoNet) war eines der Projektziele, die Ergebnisse nachhaltig und über das Projektende hinaus zugänglich zu machen.

In SeRoNet erfolgte dies durch den als Start-up weitergeführten virtuellen Marktplatz „Xito.one“ und die ebenfalls auf GitHub veröffentlichten Entwicklungswerkzeuge „ROStooling“, was als Wissensgrundlage für die K4R-Plattform genutzt wurde.