Aktuell geht der Trend für komplexe anspruchsvolle Anwendungen, wie etwa dem autonomen Fahren, zu mobilen Supercomputern mit einem erheblich steigenden Energieverbrauch. Besonders bei mobilen Systemen führt dies zu verkürzen Einsatzdauern oder Reichweiten und stößt laut aktuellen Prognosen in den nächsten Jahrzehnten gar an die Grenzen der weltweiten Energieerzeugung.
Um dieser Eskalation entgegenzuwirken, setzen die in NeurOSmart beteiligten Fraunhofer-Forscherinnen und Forscher auf eine dezentrale Intelligenz, die auf den jeweiligen Sensor maßgeschneidert wird und neue Ansätze der energieeffizienten Datenverarbeitung.
Datenverarbeitung in den Sensor integrieren
Der Grundgedanke des ambitionierten Vorhabens liegt darin, die Datenverarbeitung soweit es geht, direkt in den Sensor zu integrieren und durch aufeinander abgestimmte Komponenten möglichst energieeffizient zu werden.
Das erstrebte Resultat ist ein Entfernungssensor (LiDAR), welcher in einem Sichtfeld von 90 Grad x 90 Grad bei Arbeitsabständen bis zu 12 Metern, Objekte auf Basis individueller Pixel erkennt und klassifiziert. All dies in Echtzeit mit Bildwiederholraten von über 20 Hz und bei einem Energieverbrauch von ein paar 10 W. Damit kann dieses System als Sicherheitssystem für die Kollaboration zwischen Menschen und Industrierobotern und zukünftig auch für mobile Anwendungen genutzt werden kann.
Ermöglicht wird diese Leistungsfähigkeit durch eine Vielzahl an Neuerungen im Bereich der Datenverarbeitung und Sensorik, die in diesem Vorhaben kombiniert werden.
Besonders hervorheben möchte das Team die Rohdatenaufbereitung und -vorverarbeitung, welche über die Verbindung des RISC-V Manycore-Clusters AIRISC-N mit dem embedded AI Framework AIfES eine integrierte Lösung für die energieeffiziente Berechnung von KI-Algorithmen auf eingebetteter Hardware in Echtzeit bietet. Auf diese Weise reduziert sich die Menge der zu interpretierenden Daten um einen Faktor von 10 und ermöglichen es, auch nur Teile der Szene zu beobachten (Region of Interest), was den Energieverbrauch erneut senkt und die Reaktionszeit erhöht.
Die Fraunhofer Technologien des AIRISC Core und AI Framework AIfES sind kostenlos über GitHub erhältlich und können seit kurzem auch problemlos als vorkonfiguriertes System im Intel Pathfinder Shop heruntergeladen und in eigene Designs integrieret werden. Neben Anwendungen der Bildverarbeitung (LiDAR, Wärmebild, Visible) werden unter anderem auch Zeitreihen-Analysen (Akustisches Überwachung, Medizintechnik) und KI-basierte Prädiktionen (Predictive Maintenance, Ausfallvorhersage) mittels vorkonfigurierter Erweiterungen unterstützt.
Weiterführende Daten- und Sensorelemente
Die weiterführende Dateninterpretation wird auf einem neuartigen mixed-signal in-memory Beschleuniger umgesetzt, der mit einer erwarteten Energieeffizienz von mehr als 1000 TOPS/W heutige Alternativen um mindestens zwei Größenordnungen übertrifft. Das Herz des Beschleunigers sind sogenannte ferroelektrische Feldeffekttransistoren (FeFETs), welche gleichermaßen Informationen speichern und verarbeiten können (in-memory compute). Auf diese Weise wird der energieaufwendige Engpass in der Kommunikation zwischen Speicher und Rechenkern aufgelöst und aufwendige KI-Verfahren können auch in mobilen Endgeräten realisiert werden.
Unterstrichen werden die Vorteile des neuen Ansatzes durch die parallele Entwicklung besonders kleiner und effizienter Modelle für die Objekterkennung und -klassifizierung. Sie sind speziell auf den Sensor, auf neue Möglichkeiten der direkt integrierten Elektronik und auf ihre Anwendungen angepasst. Das Resultat ist eine schnelle Reaktionszeit, erhöhter Datenschutz und erhebliche Energieeinsparung gegenüber dem aktuellen Trend von praxisfernen oder cloudbasierten Lösungen, die bevorzugt auf immer größere, energieintensivere Modelle zurückgreifen.
Auf der Electronica 2022 finden Sie die Forscherinnen und Forscher des Vorhabens am Stand der Fraunhofer-Gesellschaft in Halle B4, Stand 258.
