Im Projekt „Digital Automotive Services“ (DIAS) beschäftigt sich ASAP mit dem kontinuierlichen Datenaustausch zwischen Fahrzeugen und einem hauseigenen Back-End sowie der Modifikation und Nutzung der gewonnenen Schwarmdaten, um daraus neue Services für den Fahrer zu generieren. Für das Projekt hat das Unternehmen die eigene Fahrzeugflotte mit intelligenten Sensoren ausgestattet. Durch den Einsatz von Methoden wie Künstlicher Intelligenz, Big Data- und Cloud Computing-Technologien liefern die gewonnenen Schwarmdaten neue Erkenntnisse und sind Wegbereiter für künftige Mobilitätslösungen zur Realisierung von Smart Cities.
Neue Mobilitäts-Services durch Schwarmdaten
Ziel von DIAS ist es, digitale Services und Funktionen rund um das Fahrzeug kundenspezifisch anbieten zu können. Das Entwicklungsprojekt liefert hierfür Entscheidungsgrundlagen für Algorithmen und IT-Infrastrukturen im Bereich Connected Cars.
Im Entwicklungsprojekt wird sich mit verschiedenen Forschungsbereichen auseinandergesetzt. Zum einen zählt hierzu die Analyse der Einsatzmöglichkeiten von Technologien wie Big Data oder Cloud Computing. Der Gewinn neuer Erkenntnisse bei der Zusammenführung der Daten aus unterschiedlichen Fahrzeugen, beispielsweise das Ableiten eines realistischen Fahrermodelles aus Geschwindigkeitsprofilen verschiedener Fahrer, stellt einen weiteren Bereich dar. Zudem wird an der Entwicklung von Location Based Services gearbeitet, indem Kartendaten mit Fahrzeug- und Umfelddaten angereichert werden.
Das DIAS-Projekt beschäftigt sich darüber hinaus mit dem Einsatz von Methoden Künstlicher Intelligenz, damit das Fahrzeug Objekte wie beispielsweise Schilder, andere Fahrzeuge oder Fußgänger sowie komplexe Verkehrssituationen erkennen kann. Dadurch können neue Points of Interest (POI) automatisch kartographiert und in geeigneten Anwendungen wie einem Flottenmanagement angezeigt werden.
Dabei wird auch untersucht, welche Konfidenz den erkannten POIs zugeteilt werden kann, also wie vertrauenswürdig die gewonnene Information ist. Hierfür wird etwa festgelegt, wie oft eine Baustelle erkannt worden sein muss, um die automatische Kartographierung beziehungsweise das Entfernen des POI auszulösen.
Für die Umsetzung des Projektes hat ASAP die eigene Fahrzeugflotte an den Standorten Ingolstadt und München mit intelligenten Sensoren ausgestattet und die benötigte IT-Infrastruktur aufgesetzt. So werden Daten aus den Fahrzeugen an ein Back-End geschickt und anschließend in aufbereiteter Form den Nutzern der Services wieder zur Verfügung gestellt. Mit den gewonnenen Schwarmdaten wird Wissen über sinnvolle Anwendungsmöglichkeiten von Algorithmen im Bereich Machine Learning sowie in der Objekterkennung erlangt. Zusätzlich lassen sich damit Big-Data-Technologien evaluieren und hinsichtlich möglicher Einsatzzwecke für Kundenprojekte analysieren.
Architektur des DIAS-Projekts
Im Entwicklungsprojekt DIAS wurde zunächst die Infrastruktur zur Erhebung, Übermittlung, Verwaltung sowie Auswertung von Daten erarbeitet und umgesetzt. Diese bildet die Grundlage zur Evaluierung möglicher Einsatzzwecke der gewonnenen Schwarmdaten und zu einer Rapid-Prototyping-Umgebung, um neue Services unkompliziert praxisnah umzusetzen.
Dazu wurden Technologien und aktuelle Frameworks aus den Bereichen Big Data und Cloud Computing implementiert. In der Grafik werden die hierfür aufgebaute Architektur und Zusammenhänge innerhalb des DIAS-Projekts veranschaulicht:
Devices: Erfassung der Daten aus dem Fahrzeug und dem Umfeld, wie zum Beispiel der aktuellen Fahrzeuggeschwindigkeit, Fahrerinteraktionen und Tempolimits
Communication: verschlüsselte, kontinuierliche Kommunikation zwischen Devices und Cloud
Cloud: für das Projekt aufgesetzte IT-Infrastruktur
Intelligence: Auswerten der erfassten Daten mit unterschiedlichen Ansätzen, beispielsweise Bildverarbeitung, mathematische Modelle oder Methoden aus dem Bereich des Machine Learning
Automotive Services: neue Mobilitäts-Services mit Mehrwert für den Fahrer
Die in den Fahrzeugen eingesetzten Devices wurden zunächst auf Grundlage eines Raspberry Pi entwickelt. An das Device wurden unterschiedliche Sensoren wie Kamera oder GPS-Empfänger angebunden.
Des Weiteren wurde eine Hardware entwickelt, mit deren Hilfe Fahrzeugbussysteme ausgelesen werden können. Als Middleware kommt ROS (Roboter Operating System) zum Einsatz. Diese ermöglicht eine standardisierte Verwaltung und Kommunikation der einzelnen Softwarefunktionen auf dem Device. Die Verteilung von Softwareupdates und Konfigurationen wird über Puppet realisiert. Damit lassen sich verschiedene Messkampagnen zentral steuern.
Kommunikation mit der Cloud
Die Kommunikation zur Cloud ist verschlüsselt und über ein Zertifikatsmanagement abgesichert. Während die Aufzeichnung von Fahrzeug- und GPS-Daten kontinuierlich verläuft, werden Kameradaten nur über spezielle Trigger in der Software aufgezeichnet und in das Backend übertragen. Diese Trigger werden durch die im Device laufende Objekterkennung, beispielsweise eine Verkehrsschilderkennung, ausgelöst.
Um LTE-Datenvolumen einsparen zu können, wurde ein Burst-Modus als ROS-Node implementiert. Somit können bestimmte Daten, wie zum Beispiel Bilder oder Umgebungsinformationen, erst bei einer bestehenden WLAN-Verbindung an einem der Unternehmensstandorte übertragen werden. Bestimmte Fahrzeugsignale werden kontinuierlich von den Fahrzeugen an die Cloud übermittelt. Somit sind die Entwickler in der Lage, auf den jeweiligen Einsatzzweck angepasste Messkampagnen mit Live-Daten und solchen mit eher statischen Informationen durchzuführen.
In der Cloud werden die Daten ebenfalls mittels ROS-Knoten empfangen und aufbereitet. Anschließend werden die Daten in NoSQL-Datenbanken persistiert. Jedes Element der Cloud läuft in einem Docker-Container – dadurch ist es einfach möglich, ein Load Balancing durchzuführen und die zukünftige Skalierbarkeit sicherzustellen. Empfangene Bilddaten werden zur Analyse an die Intelligence weitergeleitet, wofür ein GPU-Cluster zum Einsatz kommt.
Erkannte Objekte werden mit bereits vorhandenen Daten verifiziert, anschließend fusioniert und in die Datenbank geschrieben. Somit kann für jedes Objekt eine Konfidenz erstellt werden, welche angibt, wie sicher das Objekt existiert. Dies wird insbesondere benötigt, um auf Veränderungen in der Umwelt (Straßenbau/-führung, Infrastruktur) reagieren zu können.
Die Datenbank bietet eine einheitliche Schnittstelle zur flexiblen Datenauswertung und -aufbereitung für die Services an. So können zum Beispiel alle erkannten Objekte als statische und dynamische POIs in einer Karte visualisiert werden. Die Services können die Daten auch nach ihrer Konfidenz filtern und nur jene verwenden, die eine für den Service ausreichend hohe Konfidenz besitzen.
Neben der Auswertung von Daten liegt ein weiterer Fokus der Intelligence des DIAS-Projektes darauf, die bestehenden Modelle zu verbessern oder neue Modelle aufzubauen. Hierzu werden die gewonnenen Daten durch die Entwickler aufbereitet und zum Training, Evaluieren und Testen verwendet. Aus neuen Modellen können anschließend auch weitere Services entwickelt werden.
Des Weiteren können durch Methoden aus dem Bereich des Deep Learning auch Zusammenhänge zwischen unterschiedlichen Datenquellen gefunden werden und die Zusammenhänge anschließend näher untersucht werden.
Aus Schwarmdaten neue Services kreieren
Durch den Einsatz verschiedener Methoden – klassische Algorithmen aus der Bildverarbeitung sowie Methoden des Machine Learning – sind die Entwickler beispielsweise in der Lage, anhand der gewonnenen Schwarmdaten Lichtsignalanlagen zu erkennen. Neuronale Netze werden von ASAP hierfür mit den Daten aus den Fahrzeugen gespeist und auf bestimmte Situationen trainiert.
Dann erfolgt die Validierung des Lernprozesses der Künstlichen Intelligenz: Das neue Netzwerk wird an die Fahrzeuge gesendet – dort wird die Güte des trainierten Algorithmus geprüft, indem die Erkennungsraten des Systems für die neu antrainierten und ähnliche Situationen im Straßenverkehr ermittelt werden. Dabei werden auch Erkenntnisse darüber gewonnen, in welcher Form die Trainingsdaten aufbereitet werden müssen, damit die Algorithmen relevante Situationen künftig effizienter erkennen können.
Lichtsignalanlagen können bereits als POIs automatisiert im Datenbanksystem hinterlegt und dort mit weiteren Informationen verknüpft werden. So können Karten mit verschiedensten Informationen angereichert und Live-Modelle erstellt werden, in denen unterschiedlichste Details – Standorte der Fahrzeuge, Live-Bewegungen inklusive Fahrzeugsignalen sowie Standorte von Ampeln – abgebildet sind.
Durch die Verbindung herkömmlicher Technologien mit Methoden Künstlicher Intelligenz ergeben sich im Entwicklungsprojekt DIAS neue Erkenntnisse. So werden beispielsweise Bildverarbeitung zur Schildererkennung mit Machine Learning kombiniert und dadurch POIs für die Live-Modelle identifiziert. Angelernte Algorithmen erkennen dabei etwa, wenn viele Fahrzeuge an einer Stelle abbremsen und die Spur wechseln – ein Hinweis auf eine mögliche Baustelle. In Kombination mit der Schilderkennung lassen sich Gefahrenzonen so künftig noch eindeutiger identifizieren.
Mithilfe von Machine Learning werden aus den Schwarmdaten zudem realistische Fahrermodelle generiert. Verschiedenste Informationen über ein Fahrverhalten – wann und warum bremst der Fahrer, wie stark bremst er und mit welcher Geschwindigkeit fährt er in relevanten Szenarien – fließen darin ein. Solche Fahrermodelle dienen beispielsweise zu Testzwecken im Bereich der virtuellen Absicherung.
Smart Cities und autonomes Fahren
Fahrerlose Autos, die selbstständig navigieren, intelligent und vernetzt sind – durch neue Erkenntnisse aus dem DIAS-Projekt kommt ASAP diesem Ziel einen großen Schritt näher: Qualitativ hochwertige, eindeutige Karten sind eine der Grundvoraussetzungen für autonomes Fahren. Die Live-Modelle, in denen Gefahrenstellen und viele weitere Informationen automatisiert und zuverlässig kartographiert werden, können dafür eingesetzt werden.
Künftig können Fahrern dadurch je nach Verkehrslage und Verkehrsvoraussage beispielsweise optimale Routen vorgeschlagen werden, bevor eine intelligente Parkplatzsuche sie ohne weite Umwege zu einem freien Parkplatz am Zielort führt.