5 Bewertungen

Unfallgefahr durch verwirrte Algorithmen So einfach lassen sich autonome Fahrzeuge sabotieren

publish-industry Verlag GmbH

Durch schwarze und weiße Aufkleber, die an bestimmten Positionen auf einem Stoppschild angebracht sind, lässt sich die KI eines autonomen Fahrzeugs austricksen.

Bild: University of Michigan
10.08.2017

Im Straßenverkehr könnte dieser Trick tödlich sein: Die Algorithmen selbstfahrender Autos lassen sich erschreckend einfach manipulieren, wie US-Forscher durch einen banalen Versuch beweisen konnten.

Kein Hackerangriff nötig: Ein Forscherteam der University of Michigan, University of Washington, Stony Brook University, und UC Berkeley haben einen rein physischen Trick gefunden, die Algorithmen autonomer Fahrzeuge hinters Licht zu führen - was in der Realität fatale Folgen nach sich ziehen könnte.

So leicht lassen sich Vision-Systeme austricksen

Erinnern Sie sich noch an den tödlichen Unfall vergangenes Jahr, als das Fahrassistenzsystem eines Tesla-Fahrzeugs einen quer stehenden Anhänger nicht registriert und das Fahrzeug dazu veranlasst hat, gegen diesen zu donnern? Etwas ähnliches begab sich beim Versuch der US-Wissenschaftler.

Zunächst haben sie das Vision-System eines autonomen Fahrzeugs entschlüsselt, um nachzuvollziehen, wie dieses unterschiedliche optische Signale einordnet und interpretiert. Die daraus gewonnen Erkenntnisse haben die Forscher verwendet, um die Künstliche Intelligenz auszutricksen, indem sie Stopp-Schilder mit Aufklebern versehen haben.

Aufkleber verwandeln Stopp-Schild in etwas anderes

Strategisch platzierte weiße und schwarze Steifen am Stopp-Schild reichten aus, damit das System des autonomen Fahrzeugs dieses mit einem Geschwindigkeitsbegrenzungsschild (45 Meilen pro Stunde) verwechselte. In der Realität würde das bedeuten, dass das Fahrzeug mit umgerechnet über 70 km/h ein Stoppschild überfährt und unter Umständen mitten in den Verkehr rast.

Banale Manipulation mit fatalen Folgen

Am meisten beunruhigt an diesem Experiment, wie einfach Hacker das Machine-Learning-System autonomer Fahrzeuge sabotieren könnten. Neben einem Verständnis der Algorithmen des fahrzeuginternen Vision-Systems und der Abwesenheit eines Gewissens bräuchten sie dazu kein besonderes Werkzeug außer bedrucktes Klebepapier. Besonders tückisch: Wenn die irreführenden Ergänzungen am Stoppschild subtil genug angebracht sind - etwa als Graffiti getarnt - könnte auch ein menschlicher Fahrer diese übersehen und hätte damit keine Chance, dem Fahrassistenzsystem gegenzusteuern.

KI müss klüger sein als Hacker

Es gibt jedoch einen Lichtblick: Solchen Attacken könnte man beim Programmieren des autonomen Fahrzeugs von vornherein entgegenwirken, indem man beispielsweise die ortsabhänigge zugelassene Geschwindigkeit im System verankert. Sprich: Das Fahrzeug muss wissen, dass es beispielsweise in der Innenstadt keine Autobahngeschwindigkeit fahren darf - auch wenn manipulierte Straßenschilder Gegenteiliges behaupten.

Auch die Tatsache, dass solche Fahrzeuge mit einer Vielzahl unterschiedlicher Kameras und Sensoren wie Lidar-Sensoren ausgestattet sind, weckt Hoffnung. So müsste sich ein gut programmiertes Fahrzeug nicht auf die - fehlerhafte - Information aus einer einzigen Quelle stützen.

Verwandte Artikel