Heatmapbasierte Erklärungs-Ansätze

Neues Verfahren erkennt Deepfake-Bilder zuverlässig

XAI-Erklärungen für das Bild, auf dem eine Person als Fälschung erkannt wurde.

Bild: Fraunhofer IOSB
01.07.2026

Künstliche Intelligenz erzeugt inzwischen Bilder, die von echten kaum noch zu unterscheiden sind. Das erhöht das Risiko von Betrug und Desinformation. RealOrRender, entwickelt am Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB, kann solche Deepfakes nicht nur gezielt erkennen, sondern zudem nachvollziehbar machen, warum ein Bild als echt oder KI-generiert eingestuft wird. Der neue hybride Ansatz steigert die Erkennungsgenauigkeit signifikant, und Explainable AI-Verfahren sorgen zudem für transparente Ergebnisse.

Die Fälschungsmethoden für Deepfakes haben sich in den letzten Jahren rasend schnell entwickelt. Mit modernen KI-Modellen lassen sich realistische Gesichter, Objekte und komplette Szenen generieren, und so häufen sich im Internet manipulierte Fotos, die den Originalen frappierend ähneln. Die Fähigkeit generativer KI, täuschend echte Bilder zu erzeugen, eröffnet neue Möglichkeiten, beispielsweise für kreative Anwendungen. Sie erhöht aber auch das Risiko von Desinformation.

Manipulierte Inhalte können Beweise verfälschen und Vertrauen zerstören. Im Projekt RealOrRender zeigen Forschende des Fraunhofer IOSB gemeinsam mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI), wie sich Deepfakes mittels innovativer KI-Verfahren zuverlässig und robust von realen Bildern unterscheiden lassen. Das BSI fördert das Vorhaben.

Robuste Erkennungsmechanismen gweinnen an Bedeutung

Um Risiken zu mindern, sind robuste Mechanismen zur Deepfake-Erkennung von entscheidender Bedeutung. Das Forscherteam am Fraunhofer IOSB verfolgt erstmals einen hybriden Ansatz: Es kombiniert ein klassisches Deep-Learning-basiertes Klassifikationsverfahren mit einer Methode, die prüft, wie gut sich ein Bild mithilfe eines generativen Modells rekonstruieren lässt.

„Im ersten Schritt rekonstruieren wir das Bild mit einem KI-Bildgenerator. Anschließend übernimmt ein KI-Modell die Klassifizierung und berechnet hybrid den Rekonstruktionsfehler. Am Ende erfolgt eine Einschätzung, wobei die Erkennungsgenauigkeit in Prozentzahlen angezeigt wird. Insgesamt liegt die Erkennungsleistung zwischen 85 und 91 Prozent, sie kann in Einzelfällen aber durchaus höher ausfallen“, erläutert Dr. Andreas Specker, Senior Scientist der Forschungsgruppe Videogestützte Sicherheits- und Assistenzsysteme, den kompletten Prozess. Je besser die Rekonstruktion gelingt, desto wahrscheinlicher ist es, dass es sich bei dem geprüften Bild ebenfalls um ein KI-generiertes Bild, also einen Deepfake handelt. Die Kombination beider Ansätze steigert die Erkennungsgenauigkeit deutlich.

Verbindung von Erkennung und Erklärbarkeit

Doch es reicht nicht aus, Fälschungen zu entlarven. Ebenso wichtig ist es, zu verstehen warum das Verfahren einen Deepfake erkennt. Neben der Detektion ist die Nachvollziehbarkeit von Entscheidungen daher ein zentrales Ziel der Forschenden. „Dazu verwenden wir Explainable-AI-Methoden (XAI), mit denen wir sichtbar machen, welche Bildbereiche und Strukturen zur Entscheidung des Modells beitragen. So lässt sich transparent nachvollziehen, warum ein Bild als echt oder KI-generiert eingestuft wird. Auffällige Texturen oder charakteristische Frequenzmuster können beispielsweise Hinweise darauf geben, dass ein Bild synthetisch erzeugt wurde. XAI hilft dabei offenzulegen, welche Merkmale das Modell für seine Entscheidung heranzieht“, sagt Dr. Nadia Burkart, Leiterin der Gruppe Applied Explainable AI am Fraunhofer IOSB.

Die Forschenden nutzen XAI-Verfahren, die sich anhand ihres Erklärungsausgabeformats in Heatmap-basierte und segmentbasierte Verfahren klassifizieren lassen. Heatmapbasierte Ansätze visualisieren, welche Bildbereiche besonders stark zur Entscheidung des Modells beigetragen haben und mit welcher Intensität diese in die Bewertung eingeflossen sind. Segmentbasierte Verfahren analysieren hingegen zusammenhängende Bildsegmente und machen sichtbar, welche semantischen Regionen zur Modellentscheidung beigetragen haben.

Wirksamer technologischer Schutz vor Bildfälschungen

In Tests mit einem umfangreichen Bilddatensatz wiesen die Forscherinnen und Forscher nach, dass der neuartige hybride, erklärungsorientierte Ansatz bestehenden Methoden überlegen ist. So entsteht eine neue Generation intelligenter Systeme – lernfähig, nachvollziehbar und vertrauenswürdig. Die Kombination der Verfahren verbessert die Robustheit der Deepfake-Erkennung auch gegenüber immer leistungsfähigeren Bildgeneratoren.

Die Forschungsergebnisse fließen in einen Demonstrator ein, der zunächst das Bundesamt für Sicherheit in der Informationstechnik bei der Entlarvung von Deepfakes unterstützt. Der Demonstrator ist einfach zu handhaben: Nach dem Hochladen des gewünschten Bildes werden das Detektionsergebnis sowie anschließend die Erklärung angezeigt. Zusätzlich resümiert eine textuelle Einschätzung das Ergebnis.

Verwandte Artikel