Ob Hate Speech, Drohbriefe oder Wirtschaftskriminalität: In der Polizeiarbeit spielen Texte oft eine wichtige Rolle und sind die Grundlage dafür, dass Straftaten zur Anzeige gebracht werden können. Bei der Analyse kommt schon heute Künstliche Intelligenz (KI) zum Einsatz, die Texte auf bestimmte Muster hin untersucht und klassifiziert.
Das am Forschungsinstitut CODE der Universität der Bundeswehr München koordinierte Teilvorhaben mit dem Titel „Erklärbarkeit vertrauenswürdiger KI-Sprachmodelle für den transparenten Gebrauch bei Sicherheitsbehörden zur Textklassifikation“ widmet sich im Rahmen des Verbundprojekts Viking der Erforschung vertrauenswürdiger KI-Methoden zur Textklassifikation.
KI-basierte Textauswertung einfacher nachvollziehen
Innerhalb des Teilprojekts wollen die Wissenschaftlerinnen und Wissenschaftler vor allem Lösungen erforschen und implementieren, die helfen, mehr Nachvollziehbarkeit bei der KI-basierten Textauswertung durch die Polizei zu schaffen. Zum Einsatz können dabei automatisierte Markierungen relevanter Textbausteine, wie Personen, Zeitpunkte, Orte und Gegenstände kommen.
Auch lässt sich visualisieren, wie stark spezifische Wörter die Entscheidungen eines Modells beeinflussen. Neben der Erklärung von Modellen und Algorithmen können so auch erläuternde Kommentare zu einer Auswertung erstellt werden, die etwa bei Ermittlungen zu Volksverhetzung Anwendung finden.
Das wissenschaftliche Hauptziel des Teilvorhabens besteht darin, nachvollziehbare Erläuterungen bereitzustellen, sobald die Ergebnisse von Klassifikationen vorliegen – und so für die Anwenderinnen und Anwender mehr Transparenz zu schaffen.
Trainingsdatensätze bereits vorhanden
Ein Etappenziel ist die Erzeugung geeigneter Benchmark-Datensätze, auf denen die KI-Modelle zur Textauswertung trainiert werden können. Zudem sollen geeignete Methoden zur Vermeidung von Fehlern aufgrund von Datenverzerrungen in Bezug auf die verwendeten Textdaten untersucht werden, um später keine fehlerhaften Entscheidungen zu liefern.
„Unausgewogene Trainingsdatensätze, in denen beispielsweise demographische Häufigkeiten verzerrt abgebildet sind, können zu fehlerhaften Ergebnissen von KI-Lösungen führen. Ein weiteres Risiko besteht in der fehlenden Nachvollziehbarkeit und mangelnden Transparenz der Ergebnisse komplexer KI. Dem wollen wir im Rahmen von Viking entgegenwirken“, so berichtet Prof. Michaela Geierhos.
Die Ergebnisse des am CODE durchgeführten Teilvorhabens sollen polizeilichen Anwendern (unter anderem dem Polizeipräsidium München, den Landeskriminalämtern Baden-Württemberg und Nordrhein-Westfalen sowie dem Bundeskriminalamt) in Form eines gemeinsamen Demonstrators mit nachvollziehbaren, robusten Textklassifikationsmodellen zur Verfügung gestellt werden.
Ergänzend wird das Teilvorhaben Leitlinien für die Anwendung von KI in Sicherheitsbehörden erstellen, die einen wichtigen Beitrag für den im Rahmen von Viking entwickelten Katalog zur Einhaltung ethischer und rechtlicher Anforderungen für KI-Verfahren darstellen.
.jpg "Benchmark evaluiert Large Language Models automatisch")
