Wie ethisch sind autonome Systeme?

Künstliche Intelligenz wird zunehmend eingesetzt, um die Entscheidungsfindung in Situationen mit hohem Risiko zu verbessern. So kann ein autonomes System beispielsweise eine Stromverteilungsstrategie ermitteln, die die Kosten minimiert und gleichzeitig die Spannungsstabilität gewährleistet. Doch auch wenn diese KI-gesteuerten Ergebnisse technisch optimal sein mögen – sind sie auch fair? Was wäre, wenn eine kostengünstige Stromverteilungsstrategie benachteiligte Stadtteile anfälliger für Stromausfälle macht als einkommensstärkere Gebiete?

Um den Beteiligten zu helfen, potenzielle ethische Dilemmata vor der Umsetzung schnell zu erkennen, haben Forscher des MIT eine automatisierte Bewertungsmethode entwickelt, die das Zusammenspiel zwischen messbaren Ergebnissen wie Kosten oder Zuverlässigkeit und qualitativen oder subjektiven Werten wie Fairness in Einklang bringt. Das System trennt objektive Bewertungen von benutzerdefinierten menschlichen Werten und nutzt dabei ein großes Sprachmodell (LLM) als Stellvertreter für den Menschen, um die Präferenzen der Beteiligten zu erfassen und einzubeziehen.

Szenarien gezielt auswählen statt manuell abprüfen

Das adaptive Rahmenwerk wählt die besten Szenarien für die weitere Bewertung aus und verbessert damit einen Prozess, der normalerweise mit kostspieligem und zeitaufwändigem manuellen Aufwand verbunden ist. Diese Testfälle können sowohl Situationen aufzeigen, in denen autonome Systeme gut mit menschlichen Werten im Einklang stehen, als auch Szenarien, die unerwartet hinter ethischen Kriterien zurückbleiben.

„Wir können viele Regeln und Leitplanken in KI-Systeme einbauen, aber diese Sicherheitsvorkehrungen können nur das verhindern, was wir uns vorstellen können. Es reicht nicht aus zu sagen: ‚Lasst uns einfach KI einsetzen, weil sie mit diesen Informationen trainiert wurde.‘ Wir wollten einen systematischeren Weg entwickeln, um die unbekannten Unbekannten aufzudecken und sie vorherzusagen, bevor etwas Schlimmes passiert“, sagt der leitende Autor Chuchu Fan, außerordentlicher Professor am MIT-Institut für Luft- und Raumfahrttechnik (AeroAstro) und leitender Forscher am MIT-Labor für Informations- und Entscheidungssysteme (LIDS).

An der Veröffentlichung sind neben Fan die Erstautorin Anjali Parashar, eine Doktorandin im Fach Maschinenbau, Yingke Li, ein Postdoktorand am AeroAstro, sowie weitere Forscher am MIT und bei Saab beteiligt.

Bewertung ethischer Aspekte

In einem großen System wie einem Stromnetz ist es besonders schwierig, die ethische Angemessenheit der Empfehlungen eines KI-Modells so zu bewerten, dass alle Ziele berücksichtigt werden. Die meisten Testrahmen stützen sich auf zuvor erhobene Daten, doch sind gekennzeichnete Daten zu subjektiven ethischen Kriterien oft schwer zu beschaffen. Da sich zudem sowohl ethische Werte als auch KI-Systeme ständig weiterentwickeln, erfordern statische Bewertungsmethoden, die auf schriftlichen Kodizes oder regulatorischen Dokumenten basieren, häufige Aktualisierungen.

Fan und ihr Team gingen dieses Problem aus einer anderen Perspektive an. Aufbauend auf ihren früheren Arbeiten zur Bewertung von Robotersystemen entwickelten sie ein experimentelles Design-Framework, um die aussagekräftigsten Szenarien zu identifizieren, die dann von menschlichen Stakeholdern genauer bewertet werden sollten.

Ihr zweiteiliges System mit dem Namen „Scalable Experimental Design for System-level Ethical Testing“ (SEED-SET) umfasst quantitative Metriken und ethische Kriterien. Es kann Szenarien identifizieren, die messbare Anforderungen effektiv erfüllen und gut mit menschlichen Werten übereinstimmen, und umgekehrt. „Wir wollen nicht unsere gesamten Ressourcen für willkürliche Bewertungen aufwenden. Daher ist es sehr wichtig, das Framework auf die Testfälle auszurichten, die uns am meisten am Herzen liegen“, sagt Li.

Wichtig ist, dass SEED-SET keine bereits vorhandenen Bewertungsdaten benötigt und sich an verschiedene Ziele anpassen lässt. Beispielsweise kann ein Stromnetz mehrere Nutzergruppen umfassen, darunter eine große ländliche Gemeinde und ein Rechenzentrum. Während beide Gruppen kostengünstigen und zuverlässigen Strom wünschen, können die Prioritäten jeder Gruppe aus ethischer Sicht stark variieren.

Diese ethischen Kriterien sind möglicherweise nicht genau definiert und lassen sich daher nicht analytisch messen. Der Stromnetzbetreiber möchte die kosteneffizienteste Strategie finden, die den subjektiven ethischen Präferenzen aller Beteiligten am besten entspricht. SEED-SET bewältigt diese Herausforderung, indem es das Problem gemäß einer hierarchischen Struktur in zwei Teile aufteilt. Ein objektives Modell berücksichtigt, wie das System bei konkreten Kennzahlen wie den Kosten abschneidet. Darauf aufbauend entwickelt ein subjektives Modell, das die Einschätzungen der Beteiligten – wie die wahrgenommene Fairness – berücksichtigt, auf der objektiven Bewertung auf.

„Der objektive Teil unseres Ansatzes ist an das KI-System gekoppelt, während der subjektive Teil an die Nutzer gebunden ist, die es bewerten. Indem wir die Präferenzen hierarchisch aufschlüsseln, können wir die gewünschten Szenarien mit weniger Bewertungen generieren“, sagt Parashar.

Subjektivität kodieren

Um die subjektive Bewertung durchzuführen, nutzt das System ein LLM als Stellvertreter für menschliche Bewerter. Die Forscher kodieren die Präferenzen jeder Nutzergruppe in eine natürliche Sprachaufforderung für das Modell. Das LLM nutzt diese Anweisungen, um zwei Szenarien zu vergleichen, und wählt das bevorzugte Design auf der Grundlage ethischer Kriterien aus. „Nachdem ein menschlicher Bewerter Hunderte oder Tausende von Szenarien gesehen hat, kann er ermüden und in seinen Bewertungen inkonsistent werden. Deshalb verwenden wir stattdessen eine LLM-basierte Strategie“, erklärt Parashar.

SEED-SET nutzt das ausgewählte Szenario, um das Gesamtsystem zu simulieren (in diesem Fall eine Stromverteilungsstrategie). Diese Simulationsergebnisse dienen als Grundlage für die Suche nach dem nächstbesten Szenario, das getestet werden soll. Letztendlich wählt SEED-SET auf intelligente Weise die repräsentativsten Szenarien aus, die entweder den objektiven Kennzahlen und ethischen Kriterien entsprechen oder nicht mit diesen übereinstimmen. Auf diese Weise können Nutzer die Leistung des KI-Systems analysieren und dessen Strategie anpassen. So kann SEED-SET beispielsweise Fälle der Stromverteilung aufzeigen, bei denen in Zeiten von Spitzenlasten Gebiete mit höherem Einkommen bevorzugt werden, wodurch benachteiligte Stadtteile anfälliger für Stromausfälle sind.

Um SEED-SET zu testen, bewerteten die Forscher realistische autonome Systeme, wie ein KI-gesteuertes Stromnetz und ein städtisches Verkehrsleitsystem. Sie maßen, wie gut die generierten Szenarien mit ethischen Kriterien übereinstimmten. Das System generierte in derselben Zeit mehr als doppelt so viele optimale Testfälle wie die Basisstrategien und deckte dabei viele Szenarien auf, die andere Ansätze übersehen hatten. „Als wir die Nutzerpräferenzen veränderten, änderte sich die von SEED-SET generierte Auswahl an Szenarien drastisch. Das zeigt uns, dass die Bewertungsstrategie gut auf die Präferenzen des Nutzers reagiert“, sagt Parashar.

Um zu messen, wie nützlich SEED-SET in der Praxis wäre, müssen die Forscher eine Nutzerstudie durchführen, um zu prüfen, ob die generierten Szenarien bei der tatsächlichen Entscheidungsfindung helfen. Neben der Durchführung einer solchen Studie planen die Forscher, den Einsatz effizienterer Modelle zu untersuchen, die auf größere Probleme mit mehr Kriterien skaliert werden können, wie beispielsweise die Bewertung der Entscheidungsfindung von LLM.