Seit seiner Veröffentlichung im November 2022 hat ChatGPT über 100 Millionen Nutzer auf der ganzen Welt in seinen Bann gezogen. KI-Sprachmodelle, die wie ChatGPT auf maschinellem Lernen und großen Datensätzen aufbauen, arbeiten mit Wahrscheinlichkeitsvorhersagen.
Auf Aufforderung generieren sie eine Antwort, indem sie in den großen Textmengen der Trainingsdaten nach Wort-Mustern in Bezug auf die Anfrage suchen und mit Hilfe von Wahrscheinlichkeitsverteilungen entscheiden, welches Wort das nächste Wort in einem Satz ist.
Das klingt erstmal recht simpel, dabei ist die Logik von ChatGPT im Wesentlichen eine Blackbox – nicht einmal die Entwickler selbst können wirklich sagen, wie das KI-Modell zu einer bestimmten Antwort kommt. Außerdem neigt ChatGPT dazu, sinnlose Vermutungen anzustellen, anstatt unbeantwortbare Fragen zurückzuweisen.
Da im Zusammenhang mit dem Klimawandel im öffentlichen Diskurs und in den Medien nicht nur wissenschaftlich fundierte Informationen sondern auch Fehlinformationen existieren, wollten Wissenschaftler von der TU Berlin und der Berliner Hochschule für Technik herausfinden, wie hoch die Kompetenz von ChatGPT ist, klimabezogene Fragen korrekt zu beantworten.
Ausgewogene und nuancierte Argumente
Das Team des Forschungsprojekts „Green Consumption Assistant“, das einen KI-gestützten Assistenten entwickelt, der Konsumenten unterstützt, nachhaltigere Kaufentscheidungen im Internet zu treffen, sammelte 95 Fragen zum Klimawandel und stellte sie ChatGPT.
Die Antworten darauf bewerteten die Forscher hinsichtlich der Kriterien Genauigkeit, Relevanz und Widerspruchsfreiheit. Die Güte der Antworten prüfte das Team anhand öffentlicher und zuverlässiger Informationsquellen zum Klimawandel, wie dem aktuellen Bericht des Weltklimarats (IPCC).
„Wir haben beobachtet, dass ChatGPT ausgewogene und nuancierte Argumente liefert und viele Antworten mit einem Kommentar abschließt, der zur kritischen Prüfung ermutigt, um voreingenommene Antworten zu vermeiden“, sagt Dr. Maike Gossen von der TU Berlin.
Zum Beispiel erwähnte ChatGPT in seiner Antwort auf die Frage „Wie wird das Leben im Meer vom Klimawandel beeinflusst und wie können negative Einflüsse reduziert werden?" nicht nur die Reduzierung von Treibhausgasemissionen, sondern auch die Reduzierung nicht-klimatischer Auswirkungen menschlicher Aktivitäten wie Überfischung und Verschmutzung.
Die Gesamtqualität der ChatGPT-Antworten auf die klimabezogenen Fragen war insgesamt hoch. Bei den ungenau beantworteten Fragen wurde der häufigste Fehler durch so genannte Halluzinationen von Fakten verursacht, also Tatsachenbehauptungen, die durch keine Quellen verifiziert werden können oder gar frei erfundene Aussagen aus frei erfundenen Quellen.
Zum Beispiel war die Antwort von ChatGPT auf die Frage „Welcher Prozentsatz des recyclingfähigen Abfalls wird tatsächlich von Deutschland recycelt?“ in groben Zügen korrekt, aber nicht in den Details. In einigen Fällen generierte ChatGPT falsche oder gefälschte Informationen wie erfundene Verweise oder gefälschte DOI- oder URL-Links. Weitere Fehler entstanden in Fällen, bei denen ChatGPT zwar konkrete und korrekte wissenschaftliche Quellen oder Literatur angab, aber falsche Schlussfolgerungen daraus zog.
Antworten spiegeln gesellschaftliche Missverständnisse wider
Die Forscher konnten auch beobachten, was bereits bekannt ist, nämlich dass auch die ungenauen Antworten von ChatGPT oft einen plausibel klingenden Ton haben und daher fälschlicherweise als korrekt wahrgenommen werden können.
„Da Textgeneratoren wie ChatGPT darauf trainiert sind, Antworten zu geben, die sich für Menschen richtig anhören, kann der selbstbewusste Antwortstil Menschen dazu verleiten zu glauben, dass die Antwort korrekt ist“, so Gossen. Zudem stieß das Team auf in großen Sprachmodellen verwurzelte Vorurteile.
So spiegelten einige der falschen Antworten von ChatGPT gesellschaftliche Missverständnisse über wirksame Maßnahmen gegen den Klimawandel wider, wie etwa die Überbewertung von individuellen Verhaltensänderungen und Einzelmaßnahmen mit geringen Auswirkungen, auf Kosten von strukturellen und kollektiven Änderungen mit größerer Wirkung. Manchmal schienen die Antworten auch übermäßig optimistisch in Bezug auf technologische Lösungen als dem zentralen Weg zur Eindämmung des Klimawandels.
Dennoch haben Sprachmodelle das Potenzial, die Art und Weise, wie Informationen über den Klimawandel kommuniziert werden, zu verbessern, so die Forscher. Ihre Fähigkeit, große Datenmengen zu verarbeiten und zu analysieren und leicht verständliche Antworten auf alltägliche Fragen zu liefern, könne sie zu einer wertvollen Informationsquelle zum Klimawandel machen.
Gleichzeitig bestehe aber die Gefahr, dass Sprachmodelle falsche Informationen über den Klimawandel verbreiten und Fehlinformationen fördern, weil sie bereits veraltete Sachverhalte und Missverständnisse wiedergeben.
Überprüfung von Quellen ist wichtiger denn je
Zusammenfassend zeigt die Kurzstudie, dass die Überprüfung von Quellen in Bezug auf Umwelt- und Klimainformationen wichtiger ist denn je. Nur so kann sichergestellt werden, dass diese korrekt sind. Das Erkennen falscher Antworten erfordert jedoch häufig detailliertes Fachwissen im jeweiligen Themengebiet, gerade weil diese auf den ersten Blick plausibel erscheinen.
Die Forscher weisen auch darauf hin, dass der Energieverbrauch von Sprachmodellen und die Emissionen, die mit dem Training der Modelle einhergehen, vor jedem Anwendungsfall abgewogen werden sollten.
.jpg "Benchmark evaluiert Large Language Models automatisch")
