ChatGPT 3.5 hatte noch nicht genug gelernt: die frühe Version der KI konnte keine einzige Prüfung aus dem US-amerikanischen Rechnungswesen bestehen und kam durchschnittlich auf 53,1 Prozent der Punkte. Anders sieht es beim Folgemodell ChatGPT 4 aus, mit zusätzlichen Plug-ins, Training und mehr Ressourcen: mit im Schnitt 85,1 Prozent der Punkte bestand der Chatbot alle Prüfungsteile.
Die Studie untersuchte unterschiedliche Abschlüsse wie den zum Certified Public Accountant (CPA) sowie zum Enrolled Agent – vergleichbar mit den deutschen Abschlüssen in der Wirtschaftsprüfung und Steuerberatung. Lassen sich die Ergebnisse aus den USA daher auf deutsche Zertifizierungsprüfungen im Rechnungswesen übertragen?
Chancen und Anpassungsbedarf
„Grundsätzlich ja“, meint Dr. Marc Eulerich, Professor für Interne Revision an der Mercator School of Management der UDE. Einen wichtigen Unterschied gibt es hingegen: während die amerikanischen CIA (Certified Internal Auditor) und CMA (Certified Management Accountant) als Multiple-Choice-Prüfungen abzulegen sind, werden in Deutschland auch konkrete Anwendungsfälle abgefragt.
„Einige Antworten, die ChatGPT 3.5 dort gegeben hat, waren tatsächlich zum Schmunzeln“, so Eulerich. „Aber gerade durch die technische Entwicklung und die Verbindung mit anderen Technologien, wie zum Beispiel Plug-ins, ist die KI in Version 4 auch in diesen komplexeren Bereichen nun deutlich leistungsfähiger und konnte auch diese Hürde meistern.“
Prof. Dr. Stefan Rumann, Prorektor der UDE für Studium, Lehre und Bildung, ordnet das Ergebnis für die UDE ein: „Wir sehen die Entwicklung als Chance für neue Impulse, aber auch als Hinweis auf eine gegebenenfalls notwendige Anpassung des Prüfungsrechts.“
Der Einfluss von ChatGPT auf Berufe
Das ChatGPT und Co. ganze Berufe verändern werden, ist für Eulerich deshalb klar. Die KI kann Aufgaben vereinfachen und automatisieren, der Mensch seine eigenen Ressourcen besser einsetzen.
Für das Forschungsteam um Professor Eulerich liegt in dem Forschungsthema noch viel Potenzial und weiterer Klärungsbedarf: „Es bleibt etwa die Frage offen, inwieweit man sich in der Praxis zu sehr auf die Ergebnisse solcher Systeme verlässt.“ Deshalb wird es laut Eulerich im Lehrbetrieb zukünftig viel mehr um die grundsätzliche Veränderung solcher Prüfungsformen gehen müssen.
.jpg "Benchmark evaluiert Large Language Models automatisch")
