Künstliche Intelligenz entwickelt sich vom antwortenden Werkzeug zum handelnden Agenten. Agentische Systeme sind in der Lage, Ziele zu zerlegen, Anwendungen anzusteuern und innerhalb definierter Grenzen Aktionen auszulösen. Damit stellt sich eine zentrale Frage neu: Wer trägt die Verantwortung, wenn ein System einen Prozess eigenständig ausführt?
„Wenn ein KI-Agent nicht nur empfiehlt, sondern handelt, macht er aus einer Qualitätsfrage eine Governance- und Haftungsfrage. Unternehmen müssen deshalb nachvollziehen können, welche Befugnisse ein Agent hatte und warum eine konkrete Aktion ausgelöst wurde“, erklärt Mathias Herrmann, CEO von Alleherzen. Ein KI-Agent wird dadurch jedoch nicht selbst zum Rechtssubjekt. Verantwortlich bleiben die Personen oder Unternehmen, die ein System entwickeln, bereitstellen, betreiben oder einsetzen – abhängig von Rolle, Einsatz und anwendbarem Recht.
AI Act verteilt Pflichten nach Rollen
Der AI Act sieht für Anbieter und Betreiber von Hochrisiko-KI umfangreiche Pflichten vor. Die zentralen Anforderungen werden nach der jüngsten Fristverschiebung für Annex-III-Systeme ab Dezember 2027 und für produktbezogene Hochrisiko-Systeme ab August 2028 anwendbar. Dazu gehören unter anderem Risikomanagement, technische Dokumentation und Protokollierung auf Anbieterseite. Betreiber müssen Systeme bestimmungsgemäß einsetzen, menschliche Aufsicht gewährleisten und den Betrieb überwachen. Entscheidend bleibt, wer welche Kontrolle hatte und welche Pflichten verletzt wurden – so der risikobasierte Ansatz des EU AI Act.
Agentische Systeme machen diese Zuordnung jedoch anspruchsvoller. Ein Agent kann ein internes System falsch bedienen, fehlerhafte Informationen weiterverarbeiten oder über eine Schnittstelle eine externe Aktion auslösen. Hinzu kommen Prompt Injection, manipulierte Daten, fehlerhafte Tool-Aufrufe und überhöhte Berechtigungen. „Das Risiko liegt deshalb nicht nur im Modell, sondern im Gesamtsystem und seinen Handlungsmöglichkeiten“, präzisiert Herrmann. „Haftung entsteht nicht automatisch durch einen Fehler des KI-Agenten. Maßgeblich sind die einschlägigen Regeln, etwa aus dem Vertrags-, Delikts- und Produkthaftungsrecht sowie aus sektorspezifischen Vorschriften. Die neue EU-Produkthaftungsrichtlinie erfasst ausdrücklich auch Software und KI-Systeme. Für Produkte, die nach dem 8. Dezember 2026 in Verkehr gebracht oder in Betrieb genommen werden, erweitert sie damit den produkthaftungsrechtlichen Rahmen auch auf KI.“
Besonders relevant ist die Beweisbarkeit. Wenn ein Agent mehrere Schritte autonom ausführt, reicht der Blick auf das Endergebnis häufig nicht aus. Unternehmen müssen rekonstruieren können, welche Eingaben vorlagen, welche Werkzeuge beteiligt waren, welche Berechtigungen bestanden und wann eine Aktion ausgelöst wurde. Für bestimmte Hochrisikosysteme sieht der AI Act automatisch erzeugte Logs und angemessene Überwachung vor.
Strafen können erheblich ausfallen
Bei Verstößen gegen den AI Act drohen neben zivilrechtlichen Ansprüchen auch Verwaltungsstrafen. „Für verbotene KI-Praktiken sind bis zu 35 Millionen Euro oder sieben Prozent des weltweiten Jahresumsatzes möglich – maßgeblich ist der höhere Betrag“, so der Experte. „Weitere Pflichtverstöße können bis zu 15 Millionen Euro oder drei Prozent kosten. Für falsche oder irreführende Angaben sind bis zu 7,5 Millionen Euro oder ein Prozent vorgesehen.“ Bei KMUs gelten besondere Begrenzungen. Für Unternehmen bedeutet das: Compliance darf nicht erst nach einem Vorfall beginnen. Wer Agenten produktiv einsetzen will, braucht eine Verbindung zwischen Berechtigung, menschlicher Kontrolle, Protokollierung und organisatorischer Verantwortung. Entscheidend ist die Trennung zwischen dem, was ein Agent lesen, anstoßen und ausführen darf.
Kontrollschicht als Leitplanke
Hier gewinnt ein „Governed Access Layer“ an Bedeutung. Sie kann als kontrollierender Puffer zwischen KI-Agenten und Systemen, Daten sowie Aktionen fungieren. Zugriffe lassen sich kontextbezogen begrenzen, kontrollieren und protokollieren. Das ersetzt zwar keine rechtliche Prüfung oder menschliche Verantwortung, schafft aber eine technische Grundlage für Governance. „Wir müssen weg von der Vorstellung, dass Sicherheit allein durch ein besseres Modell entsteht“, fordert Herrmann. „Bei agentischer KI entscheidet die Zugriffsebene darüber, was ein Agent in der realen Welt überhaupt tun kann. Governance muss dort greifen, wo aus einer Modellentscheidung eine konkrete Aktion entsteht.“
Ein Beispiel für diesen Ansatz ist die Lösung Colossos. Der „Governed Access Layer“ setzt an der Schnittstelle zwischen KI und Unternehmensressourcen an und zielt darauf ab, Zugriffe und Aktionen kontrollierbar zu machen. Verantwortlichkeit sollte nicht erst im Nachhinein rekonstruiert werden müssen, sondern bereits beim Zugriff technisch berücksichtigt werden. Agentische KI wird damit nicht zur rechtsfreien Zone. Je autonomer Systeme handeln, desto wichtiger wird die Zuordnung von Rollen, Befugnissen und Kontrollmechanismen. Der EU AI Act liefert dabei den regulatorischen Rahmen. Die Herausforderung besteht darin, diesen in technische und organisatorische Prozesse zu übersetzen, damit Unternehmen neue Technologien nutzen können, ohne die Verantwortung dem Zufall zu überlassen.
