Autonome KI-Agenten werden in vielen Unternehmen rasch produktiv eingesetzt: Laut einer Umfrage von Red Hat nutzen bereits 94 Prozent der befragten Unternehmen in Deutschland solche Agenten im Live-Betrieb. Die Governance ist allerdings nicht so gut, wie die Befragten glauben, denn vielen Unternehmen fehlt ein umfassender Überblick darüber, wie ihre KI-Systeme im Alltag tatsächlich arbeiten. Die Mehrheit der befragten deutschen CIOs (80 Prozent) ist überzeugt, dass ihre KI-Agenten sicher arbeiten und regulatorische Vorgaben erfüllen. Ihre Zuversicht stützt sich auf den Einsatz von Guardrails und Monitoring. Die Untersuchungsergebnisse zeigen jedoch, dass dieser Optimismus nicht unbedingt gerechtfertigt ist, da es an vielen Stellen an Sichtbarkeit fehlt:
Lediglich 43 Prozent der Befragten kennen die Datenflüsse in ihrem Unternehmen genau und wissen, wo Daten gespeichert und verarbeitet werden.
Nur vier von zehn haben einen umfassenden Überblick über ihre Software-Lieferkette und alle direkten und indirekten Abhängigkeiten.
Gerade mal ein Drittel (33 Prozent) bewertet die von KI-Anbietern ausgehenden Risiken kontinuierlich und nicht nur beim initialen Onboarding.
Die Ergebnisse zeigen, dass die Befragten davon ausgehen, angemessene Mechanismen implementiert zu haben, um die Sicherheit und Souveränität ihrer KI-Agenten und -Umgebungen zu gewährleisten. In der Realität lassen sich diese Mechanismen oft nicht nachweisen oder kontrollieren. Die dynamische Natur von KI-Innovationen und Marktveränderungen kann dazu führen, dass ein KI-System bei seiner Einführung hohe Sicherheits- und Compliance-Standards erfüllt, aber schon kurze Zeit später stark exponiert ist.
Kleine Lücken in der Sichtbarkeit, großes Risiko für Daten
Deutsche Unternehmen treiben die Einführung von KI weiter voran. 45 Prozent von ihnen geben an, sich dabei vollständig auf getestete Guardrails, ein kontinuierliches Monitoring und automatische Interventionsmechanismen verlassen zu können. Weitere 35 Prozent der deutschen Unternehmen sind „ziemlich zuversichtlich“, dass sie Sicherheit und Compliance im Griff haben, müssen aber kleine Lücken bei Guardrails und Monitoring einräumen.
In Produktivumgebungen kann ein Datenaustausch zwischen Enterprise-Plattformen, Cloud-Services und externen KI-Modellen, der nicht vom Monitoring erfasst wird, zu Risiken führen. 35 Prozent der deutschen Unternehmen geben kleine Lücken bei der Sichtbarkeit der Datenflüsse zu, 12 Prozent haben bereits KI-Funktionen eingeführt, ohne die Datenflüsse genau zu verstehen, und 6 Prozent haben nur einen sehr begrenzten Überblick darüber, wo Daten gespeichert werden.
Im internationalen Vergleich zeigen sich dabei deutliche Unterschiede: So geben 61 Prozent der Befragten in Südafrika an, Datenflüsse lückenlos nachvollziehen zu können, in Frankreich sind es lediglich 31 Prozent. Für Unternehmen, die strenge regulatorische Anforderungen wie die DSGVO und den EU AI Act erfüllen müssen, bleibt es daher entscheidend, Datenflüsse über den gesamten Lebenszyklus von KI-Anwendungen hinweg nachvollziehbar und überprüfbar zu machen. Nur so lassen sich Compliance-Verstöße und Datenabflüsse vermeiden.
Die große Gefahr indirekter Software-Abhängigkeiten
77 Prozent der deutschen Unternehmen geben an, kritische Schwachstellen in Software innerhalb von 24 Stunden schließen zu können, sobald ein entsprechender Fix verfügbar ist. Die übrigen Unternehmen benötigen wenige Tage, länger als eine Woche dauert es nirgendwo. Allerdings wissen die meisten Unternehmen nicht genau, welche Software-Komponenten sie einsetzen. Lediglich 38 Prozent haben eine vollständige und stets aktualisierte Übersicht über alle genutzten Open-Source-Komponenten inklusive deren Herkunft, Versionsstände und direkten sowie indirekten Abhängigkeiten. Länderübergreifend sind es nur knapp 33 Prozent.
37 Prozent der hiesigen Unternehmen haben zwar einen guten Überblick über die Komponenten und Versionen, müssen jedoch Abstriche beim Wissen um deren Herkunft und indirekten Abhängigkeiten machen. Bei 23 Prozent fehlt ein vollständiger Überblick, unter anderem, weil sie sich auf Komponenten großer Projekte konzentrieren oder weil die Sichtbarkeit sehr stark von den konkreten Anwendungen beziehungsweise den Geschäftsbereichen abhängt, in denen sie eingesetzt werden. Zwei Prozent führen kein systematisches Tracking ihrer Open-Source-Software-Lieferkette durch.
Indirekte Abhängigkeiten sind in vielen Open-Source-Projekten üblich, was bedeutet, dass sie Bibliotheken, Frameworks und andere Komponenten aus weiteren Projekten einbinden. Diese Abhängigkeiten können ein erhebliches Risiko darstellen, insbesondere wenn sie nicht effektiv erfasst und evaluiert werden (62 Prozent).
Risikobewertungen als Dauer- statt Einmalaufgabe
Bei der Bewertung von Risiken, die von KI-Anbietern ausgehen, sind lediglich 33 Prozent der deutschen Unternehmen gut aufgestellt und verfügen über messbare Kriterien, die sie im laufenden KI-Betrieb kontinuierlich überwachen. Das sind deutlich mehr als beispielsweise in den Niederlanden (knapp 22 Prozent), aber erheblich weniger als etwa in Italien (51 Prozent).
Zwar führen 34 Prozent der Unternehmen in Deutschland ein Risiko-Assessment vor der Einführung neuer KI-Technologien durch, tun sich aber schwer damit, die Risiken auch im Anschluss zu überwachen und zu bewerten. 21 Prozent verlassen sich allein auf eine initiale Evaluierung, was in der schnelllebigen KI-Welt unzureichend sein kann, da sich Modelle, Daten, regulatorische Anforderungen oder Bedrohungen fast täglich verändern.
Diese Herausforderung und dass sie mit messbaren, intern kontrollierten Verfahren bewältigt werden muss, ist den Befragten durchaus bewusst. Nur 5 Prozent der deutschen Unternehmen verlassen sich bei Risikobewertungen allein auf externe Audits, Zertifizierungen und Zusicherungen in Verträgen. Und nur 7 Prozent vertrauen auf die Reputation der Anbieter und Erfahrungswerte oder haben keinen strukturierten Ansatz für die Bewertungen von Anbieterrisiken.
