KI-Sicherheit im Unternehmen: Schatten-KI, Prompt Injection, Rechte von KI-Agenten – und KI in der Cybersicherheit

Über KI-Sicherheit im Unternehmen wird oft in einem Satz gesprochen: „Passt auf, was ihr in den Chat kopiert.“ Das ist wichtig, aber nur ein Teil des Bildes. KI im Unternehmen muss geschützt werden – und zugleich kann KI helfen, das Unternehmen zu schützen. Dieser Beitrag beschreibt beide Seiten aus Sicht der Abwehr: was nötig ist, damit KI-Werkzeuge kein neues Einfallstor werden, und wo KI das Sicherheitsteam entlastet. Angriffstechniken beschreiben wir nicht.

KI-Sicherheit beginnt nicht mit einem Filter am Eingang, sondern mit der Frage, was die KI lesen und was sie tun darf. Wenn ein Agent nur auf das zugreift, was er braucht, und jeden wichtigen Schritt ein Mensch freigibt, hat selbst eine gelungene Manipulation begrenzte Folgen. Genauso sehe ich KI in der Abwehr: als Unterstützung für ein Team, das seine Systeme versteht – nicht als Ersatz dafür.

— Dariusz Wtykło, Inhaber und CEO von Primessio

Warum jetzt: KI ist schneller in den Prozessen als die Sicherheit

Die KI-Sicherheitsstudie von BSI und TÜV-Verband zeigt diese Lücke in Zahlen. Verbindliche interne Richtlinien für den KI-Einsatz haben 59 Prozent der Unternehmen, die KI nutzen³. Eigene Prozesse für KI-bezogene Sicherheitsvorfälle haben nur 11 Prozent der Unternehmen, die KI nutzen oder einführen wollen¹. Gleichzeitig berichten 17 Prozent von bestätigten oder vermuteten Cyberangriffen oder Betrugsversuchen mit KI-Bezug in den letzten 12 Monaten². Die Autoren fassen es klar zusammen: Unternehmen führen KI schneller ein, als sie ihre Sicherheitsstrukturen anpassen¹.

Erste Seite: die Sicherheit der KI im Unternehmen

Schatten-KI – Werkzeuge, von denen das Unternehmen nichts weiß

Schatten-KI (Shadow AI) ist die Nutzung von KI-Werkzeugen ohne Wissen und Freigabe des Unternehmens: privates Chat-Konto, Browser-Erweiterung, kostenloser Übersetzer. In der Studie von Microsoft und LinkedIn geben 78 Prozent der KI-Nutzer an, eigene KI-Werkzeuge mit zur Arbeit zu bringen⁶ – eine Herstellerstudie, aber die Richtung ist klar. Das Problem ist nicht die KI selbst, sondern dass Firmendaten dort landen, wo das Unternehmen Speicherung und Weiterverwendung nicht kontrolliert.

Ein Verbot allein wirkt selten, denn der Bedarf bleibt. BSI und TÜV-Verband empfehlen ein gepflegtes KI-Inventar – Anwendungen, Modelle, Schnittstellen und Verantwortliche, einschließlich KI-Funktionen in bestehender Software – sowie klare Nutzungsregeln, Risikobewertungen und Freigaben, die Schatten-KI verhindern sollen⁴. Dazu gehört ein firmeneigenes Werkzeug, das private Konten wirklich ersetzt, und eine kurze Schulung: Was darf hinein, was nicht.

Prompt Injection – wenn Daten sich als Anweisungen ausgeben

Ein Sprachmodell trennt Anweisungen und Daten nicht strikt. Forschende formulieren es so: LLM-integrierte Anwendungen verwischen die Grenze zwischen Daten und Anweisungen⁹. Liest ein Assistent eine E-Mail, eine Webseite oder eine Datei, kann ein darin versteckter Satz versuchen, sein Verhalten zu ändern – OWASP spricht von indirekter Prompt Injection, wenn das Modell Eingaben aus externen Quellen wie Webseiten oder Dateien übernimmt⁷.

Das NIST hält fest, dass es noch keinen sicheren Weg gibt, KI vor Irreführung zu schützen¹⁰. Daraus folgt eine praktische Regel: Wir gehen davon aus, dass ein Filter irgendwann versagt, und bauen das System so, dass die Folgen klein bleiben. Externe Inhalte werden als nicht vertrauenswürdig markiert und von Anweisungen getrennt, ein Assistent, der Post liest, darf weder versenden noch zahlen, und jeder Schritt wird protokolliert.

Zu weitreichende Rechte von KI-Agenten

Ein KI-Agent antwortet nicht nur, er handelt: Er versendet, speichert, ändert Datensätze. OWASP beschreibt dieses Risiko als Excessive Agency – eine Schwachstelle, die schädliche Aktionen als Reaktion auf unerwartete, mehrdeutige oder manipulierte Modellausgaben ermöglicht – und empfiehlt, Aktionen mit großer Tragweite vor der Ausführung von einem Menschen freigeben zu lassen⁸. Dieselbe Logik beschreibt die OECD für Agenten in Organisationen: Sie lohnen sich dort, wo sich Ergebnisse prüfen lassen und Fehler begrenzt oder umkehrbar sind¹¹.

In der Praxis heißt das: ein eigenes technisches Konto für den Agenten, Zugriff nur auf die nötigen Daten, Limits für Aktionen, menschliche Freigabe bei Zahlungen, Versand an Kunden und Änderungen in Systemen, ein Protokoll jedes Schritts und Tests mit untypischen und manipulierten Daten vor dem Produktivbetrieb. Mehr zur Gestaltung von Agenten steht in unserer Analyse zu KI-Agenten – den Link finden Sie am Ende des Beitrags.

Daten in der EU und Abhängigkeit von Anbietern

Jede Anfrage an ein Modell ist eine Datenweitergabe. Laut BSI und TÜV-Verband betreiben 54 Prozent der Unternehmen KI-Anwendungen überwiegend bei externen Cloud-Anbietern, und 30 Prozent bezeichnen sich als abhängig von außereuropäischen KI-Anbietern³. EU-weit gehören Datenschutzbedenken zu den häufigsten Gründen, warum Unternehmen überhaupt keine KI nutzen (52,7 Prozent)¹².

Die Antwort ist nicht der Verzicht auf KI, sondern die Entscheidung, welche Daten wo verarbeitet werden: ein Anbieter mit Verarbeitung in der EU, ein Auftragsverarbeitungsvertrag, Datenminimierung in den Anfragen und – wo sinnvoll – ein Modell in der eigenen Infrastruktur. Für Hochrisiko-Systeme verlangt die KI-Verordnung ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit über den gesamten Lebenszyklus (Art. 15)¹⁴.

Zweite Seite: KI in der Cybersicherheit – KI als Werkzeug der Abwehr

Dieselbe Technik hilft Teams, die Systeme verteidigen. In der Studie von BSI und TÜV-Verband erhofft sich jeder dritte Befragte eine erhöhte IT-Sicherheit durch KI, etwa durch frühzeitige Erkennung von Cyberangriffen⁵. Die Autoren empfehlen zu prüfen, wie KI die eigene Abwehr unterstützen kann: beim Erkennen von Schwachstellen in autorisierten Umgebungen, beim Pflegen des IT-Inventars oder beim Filtern verdächtiger E-Mails⁵.

Prüfung von Code und Abhängigkeiten

KI liest große Mengen Code zügig und markiert Stellen zur Prüfung: unsichere Muster, fehlende Eingabevalidierung, veraltete Bibliotheken. Im Finale der DARPA AI Cyber Challenge fanden die KI-Systeme der Teams 54 eindeutige synthetische Schwachstellen und schlossen 43 davon; zusätzlich entdeckten sie 18 reale Schwachstellen¹⁵. Das ist ein Wettbewerbsergebnis auf vorbereiteten Aufgaben, kein Versprechen für jedes Unternehmen – aber es zeigt die Richtung.

Es gilt auch umgekehrt: Mit KI geschriebener Code braucht dieselbe Prüfung. In einer auf dem IEEE Symposium on Security and Privacy vorgestellten Studie waren rund 40 Prozent der Programme, die ein Code-Assistent in Szenarien zu typischen Schwachstellenklassen erzeugte, verwundbar¹⁶. Deshalb durchläuft bei uns jede Änderung – ob von Menschen oder mit KI geschrieben – Review, Tests und automatische Prüfwächter.

Logs und Anomalien

Die Systeme eines Unternehmens erzeugen mehr Logs, als ein Mensch lesen kann. KI hilft, sie zusammenzufassen, ähnliche Ereignisse zu gruppieren und Abweichungen zu markieren: Anmeldung zu ungewöhnlicher Zeit, plötzlich mehr Anfragen, neue Zielrichtung im Datenverkehr. Ob es ein Vorfall ist, entscheidet der Mensch – das Modell zeigt, wo man hinsehen sollte, es urteilt nicht. Dieselben Protokolle sind auch die Grundlage für die Kontrolle der KI selbst: Ohne Aufzeichnung der Agentenschritte lässt sich nicht nachvollziehen, was er getan hat und warum.

Schwachstellen priorisieren

Die Liste bekannter Schwachstellen ist in einem typischen Unternehmen länger als die Zeit zum Patchen – entscheidend ist also, womit man beginnt. EPSS, entwickelt von FIRST, ist ein auf maschinellem Lernen basierendes System, das die Wahrscheinlichkeit schätzt, dass eine veröffentlichte CVE-Schwachstelle in den nächsten 30 Tagen ausgenutzt wird¹⁷. Verbunden mit dem Wissen über die eigenen Systeme – was aus dem Internet erreichbar ist, wo Kundendaten liegen – ergibt sich eine datenbasierte Reihenfolge statt einer reinen Schweregrad-Liste.

E-Mail und Phishing

Unter den Unternehmen, die in der Studie von BSI und TÜV-Verband KI-gestützte Angriffe oder Betrugsversuche meldeten, nannten 90 Prozent hochrealistische Phishing-Mails². Auf der Abwehrseite hilft KI, verdächtige Nachrichten zu filtern⁵. Genauso wichtig bleibt eine einfache Regel: Zahlungsanweisungen und geänderte Kontodaten immer über einen zweiten Kanal bestätigen.

Bereich	Was KI tut	Was beim Menschen bleibt
Code und Abhängigkeiten	markiert verdächtige Stellen und veraltete Bibliotheken	Bewertung, Korrektur, Test
Logs und Anomalien	fasst zusammen, gruppiert, markiert Abweichungen	Entscheidung, ob es ein Vorfall ist
Schwachstellen-Priorisierung	schätzt die Wahrscheinlichkeit einer Ausnutzung	Reihenfolge nach Bedeutung der Systeme
E-Mail	filtert und markiert verdächtige Nachrichten	Bestätigung von Zahlungen über zweiten Kanal

Was KI in der Sicherheit nicht ersetzt

• Wissen über die eigenen Systeme. KI markiert ein verdächtiges Ereignis, aber nur das Team weiß, welcher Server kritisch ist und welcher ein Testsystem.
• Prüfung der Ergebnisse. Laut BSI und TÜV-Verband prüfen 67 Prozent der Unternehmen kritische KI-Ergebnisse³; in der globalen McKinsey-Umfrage geben nur 27 Prozent der Befragten an, dass alle KI-Inhalte vor der Nutzung geprüft werden¹³. Der Rest ist ein Risiko, das das Unternehmen selbst trägt.
• Notfallprozesse. Bestehende Sicherheits- und Notfallprozesse sind um KI-Szenarien zu ergänzen: Datenabfluss, manipulierte Inhalte, ungewollte Agentenaktionen.
• Verantwortung. Für die Entscheidung haftet das Unternehmen, egal wer oder was sie vorbereitet hat.

Womit Sie anfangen – Plan für den ersten Monat

• Erfassen Sie, welche KI-Werkzeuge das Team nutzt – auch KI-Funktionen in vorhandener Software.
• Legen Sie Regeln fest: welche Werkzeuge, mit welchen Daten, wer neue freigibt.
• Geben Sie dem Team ein firmeneigenes Werkzeug, das private Konten ersetzt.
• Dokumentieren Sie für jeden Agenten die Rechte, richten Sie menschliche Freigaben für Aktionen mit großer Tragweite ein und schalten Sie das Schrittprotokoll ein.
• Ergänzen Sie die Notfallprozesse um KI-Szenarien.
• Wählen Sie einen Bereich der Abwehr für KI-Unterstützung – etwa Abhängigkeitsprüfung oder Schwachstellen-Priorisierung – und messen Sie, ob es hilft.

So planen wir Sicherheit in unseren Projekten – die Beschreibung finden Sie im Abschnitt KI-Sicherheit im Unternehmen auf der Seite KI-Beratung und KI-Automatisierung. Den gesamten Weg der Einführung, von der Prozesslandkarte bis zum Betrieb, beschreibt das Primessio-Modell der KI-Einführung – eine von Primessio in der Projektpraxis entwickelte Methode.

Häufige Fragen

Was ist Schatten-KI und wie lässt sie sich eindämmen?

Schatten-KI (Shadow AI) ist die Nutzung von KI-Werkzeugen, die das Unternehmen nicht freigegeben hat – meist in guter Absicht, aber mit Firmendaten im privaten Konto. In der Studie von Microsoft und LinkedIn geben 78 Prozent der KI-Nutzer an, eigene KI-Werkzeuge mit zur Arbeit zu bringen. BSI und TÜV-Verband empfehlen ein gepflegtes KI-Inventar mit Anwendungen, Modellen, Schnittstellen und Verantwortlichen sowie klare Nutzungsregeln, Risikobewertungen und Freigaben. In der Praxis bewährt sich die Kombination aus firmeneigenem Assistenten, einer kurzen Liste erlaubter Werkzeuge und einer Schulung.⁶⁴

Was ist Prompt Injection und wie schützt man sich?

Prompt Injection ist der Versuch, das Verhalten eines Modells über in Inhalten versteckte Anweisungen zu ändern. Die indirekte Variante kommt über externe Daten, etwa Webseiten oder Dateien. Schutz entsteht in Schichten: Externe Inhalte gelten als nicht vertrauenswürdig, der Agent hat nur die nötigen Rechte, Aktionen mit großer Tragweite warten auf menschliche Freigabe, und jeder Schritt wird protokolliert. Laut NIST gibt es noch keinen sicheren Schutz – entscheidend ist daher, die Folgen zu begrenzen.⁷⁸¹⁰

Wie hilft KI in der Cybersicherheit eines Unternehmens?

Bei Arbeit, die für Menschen zu umfangreich ist: Prüfung von Code und Abhängigkeiten, Auswertung von Logs, Erkennung ungewöhnlicher Ereignisse, Filtern verdächtiger E-Mails und Priorisierung von Schwachstellen. BSI und TÜV-Verband empfehlen zu prüfen, wie KI die eigene Abwehr unterstützen kann – etwa beim Erkennen von Schwachstellen in autorisierten Umgebungen, beim Pflegen des IT-Inventars oder Filtern verdächtiger E-Mails. Das System EPSS schätzt mit maschinellem Lernen die Wahrscheinlichkeit, dass eine Schwachstelle in den nächsten 30 Tagen ausgenutzt wird.⁵¹⁷

Ist Code, der mit KI geschrieben wurde, sicher?

Nicht von vornherein. In einer auf dem IEEE Symposium on Security and Privacy vorgestellten Studie waren rund 40 Prozent der Programme, die ein Code-Assistent in Szenarien zu typischen Schwachstellenklassen erzeugte, verwundbar. Deshalb durchläuft KI-Code dieselbe Prüfung, dieselben Tests und dieselbe Abhängigkeitskontrolle wie von Menschen geschriebener Code.¹⁶

Wo sollten Unternehmensdaten in KI-Lösungen verarbeitet werden?

Dort, wo das Unternehmen Kontrolle und eine Rechtsgrundlage hat – für Unternehmen in der EU meist in der EU, mit möglichst wenig Daten im Modell. Laut BSI und TÜV-Verband betreiben 54 Prozent der Unternehmen KI-Anwendungen überwiegend bei externen Cloud-Anbietern, und 30 Prozent bezeichnen sich als abhängig von außereuropäischen KI-Anbietern. Datenschutzbedenken gehören zu den häufigsten Gründen, warum Unternehmen in der EU keine KI nutzen (52,7 Prozent).³¹²

Quellen

1. BSI und TÜV-Verband (Feldarbeit: forsa): KI-Sicherheitsstudie 2026 · 2026-10-07 · Stufe 2 · geprüft 2026-10-20
2. BSI und TÜV-Verband (Feldarbeit: forsa): KI-Sicherheitsstudie 2026 · 2026-10-07 · Stufe 2 · geprüft 2026-10-20
3. BSI und TÜV-Verband (Feldarbeit: forsa): KI-Sicherheitsstudie 2026 · 2026-10-07 · Stufe 2 · geprüft 2026-10-20
4. BSI und TÜV-Verband (Feldarbeit: forsa): KI-Sicherheitsstudie 2026 · 2026-10-07 · Stufe 2 · geprüft 2026-10-20
5. BSI und TÜV-Verband (Feldarbeit: forsa): KI-Sicherheitsstudie 2026 · 2026-10-07 · Stufe 2 · geprüft 2026-10-20
6. Microsoft und LinkedIn: 2024 Work Trend Index Annual Report: AI at Work Is Here. Now Comes the Hard Part · 2024-05-08 · Stufe 3 · geprüft 2026-10-20
7. OWASP GenAI Security Project: LLM01:2025 Prompt Injection · 2024-11 · Stufe 2 · geprüft 2026-10-09
8. OWASP GenAI Security Project: LLM06:2025 Excessive Agency · 2024-11 · Stufe 2 · geprüft 2026-10-09
9. arXiv: Not what you’ve signed up for: Compromising Real-World LLM-Integrated Applications with Indirect Prompt Injection (Greshake et al.) · 2023-02-23 · Preprint, nicht begutachtet · Stufe 2 · geprüft 2026-10-20
10. NIST: NIST Identifies Types of Cyberattacks That Manipulate Behavior of AI Systems · 2024-01-04 · Stufe 2 · geprüft 2026-10-20
11. OECD: Agentic AI in organisations: Early insights from practitioner interviews (OECD AI Papers No. 65) · 2026-09 · Stufe 2 · geprüft 2026-10-09
12. Eurostat: The use of artificial intelligence in the European Union — Key results · 2026-03 · Stufe 1 · geprüft 2026-10-09
13. McKinsey & Company: The state of AI: How organizations are rewiring to capture value · 2025-03-12 · Stufe 2 · geprüft 2026-10-09
14. EUR-Lex: Regulation (EU) 2024/1689 (AI Act), Article 15: Accuracy, robustness and cybersecurity · 2024-07-12 · Stufe 1 · geprüft 2026-10-20
15. DARPA: AI Cyber Challenge marks pivotal inflection point for cyber defense · 2025-08-08 · Stufe 2 · geprüft 2026-10-20
16. IEEE S&P / arXiv: Asleep at the Keyboard? Assessing the Security of GitHub Copilot’s Code Contributions (Pearce et al., IEEE Symposium on Security and Privacy 2022) · 2022-05 · Stufe 1 · geprüft 2026-10-20
17. FIRST: Exploit Prediction Scoring System (EPSS) · 2026 · Stufe 2 · geprüft 2026-10-20

Verwandte Themen

KI-Automatisierung & KI-Einführung →KI im Unternehmen einführen →KI-Agenten im Unternehmen: was sie sind, was sie können und wie man sie sicher einführt →KI im Mittelstand: Wie künstliche Intelligenz den Blick auf das eigene Unternehmen verändert – und was realistisch erreichbar ist →KI-Verordnung: Fristen für Unternehmen nach dem Digital Omnibus 2026 →