Der Impact auf einen Blick  

Das Ziel war es, eine sichere, widerstandsfähige und zukunftsfähige agentische KI-Plattform für ein europäisches Infrastrukturunternehmen zu entwickeln. Das Framework hilft dabei, fortgeschrittene KI-spezifische Bedrohungen zu mitigieren und verankert Prinzipien verantwortungsvoller KI, GDPR-Schutzmaßnahmen sowie eine robuste Governance für KI-Agenten, die im Namen des Kunden handeln. Es orientiert sich an der EU-KI-Verordnung (EU AI Act) und berücksichtigt bereits Anforderungen des kommenden Cyber Resilience Act (CRA), um langfristige Compliance und Vertrauen sicherzustellen. Durch die Integration von Security-by-Design über den gesamten Lebenszyklus werden transparente, sichere und verlässliche KI-Dienste sichergestellt. Dieser Ansatz ermöglicht es dem Kunden, KI vertrauensvoll und in großem Maßstab einzusetzen, während Nutzer*Innen, Daten und Geschäftsabläufe geschützt werden. 

 

Ausgangslage und Herausforderung  

Ein europäisches Infrastrukturunternehmen plante gemeinsam mit einer führenden Cloud-Plattform, aufbauend auf deren Enterprise-AI-Stack, seinen Kundenservice durch den Einsatz einer agentischen KI der nächsten Generation zu revolutionieren. Anders als einfache Generative KI (GenAI), die auf die Erstellung von Text, Bildern oder anderen Inhalten ausgelegt ist, sollte diese KI als „Agent“ fungieren – fähig, Aufgaben wie das Erstellen von Support-Tickets bis hin zur Rechnungsstellung eigenständig zu übernehmen. 

Obwohl die erwarteten geschäftlichen Vorteile enorm waren, erkannte das Führungsteam, dass eine KI mit Handlungsmacht eine völlig neue und komplexe Risikolandschaft mit sich bringt. Missbrauch oder Fehlfunktionen könnten zu unbefugten Kontoänderungen, unbeabsichtigter Datenoffenlegung oder Verstößen gegen regulatorische Vorgaben führen – Bedrohungen, die das Kundenvertrauen und den Markenruf unmittelbar gefährden könnten. Der anfängliche Fokus auf schnelle Innovation musste daher von Beginn an mit einer robusten Sicherheitsstrategie ausbalanciert werden, um Datenlecks, Compliance-Verstöße und Reputationsschäden zu verhindern. 

 

Was auf dem Spiel stand  

Ohne ein dediziertes Sicherheitsframework für agentische KI war das Unternehmen erheblichen und wachsenden Risiken ausgesetzt, die das gesamte Vorhaben gefährden konnten: 

• Regulatorisches Risiko: Wenn Agenten auf personenbezogene Daten zugreifen und diese verändern, besteht ein hohes Risiko schwerwiegender DSGVO-Verstöße, falls sensible Informationen offengelegt werden. Die unabsichtliche Offenlegung privater Kundendaten würden zu einem direkten Vertrauens- und Umsatzverlust führen. In diesem Szenario würde der CISO persönlich für den Schutz der Daten und die Einhaltung gesetzlicher Vorgaben verantwortlich gemacht – das Risiko ist somit sowohl persönlicher als auch organisatorischer Natur. 
• Operative und finanzielle Schäden: Ein kompromittierter Agent könnte manipuliert werden, um unautorisierte Aktionen durchzuführen – etwa das Ausstellen falscher Rückerstattungen – was die Kundenzufriedenheit und betriebliche Effizienz direkt beeinträchtigen würde. Dies stellt ein zentrales Risiko für den Head of Customer Experience dar. 
• Reputationsschaden: Ein agentisches KI-System könnte dazu gebracht werden, voreingenommene, unangemessene oder schädliche Handlungen auszuführen, etwa den unsachgemäßen Umgang mit Kundendaten oder die Anwendung unfairer Geschäftslogik. Dies könnte dem öffentlichen Ansehen des Unternehmens schaden und die Markenintegrität des Unternehmens massiv beschädigen. Die Unternehmenskommunikation und die Geschäftsführung müssten die Folgen bewältigen und das Vertrauen wiederherstellen. 
• Geschäftsrisiko: Ein gravierender Sicherheitsvorfall mit dem KI-Agenten könnte nicht nur das Projekt zum Stillstand bringen, sondern auch dazu führen, dass Investoren und Partner die Fähigkeit des Unternehmens, sicher zu innovieren, infrage stellen – was seine Wettbewerbsposition am Markt gefährden würde. 

 

Unser Ansatz: So sind wir vorgegangen  

Wir haben ein Secure-by-Design-Framework implementiert, das die einzigartigen Bedrohungen agentischer KI adressierte, indem Sicherheit direkt im Modell, in den Tools des Agenten und in der umgebenden Infrastruktur verankert wurde. Der Ansatz war nicht nur technisch, sondern transformativ: 

• Agenten-zentriertes Threat Modeling: Der erste Schritt war die Entwicklung eines Bedrohungsmodells, das sich speziell auf die Risiken eines handlungsfähigen KI-Agenten konzentrierte. Dies ging über klassische LLM-Risiken hinaus und analysierte insbesondere, wie die Tools des Agenten und verbundene APIs missbraucht werden könnten. 
• Für die Implementierung mehrschichtiger KI-Schutzmaßnahmen haben ein vierstufiges Verteidigungssystem entwickelt: 
• Input-/Output-Schutzmechanismen: Eine ausgefeilte Filterebene wurde implementiert, um bösartige Eingaben wie Prompt-Injection zu erkennen und zu blockieren. Dadurch wird verhindert, dass die KI zu fehlerhaftem Verhalten verleitet oder zu Handlungen gebracht wird, die nicht beabsichtigt sind. 
• Granulare Kontrolle über die Aktionen des Agenten: Dies bildete den Kern der agentischen Sicherheit. Jedes Tool, das der Agent nutzen konnte (z. B. Zugriff auf ein CRM oder Interaktionen mit einem Abrechnungssystem), wurde nach dem Prinzip der minimalen Rechte abgesichert. Der Agent erhielt eng gefasste, widerrufbare Berechtigungen, und alle seine Aktionen wurden kontinuierlich protokolliert und auf Anomalien überwacht. 
• Datenminimierung und Governance: Im Einklang mit den Prinzipien verantwortungsvoller KI wurde ein strenges Daten-Governance-Modell etabliert. Der Agent wurde so konzipiert, dass er nur auf die absolut notwendigen Daten für eine Aufgabe zugreift. Außerdem wurden die Trainingsdaten sorgfältig geprüft, um Verzerrungen zu minimieren. 
• Observability & Monitoring: Um Transparenz und Vertrauen zu gewährleisten, wurde eine dedizierte Observability-Schicht integriert. Diese ermöglichte vollständige End-to-End-Sichtbarkeit auf Entscheidungen des Agenten, die Nutzung von Tools und Datenflüsse. Protokolle wurden mit SIEM/SOC-Systemen korreliert, um Anomalien zu erkennen, forensische Analysen zu ermöglichen und Echtzeitwarnungen auszugeben. Diese Ebene stärkte nicht nur die Sicherheit, sondern verbesserte auch die Erklärbarkeit und Audit-Fähigkeit. 
• Kontinuierliche Penetrationstests für agentische KI: Wir haben regelmäßig spezialisierte Penetrationstests durchgeführt, um reale Angriffe zu simulieren. Diese Tests suchten gezielt nach LLM-spezifischen Schwachstellen wie Prompt-Injection, Datenexfiltration und Model Inversion, um sicherzustellen, dass die Verteidigungsmechanismen des Agenten auch gegen neue Bedrohungen robust bleiben. 

 

Greifbare Erfolge aus der Zusammenarbeit 

Die Zusammenarbeit schuf eine sichere und vertrauenswürdige Grundlage für die strategischen Investitionen des Unternehmens in agentische KI, wobei die Partnerschaft ausgeweitet wurde, um auch zukünftige KI-Initiativen zu steuern: 

• Ausrichtung an Responsible AI & DSGVO: Das Framework stellte die technischen Kontrollen und Governance-Mechanismen bereit, die notwendig sind, um DSGVO-Verpflichtungen und CRA-Prinzipien einzuhalten. Interne Audits wurden ohne wesentliche Beanstandungen bestanden. 
• Nachgewiesene Bedrohungsabwehr: Bereits im ersten Monat des Betriebs blockierten die Input-/Output-Schutzmechanismen über 1.000 Angriffsversuche, darunter Prompt-Injection- und Tool-Exploitation-Angriffe. 
• Ermöglichte sichere Innovation: Das Sicherheitsframework gab dem Unternehmen die Sicherheit, den KI-Agenten für die gesamte Kundenbasis auszurollen. Die Bearbeitungszeit für Kundenanfragen konnte dadurch um 30 % reduziert werden ohne gemeldete Sicherheitsvorfälle während der Einführungsphase. 
• Etablierung eines wiederverwendbaren KI-Sicherheitsframeworks: Das mehrschichtige Verteidigungsmodell wurde als Standard für alle zukünftigen agentischen KI-Projekte übernommen und ermöglicht so schnellere und zugleich sichere Innovationen im gesamten Unternehmen. 
• Aufbau interner KI-Sicherheitsexpertise: Die Teams des Kunden entwickelten das notwendige Know-how, um LLM- und agentische KI-Risiken zu managen, und integrierten sichere KI-Praktiken in den täglichen Betrieb. 

Dieses Framework wird nun auf weitere KI-Initiativen in verschiedensten Branchen – von Banken bis hin zum Gesundheitswesen – ausgeweitet und unterstützt Unternehmen dabei, agentische KI mit Vertrauen einzusetzen und ein komplexes Risiko in einen Wettbewerbsvorteil zu verwandeln.