Eine repräsentative Unternehmensbefragung des TÜV-Verbands und des Bundesamts für Sicherheit in der Informationstechnik (BSI) zu KI-Sicherheit zeigt, dass eine große Mehrheit der Unternehmen in Deutschland erhebliche Risiken beim Einsatz von KI-Agenten sieht.
84% befürchten, dass die Systeme auf Grundlage falscher oder erfundener Informationen Fehlentscheidungen treffen. Jeweils 78% sehen die Gefahr, dass über Schnittstellen zu anderen Systemen neue Sicherheitslücken entstehen, sensible Daten oder Geschäftsgeheimnisse abfließen oder die KI ungewollte Aktionen auslöst.
3 von 4 (74%) bewerten unklare Verantwortung und Haftung bei Fehlern als hohes Risiko, 65% eine Manipulation von außen. KI-Agenten bearbeiten Aufgaben über mehrere Schritte hinweg selbstständig und greifen dabei auf andere Anwendungen und Systeme zu. In den vergangenen Monaten sind KI-Agenten wiederholt unkontrolliert aus ihren Testumgebungen ausgebrochen.
„Sicherheitsbedenken bremsen den KI-Einsatz, solange Unternehmen nicht beurteilen können, ob eine KI im Betrieb sicher und kontrollierbar arbeitet“, sagt Dr. Joachim Bühler, Geschäftsführer TÜV-Verband.
Der TÜV-Verband fordert die EU-Kommission und Mitgliedstaaten auf, sich international für verbindliche Sicherheitsvorgaben für leistungsfähige KI-Modelle sogenannte Frontier-Modelle einzusetzen. Dazu gehören verpflichtende Prüfungen vor der Markteinführung, die herstellerunabhängig und im öffentlichen Auftrag durchgeführt werden.
Gleichzeitig warnt der TÜV-Verband davor, den europäischen Rechtsrahmen für Hochrisiko-KI zu zersplittern. Kaum ist im KI-Omnibus die Entscheidung gefallen, Medizinprodukte im direkten Anwendungsbereich des AI Acts zu belassen, droht bei der Überarbeitung der Medizinprodukteverordnung, dass KI in Medizinprodukten doch noch daraus herausgelöst wird.
„Verteilt man die KI-Anforderungen auf einzelne Sektoren, entsteht ein Flickenteppich. Zudem fallen viele Produkte unter mehrere Regelwerke zugleich: Ein OP-Roboter ist Medizinprodukt und Maschine.“ Aus Sicht des TÜV-Verbands muss der AI Act europaweit einheitlich angewandt und konsequent durchgesetzt werden.
