KI-Vorfälle rund um Claude und OpenAI: Warum die Regeln des EU AI Act genau zur richtigen Zeit kommen

(Auszug aus der Pressemitteilung)

Mit dem zweiten August werden Teile der verbleibenden Elemente des EU AI Act, der ersten KI-Regulierung der EU, anwendbar und sollen für mehr Disziplin und Sicherheit sorgen. Die Reglementierungen kommen wohl zur richtigen Zeit, wie die jüngsten Vorfälle um den KI-Chatbot Claude und Hugging Face zeigen. KI reißt Sicherheitslücken und kann Daten kompromittieren. Was bedeuten die neuen Regeln für Unternehmen, und wie können sie sich vorbereiten? Acht Jahre nach Einführung der DSGVO und angesichts neu hinzugekommener Regularien zur Cyberresilienz wie NIS2 oder DORA stehen Datensicherung und damit Datenschutz erneut vor neuen Anforderungen. KI-Modelle wie Anthropics Mythos werden zu einem drastischen Anstieg von Datenschutzvorfällen führen.

Typische Kinderkrankheiten einer jungen Technologie oder grundlegende Sicherheitsrisiken, die auch künftig schwer einzudämmen bleiben? Die jüngsten Ereignisse sprechen für Letzteres. Getestete KI-Systeme überraschten ihre Entwickler: OpenAI kompromittierte Hugging Face und mindestens vier weitere Dienste. Die KI handelte nicht böswillig, sondern verließ für ein „Reward Hacking“ (Belohnungsmanipulation) seinen vorgesehenen Wirkungsbereich und konnte durch das Kompromittieren externer Systeme sein – durchgehend unverändertes – Ziel erreichen. Nun hat auch Anthropic zugeben, dass seine Künstliche Intelligenz in Testläufen ungeplant in Computersysteme von drei Unternehmen eingedrungen sei.

In einem anderen Vorfall fanden KI-Funktionen neue Wege oder interagierten mit etablierten externen Diensten, wie dem Google-Index im Fall des Claude-Chatbots. Nutzer hatten diese Chats zuvor zur Freigabe aktiviert. Dadurch waren ihre Prompts von Suchmaschinen wie Google indexiert und damit öffentlich zugänglich. Hunderte von Nutzern machten ihre Unterhaltungen mit einer Funktion des KI-Chatbots Claude im Internet öffentlich zugänglich, ohne dies zu wissen – ein Verstoß gegen den Datenschutz.

KI ist neu, faszinierend und offensichtlich schwer beherrschbar. Selbst in kontrollierten Testszenarien fanden die Modelle einen Weg aus der isolierten Umgebung. Dabei handeln autonome KI-Systeme zielorientiert und tun dies häufig auf eine Weise, die von ihren Entwicklern weder bedacht noch beabsichtigt war.

Notwendige Regeln für mehr Disziplin und eine fundierte Risikoanalyse

Es wirkt fast ironisch, dass im Juli so viele Vorfälle auftraten. Denn am zweiten August werden ein guter Teil der verbleibenden Elemente des EU AI Act durchsetzbar und vervollständigen den risikobasierten Regulierungsrahmen für KI-Systeme.

Die Verordnung legt Regeln für Entwickler und Anwender von Hochrisiko-KI-Systemen fest. Sie umfasst unter anderem Risikomanagement, Data Governance, technische Dokumentation, Aufzeichnungspflichten, Transparenz, menschliche Aufsicht, Genauigkeit, Resilienz, Cybersicherheit und Meldepflichten schwerwiegender Vorfälle: Für eine vertrauenswürdige, nutzerzentrierte KI in Europa, welche die Gesundheit, Sicherheit oder Grundrechte der EU-Bürger nicht gefährdet.

Fünf unveränderliche Wahrheiten

Unternehmen mit eigenen KI-Projekten oder solche, die externe KI-Dienste nutzen, sollten spätestens jetzt prüfen, inwieweit KI-Regeln ihre IT-Governance-Sicht betreffen. Für IT-Entscheider und CISOs ist die Aufgabe klar: Sie müssen ihr Sicherheitsmodell mit demselben Tempo weiterentwickeln, welches den Einsatz der KI diktiert. Das neue Gesetz zeitigt auch für solche Unternehmen Folgen, die das EU AI Act nur am Rande betrifft:

• Recovery für Daten und Infrastrukturen: Wer sich auf KI-Governance vorbereitet, benötigt vertrauenswürdige Daten und eine widerstandsfähige KI-Infrastruktur. Nur in einer wiederherstellbaren IT lassen sich Nachweise über Betriebsabläufe vorhalten und pflegen. Ebenso wichtig ist die Kompetenz, auf potenzielle Cybervorfälle – einschließlich KI-gestützter Angriffe – zu reagieren, die auf KI-Systeme und deren Datenintegrität abzielen.
• Identitätssicherheit: Jeder KI-Agent ist wie eine privilegierte digitale Identität zu behandeln. Die Resilienzbeauftragten sollten ihm nur die unbedingt erforderlichen Zugriffsrechte geben und ihn kontinuierlich auf ungewöhnliches Verhalten überwachen.
• Ständige Checks: Unternehmen sollten permanent die Zugriffsrechte eines KI-Agenten überprüfen, anstatt sich auf Annahmen zu verlassen. Sicherheitsrisiken entstehen oft genau aus der Diskrepanz zwischen den absichtlich bewilligten und den tatsächlich vorhandenen Privilegien.
• Den unvermeidbaren Ernstfall eindämmen: Prävention verhindert nicht den Sicherheitsvorfall. Die Aufgabe ist das Eindämmen des Unvermeidbaren. Daran müssen sich alle beteiligen, denn KI verwischt die Grenzen zwischen Sicherheit, Identitätsmanagement und Wiederherstellung. Dennoch behandeln viele Organisationen diese Bereiche weiterhin als Einzeldisziplinen. Das ist kein tragfähiges Fundament mehr. Unternehmen benötigen ein Modell für operative Resilienz, das die zuständigen Teams zusammenbringt, um Anomalien schnell zu erkennen, betroffene Systeme zu isolieren und saubere, vertrauenswürdige Daten wiederherzustellen, bevor sich eine Störung weiter ausbreitet.
• Transparenz für den Nutzer: Anwender müssen klar erkennen können, dass sie mit einem KI-Agenten oder Chatbot interagieren. Ihnen muss ersichtlich sein, dass emotionale oder biometrische Analysen zum Einsatz kommen, sowie ob generierte Informationen künstlich erzeugt oder ein Fake sind – insbesondere bei der nachträglichen Manipulation von Bildern ohne das OK der betroffenen Personen.

Die aktuellen Vorfälle sollten Unternehmen nicht vom KI-Einsatz abhalten. Sie müssen jedoch die Annahme oder vielmehr den Wunsch und die Hoffnung aufgeben, dass autonome Systeme stets wie vorgesehen funktionieren. Vertrauen in KI darf niemals als selbstverständlich vorausgesetzt werden. Kontrolle und Resilienz durch eine gewährleistete Recovery sind notwendig. Denn auch die besten Sicherheitsmaßnahmen werden Angreifer und die KI-Agenten der Gegenseite irgendwann umgehen.

Marc Molyneux, Field CTO, Commvault