Falsch, aber überzeugend präsentiert: Das neue Datenqualitätsproblem durch KI

(Auszug aus der Pressemitteilung)

Unternehmen stehen in Bezug auf Datenqualität vor einer neuen Problematik: nicht etwa langsame oder offensichtlich fehlerhafte Daten, sondern KI-Systeme, die falsche Antworten so überzeugend formulieren, dass niemand auf die Idee kommt, sie zu hinterfragen. Waren „ausreichend gute“ Daten früher mit kalkulierbaren Risiken und Kosten verbunden, sind diese durch den Einsatz von künstlicher Intelligenz unberechenbar geworden. Die Daten- und KI-Experten von Knime erläutern die Risiken sowie Maßnahmen, um diese zu minimieren.

Auf Reddit gab es vor kurzem einen Beitrag, der viral ging. Das Management eines Unternehmens hatte einen KI-Agenten eingesetzt, um Fragen seiner Führungskräfte zu beantworten. Drei Monate lieferte das System Antworten, Vorschläge für Änderungen und Geschäftsentscheidungen. Die Führungskräfte fragten, der Agent antwortete – selbstbewusst, flüssig, in ganzen Sätzen – versehen mit Vorbehalten und Empfehlungen, die nach sorgfältiger Abwägung klangen. So stellte auch niemand die Antworten in Frage, sondern handelte entsprechend. Bei einer Überprüfung kam mehr oder weniger per Zufall heraus, dass die Ergebnisse falsch waren. Und zwar nicht nur geringfügig, sondern systematisch fehlerhaft. Die meisten Zahlen waren völlig frei erfunden. Und auf dieser Basis hatte die Führungsebene drei Monate lang ihre Entscheidungen getroffen.

Ein Einzelfall?

Eher nicht. Laut Analysen betrugen die Verluste aufgrund von KI-Halluzinationen für Unternehmen im Jahr 2024 67 Milliarden US-Dollar. Und auch im Jahr 2026 halluzinieren selbst die besten Modelle immer noch in 18 Prozent der Fälle.

Risiken und Kosten schlechter Datenqualität als KI-Grundlage

Mit dem Einsatz von KI werden die Konsequenzen mangelnder Datenqualität nochmals verstärkt. Konnte man diese früher recht gut erkennen – schlechter Input führte zu offensichtlich schlechtem Output – ist dies durch die überzeugende Präsentation von Ergebnissen aktueller KI-Modelle sehr viel schwieriger geworden.

Damit potenzieren sich auch die Risiken, die Unternehmen im Blick behalten sollten. Da ist zunächst der finanzielle Schaden, der nicht auf veralteten oder fehlerhaften Daten selbst, sondern auf den darauf aufbauenden Fehlentscheidungen basiert. Hinzu kommt der operative Mehraufwand, der sich ebenfalls in Unternehmensergebnissen widerspiegelt. Jede Stunde, die Teams mit der Validierung fragwürdiger KI-Ergebnisse verbringen, fehlt für strategische Arbeit. Hinzu kommen die regulatorischen Risiken durch Vorgaben, wie das EU-KI-Gesetz, die DSGVO und die ESG-Berichterstattung. Diese verlangen Nachvollziehbarkeit von Datennutzung und Entscheidungsprozessen.

Die Zielsetzung für Unternehmen sollte folglich sein, dass die genutzten Daten so umfassend dokumentiert und validiert sind und eine so klare Herkunftshistorie (Lineage) aufweisen, dass man jederzeit die Frage „Woher stammt diese Zahl?“ beantworten kann. Hierzu empfehlen sich folgende Maßnahmen:

Fünf Schritte, damit Datenqualität kein Problem beim KI-Einsatz wird

1. Überprüfen Sie Ihre KI-Implementierungen. Erstellen Sie eine Liste aller KI-Tools, die auf interne Daten zugreifen. Halten Sie fest, wer für das jeweilige Tool verantwortlich ist, welche Daten es nutzt und wer die Ergebnisse kontrolliert. Die meisten Führungskräfte können diese Fragen derzeit nicht beantworten. Genau hier liegt das Risiko.
2. Investieren Sie in eine semantische Ebene. Auch wenn ein Unternehmen über eine ordentliche Dokumentation verfügt, kann die KI daraus die falschen Schlüsse ziehen. Tools speichern Daten. Eine semantische Ebene stellt sicher, dass die KI die Bedeutung dieser Daten versteht.
3. Behalten Sie den Menschen im Prozess, um Lerneffekte zu erzielen. Protokollieren Sie Freigaben und Ablehnungen der geprüften KI-Ergebnisse. Erst durch diese Rückkopplungsschleife entwickelt die KI ein Verständnis dafür, wann Zurückhaltung geboten ist. Ohne diesen Lerneffekt bleibt die Kontrolle eine einmalige Prüfstation statt eines echten Systems.
4. Passen Sie die Sorgfalt der Maßnahmen an die Tragweite an. Legen Sie fest, welche Prüfmaßnahmen für welche Prozesse und Ergebnisse gelten, bevor solche Entscheidungen spontan getroffen werden. So kann man eine Grafik in einer Teambesprechung nicht mit einer Kennzahl für den Vorstand gleichsetzen. Entsprechend sollten sich auch die Prüfverfahren unterscheiden.
5. Bewahren Sie Ihre Historie. Ein gängiger Fehler besteht darin, Datendefinitionen für die Zukunft zu ändern und dabei die Historie zu ignorieren. Die Optimierung der Datenerfassung ab dem heutigen Tag mag wie ein Fortschritt erscheinen; doch sobald die Vergleichbarkeit mit der Vergangenheit verloren geht, büßt man den interpretativen Wert all dessen ein, was man zuvor aufgebaut hat.

„Viele Organisationen oder Teams betrachten die Anschaffung eines KI-Tools als Ziellinie. Passende Tools können zwar sehr hilfreich sein, entfalten ihren Nutzen jedoch nur, wenn sie in eine klare Governance-Strategie eingebettet sind,“ erklärt Iris Adae, VP Data & Analytics bei Knime. „Unternehmen sollten Data Governance als Infrastruktur begreifen, auf der KI operiert – und nicht bloß als eine Pflichtaufgabe für Compliance. Schlechte Datenqualität hat schon immer Kosten und Risiken erzeugt. KI macht dies noch weniger vorhersehbar und kann Fehler so gut kaschieren, dass sie erst erkannt werden, wenn der Schaden bereits entstanden ist.“

Iris Adae (Knime)