KI-Daten-Governance: Sicherheit bei Abruf, Herkunft und Überwachung

KI-Modelle sind nur so verlässlich wie die Daten, auf denen sie basieren. Air Canada musste das auf die harte Tour lernen: Ein Gericht befand das Unternehmen für die erfundene Trauerfall-Tarifpolitik seines Chatbots für haftbar. Beim Krankenversicherer UnitedHealth soll ein Algorithmus 90 % der Einsprüche gegen Behandlungsablehnungen abgewiesen haben – mit einer Sammelklage als Konsequenz.

Das klassische Datenmanagement, das für statische Datenbanken und vorhersehbare Abfragen konzipiert wurde, stößt bei probabilistischen Systemen an seine Grenzen. Die Verbindung von KI und Datenverwaltung braucht neue Ansätze. Unternehmen, die früher Tabellenkalkulationen pflegten, arbeiten heute mit Vektor-Einbettungen, Abruf-Pipelines und autonomen Agenten.

Warum Datenverwaltung so wichtig ist

Früher sorgte die Datenverwaltung dafür, dass Abfragen unabhängig von Zeit und Person konsistente Ergebnisse lieferten. KI-Datenverwaltung funktioniert nach anderen Regeln: Dieselbe Eingabe kann je nach Temperatureinstellung oder Abrufvariante zu unterschiedlichen Antworten führen. Daten beschränken sich längst nicht mehr auf strukturierte Zeilen, sondern umfassen unstrukturierten Text, Einbettungen und synthetische Ausgaben.

Drei kritische Fehlermodi

Mangelhafte KI-Datenverwaltung führt zu drei Fehlermodi, mit denen Teams für KI- und Machine-Learning-Dienste regelmäßig konfrontiert werden. Wer diese Fehler vermeiden will, braucht KI und Governance-Frameworks, die Hand in Hand arbeiten:

• Probabilistische Drift: Modelle verlieren an Qualität, wenn sich die Realität verändert, die Trainingsdaten aber nicht mitziehen. Ein Kreditmodell, das auf Daten von 2019 basiert, liefert für 2024 schlechte Prognosen – doch vierteljährliche Audits bemerken den Rückgang oft erst, wenn sich der Schaden bereits aufgetürmt hat.
• Verstärkte Verzerrung: Historische Muster werden zu sich selbst verstärkenden Schleifen. Modelle, die auf Vergangenheitsdaten trainiert wurden, übernehmen die Verzerrungen früherer Entscheidungen – ohne diese jemals auf ihre Fairness hin zu hinterfragen.
• Fehlende Transparenz: Liegt die Entscheidungslogik in den Parametern eines neuronalen Netzes statt in SQL-Abfragen, wird es schwierig, einzelne Entscheidungen nachvollziehbar zu erklären.

Die 70-30-Regel

Was verbirgt sich hinter der 30-Prozent-Regel in der KI? Die 70-30-Regel ist eine Governance-Heuristik: KI kann rund 70 % der Wissensarbeit übernehmen – Datenextraktion, Zusammenfassung, Mustererkennung. Die verbleibenden 30 % erfordern menschliches Urteilsvermögen: komplexe medizinische Befunde, außergewöhnliche Rechtsklauseln, Grenzfälle, bei denen die Modellzuverlässigkeit eine Eskalation auslösen sollte. Eine wirksame KI-Daten-Governance setzt genau diese Aufteilung durch: Leitplanken, die unkritische Fälle automatisch verarbeiten – und bei gravierenden Konsequenzen menschliche Kontrolle einfordern.

Wichtige Komponenten

Daten-Governance für KI baut auf dem klassischen Management auf, geht aber darüber hinaus – denn probabilistische, unstrukturierte Systeme stellen ganz eigene Anforderungen.

Semantische Klassifizierung

Semantische Klassifizierung reicht weiter als das schlichte Labeln von Feldern als „PII” oder „vertraulich”. Teams für Data-Science-Engineering-Services setzen Systeme ein, die Kontext verstehen: Eine Sozialversicherungsnummer in Kundendatensätzen erfordert eine andere Behandlung als dieselbe Angabe in Testdaten. Kleine Sprachmodelle klassifizieren ganze Dokumente anhand ihres semantischen Inhalts und unterscheiden dabei automatisch zwischen Strategie-Memos und öffentlichem Marketingmaterial.

Vektor-Herkunft

Die Vektor-Herkunft verfolgt, woher eine Einbettung stammt. Ohne Metadaten sind Vektoren nichts weiter als Zahlen. Unternehmen, die cloudbasierte Datenverwaltung einführen, sollten für jede Einbettung die folgenden Kerninformationen dokumentieren:

• Herkunft des Quelldokuments
• Verwendetes Einbettungsmodell
• Angewandte Klassifizierungsstufe
• Löschfristen

Wer das versäumt, kann Anfragen nach dem „Recht auf Vergessenwerden” nicht nachkommen – weil schlicht nicht nachvollziehbar ist, welche Vektoren bestimmte Nutzerdaten enthalten. Jede Einbettung braucht eine Art „Herkunftskarte”, die Ursprung, Erstellungsmethode und geltende Richtlinien dokumentiert. Vektoren müssen als verwaltete Assets behandelt werden – nicht als flüchtige Rechenergebnisse.

Attributbasierte Zugriffskontrolle

Die attributbasierte Zugriffskontrolle löst rollenbasierte Systeme ab. Bei der abrufgestützten Generierung sollte der Datenzugriff nicht allein von der Berufsbezeichnung abhängen, sondern auch von dynamischen Attributen: laufendes Projekt, Standort, Sensibilität der Anfrage. Das verhindert, dass semantische Ähnlichkeit Sicherheitsgrenzen aushebelt – eine Suchanfrage zu „Gehaltsdaten” darf ohne explizite Freigabe nicht zu „Richtlinien zur Vergütung von Führungskräften” führen.

Datenverträge für unstrukturierte Inhalte

KI-Datenverwaltung braucht Verträge, die klare Mindeststandards setzen: eine Mindesttextlänge zum Herausfiltern von Rauschen, Sprachvorgaben, Toxizitätsschwellenwerte und die Bereinigung personenbezogener Daten vor der Erfassung. Das Prinzip „Garbage in, garbage out” – schlechte Eingaben, schlechte Ergebnisse – wird so direkt an der Quelle unterbunden.

Diese Verträge sind Qualitätskontrollen: Daten, die den Anforderungen nicht genügen, werden abgelehnt, bevor sie in Trainingspipelines oder Vektorspeicher gelangen – mit klaren Fehlermeldungen, die den Ablehnungsgrund benennen.

Begründungsbewusste Prüfpfade

Prüfpfade, die Begründungen festhalten, gehen über das bloße Protokollieren von Nutzerzugriffen hinaus. Für autonome Agenten schreibt die KI-Datenverwaltung die Aufzeichnung der Gedankenkette vor: Warum wurden bestimmte APIs aufgerufen? Welche Daten haben die Entscheidung beeinflusst? Wie wurden Alternativen bewertet?

Ohne diese Informationen lassen sich Fehler kaum beheben und Entscheidungen kaum verteidigen. Wenn ein Agent einen Kreditantrag ablehnt oder eine Transaktion als betrügerisch markiert, muss der Prüfpfad den Gedankengang zeigen, der zu dieser Schlussfolgerung geführt hat – nicht nur das Endergebnis.

Wie KI Governance-Prozesse verbessert

Wird KI die Daten-Governance ersetzen? Nicht ersetzen – aber grundlegend verändern. Die Technologie, die neue Governance-Herausforderungen schafft, bietet bei durchdachtem Einsatz auch die passenden Antworten darauf.

Automatisierte Erkennung in großem Maßstab

Wo liegt die Stärke von KI in der Daten-Governance? Dort, wo manuelle Prüfungen schlicht nicht mithalten können. KI ermöglicht die automatische Klassifizierung von Millionen Dokumenten nach Sensibilität, erkennt Anomalien in Zugriffsmustern, die auf Verstöße hindeuten, und identifiziert Datenabweichungen, bevor nachgelagerte Modelle in Mitleidenschaft gezogen werden.

Automatisierte Erkennung personenbezogener Daten durchsucht Texte in verschiedenen Sprachen und Formaten und redigiert sensible Details, bevor sie in Trainingspipelines fließen. Grenzfälle erfordern weiterhin menschliches Urteil – dennoch schützt dieser Ansatz den gesamten Datenbestand zuverlässiger als jede manuelle Methode.

Semantische Überwachung

KI-gestützte Überwachung erkennt Probleme, an denen regelbasierte Systeme vorbeisehen:

• medizinische Eingriffe, die vor dem Geburtsdatum des Patienten datiert sind
• Ausgaben, die als Verbrauchsmaterialien verbucht wurden, aber persönlichen Kaufmustern entsprechen
• API-Antworten, die trotz grünem Status-Signal merklich von den erwarteten Mustern abweichen.

Das Problem der Governance-Rekursion

KI durch KI zu steuern wird jedoch zunehmend rekursiv. Wer überwacht die Überwacher? Das System, das Qualitätsprobleme aufdecken soll, liefert selbst probabilistische Ergebnisse. Schlechte Governance bedeutet hier: Qualitätskontrollen verfallen still und leise, während sie nach außen hin einwandfrei erscheinen.

Der bewährteste Ansatz: KI für 70 % der Routineprüfungen einsetzen, menschliche Kontrolle aber für die 30 % beibehalten, bei denen viel auf dem Spiel steht oder die Muster unbekannt sind. Bereinigung personenbezogener Daten automatisieren, Grenzfälle jedoch von Menschen prüfen lassen. Modelle zum Kennzeichnen verdächtiger Zugriffsmuster nutzen – aber Analysten Untersuchungen durchführen lassen, bevor Nutzer gesperrt werden.

Rahmenbedingungen

Welche rechtlichen und regulatorischen Anforderungen gelten für die KI-Daten-Governance? Mehrere regulatorische Rahmenwerke schreiben mittlerweile konkrete technische Kontrollen für die KI-Daten-Governance vor und erheben Best Practices zu gesetzlichen Pflichten.

EU-KI-Gesetz

Das EU-KI-Gesetz definiert risikobasierte Verpflichtungen mit unmittelbaren Auswirkungen auf das Data Engineering. „Hochriskante” Systeme – Kreditbewertung, Personalentscheidungen, kritische Infrastruktur, Gesundheitswesen – unterliegen strengen Anforderungen: nachweislich relevante und fehlerfreie Trainingsdaten, manipulationssichere Audit-Protokolle, echte menschliche Aufsicht. Verstöße können mit bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes geahndet werden – womit Compliance zur Vorstandsangelegenheit wird.

NIST-Rahmenwerk für das Risikomanagement im Bereich KI

Das NIST AI Risk Management Framework bietet einen operativen Leitfaden, der Governance in vier Bereichen strukturiert: Steuern (Strukturen etablieren), Abbilden (Kontext und Risiken verstehen), Messen (Risiken bewerten) und Verwalten (reagieren und überwachen). Es adressiert ausdrücklich die Herausforderungen generativer KI – Halluzinationen, Toxizität, nicht deterministische Ergebnisse – und erkennt an, dass herkömmliche Kontrollen dafür nicht ausreichen.

Fünfstufiges Governance-Framework:

Was sind die fünf Säulen der Daten-Governance? Charta, Klassifizierung, Kontrolle, Überwachung und Verbesserung: Dieses Framework übersetzt regulatorische Vorgaben überzeugend in unternehmerische Realität:

• Charta: Sie klärt, wer für die KI-Daten-Governance zuständig ist, wie Entscheidungen eskaliert werden und welche Richtlinien verbindlich sind.
• Klassifizierung: versieht Daten mit semantischen Metadaten, die eine Richtliniendurchsetzung ermöglichen – Sensibilitätsstufe, Herkunft, zulässige Verwendungszwecke, Aufbewahrungsfristen.
• Kontrolle: implementiert Durchsetzungsmechanismen – Schwärzung personenbezogener Daten, Zugriffsfilter, Schutzmaßnahmen gegen Prompt-Injection, vertrauensbasierte Absicherungen.
• Überwachung: kontinuierliches Tracking des Systemverhaltens – Datendrift, Verschlechterung von Einbettungen, Halluzinationsraten, Zugriffsanomalien.
• Verbesserung: schließt den Kreislauf mit Korrekturmechanismen – einschließlich der gezielten Entfernung von Daten aus Datenbanken und Modellgewichtungen.

Implementierung

Wie schützen Unternehmen sensible Daten in KI-Systemen? Im Kern läuft es auf drei technische Stellschrauben hinaus: Zugriff des Modells einschränken, verarbeitete Daten verschlüsseln, Aktivitäten protokollieren. Die Architektur entscheidet, ob diese Maßnahmen optional bleiben oder verbindlich greifen.

Sicherung der Abruf-Pipeline

Bei der abrufgestützten Generierung ist jedes Dokument, das in die Wissensdatenbank gelangt, eine potenzielle Angriffsfläche. Angreifer infizieren Systeme durch manipulierte Dokumente: Lebensläufe mit versteckten Anweisungen, Wiki-Beiträge mit eingeschleusten Prompts, PDFs mit unsichtbarem Text.

Wirksame KI-Datenverwaltung geht von Grund auf davon aus, dass jeder eingehende Inhalt kompromittiert sein könnte, und unterzieht ihn mehreren Validierungsebenen:

• Sandboxed Parsing, das die Dokumentenverarbeitung isoliert
• Erkennung unsichtbarer Texte – Zeichen ohne Breite, weißer Text auf weißem Hintergrund
• Ausgabefilterung, die ausführbaren Code oder Versuche zur Datenexfiltration blockiert
• Prüfung fehlerhafter Metadaten, bevor Dokumente die Einbettungspipelines erreichen

Sicherheit auf Zeilenebene in Vektordatenbanken

Semantische Ähnlichkeit kennt keine Sicherheitsgrenzen. Eine Suchanfrage zu „Kompensation” könnte aufgrund geringer Vektordistanz ungewollt zu vertraulichen Gehaltsdokumenten führen. Vorfilterung prüft Metadaten vor der Vektorsuche und stellt sicher, dass Nutzer ausschließlich autorisierte Daten abfragen. Nachfilterung – erst suchen, dann filtern – birgt durch den zeitlichen Versatz das Risiko von Informationslecks; sind alle Ergebnisse eingeschränkt, schlägt die Suche zudem stillschweigend fehl.

Die Implementierung erfordert, jeden Vektor mit Metadaten zur Zugriffskontrolle zu versehen: Abteilung, Klassifizierungsstufe, geografische Einschränkungen. Die Vektorsuchmaschine wendet diese Filter als Voraussetzung für die Ähnlichkeitssuche an – nicht als nachgelagerte Bearbeitung.

Agenten-Identitätsmanagement

Autonome Agenten brauchen ein Identitätsmanagement wie menschliche Nutzer – mit eigenen, auf sie zugeschnittenen Einschränkungen. Zentrale Anforderungen sind:

• Eindeutige, überprüfbare Identität mit kurzlebigen Zugangsdaten, die regelmäßig rotieren
• Minimale Berechtigungen: Ein Terminplaner braucht keinen Zugriff auf Finanzdatenbanken
• Verhaltensüberwachung zur Anomalieerkennung: Plötzlicher Zugriff auf Tausende von Dateien löst einen Circuit Breaker aus
• Protokollierung der Gedankenkette, die das „Warum” hinter Aktionen für forensische Analysen festhält
• Automatische Drosselung oder Sperrung, wenn das Verhalten von der Basislinie abweicht

Greifen Agenten auf ungewöhnliche Datenmengen zu oder rufen APIs außerhalb normaler Muster auf, reagiert das System sofort und unterbindet mögliche Schäden im Keim.

Der Start der Reise

Cloudbasierte Governance wird komplex, wenn Datenschutzgesetze mit dem Betriebsort von KI-Modellen kollidieren. Der EU-KI-Akt fordert technische Kontrollen, die geografische Grenzen konsequent durchsetzen.

Perfekte Governance vom ersten Tag an ist eine Falle. Besser ist es, mit einem klar abgegrenzten Anwendungsfall zu beginnen:

• Enger Umfang: eine Abteilung, ein Workflow – überschaubar, wenn etwas schiefgeht
• Kontrollen definieren: Datenzugriff, Modellversionierung, Freigabe-Gates, Audit-Protokollierung
• Umsetzen: einen Quartalszyklus durchlaufen
• Skalieren: Was sich bewährt hat, wandert in den nächsten Anwendungsfall Anwendungen mit geringerem Risiko haben Vorrang.

Interne Zusammenfassungstools sind weniger kritisch als kundenorientierte Risikoprüfungen. Auf dieser Basis lässt sich die Governance stärken, bevor Entscheidungen mit hohem Einsatz folgen.

KI-Ergebnisse variieren – das lässt sich nicht abstellen. Das Ziel ist, Risiken sichtbar zu machen und zu begrenzen.

Mindestanforderungen der Governance-Checkliste:

• Wer hat dieses Modell für den produktiven Einsatz freigegeben?
• Mit welchen Daten wurde es trainiert – und wo befinden sich diese Daten?
• Welche Entscheidungen darf es ohne menschliche Prüfung treffen?
• Wie können seine Entscheidungen im Nachhinein nachvollzogen werden?
• Wer wird benachrichtigt, wenn es sich unerwartet verhält?
• Wie sieht das Rollback-Verfahren aus?