Agentic AI und Datenschutz
Die im Februar von der spanischen Datenschutzbehörde (Agencia Española de Protección de Datos, AEPD) veröffentlichten Leitlinien beleuchten die zahlreichen datenschutzrechtlichen Fragestellungen, die sich beim Einsatz von Systemen mit künstlicher Intelligenz (KI) zur Verarbeitung personenbezogener Daten ergeben können.
In den Leitlinien „Agentic Artificial Intelligence from the Perspective of Data Protection“ betont die AEPD, dass es nicht ausreicht, Agentic AI lediglich aus der Perspektive eines Anwenders zu kennen. Vielmehr sei es „erforderlich, ihre Grundlagen, Fähigkeiten, Grenzen und die Art ihrer Implementierung zu verstehen“.
Darüber hinaus könne sowohl eine „irrationale Ablehnung“ von Agentic AI als auch ihre „unkritische Akzeptanz“ bei der Verarbeitung personenbezogener Daten nachteilig sein. Die AEPD hebt hervor, dass die Möglichkeiten, die Agentic AI für Datenschutz durch Technikgestaltung (Privacy by Design) und als datenschutzfördernde Technologie bietet, „proaktiv genutzt werden müssen“.
Die Leitlinien – bislang die umfassendsten, die eine europäische Datenschutzbehörde zum Thema Agentic AI veröffentlicht hat – geben einen Überblick über KI-Systeme und ihre Funktionsweise, potenzielle Schwachstellen im Zusammenhang mit den Datenschutzpflichten von Unternehmen, Risiken durch die autorisierte und unautorisierte Verarbeitung von Daten sowie konkrete Compliance-Maßnahmen zur Minderung dieser Risiken.
Anstatt den 71-seitigen Bericht vollständig wiederzugeben, fassen wir die wichtigsten Compliance-Maßnahmen zusammen, die Unternehmen im Rahmen ihrer datenschutzrechtlichen Verpflichtungen ergreifen sollten.
Zentrale Schwachstellen und Compliance-Maßnahmen
Die Leitlinien beschreiben vier potenzielle Schwachstellen im Zusammenhang mit den datenschutzrechtlichen Verpflichtungen von Unternehmen. Sie bilden zugleich den Rahmen für die später vorgestellten Compliance-Maßnahmen:
- Interaktion mit der Umgebung: Diese Schwachstelle betrifft den Zugriff auf Unternehmens- und Nutzerdaten sowie die Fähigkeit eines KI-Systems, seine Umgebung wahrzunehmen und außerhalb der Organisation zu agieren.
- Serviceintegration: Hierbei handelt es sich um Schwachstellen, die entstehen, wenn Agentic AI mit mehreren internen oder externen Diensten integriert wird.
- Speicher in KI-Agenten: Der Speicher beschreibt die Fähigkeit eines KI-Systems, frühere Kontexte und Erfahrungen zu speichern und abzurufen, um Entscheidungen, Anpassungsfähigkeit und Leistung zu verbessern.
- Autonomie: Diese Schwachstelle betrifft den autonomen Einsatz von KI-Agenten, bei dem keine ausdrücklichen Anweisungen durch menschliche Nutzer erfolgen.
Vor diesem Hintergrund beschreibt der Bericht die folgenden praxisorientierten Compliance-Maßnahmen:
Informationsgovernance
Die AEPD hebt hervor, dass ein Informationsgovernance-Framework eine zentrale Grundlage bildet. Es stellt sicher, dass „Governance-Elemente, die sich aus dem Einsatz von Agentic AI bei der Datenverarbeitung ergeben, auf bestehende Governance-Strukturen abgebildet oder – falls erforderlich – neu geschaffen werden können.“ Die Leitlinien nennen 16 grundlegende Governance-Elemente, die Unternehmen überprüfen sollten.
Unternehmen sollten zudem akzeptieren, dass Fehler möglich sind, und sich entsprechend darauf vorbereiten. Wie die AEPD betont, entsteht „Vertrauen in Governance nicht durch die Annahme guter Absichten oder die Überzeugung, dass Implementierungen fehlerfrei sind, sondern durch die Gestaltung von Verarbeitungsvorgängen, die mögliche Fehler, Missbrauch, Lücken, Verzerrungen und unerwünschte Auswirkungen von vornherein berücksichtigen.“ Stattdessen empfiehlt die Behörde das Prinzip des „Safe Failure“. Verarbeitungsvorgänge und die dabei eingesetzten Systeme sollten so gestaltet werden, dass die Auswirkungen möglicher Fehler minimiert und Vorfälle mithilfe geeigneter Umsetzungspläne wirksam gesteuert werden können.
Darüber hinaus unterstreichen die Leitlinien die Bedeutung eines Datenschutzbeauftragten mit fundierten Kenntnissen der Datenschutzvorschriften sowie der erforderlichen technischen und organisatorischen Maßnahmen.
Kontinuierliche Bewertung von Agentic AI
Die Leitlinien betonen außerdem die Bedeutung automatisierter Audits und nennen konkrete Bewertungsmethoden wie Benchmark-Tests, Human-in-the-Loop-Evaluierungen, A/B-Tests und Simulationen in realen Umgebungen. Ein besonders wichtiger Aspekt sei dabei „die Kenntnis und Analyse der bisherigen Sicherheitsverletzungen und Vorfälle, die bei den bewerteten Diensten und den darin eingesetzten Agentic-AI-Systemen aufgetreten sind“.
Zudem müssen klare Betriebskriterien und Kennzahlen – beispielsweise Transparenz, Reproduzierbarkeit, Kontrolle, Compliance und Nachvollziehbarkeit – festlegen, wann sich ein Agentic-AI-System und seine Komponenten erwartungsgemäß oder fehlerhaft verhalten. Als Beispiel nennen die Leitlinien sogenannte Golden Tests – standardisierte und wiederholbare Testverfahren, bei denen aktuelle Ergebnisse mit einem als korrekt definierten Referenzergebnis verglichen werden.
Darüber hinaus sollten Verträge mit digitalen Dienstleistern – insbesondere nach Änderungen von Vertragsbedingungen – regelmäßig überprüft werden. Bei Komponenten oder Diensten, die Auswirkungen auf den Datenschutz haben, sollten Verantwortliche die jeweiligen Bedingungen sowohl bei Designentscheidungen als auch kontinuierlich während des gesamten Lebenszyklus bewerten. Ebenso wichtig sind Audits zur Erklärbarkeit von KI-Systemen sowie zur Wirksamkeit menschlicher Aufsicht.
Datenminimierung
Der Grundsatz der Datenminimierung verlangt, dass personenbezogene Daten nur im unbedingt erforderlichen Umfang verarbeitet werden. Im Zusammenhang mit Agentic AI sollten Unternehmen daher eine Informationsrichtlinie implementieren, die das Need-to-know-Prinzip berücksichtigt. Für jeden Verarbeitungsvorgang, bei dem Agentic AI eingesetzt wird, sollte klar definiert sein, auf welche Dienste und Datenquellen KI-Agenten zugreifen dürfen. Gleichzeitig muss die Wirksamkeit dieser Zugriffsbeschränkungen sichergestellt werden. Darüber hinaus behandeln die Leitlinien Maßnahmen zur Filterung von Datenströmen bei der Kommunikation mit Drittparteien, zur Minimierung von Model Leakage sowie zur Pseudonymisierung von Nutzerinteraktionen mit KI-Agenten.
Strukturierte und unstrukturierte Daten katalogisieren
Unternehmen sollten jederzeit wissen, über welche Daten sie verfügen. Die Leitlinien definieren die Datenkatalogisierung als „eine systematische Methode zur Inventarisierung, Organisation und Verwaltung von Datenbeständen mithilfe von Metadaten, um deren Auffindbarkeit, Governance und effiziente Nutzung zu unterstützen“. Dabei sollte der Datenkatalog Informationen zur Qualität der gespeicherten Daten enthalten, darunter Genauigkeit, Relevanz, Aktualität, Umfang, potenzielle Verzerrungen, regulatorische Nutzungsbedingungen sowie den jeweiligen Nutzungskontext.
Auch unstrukturierte Daten sollten durch Metadaten, automatisierte Kennzeichnung oder Strukturierung katalogisiert werden. Hierzu kommen laut Leitlinien unter anderem Verfahren des Natural Language Processing (NLP), Audio- und Videoanalysen, semantische Suchverfahren, Contextual Retrieval sowie Data-Loss-Prevention-Lösungen zum Einsatz, um personenbezogene sowie sensible oder vertrauliche Daten zu identifizieren und zu klassifizieren.
Speichermanagement
Das Speichermanagement eines Agentic-AI-Systems sollte sowohl den Kurzzeit- als auch den Langzeitspeicher umfassen. Unternehmen sollten Verfahren etablieren, mit denen Speicherinhalte katalogisiert und verwaltet werden können. Dazu gehören beispielsweise Suchfunktionen, Qualitätsparameter, Löschmöglichkeiten, Einschränkungen der Verarbeitung oder Nutzungshinweise.
Werden Komponenten wie Large Language Models (LLMs) für unterschiedliche Verarbeitungsvorgänge eingesetzt, empfiehlt die AEPD eine No-Log-Policy beziehungsweise eine Zero-Data-Retention-Policy auf Komponentenebene. Zudem sollten klare Aufbewahrungsfristen und Verfahren für die Löschung von Daten festgelegt werden – differenziert nach den jeweiligen Komponenten, aus denen sich die Verarbeitung mit Agentic AI zusammensetzt.
Darüber hinaus empfiehlt die Behörde, In-Memory-Speicher zu deaktivieren und Verfahren zur Bereinigung des Langzeitspeichers einzusetzen. Dazu gehören unter anderem die automatische Erkennung schädlicher Inhalte, das Entfernen veralteter Einträge, Konsistenzprüfungen, die Löschung nicht mehr benötigter Zugangsdaten, Information Distillation, die Analyse und Beseitigung von Verzerrungen sowie Mechanismen, die Administratoren oder Nutzer zu regelmäßigen Bereinigungen verpflichten.
Automatisierung
Der Grad der Autonomie eines KI-Systems sollte für jeden Verarbeitungsvorgang individuell festgelegt werden – unter Berücksichtigung von Kontext, Umfang, Zweck und Risikopotenzial. Diese Entscheidung sollte laut Leitlinien nachvollziehbar begründet, dokumentiert und durch geeignete Nachweise gestützt werden.
Wie so oft bleibt die menschliche Aufsicht ein entscheidender Faktor. Unternehmen sollten definieren, an welchen kritischen Stellen Experten eingebunden werden, um Entscheidungen von KI-Agenten zu validieren, anzupassen oder bei Bedarf zu übersteuern. Ergänzend dazu kann die menschliche Aufsicht durch automatisierte Echtzeitüberwachung unterstützt werden, um ungewöhnliches oder unerwartetes Verhalten frühzeitig zu erkennen.
Bei automatisierten Prozessen mit erheblichen Auswirkungen auf die Rechte betroffener Personen empfiehlt die AEPD außerdem die Anwendung des Vier-Augen-Prinzips. Die doppelte Prüfung durch unterschiedliche Personen schafft eine zusätzliche Vertrauensebene innerhalb der menschlichen Aufsicht und fördert zugleich das kritische Bewusstsein der beteiligten Mitarbeiter.
