Surveillance Oversight Database

Anhand dieser Beispiele wird deutlich, dass mit KI-Systemen häufig personenbezogene Daten verarbeitet
werden und diese Verarbeitung Risiken für die Rechte und Freiheiten von Menschen birgt. Sie zeigen auch,
wie wichtig es ist, Entwicklung und Einsatz von KI-Systemen politisch, gesellschaftlich und rechtlich zu
begleiten. Die unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder verstehen die
folgenden Anforderungen als einen konstruktiven Beitrag zu diesem zentralen gesellschaftspolitischen
Projekt.
II. Datenschutzrechtliche Anforderungen an Künstliche Intelligenz
Für die Entwicklung und den Einsatz von KI­Systemen, in denen personenbezogene Daten verarbeitet
werden, beinhaltet die Datenschutz­Grundverordnung (DSGVO) wichtige rechtliche Vorgaben. Sie dienen
dem Schutz der Grundrechte und Grundfreiheiten natürlicher Personen. Auch für KI­Systeme gelten die
Grundsätze für die Verarbeitung personenbezogener Daten (Art. 5 DSGVO). Diese Grundsätze müssen
gemäß Art. 25 DSGVO durch frühzeitig geplante technische und organisatorische Maßnahmen von den
Verantwortlichen umgesetzt werden (Datenschutz durch Technikgestaltung).
1. KI darf Menschen nicht zum Objekt machen
Die Garantie der Würde des Menschen (Art. 1 Abs. 1 GG, Art. 1 GRCh) gebietet, dass insbesondere im Fall
staatlichen Handelns mittels KI der Einzelne nicht zum Objekt gemacht wird. Vollständig automatisierte
Entscheidungen oder Profiling durch KI-Systeme sind nur eingeschränkt zulässig. Entscheidungen mit
rechtlicher Wirkung oder ähnlicher erheblicher Beeinträchtigung dürfen gemäß Art. 22 DSGVO nicht
allein der Maschine überlassen werden. Wenn der Anwendungsbereich des Art. 22 DSGVO nicht eröffnet
ist, greifen die allgemeinen Grundlagen des Art. 5 DSGVO, die insbesondere mit den Grundsätzen der
Rechtmäßigkeit, Zurechenbarkeit und Fairness die Rechte des Einzelnen schützen. Betroffene haben auch
beim Einsatz von KI­Systemen den Anspruch auf das Eingreifen einer Person (Intervenierbarkeit), auf die
Darlegung ihres Standpunktes und die Anfechtung einer Entscheidung.
2. KI darf nur für verfassungsrechtlich legitimierte Zwecke eingesetzt werden
und das Zweckbindungsgebot nicht aufheben
Auch für KI­Systeme gilt, dass sie nur zu verfassungsrechtlich legitimierten Zwecken eingesetzt werden
dürfen. Zu beachten ist auch der Grundsatz der Zweckbindung (Art. 5 Abs. 1 lit. b DSGVO). Zweckände­
rungen sind mit Art. 6 Abs. 4 DSGVO klare Grenzen gesetzt. Auch bei KI-Systemen müssen erweiterte
Verarbeitungszwecke mit dem ursprünglichen Erhebungszweck vereinbar sein. Das gilt auch für die
Nutzung personenbezogener Daten zu Trainingszwecken von KI­Systemen.
3. KI muss transparent, nachvollziehbar und erklärbar sein
Personenbezogene Daten müssen in einer für die betroffene Person nachvollziehbaren Weise verarbeitet
werden (Art. 5 Abs. 1 lit. a DSGVO). Dies erfordert insbesondere eine transparente Verarbeitung, bei der
die Informationen über den Prozess der Verarbeitung und ggf. auch über die verwendeten Trainings­
daten leicht zugänglich und verständlich sind (Art. 12 DSGVO). Entscheidungen, die auf Grundlage des
Einsatzes von KI­Systemen erfolgen, müssen nachvollziehbar und erklärbar sein. Es genügt nicht die
Erklärbarkeit im Hinblick auf das Ergebnis, darüber hinaus muss die Nachvollziehbarkeit im Hinblick
auf die Prozesse und das Zustandekommen von Entscheidungen gewährleistet sein. Nach der DSGVO ist
dafür auch über die involvierte Logik ausreichend aufzuklären. Diese Transparenz­Anforderungen sind
fortwährend zu erfüllen, wenn KI­Systeme zur Verarbeitung von personenbezogenen Daten eingesetzt
werden. Es gilt die Rechenschaftspflicht des Verantwortlichen (Art. 5 Abs. 2 DSGVO).
4. KI muss Diskriminierungen vermeiden
Lernende Systeme sind in hohem Maße abhängig von den eingegebenen Daten. Durch unzureichende
Datengrundlagen und Konzeptionen kann es zu Ergebnissen kommen, die sich als Diskriminierungen

18

Tätigkeitsbericht zum Datenschutz für 2019