Datenschutz und Künstliche Intelligenz - Darauf müssen Sie achten

• Welche Rolle spielt der Datenschutz bei der Künstlichen Intelligenz?
• Was bringt die KI-Verordnung?
• Was ist bereits jetzt beim Einsatz von KI zu beachten?

WICHTIG: Unternehmen müssen auch beim Einsatz von KI wie ChatGPT sicherstellen, dass ihre Datenverarbeitung compliant ist.

Welche Vorgaben müssen eingehalten werden?

• Bei der Verarbeitung von personenbezogenen Daten sind die Datenschutzgesetze (z. B. DSGVO, TTDSG) einzuhalten.
• Mit Inkrafttreten der KI-Verordnung (AI-Act, KI-VO - Version auf Deutsch) werden mit Ablauf der Übergangsfristen auch deren Bestimmungen beim Einsatz von KI zu beachten sein. Die ersten Regeln können bereits im Dezember 2024 gültig sein.
• Unabhängig davon müssen KI-Systeme im Einklang sein mit sonstigen einschlägigen Gesetzen wie dem Urheberrecht, dem AGG.
• Sie müssen ethischen Kriterien entsprechen; ferner muss die Qualität der Daten so sein, dass Ergebnisverzerrungen („Bias“) vermieden werden. Soweit vorgeschrieben, sind spezifische Maßnahmen zur Sicherheit einzuhalten.

Das EU-Parlament hat derVerordnung zur Künstlichen Intelligenz (Eng) zugestimmt. Damit kann die KI-Verordnung vermutlich noch vor den Wahlen zum EU-Parlament im Juni 2024 in Kraft treten.

Welches Ziel verfolgt die KI-Verordnung?

Die Verordnung folgt einem risikobasierten wie menschenzentrierten Ansatz. Das heißt: Je höher das Risiko einer KI-Anwendung, umso strenger sind die Anforderungen. Es wird unterschieden zwischen verbotenen KI-Praktiken, Hochrisiko-KI-Systemen, KI-Systemen mit geringem Risiko und sog. generativen KI-Systemen wie ChatGPT .

• KI-Anwendungen mit einem inakzeptablen Risiko sollen sechs Monate nach Inkrafttreten verboten werden.
• Für Hochrisiko-KI-Systeme sind strenge Anforderungen an Technik und Organisation umzusetzen.
• Systeme mit einem geringen Risiko sollen lediglich Informations- und Transparenzpflichten unterliegen.

Wie ist der Zeitplan?

Wenn der AI-Act in Kraft getreten ist - vermutlich im Juni 2024 - gilt ein abgestufter Zeitplan.

Übergangsfristen - Gestufte Anwendbarkeit nach Inkrafttreten

• Nach sechs Monaten (ca. Dez. 2024): KI mit inakzeptablem Risiko muss verboten sein.
• Nach 12 Monaten (ca. Juni 2025): Regeln zu Governance und General Purpose AI (GPAI) für Hochrisiko-KI
• Nach 24 Monaten (ca. Juni 2026): Sämtliche Bestimmungen werden wirksam, auch für KI-Systeme mit hohem Risiko nach Anhang III (eigenständige KI-Systeme, z.B. Biometrische Identifizierung)
• Nach 36 Monaten (ca. Juni 2027): Pflichten für Hochrisiko-KI-Systeme nach Anhang II (KI in Medizinprodukten, Maschinen etc.)

Was regelt die KI-Verordnung?

Definition von Künstlicher Intelligenz (KI) - Art. 3 Nr. 1 KI-VO-E

AI system is a machine-based system designed to operate with varying levels of autonomy and that may exhibit adaptiveness after deployment and that, for explicit or implicit objectives, infers, from the input it receives, how to generate outputs such as predictions, content, recommendations, or decisions that can influence physical or virtual environments.

Eine offizielle deutsche Übersetzung liegt noch nicht vor.

Ausgehend von dieser Definition werden Systeme immer dann als KI-Systeme einzustufen sein, wenn es

• maschinengestützte Systeme sind,
• die so konzipiert sind, dass sie mit einem unterschiedlichen Grad an Autonomie arbeiten,
• und die nach dem Einsatz eine Anpassungsfähigkeit aufweisen können,
• und die für explizite oder implizite Ziele aus den Eingaben, die sie erhalten, ableiten, wie sie Ergebnisse wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erzeugen können, die physische oder virtuelle Umgebung beeinflussen können.

KI-Systeme unterscheiden sich von reinen algorithmenbasierten IT-Systemen durch ihre Fähigkeit, aus Daten zu lernen und ihre Leistung/Ergebnisse zu verbessern. Erwägungsgrund 6 der KI-VO nimmt diese Abgrenzung dahingehend vor, dass algorithmenbasierte IT-Systeme nur auf festgelegten Regeln basieren und aufgabenspezifisch programmiert werden. Letztere fallen nicht unter die Definition der KI gemäß der KI-VO.

Risikobasierter Regelungsrahmen

• Verbot von Hochrisiko-KI
• Implementierung von Sicherheitsanforderung für riskante KI, z. B. soll es jederzeit möglich sein, dass Menschen in Prozesse eingreifen.
• Transparenzpflichten hinsichtlich des Trainings und der Funktionsweise von Künstlicher Intelligenz.

Was gilt für wen?

Pflichtenkatalog - Differenzierung nach

• Rolle: Anbieter, Hersteller, Betreiber, Einführer, Händler, bevollmächtigter Vertreter oder betroffene Person in der EU
• Klassifizierung der KI
  • Verbotene KI, Art. 5 KI-VO
  • Hochrisiko-KI-Systeme, Art. 6 – 51 KI-VO – Transparenzvorschriften, Art. 52 KI-VO
  • Codes of Conduct, Art. 69 KI-VO – Transparenzvorschriften, Art. 52 KI-VO
  • GPAI Model – Transparenzvorschriften, Art. 52 KI-VO
  • GPAI Model with systemic risk – Transparenzvorschriften, Art. 52d KI-VO

Was hat die DSGVO mit KI zu tun?

Beim Einsatz von KI sind bereits jetzt die Datenschutzgesetze einzuhalten. Voraussetzung ist, dass der Anwendungsbereich der Datenschutzgesetze eröffnet ist, d. h. mit der KI personenbezogene Daten verarbeitet (z. B. eingegeben, ausgewertet oder in sonstiger Weise verarbeitet) werden.

• Die Grundsätze der DSGVO wie Rechtmäßigkeit, Zweckbindung, Transparenz, Datenminimierung, Richtigkeit müssen beachtet werden.
  • Rechtmäßigkeit bedeutet, eine Datenverarbeitung muss durchgängig auf Rechtsgrundlagen gestützt werden können, welche es erlaubt, diese personenbezogenen Daten für konkrete Zwecke mit KI zu verarbeiten.
  • Informationspflichten nach Art. 13, 14 DSGVO, auch über die involvierte Logik (Art. 13 Abs. 2 lit. f) DSGVO, Art. 14 Abs. 2 lit. g) DSGVO)
  • Dokumentation – Beschreibung des KI-Systems im Verzeichnis von Verarbeitungstätigkeiten (Art. 30 Abs. 1 DSGVO)
  • Abschluss eines Vertrags über Auftragsverarbeitung, Art. 28 DSGVO, z. B. zwischen Anbieter und Betreiber
    • Ein KI-Anbieter ist Auftragsverarbeiter i.S.d. DSGVO
    • Ein Unternehmen, dass die KI einsetzt ist Verantwortlicher i.S.d. DSGVO
    • Beachte - Entwickelt das einsetzende Unternehmen ein KI-Modell weiter, so wird es eigenständig verantwortlicher KI-Anbieter. In diesem Falle werden ihn künftig die Pflichten in der Rolle eines Anbieters nach KI-VO treffen. Denn eine eigenständige Weiterverarbeitung geht über eine Auftragsverarbeitung hinaus.
      - Arbeiten Anbieter und einsetzendes Unternehmen (Betreiber) bei der Entwicklung der KI zusammen und verfolgen hierbei gemeinsame Zwecke, kann eine gemeinsame Verantwortlichkeit i.S.v. Art. 26 DSGVO vorliegen. In diesem Fall wäre statt eines Vertrags über Auftragsverarbeitung ein Vertrag über gemeinsame Verantwortung zu schließen.
  • Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen (Art. 25 DSGVO)
  • Technische und organisatorische Maßnahmen angemessen nach dem Stand der Technik (Art. 32 DSGVO)
  • Durchführung einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO:
    Blacklist der DSK - Nr. 11: Die Durchführung einer DSFA ist u.a. beim Einsatz von KI zur Verarbeitung personenbezogener Daten, zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person zwingend.

Was bedeutet der Art. 22 DSGVO für den Einsatz Künstlicher Intelligenz?

• Art. 22 Abs. 1 DSGVO verbietet es, eine Person einem ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung zu unterwerfen, welche ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.
• Ausnahmen von diesem Verbot sieht Art. 22 Abs. 2 lit. b) DSGVO vor z. B. über nationale Rechtsvorschriften: Jedoch nur, wenn diese angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten.
• Die Frage, was unter einer „automatisierten Entscheidung“ im Sinne dieser Vorschrift verstanden werden kann, befasst mittlerweile die Gerichte. Diese Gerichtsentscheidungen werden auch für die Beurteilung von Künstlicher Intelligenz von grundsätzlicher Bedeutung sein. Maßgeblich wird hier die Rechtsprechung zum sog. Schufa-Urteil sein.

Was bedeutet das konkret?

Checklisten der Datenschutzaufsichtsbehörden zu KI finden Sie im Download-Bereich. Damit können Sie prüfen, was Sie in Ihrem Betrieb in Bezug auf Datenschutz und Künstliche Intelligenz beachten müssen.

Welche Bedeutung hat das Schufa-Urteil?

Am 07.12.23 hat der Europäische Gerichtshof (EuGH) im Urteil zum Bonität-Scoring von Auskunfteien (EuGH v. 7.12.23, C-634/21) Folgendes entschieden:

Das Schufa-Scoring stellt eine automatisierte Einzelentscheidung im Sinne von Art. 22 Abs. 1 DSGVO dar.
EuGH Leitsatz: […] „automatisierte Entscheidung im Einzelfall“ im Sinne dieser Bestimmung vorliegt, wenn ein auf personenbezogene Daten zu einer Person gestützter Wahrscheinlichkeitswert in Bezug auf deren Fähigkeit zur Erfüllung künftiger Zahlungsverpflichtungen durch eine Wirtschaftsauskunftei automatisiert erstellt wird, sofern von diesem Wahrscheinlichkeitswert maßgeblich abhängt, ob ein Dritter, dem dieser Wahrscheinlichkeitswert übermittelt wird, ein Vertragsverhältnis mit dieser Person begründet, durchführt oder beendet“.

Der EuGH entscheidet nur über die Auslegung des EU-Rechts (hier von Art. 22 DSGVO). Damit ist es nun Aufgabe des Verwaltungsgerichts Wiesbaden, als vorlegendes nationales Gerichts zu entscheiden, ob § 31 BDSG die Anforderungen von Art. 22 Abs. 2 lit. b) DSGVO einhält oder ob die Schufa ihr Scoring auf eine andere Ausnahme des Art. 22 DSGVO stützen kann.

Stand: 08.04.2024