Datenschutz und Künstliche Intelligenz - Darauf müssen Sie achten

Inhalt

• Welche Rolle spielt der Datenschutz bei der Künstlichen Intelligenz?
• Was bringt die KI-Verordnung?
• Was ist bereits jetzt beim Einsatz von KI zu beachten?

Welche Rolle spielt der Datenschutz bei der Künstlichen Intelligenz (KI)?

WICHTIG: Unternehmen müssen auch beim Einsatz von KI wie ChatGPT sicherstellen, dass ihre Datenverarbeitung compliant ist.

Welche Vorgaben müssen eingehalten werden?

• Bei der Verarbeitung von personenbezogenen Daten sind die Datenschutzgesetze (z. B. DSGVO, TDDDG) einzuhalten.
• Mit Inkrafttreten der KI-Verordnung werden mit Ablauf der Übergangsfristen auch deren Bestimmungen beim Einsatz von KI zu beachten sein. Die ersten Regeln werden ab dem 2. Februar 2025 gültig sein.
• Unabhängig davon müssen KI-Systeme im Einklang sein mit sonstigen einschlägigen Gesetzen wie dem Urheberrecht, dem AGG.
• Sie müssen ethischen Kriterien entsprechen; ferner muss die Qualität der Daten so sein, dass Ergebnisverzerrungen („Bias“) vermieden werden. Soweit vorgeschrieben, sind spezifische Maßnahmen zur Sicherheit einzuhalten.

Was bringt die KI-Verordnung?

Die KI-VO ( Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024) legt erstmals harmonisierte Vorschriften für künstliche Intelligenz EU-weit fest.

Welches Ziel verfolgt die KI-Verordnung?

Die Verordnung folgt als Produktsicherheitsgesetz einem risikobasierten wie menschenzentrierten Ansatz. Das heißt: Je höher das Risiko einer KI-Anwendung, umso strenger sind die Anforderungen. Es wird unterschieden zwischen verbotenen KI-Praktiken, Hochrisiko-KI-Systemen, KI-Systemen mit geringem Risiko und sog. generativen KI-Systemen wie ChatGPT .

• KI-Anwendungen mit einem inakzeptablen Risiko sollen sechs Monate nach Inkrafttreten verboten werden.
• Für Hochrisiko-KI-Systeme sind strenge Anforderungen an Technik und Organisation umzusetzen.
• Systeme mit einem geringen Risiko sollen lediglich Informations- und Transparenzpflichten unterliegen.

Wie ist der Zeitplan?

Mit Inkrafttreten der KI-VO gilt ein abgestufter Zeitplan für Übergangsfristen.

Übergangsfristen - Gestufte Anwendbarkeit nach Inkrafttreten

• Nach sechs Monaten (2. Februar 2025): KI mit inakzeptablem Risiko ist dann verboten. Ab diesem Zeitpunkt sind zudem die Regelungen zur KI-Kompetenz (AI-Literacy) zu beachten.
• Nach 12 Monaten (2. August 2025): Regeln zu Governance und General Purpose AI (GPAI) für Hochrisiko-KI mit Ausnahme des Art. 101 KI-VO (Geldbußen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck), der zum 2. August 2026 in Kraft treten wird.
• Nach 24 Monaten (2. August 2026): Sämtliche Bestimmungen werden wirksam, auch für KI-Systeme mit hohem Risiko nach Anhang III (eigenständige KI-Systeme, z.B. Biometrische Identifizierung)
• Nach 36 Monaten (2. August 2027): Pflichten für Hochrisiko-KI-Systeme nach Anhang I (KI in Medizinprodukten, Maschinen, Seilbahnen, Spielzeug etc.)

Bestandsschutz
Abweichende Übergangsfristen für KI-Systeme, die bereits auf dem Markt oder in Betrieb genommen sind:

• Solche Hochrisiko-KI-Systeme: Ab dem Zeitpunkt einer wesentlichen Änderung sind diese an die KI-VO anzupassen (Art. 111 Abs. 2 KI-VO).
• Solche Hochrisiko-KI-Systeme, welche derzeit Behörden bestimmungsgemäß verwenden: Binnen einer Frist von 6 Jahren anzupassen, d.h. bis 2. August 2030 (Art. 111 Abs. 2 Satz 2 KI-VO).
• Solche GPAI-Systeme: Anbieter solcher KI-Modelle, die vor dem 2. August 2025 in Verkehr gebracht wurden, haben diese bis 2. August 2027 an die KI-VO anzupassen (Art. 111 Abs. 3 KI-VO).
• Solche KI-Systeme, welche Teil der IT-Großsysteme im Bereich der Freiheit, der Sicherheit und des Rechts sind: Diese KI-Systeme sind bis 31. Dezember 2030 an die KI-VO anzupassen (Art. 111 Abs. 1 KI-VO).

Was regelt die KI-Verordnung?

Definition von Künstlicher Intelligenz (KI) - Art. 3 Nr. 1 KI-VO

„KI-System“ ist hiernach ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Ausgehend von dieser Definition werden Systeme immer dann als KI-Systeme einzustufen sein, wenn

• Maschinen durch Künstliche Intelligenz die Fähigkeit entwickeln,
• autonom Aufgaben auf der Basis von Algorithmen auszuführen,
• und dabei Lösungen für Probleme und Empfehlungen oder Entscheidungen vorzuschlagen.

KI-Systeme unterscheiden sich von reinen algorithmenbasierten IT-Systemen durch ihre Fähigkeit, aus Daten zu lernen und ihre Leistung/Ergebnisse zu verbessern. Erwägungsgrund 6 der KI-VO nimmt diese Abgrenzung dahingehend vor, dass algorithmenbasierte IT-Systeme nur auf festgelegten Regeln basieren und aufgabenspezifisch programmiert werden. Letztere fallen nicht unter die Definition der KI gemäß der KI-VO.

Risikobasierter Regelungsrahmen

• Verbot von Hochrisiko-KI
• Implementierung von Sicherheitsanforderung für riskante KI, z. B. soll es jederzeit möglich sein, dass Menschen in Prozesse eingreifen.
• Transparenzpflichten hinsichtlich des Trainings und der Funktionsweise von Künstlicher Intelligenz.

Was gilt für wen?

Pflichtenkatalog - Differenzierung nach

• Rolle: Anbieter, Hersteller, Betreiber, Einführer, Händler, bevollmächtigter Vertreter oder betroffene Person in der EU
• Klassifizierung der KI
  • Verbotene KI, Art. 5 KI-VO
  • Hochrisiko-KI-Systeme, Art. 6 – 49 KI-VO – Transparenzvorschriften, Art. 13 KI-VO
  • Codes of Conduct, Art. 95 KI-VO
  • GPAI Model – Transparenzvorschriften, Art. 53 KI-VO
  • GPAI Model mit systemischen Risiko – Transparenzvorschriften, Art. 55 KI-VO

Was ist bereits jetzt beim Einsatz von KI zu beachten?

Was hat die DSGVO mit KI zu tun?

Beim Einsatz von KI sind bereits jetzt die Datenschutzgesetze einzuhalten. Voraussetzung ist, dass der Anwendungsbereich der Datenschutzgesetze eröffnet ist, d. h. mit der KI personenbezogene Daten verarbeitet (z. B. eingegeben, ausgewertet oder in sonstiger Weise verarbeitet) werden.
Erste Fragen hierzu hat der Europäische Datenschutzausschuss (EDSA) in seiner „ Stellungnahme zur Verwendung personenbezogener Daten für die Entwicklung und Einführung von KI-Modellen" (17.12.2024) beantwortet.
Weitere Informationen und Erläuterungen: BIHK-Webinar "AI-Act umsetzen: Künstliche Intelligenz und Datenschutz in der Praxis, Teil 2 - Vertiefung"

• Die Grundsätze der DSGVO wie Rechtmäßigkeit, Zweckbindung, Transparenz, Datenminimierung, Richtigkeit müssen beachtet werden.
  • Rechtmäßigkeit bedeutet, eine Datenverarbeitung muss durchgängig auf Rechtsgrundlagen gestützt werden können, welche es erlaubt, diese personenbezogenen Daten für konkrete Zwecke mit KI zu verarbeiten.
  • Informationspflichten nach Art. 13, 14 DSGVO, auch über die involvierte Logik (Art. 13 Abs. 2 lit. f) DSGVO, Art. 14 Abs. 2 lit. g) DSGVO)
  • Dokumentation – Beschreibung des KI-Systems im Verzeichnis von Verarbeitungstätigkeiten (Art. 30 Abs. 1 DSGVO)
  • Abschluss eines Vertrags über Auftragsverarbeitung, Art. 28 DSGVO, z. B. zwischen Anbieter und Betreiber
    • Ein KI-Anbieter ist Auftragsverarbeiter i.S.d. DSGVO
    • Ein Unternehmen, dass die KI einsetzt ist Verantwortlicher i.S.d. DSGVO
    • Beachte
      Ein Unternehmen wechselt seine Rolle als Betreiber und wird zu einem Anbieter, wenn es wie folgt vorgeht:
      - Es versieht ein bereits in Verkehr gebrachtes und in Betrieb genommenes Hochrisiko-KI-System mit seinem eigenen Namen oder seiner eigenen Handelsmarke.
      - Es nimmt an einem solchen Hochrisiko-KI-System wesentliche Veränderungen vor.
      - Es verändert die Zweckbestimmung eines KI-Systems, einschließlich eines KI-Systems mit allgemeinem Verwendungszweck, dass nicht als hochriskant eingestuft wurde und bereits in Verkehr gebracht oder in Betrieb genommen wurde, so, dass das betreffende KI-System zu einem Hochrisiko-KI-System im Sinne von Art. 6 KI-VO wird.
  • Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen (Art. 25 DSGVO)
  • Technische und organisatorische Maßnahmen angemessen nach dem Stand der Technik (Art. 32 DSGVO)
  • Durchführung einer Datenschutz-Folgenabschätzung nach Art. 35 DSGVO:
    Blacklist der DSK - Nr. 11: Die Durchführung einer DSFA ist u.a. beim Einsatz von KI zur Verarbeitung personenbezogener Daten, zur Steuerung der Interaktion mit den Betroffenen oder zur Bewertung persönlicher Aspekte der betroffenen Person zwingend.

Praxistipps

• Auswahl und Transparenz einer KI
  Prüfen Sie eine KI vorab stets auf Transparenz, bevor Sie diese anschaffen. Kriterien hier sind:
  Aus der Ihnen von einem Anbieter zur Verfügung gestellten Dokumentation sollte für Sie erkennbar sein, dass Garantien für die Einhaltung der DSGVO gegeben und diese eingehalten werden.
• Schutz Ihrer Daten vor einem unberechtigten Abfluss
  Ergreifen Sie vor der Bereitstellung bzw. dem Einsatz von KI angemessene technische (z. B. Einsatz nur in einer separten, gesicherten IT-Umgebung) und organisatorische Maßnahmen (Schulung von Mitarbeitenden, Unternehmensinterne Regelungen zum Einsatz von KI), so dass keine (personenbezogenen) Daten abfließen können.
• Setzen Sie eine Online-Schnittstelle ein, sollten Sie vorab wirksame Maßnahmen ergreifen, die einen Missbrauch verhindern. Ist das nicht möglich, sollten Sie keinesfalls personenbezogene oder vertrauliche Daten eingeben.
• KI-Kompetenz von Mitarbeitenden und Nutzenden
  Arbeitgeber sind seit 2. Februar 2025 verpflichtet, dafür zu sorgen, dass ihre Mitarbeitenden und Nutzenden über ein ausreichendes Maß an KI-Kompetenz verfügen. Hierbei sind ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem KI-Systeme eingesetzt werden zu berücksichtigen.
  Informationen: BIHK-Webinar: KI-Kompetenz gemäß Artikel 4 - Überblick und Praxistipps für die Umsetzung
• Durchsetzung von Betroffenenrechten
  Prüfen Sie vor einer Auswahlentscheidung stets, ob ein Hersteller einer KI auch datenschutzrechtlich Verantwortlicher ist. In diesem Fall sollten Sie vorab klären, ob dieser seinen Sitz in der EU hat oder einen Vertreter nach Art. 27 DSGVO benannt hat. Andernfalls dürften Betroffenenrechte nur schwer durchsetzbar sein.

Was bedeutet der Art. 22 DSGVO für den Einsatz Künstlicher Intelligenz?

• Art. 22 Abs. 1 DSGVO verbietet es, eine Person einem ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung zu unterwerfen, welche ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.
• Ausnahmen von diesem Verbot sieht Art. 22 Abs. 2 lit. b) DSGVO vor z. B. über nationale Rechtsvorschriften: Jedoch nur, wenn diese angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten.
• Die Frage, was unter einer „automatisierten Entscheidung“ im Sinne dieser Vorschrift verstanden werden kann, befasst mittlerweile die Gerichte. Diese Gerichtsentscheidungen werden auch für die Beurteilung von Künstlicher Intelligenz von grundsätzlicher Bedeutung sein. Maßgeblich wird hier die Rechtsprechung zum sog. Schufa-Urteil sein.

Was bedeutet das konkret?

Checklisten der Datenschutzaufsichtsbehörden zu KI finden Sie im Download-Bereich. Damit können Sie prüfen, was Sie in Ihrem Betrieb in Bezug auf Datenschutz und Künstliche Intelligenz beachten müssen.

Welche Bedeutung hat das Schufa-Urteil?

Am 07.12.23 hat der Europäische Gerichtshof (EuGH) im Urteil zum Bonität-Scoring von Auskunfteien (EuGH v. 7.12.23, C-634/21) Folgendes entschieden:

Das Schufa-Scoring stellt eine automatisierte Einzelentscheidung im Sinne von Art. 22 Abs. 1 DSGVO dar.
EuGH Leitsatz: […] „automatisierte Entscheidung im Einzelfall“ im Sinne dieser Bestimmung vorliegt, wenn ein auf personenbezogene Daten zu einer Person gestützter Wahrscheinlichkeitswert in Bezug auf deren Fähigkeit zur Erfüllung künftiger Zahlungsverpflichtungen durch eine Wirtschaftsauskunftei automatisiert erstellt wird, sofern von diesem Wahrscheinlichkeitswert maßgeblich abhängt, ob ein Dritter, dem dieser Wahrscheinlichkeitswert übermittelt wird, ein Vertragsverhältnis mit dieser Person begründet, durchführt oder beendet“.

Der EuGH entscheidet nur über die Auslegung des EU-Rechts (hier von Art. 22 DSGVO). Damit ist es nun Aufgabe des Verwaltungsgerichts Wiesbaden, als vorlegendes nationales Gerichts zu entscheiden, ob § 31 BDSG die Anforderungen von Art. 22 Abs. 2 lit. b) DSGVO einhält oder ob die Schufa ihr Scoring auf eine andere Ausnahme des Art. 22 DSGVO stützen kann.

Mit Urteil vom 27.02.2025 hat der EuGH (Rechtssache C-203/22) zu automatisierten Entscheidungen entschieden:

• Jedermann hat bei einer automatisierten Entscheidung (einschließlich Profiling) gem. Art. 22 Abs. 1 DSGVO gegenüber dem Verantwortlichen einen Anspruch auf Erteilung „aussagekräftiger Informationen über die involvierte Logik".
• Bei der Erteilung ist zu beachten, dass diese anhand der maßgeblichen Informationen in präziser, transparenter, verständlicher und leicht zugänglicher Form die Verfahren und Grundsätze darlegt, die konkret dazu führen, dass ein bestimmtes Ergebnis gewonnen wird, wenn von einer Person deren personenbezogenen Daten hierbei verwendet werden. In dem vom EuGH zu entscheidenden Fall ging es um ein Bonitätsprofil.
• Zudem hat der EuGH entschieden, dass Unternehmen Geschäftsgeheimnisse gegenüber der zuständigen Datenschutzaufsichtsbehörde oder einem zuständigen Gericht offen zu legen haben.
  D. h. die Datenschutzaufsichtsbehörde bzw. das Gericht hat dann abzuwägen, ob und inwieweit Geschäftsgeheimnisse für die betroffene Person relevant sind und offengelegt werden müssen.

Stand: 07.03.2025