DSGVO und KI – was beim Einsatz von KI-Tools zu beachten ist

Mitarbeitende tippen täglich Kundennamen, Vertragsinhalte oder HR-Daten in ChatGPT – oft ohne zu wissen, was datenschutzrechtlich damit passiert. KI-Tools wie ChatGPT, Microsoft Copilot, Google Gemini oder Midjourney verarbeiten Texteingaben auf Servern von Drittanbietern, häufig in den USA. Das berührt die Datenschutz-Grundverordnung (DSGVO) unmittelbar – und kann bei Verstößen empfindliche Bußgelder nach sich ziehen.

Dieser Artikel erklärt die wichtigsten datenschutzrechtlichen Anforderungen beim Einsatz von KI-Tools im Unternehmen: welche Rechtsgrundlagen gelten, wann ein Auftragsverarbeitungsvertrag (AVV) nötig ist, was mit US-Anbietern zu beachten ist und welche praktischen Schritte Unternehmen jetzt gehen sollten.

Hinweis: Dieser Artikel stellt keine Rechtsberatung dar und ersetzt keine individuelle rechtliche Beratung. Für Ihre konkrete Situation wenden Sie sich bitte an eine zugelassene Datenschutzbeauftragte, einen Rechtsanwalt oder Ihre zuständige Aufsichtsbehörde.

Wann greift die DSGVO beim KI-Einsatz?

Die DSGVO gilt immer dann, wenn personenbezogene Daten verarbeitet werden. Personenbezogene Daten sind alle Informationen, die sich auf eine identifizierte oder identifizierbare natürliche Person beziehen (Art. 4 Nr. 1 DSGVO): Name, E-Mail-Adresse, Telefonnummer, Kundennummer, Bewerbungsunterlagen, Gehaltsangaben – aber auch interne Projektnamen in Verbindung mit Personenangaben oder Beschreibungen, die Rückschlüsse auf Einzelpersonen erlauben.

Für Unternehmen ist entscheidend: Sobald Mitarbeitende solche Daten in ein KI-Tool eingeben, findet eine Datenverarbeitung im Sinne der DSGVO statt. Das gilt unabhängig davon, ob die Eingabe bewusst oder versehentlich erfolgt, ob das Tool kommerziell oder kostenlos genutzt wird und ob die Verarbeitung auf Unternehmensservern oder in einer Cloud des Anbieters stattfindet.

Typische Szenarien, in denen DSGVO-relevante Daten in KI-Tools fließen:

• Zusammenfassungen von Kundengesprächen oder E-Mails (mit Kundennamen)
• Entwurf von Mitarbeitergesprächen oder Zielvereinbarungen
• Analyse von Bewerbungsunterlagen mit KI-Unterstützung
• Erstellung von Angeboten oder Verträgen mit Bezug auf konkrete Personen
• Übersetzung interner Dokumente, die personenbezogene Daten enthalten

Viele dieser Situationen entstehen nicht durch Fahrlässigkeit, sondern weil Mitarbeitende die datenschutzrechtliche Dimension schlicht nicht kennen. Das ist ein Schulungsproblem – und eines, das Unternehmen aktiv lösen müssen.

Rechtsgrundlage: Was erlaubt die DSGVO? (Art. 6)

Jede Verarbeitung personenbezogener Daten braucht eine Rechtsgrundlage. Art. 6 DSGVO listet die zulässigen Grundlagen abschließend auf. Für den KI-Einsatz im Unternehmen kommen hauptsächlich in Betracht:

• Einwilligung (Art. 6 Abs. 1 lit. a DSGVO): Die betroffene Person hat ausdrücklich zugestimmt. Im betrieblichen Kontext schwierig, da Einwilligungen von Mitarbeitenden oft nicht als freiwillig gelten.
• Vertragserfüllung (Art. 6 Abs. 1 lit. b DSGVO): Die Verarbeitung ist für die Erfüllung eines Vertrags mit der betroffenen Person notwendig. Greift, wenn etwa Kundendaten für die direkte Vertragsabwicklung verarbeitet werden.
• Berechtigtes Interesse (Art. 6 Abs. 1 lit. f DSGVO): Die Verarbeitung ist zur Wahrung berechtigter Interessen des Verantwortlichen erforderlich, sofern die Interessen der betroffenen Person nicht überwiegen. Diese Grundlage wird für viele betriebliche KI-Einsätze herangezogen – erfordert aber eine sorgfältige Interessenabwägung.
• Rechtliche Verpflichtung (Art. 6 Abs. 1 lit. c DSGVO): Die Verarbeitung ist zur Erfüllung einer rechtlichen Verpflichtung erforderlich.

Entscheidend ist: Die Rechtsgrundlage muss vor der Verarbeitung feststehen – nicht im Nachhinein festgestellt werden. Unternehmen sollten für ihre KI-Einsätze dokumentieren, auf welche Rechtsgrundlage sie sich stützen.

Für besondere Kategorien personenbezogener Daten – Gesundheitsdaten, Daten zur ethnischen Herkunft, politische Meinungen, religiöse Überzeugungen, biometrische und genetische Daten sowie Angaben zur sexuellen Orientierung (Art. 9 DSGVO) – gelten deutlich strengere Anforderungen. Diese Daten dürfen grundsätzlich nicht verarbeitet werden, es sei denn, es greift einer der eng gefassten Erlaubnistatbestände aus Art. 9 Abs. 2 DSGVO. Solche Daten gehören nicht in KI-Prompts.

Auftragsverarbeitung und AVV (Art. 28 DSGVO)

Wenn ein Unternehmen einen externen Dienstleister mit der Verarbeitung personenbezogener Daten beauftragt, liegt in der Regel eine Auftragsverarbeitung vor. Der externe Anbieter – hier der KI-Tool-Anbieter – verarbeitet die Daten nicht für eigene Zwecke, sondern im Auftrag und nach Weisung des Unternehmens (des „Verantwortlichen" im Sinne der DSGVO).

Art. 28 DSGVO schreibt vor: Auftragsverarbeitung ist nur zulässig, wenn ein schriftlicher Auftragsverarbeitungsvertrag (AVV) abgeschlossen wurde. Dieser Vertrag muss unter anderem festlegen:

• Gegenstand, Dauer und Art der Verarbeitung
• Zweck und Art der personenbezogenen Daten sowie die Kategorien betroffener Personen
• Pflichten und Rechte des Verantwortlichen
• Technische und organisatorische Maßnahmen (TOM) des Auftragsverarbeiters
• Regelungen zu Unterauftragsverarbeitern
• Rückgabe oder Löschung der Daten nach Ende des Auftrags

Wichtig: Nicht jede KI-Tool-Nutzung ist automatisch eine Auftragsverarbeitung. Wenn der Anbieter die Eingabedaten für eigene Zwecke nutzt – etwa um seine Modelle zu trainieren –, ist er möglicherweise kein Auftragsverarbeiter, sondern ein eigenständiger Verantwortlicher oder gemeinsam Verantwortlicher. Das verändert die rechtliche Situation erheblich und kann eine eigenständige Rechtsgrundlage für diese Nutzung durch den Anbieter erfordern.

Unternehmen sollten für jedes KI-Tool, das sie einsetzen, prüfen: Werden personenbezogene Daten verarbeitet? Liegt ein AVV vor? Unter welchen Bedingungen nutzt der Anbieter die Daten? Viele Anbieter stellen AVV-Muster in ihren Unternehmensangeboten bereit – diese müssen aber aktiv abgeschlossen, nicht nur zur Kenntnis genommen werden.

Datenminimierung und Zweckbindung

Zwei der wichtigsten Grundsätze der DSGVO (Art. 5) sind Datenminimierung und Zweckbindung – und beide werden im KI-Alltag häufig verletzt, ohne dass es auffällt.

Datenminimierung bedeutet: Es dürfen nur so viele personenbezogene Daten verarbeitet werden, wie für den jeweiligen Zweck erforderlich sind. Wer ChatGPT bittet, eine E-Mail zu formulieren, muss dafür nicht den vollständigen Kundenstamm beschreiben. Wer eine Stellenausschreibung entwirft, muss die Bewerbungsunterlagen konkreter Kandidaten nicht in den Prompt kopieren.

Zweckbindung bedeutet: Daten, die für einen bestimmten Zweck erhoben wurden, dürfen nicht ohne Weiteres für andere Zwecke genutzt werden. Wenn Kundendaten für die Vertragsabwicklung erhoben wurden, ist ihre Nutzung zum Training eines unternehmensseitig betriebenen KI-Modells ein anderer Zweck – und bedarf einer eigenen Rechtsgrundlage.

Für die Praxis heißt das: Mitarbeitende sollten KI-Tools mit anonymisierten oder pseudonymisierten Daten arbeiten, wo immer das möglich ist. Statt „Frau Müller, Kundennummer 4711, hat sich am 15.3. beschwert" genügt in vielen Fällen „eine Kundin hat sich beschwert" als Kontext für die KI.

Keine sensiblen Daten in Prompts

Besondere Aufmerksamkeit verdient die Eingabe von Daten, die unter Art. 9 DSGVO fallen – die sogenannten besonderen Kategorien personenbezogener Daten. Dazu gehören:

• Gesundheitsdaten und medizinische Informationen
• Biometrische Daten zur eindeutigen Identifikation
• Genetische Daten
• Religiöse oder weltanschauliche Überzeugungen
• Politische Meinungen
• Gewerkschaftszugehörigkeit
• Daten zum Sexualleben oder zur sexuellen Orientierung
• Daten zur ethnischen oder rassischen Herkunft

Diese Daten unterliegen einem strengen Verarbeitungsverbot mit sehr engen Ausnahmen. In externe KI-Tools gehören sie grundsätzlich nicht – weder als Teil eines Prompts noch als angehängte Dokumente. Das gilt auch dann, wenn ein AVV abgeschlossen ist, weil die Erforderlichkeit und die Rechtsgrundlage einer gesonderten Prüfung bedürfen.

Auch Daten, die keine besondere Kategorie nach Art. 9 darstellen, aber besonders sensibel sind – wie Gehaltsdaten, Kontonummern, Passwörter oder strafrechtliche Verurteilungen nach Art. 10 DSGVO – sollten Mitarbeitende nicht in KI-Tools eingeben, ohne dass dafür eine klare interne Freigabe und entsprechende Schutzmaßnahmen bestehen.

Wie Sie dafür sorgen, dass Mitarbeitende das im Arbeitsalltag zuverlässig beachten, beschreiben wir auch in unserem Artikel 10 Regeln für den sicheren Umgang mit ChatGPT & Co. am Arbeitsplatz.

Internationale Datenübermittlung: US-Tools und das EU-US Data Privacy Framework

Viele der meistgenutzten KI-Tools kommen aus den USA: OpenAI (ChatGPT), Microsoft (Copilot), Google (Gemini), Anthropic (Claude). Wenn Daten auf Server dieser Anbieter übertragen werden, findet eine internationale Datenübermittlung statt – mit besonderen Anforderungen nach Art. 44 ff. DSGVO.

Die gute Nachricht: Mit dem EU-US Data Privacy Framework (DPF), das die EU-Kommission im Juli 2023 durch einen Angemessenheitsbeschluss bestätigt hat, gibt es wieder einen anerkannten Rahmen für Datenübermittlungen in die USA. US-Unternehmen können sich beim DPF selbst zertifizieren und damit bestätigen, datenschutzrechtliche Standards einzuhalten, die dem europäischen Niveau entsprechen.

Wichtig für Unternehmen:

• Prüfen Sie, ob der Anbieter DPF-zertifiziert ist. Die aktuelle Liste zertifizierter Unternehmen ist öffentlich zugänglich (dataprivacyframework.gov). OpenAI, Microsoft und Google sind zertifiziert – aber die Zertifizierung muss regelmäßig erneuert werden und kann erlöschen.
• DPF allein reicht nicht aus, wenn der Anbieter die Daten für eigene Zwecke nutzt, die über die Auftragsverarbeitung hinausgehen. In diesen Fällen braucht es zusätzliche Prüfung und ggf. Standardvertragsklauseln (SCC) oder andere Garantien nach Art. 46 DSGVO.
• Politische Entwicklungen können das DPF beeinflussen. Das Vorgängermodell (Privacy Shield) wurde 2020 durch den Europäischen Gerichtshof (EuGH) für ungültig erklärt (Schrems II). Unternehmen sollten die Situation beobachten und einen Plan B haben.

Manche Anbieter bieten auch europäische Datenhaltungsoptionen an – etwa Azure OpenAI Service von Microsoft mit EU-Datenresidenz. Diese können datenschutzrechtlich einfacher zu handhaben sein, weil keine internationale Übermittlung stattfindet. Der Aufwand für die Einrichtung ist aber höher und nicht für jeden Einsatzzweck sinnvoll.

Datenschutz-Folgenabschätzung (DSFA) bei hohem Risiko

Art. 35 DSGVO verpflichtet Unternehmen zur Durchführung einer Datenschutz-Folgenabschätzung (DSFA), wenn eine Verarbeitung voraussichtlich ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen mit sich bringt. Eine DSFA muss vor Beginn der Verarbeitung stattfinden.

Beim Einsatz von KI-Tools ist eine DSFA insbesondere dann erforderlich, wenn:

• KI zur automatisierten Entscheidung genutzt wird, die rechtliche oder erheblich beeinträchtigende Wirkung auf Personen hat (z.B. automatisierte Bewerbungsvorauswahl, Kreditscoring)
• umfangreiche Verarbeitung besonderer Kategorien von Daten (Art. 9, 10 DSGVO) geplant ist
• eine systematische umfangreiche Überwachung öffentlich zugänglicher Bereiche stattfindet
• KI zum Profiling von Personen eingesetzt wird

Die Datenschutzaufsichtsbehörden der Länder veröffentlichen Muster-Listen für DSFA-pflichtige Verarbeitungen. Für einfache produktivitätssteigernde KI-Nutzung (Textformatierung, Übersetzungen ohne Personenbezug, interne Zusammenfassungen) ist eine DSFA in der Regel nicht erforderlich. Für KI-gestützte HR-Prozesse, Kundenprofilierung oder automatisierte Entscheidungen hingegen meist schon.

Transparenz und Betroffenenrechte

Die DSGVO gibt betroffenen Personen weitreichende Rechte: Auskunft (Art. 15), Berichtigung (Art. 16), Löschung (Art. 17), Einschränkung der Verarbeitung (Art. 18), Datenübertragbarkeit (Art. 20) und Widerspruch (Art. 21). Wenn personenbezogene Daten in KI-Tools verarbeitet werden, müssen Unternehmen sicherstellen, dass sie diesen Rechten auch nachkommen können.

Das wirft praktische Fragen auf: Kann das Unternehmen alle Verarbeitungen eines KI-Anbieters auf Anfrage nachvollziehen? Kann es Daten bei Bedarf beim Anbieter löschen lassen? Ist bekannt, wo und wie lange Daten beim Anbieter gespeichert werden?

Außerdem gilt der Grundsatz der Transparenz: Werden Kunden, Bewerber oder Mitarbeitende mithilfe von KI-Tools verarbeitet, muss das in der Datenschutzerklärung des Unternehmens abgebildet sein. Die Datenschutzerklärung muss aktuell gehalten werden und den Einsatz von KI-Drittanbietern als Auftragsverarbeiter nennen.

Besondere Bedeutung hat Art. 22 DSGVO für automatisierte Entscheidungen: Personen haben grundsätzlich das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu werden, die ihnen gegenüber rechtliche Wirkung entfaltet oder sie erheblich beeinträchtigt. Wenn KI in Entscheidungsprozessen eingesetzt wird (z.B. Kreditvergabe, Stellenauswahl), muss sichergestellt sein, dass ein Mensch die Entscheidung überprüft und verantwortet.

Bußgelder nach Art. 83 DSGVO

Verstöße gegen die DSGVO können empfindliche Bußgelder nach sich ziehen. Art. 83 DSGVO sieht zwei Bußgeldrahmen vor:

• Bis zu 10 Mio. € oder 2 % des weltweiten Jahresumsatzes (je nachdem, was höher ist) für weniger schwerwiegende Verstöße – etwa fehlende AVV, unzureichende technische und organisatorische Maßnahmen oder Verletzungen der Meldepflichten (Art. 83 Abs. 4 DSGVO).
• Bis zu 20 Mio. € oder 4 % des weltweiten Jahresumsatzes für schwerwiegendere Verstöße – etwa unzulässige Verarbeitung ohne Rechtsgrundlage oder Verletzung der Grundsätze aus Art. 5 DSGVO (Art. 83 Abs. 5 DSGVO).

In der Praxis setzen die Datenschutzaufsichtsbehörden diese Maxima selten aus, aber sie haben in den letzten Jahren zunehmend signifikante Bußgelder verhängt. Bekannte Fälle betreffen unter anderem unzureichende Datenübermittlungsgrundlagen in die USA und fehlende Auftragsverarbeitungsverträge.

Wichtig zur Klarstellung: Der EU AI Act Art. 4 (KI-Kompetenzpflicht) enthält keinen eigenen Bußgeldtatbestand. Die datenschutzrechtlichen Risiken beim KI-Einsatz entstehen aus der DSGVO, nicht aus Art. 4 EU AI Act. Dieser verpflichtet Unternehmen zwar zur Sicherstellung ausreichender KI-Kompetenz – aber die finanzielle Sanktionierung fehlender Datenschutzkompetenz läuft über das DSGVO-Bußgeldsystem.

Praktische Handlungsempfehlungen: Checkliste für Unternehmen

Diese Punkte sind keine einmalige Aufgabe, sondern ein kontinuierlicher Prozess – neue KI-Tools kommen laufend auf den Markt, und die Nutzungsgewohnheiten im Team verändern sich. Empfehlenswert ist eine jährliche Überprüfung, ob der Ist-Zustand noch mit den Anforderungen übereinstimmt.

DSGVO-Kompetenz als Teil der KI-Kompetenz nach Art. 4 EU AI Act

Der EU AI Act verpflichtet Unternehmen seit dem 2. Februar 2025 nach Artikel 4, dafür zu sorgen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt. KI-Kompetenz umfasst dabei nicht nur technisches Grundverständnis oder den Umgang mit Halluzinationen – sie schließt ausdrücklich auch das Wissen über rechtliche und ethische Rahmenbedingungen des KI-Einsatzes ein.

Das Wissen um DSGVO-Anforderungen beim KI-Einsatz ist damit ein wesentlicher Baustein dieser Kompetenz. Mitarbeitende, die personenbezogene Daten in KI-Tools eingeben, ohne die datenschutzrechtliche Dimension zu kennen, handeln nicht kompetent im Sinne des EU AI Act – unabhängig davon, wie geschickt sie Prompts formulieren.

Art. 4 EU AI Act enthält keinen eigenen Bußgeldtatbestand. Die DSGVO-Bußgelder (Art. 83) treffen jedoch Unternehmen, die die DSGVO nicht einhalten – auch bei KI-bedingten Verstößen.

Für Unternehmen ist das eine Chance: Wer KI-Kompetenz-Schulungen für Mitarbeitende organisiert, kann dabei auch DSGVO-Grundlagen beim KI-Einsatz abdecken und so beide Anforderungen – Datenschutz und Art. 4 EU AI Act – in einem strukturierten Format adressieren.

Mehr zur KI-Kompetenzpflicht selbst finden Sie in unserem Artikel EU AI Act Artikel 4 einfach erklärt sowie in der praktischen Anleitung zur Dokumentation von KI-Kompetenz nach Art. 4 EU AI Act. Wer verstehen möchte, welche Mitarbeitenden konkret betroffen sind, findet das in unserem Artikel KI-Kompetenz-Pflicht – wen betrifft Art. 4 EU AI Act konkret?.

Fazit: DSGVO und KI sind keine Gegensätze – aber sie erfordern Vorbereitung

KI-Tools können die Produktivität im Unternehmen erheblich steigern. Die DSGVO verbietet ihren Einsatz nicht – sie setzt aber klare Rahmenbedingungen: eine Rechtsgrundlage für die Datenverarbeitung, einen AVV mit dem Anbieter, den Ausschluss sensibler Daten aus Prompts, eine solide Basis für internationale Datenübermittlungen und das Respektieren der Betroffenenrechte.

Das sind keine unüberwindbaren Anforderungen. Aber sie setzen voraus, dass Unternehmen die genutzten Tools kennen, die Verarbeitungsprozesse dokumentieren und ihre Mitarbeitenden entsprechend schulen. Letzteres ist gleichzeitig eine gesetzliche Anforderung nach Art. 4 EU AI Act.

Wer beide Anforderungen – DSGVO-Compliance und KI-Kompetenz – strukturiert angeht, schützt nicht nur das Unternehmen vor Bußgeldern. Er schafft auch Vertrauen: bei Kunden, bei Mitarbeitenden und gegenüber Aufsichtsbehörden.

Das KI-Kompetenz-Zertifikat von ki-zertifizieren.de umfasst Lernmodule zu rechtlichen Rahmenbedingungen beim KI-Einsatz – einschließlich datenschutzrechtlicher Grundlagen –, eine Abschlussprüfung und ein personalisiertes PDF-Zertifikat mit Verifizierungs-ID. Alles in unter 60 Minuten, für 47 € pro Person.

Für Unternehmen, die mehrere Mitarbeitende schulen möchten, steht das Firmenportal mit zentraler Verwaltung, Sammelabrechnung und automatisierten Zertifikaten zur Verfügung.

→ Jetzt KI-Kompetenz-Zertifikat erwerben (47 €)