KI in Behörden & öffentlicher Verwaltung – EU AI Act Pflichten und Hochrisiko-Anwendungen

Ob algorithmische Bearbeitung von Sozialleistungsanträgen, KI-Unterstützung in der Strafverfolgung oder automatisierte Risikoeinschätzung im Asylverfahren: Öffentliche Stellen setzen in Deutschland und Europa zunehmend KI-Systeme ein. Mit dem EU AI Act gelten dabei klare Pflichten – auch und gerade für Behörden. Dieser Artikel erklärt, was der EU AI Act für die öffentliche Verwaltung konkret bedeutet, welche Anwendungen als Hochrisiko eingestuft werden und wie die KI-Kompetenz-Pflicht nach Artikel 4 auch für öffentliche Stellen gilt.

*Hinweis: Dieser Artikel stellt keine Rechtsberatung dar. Die nachfolgenden Angaben basieren auf dem Wortlaut der Verordnung (EU) 2024/1689. Für konkrete rechtliche Fragen wenden Sie sich bitte an eine zugelassene Rechtsanwältin oder einen Rechtsanwalt. Zum Zeitpunkt der Veröffentlichung befindet sich die nationale Umsetzungsarchitektur in Deutschland noch im Aufbau.*

Der EU AI Act gilt auch für öffentliche Stellen

Ein weit verbreitetes Missverständnis: Der EU AI Act sei vor allem eine Regulierung für Tech-Konzerne und private Unternehmen. Das stimmt nicht. Die Verordnung (EU) 2024/1689 richtet sich an Anbieter und Betreiber von KI-Systemen – und Behörden sind Betreiber, wenn sie KI-Systeme in ihren Prozessen einsetzen.

Das bedeutet: Eine Kommunalverwaltung, die einen KI-gestützten Chatbot für Bürgeranfragen einsetzt, ist Betreiberin im Sinne des EU AI Act. Eine Sozialbehörde, die algorithmische Unterstützung bei der Antragsbearbeitung nutzt, ist Betreiberin. Eine Polizeibehörde, die KI-Analysesysteme einsetzt, ist Betreiberin.

Für öffentliche Stellen als Betreiber gelten dieselben Grundpflichten wie für private Unternehmen – plus zusätzliche Einschränkungen bei bestimmten Hochrisiko-Anwendungen, auf die wir weiter unten eingehen.

Art. 4 EU AI Act: KI-Kompetenz-Pflicht für Behörden

Artikel 4 des EU AI Act gilt seit dem 2. Februar 2025 – ohne Ausnahme für öffentliche Stellen. Der Wortlaut ist eindeutig:

*„Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Namen mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen."*

Das bedeutet für Behörden konkret:

• Alle Mitarbeiterinnen und Mitarbeiter, die KI-Systeme nutzen oder betreuen, müssen nachweislich über KI-Kompetenz verfügen.
• Das umfasst technisches Grundverständnis, Bewusstsein für Chancen und Risiken sowie kritische Bewertungsfähigkeit.
• Die Kompetenz muss dokumentiert sein – eine interne Anweisung oder ein Team-Meeting reicht nicht aus.

Was „dokumentiert" in der Praxis heißt

Für eine belastbare Dokumentation braucht es:

1. Schulungsinhalt: Was wurde vermittelt? (KI-Grundlagen, Risiken, Umgang mit spezifischen Systemen)
2. Teilnehmerliste: Wer hat teilgenommen? Mit Datum und Funktion.
3. Erfolgskontrolle: Wurde das Gelernte überprüft? Wissenstest, Prüfung oder strukturiertes Reflexionsgespräch.
4. Personalisierter Nachweis: Jede Person erhält einen individuellen Nachweis mit Name, Datum und Thema.
5. Wiederholungsplan: Bei neuen KI-Systemen oder veränderten Anforderungen muss die Schulung aktualisiert werden.

Art. 4 ist kein eigenständiger Bußgeldtatbestand

Ein wichtiger Punkt zur Einordnung: Artikel 4 selbst enthält keinen eigenständigen Bußgeldtatbestand. Die häufig zitierten Bußgelder von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes beziehen sich auf Verstöße gegen die verbotenen KI-Praktiken nach Artikel 5 – nicht auf fehlende Schulungsnachweise.

Fehlende KI-Kompetenz-Dokumentation kann jedoch als erschwerender Umstand bei anderen Verstößen gewertet werden und erhöht das regulatorische Risiko erheblich. Behörden, die nachweislich strukturiert handeln, stehen in einer möglichen Prüfung deutlich besser da.

Eine ausführliche Erklärung von Artikel 4 finden Sie hier: EU AI Act Artikel 4 einfach erklärt. Zum Aufsichtssystem in Deutschland lesen Sie: Bundesnetzagentur & EU AI Act – wer kontrolliert die KI-Pflichten?

Hochrisiko-Anwendungen in der öffentlichen Verwaltung – was Anhang III vorsieht

Der EU AI Act unterscheidet KI-Systeme nach ihrem Risikopotenzial. Die kritischste Kategorie – abseits der absolut verbotenen Systeme – sind Hochrisiko-KI-Systeme nach Anhang III der Verordnung. Mehrere dort gelistete Bereiche betreffen die öffentliche Verwaltung direkt.

Was als Hochrisiko eingestuft ist

Verwaltung und Gewährung von Sozialleistungen KI-Systeme, die zur Bewertung, Klassifizierung oder Priorisierung natürlicher Personen bei der Inanspruchnahme öffentlicher Sozialleistungen eingesetzt werden, fallen in den Hochrisikobereich. Das betrifft beispielsweise algorithmengestützte Bearbeitung von Leistungsanträgen (Arbeitslosengeld, Bürgergeld, Wohngeld) oder automatisierte Risikoeinschätzungen über möglichen Leistungsmissbrauch.

Strafverfolgung KI-Systeme, die von Strafverfolgungsbehörden eingesetzt werden, um Risiken von Straftaten, Rückfallwahrscheinlichkeiten oder Betrugsprofile zu bewerten oder Verdachtsmomente zu analysieren, gelten als Hochrisiko. Gleiches gilt für die Analyse von Persönlichkeitsprofilen zur Verbrechen-Prävention.

Migration, Asyl und Grenzkontrolle KI-Systeme zur Bewertung von Migrationsrisiken, zur Prüfung von Asylanträgen, zur Verifikation von Dokumenten oder zur Risikoklassifizierung von Reisenden – etwa in grenztechnischen Anwendungen – sind Hochrisikosysteme nach Anhang III.

Justizverwaltung und demokratische Prozesse KI-Systeme, die Richter, Staatsanwälte oder vergleichbare Stellen bei der Entscheidungsfindung unterstützen – insbesondere durch Faktenanalyse, Rechtsprechungs-Recherche oder Strafmaß-Empfehlungen – fallen ebenfalls in den Hochrisikobereich.

Kritische Infrastruktur Behörden, die KI in sicherheitsrelevanten Bereichen der kritischen Infrastruktur einsetzen (Wasserversorgung, Energieversorgung, Verkehrsinfrastruktur), müssen mit erhöhten Anforderungen rechnen.

Was für Hochrisiko-KI-Systeme gilt

Betreiber von Hochrisiko-KI-Systemen haben über die allgemeinen Pflichten hinaus zusätzliche Anforderungen:

• Risikomanagementsystem: systematische Identifikation und Minderung von Risiken
• Technische Dokumentation: vollständige Dokumentation des Systems und seiner Nutzung
• Menschliche Aufsicht: sicherstellen, dass Menschen die Ausgaben des Systems kritisch prüfen und ggf. überschreiben können
• Transparenz gegenüber Betroffenen: in bestimmten Fällen müssen natürliche Personen informiert werden, dass eine KI-Entscheidung an ihrem Fall beteiligt war
• Zweckbindung: Hochrisiko-KI darf nur für den vorgesehenen Zweck eingesetzt werden

Wichtige Klarstellung: Nicht jede Verwaltungs-KI ist Hochrisiko

Es wäre irreführend, pauschal alle KI-Nutzungen in Behörden als hochrisikoreich einzustufen. Der EU AI Act arbeitet risikobasiert – und viele alltägliche KI-Anwendungen in der Verwaltung fallen nicht in den Hochrisikobereich:

• Ein KI-Textgenerator, der Verwaltungsangestellten beim Schreiben von Briefen hilft
• Ein KI-Übersetzungstool für Behördenkommunikation
• Ein KI-gestütztes Terminbuchungssystem für Bürger
• Interne Suchwerkzeuge oder Wissensdatenbanken mit KI-Unterstützung

Diese Systeme fallen in der Regel in die Niedrigrisko- oder sogar Minimalrisko-Kategorie des EU AI Act. Die KI-Kompetenz-Pflicht nach Art. 4 gilt jedoch für alle Systeme – unabhängig vom Risikoniveau.

Verbotene KI-Praktiken – besondere Relevanz für Behörden

Artikel 5 des EU AI Act enthält absolute Verbote, die besonders für öffentliche Stellen relevant sind:

Biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum ist für Strafverfolgungsbehörden grundsätzlich verboten – mit sehr engen Ausnahmen (z. B. Suche nach vermissten Kindern, unmittelbare Terrorbedrohung, richterlich genehmigte Strafverfolgung bei bestimmten schweren Delikten).

Social Scoring – also die Bewertung natürlicher Personen über Kontextgrenzen hinweg mit nachteiligen Konsequenzen – ist auch für öffentliche Stellen verboten.

Die Bußgelder für Verstöße gegen diese verbotenen Praktiken betragen bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes (Art. 99 EU AI Act) – wobei für Behörden die Umsatzgröße naturgemäß anders zu berechnen ist als bei privaten Unternehmen. Die Anwendbarkeit dieser Sanktionsbestimmungen läuft stufenweise an; eine vollständige Sanktionsfähigkeit ist ab dem 2. August 2025 vorgesehen.

Mehr zu den verbotenen Praktiken: Verbotene KI-Praktiken nach Art. 5 EU AI Act

Herausforderungen für die öffentliche Verwaltung in der Praxis

Ressourcen und Beschaffung

Öffentliche Stellen kaufen KI-Systeme häufig von externen Anbietern. Damit werden sie zu Betreibern – mit allen damit verbundenen Pflichten. Das bedeutet: Bei der Beschaffung von KI-Systemen müssen Behörden prüfen, ob das System in die Hochrisikoklassifikation fällt, und entsprechende Vertragsklauseln mit dem Anbieter vereinbaren.

Entscheidend ist auch, ob der Anbieter als Provider im Sinne des EU AI Act die technische Dokumentation und Konformitätsbewertung bereitstellt – oder ob die Behörde selbst in diese Pflichten einrückt.

Mitarbeiterschulung als staatliche Pflicht

Die KI-Kompetenz-Schulungspflicht trifft Behörden besonders stark, weil der öffentliche Dienst in seiner Breite KI-Systeme zunehmend im direkten Bürger-Kontakt einsetzt. Sachbearbeiterinnen und Sachbearbeiter, die mit KI-gestützten Assistenzsystemen arbeiten, müssen die Grenzen, Risiken und Funktionsweisen dieser Systeme kennen.

Transparenzpflichten gegenüber Bürgerinnen und Bürgern

Bei bestimmten Hochrisiko-Anwendungen müssen betroffene Personen informiert werden, wenn eine KI-Entscheidung in ihrem Fall eine Rolle gespielt hat. Das erfordert entsprechende Prozesse und Formulare – eine nicht triviale organisatorische Herausforderung.

Fristen und Übergangsregelungen für Behörden

Der EU AI Act gilt für öffentliche Stellen nach denselben Fristen wie für private Unternehmen – mit einer relevanten Ausnahme: Hochrisiko-KI-Systeme, die bereits vor dem Inkrafttreten des AI Act eingesetzt wurden (Altsysteme), haben nach Artikel 111 eine verlängerte Übergangsfrist bis zum 2. August 2030, sofern sie keine wesentliche Veränderung erfahren.

Die wichtigsten Fristen im Überblick:

| Pflicht | Gültig ab | |---|---| | Verbotene KI-Praktiken (Art. 5) | 2. Februar 2025 | | KI-Kompetenz-Pflicht (Art. 4) | 2. Februar 2025 | | Allzweck-KI-Modell-Pflichten | 2. August 2025 | | Hochrisiko-KI (neue Systeme) | 2. August 2026 | | Hochrisiko-KI (Altsysteme ohne Änderung) | 2. August 2030 |

Eine vollständige Übersicht aller Fristen finden Sie hier: Fahrplan EU AI Act – welche Fristen gelten 2025, 2026, 2027?

Handlungsempfehlungen für öffentliche Stellen

1. KI-Inventar erstellen

Erfassen Sie alle KI-Systeme, die in Ihrer Behörde im Einsatz sind oder beschafft werden sollen. Unterscheiden Sie dabei zwischen intern entwickelten Lösungen und zugekauften Systemen. Prüfen Sie für jedes System, ob es unter Anhang III fällt.

2. Mitarbeiterinnen und Mitarbeiter schulen – jetzt

Die KI-Kompetenz-Pflicht nach Art. 4 gilt seit Februar 2025. Warten Sie nicht auf nationale Durchführungsgesetze oder behördliche Empfehlungen. Strukturierte Schulungen mit nachweisbarer Erfolgskontrolle sind der sichere Weg.

3. Beschaffungsprozesse anpassen

Neue Ausschreibungen und Verträge für KI-Systeme sollten AI-Act-Anforderungen explizit adressieren: Risikoklassifikation, Konformitätsbewertung, Dokumentationspflichten des Anbieters, Transparenzpflichten gegenüber Bürgerinnen und Bürgern.

4. Menschliche Aufsicht bei Hochrisiko-Anwendungen sicherstellen

Kein Hochrisiko-KI-System darf vollautomatisch Entscheidungen über Menschen treffen, ohne dass eine qualifizierte menschliche Prüfung stattfindet. Prozesse und Zuständigkeiten müssen klar definiert sein.

Einordnung: Was ki-zertifizieren.de für Behörden leisten kann

Das KI-Kompetenz-Zertifikat nach Art. 4 von ki-zertifizieren.de ist ein privatwirtschaftliches Schulungs- und Nachweisangebot. Es ist keine staatliche Zertifizierung, keine behördliche Akkreditierung, und es ersetzt keine rechtliche Beratung.

Es hilft Behörden und öffentlichen Einrichtungen dabei, die Dokumentationspflicht nach Artikel 4 mit einem strukturierten Nachweis zu erfüllen: 5–7 Lernmodule (inkl. Hochrisiko-Anwendungen, verbotene Praktiken, KI-Grundlagen), eine Abschlussprüfung und ein personalisiertes PDF-Zertifikat mit Verifizierungs-ID – für jeden Mitarbeiter, jede Mitarbeiterin, die KI-Systeme nutzt.

Für Teams und größere Behördeneinheiten steht das Firmenportal mit zentraler Mitarbeiterverwaltung, Sitzlizenzen und Sammelnachweis für die Compliance-Dokumentation zur Verfügung.

Fazit: Öffentliche Stellen sind gleichberechtigte Adressaten des EU AI Act

Der EU AI Act macht keinen prinzipiellen Unterschied zwischen privaten Unternehmen und öffentlichen Stellen: Wer KI-Systeme betreibt, hat Pflichten. Für Behörden bedeutet das konkret:

• Art. 4 KI-Kompetenz-Pflicht gilt seit dem 2. Februar 2025 – für alle Mitarbeiterinnen und Mitarbeiter, die KI nutzen.
• Mehrere Kernbereiche der Verwaltung (Sozialleistungen, Strafverfolgung, Asyl, Justizverwaltung) fallen unter Hochrisiko nach Anhang III.
• Nicht jede KI-Anwendung in Behörden ist Hochrisiko – viele Tools für Verwaltungsunterstützung sind es nicht.
• Die Bußgelder der höchsten Stufe (35 Mio. € / 7 %) betreffen verbotene Praktiken nach Art. 5, nicht fehlende Schulungen nach Art. 4.

Wer als Behörde strukturiert handelt – Mitarbeitende schult, Systeme dokumentiert und Beschaffungsprozesse anpasst –, ist für die zunehmend reale Prüfpraxis gut aufgestellt.

*Disclaimer: Dieser Artikel dient der allgemeinen Information und stellt keine Rechtsberatung dar. Für verbindliche rechtliche Einschätzungen zu Ihrer konkreten Situation wenden Sie sich bitte an eine zugelassene Rechtsanwältin oder einen Rechtsanwalt.*

Noch nicht sicher, wo Ihre Einrichtung bei der KI-Kompetenz steht?

Der kostenlose KI-Kompetenz-Schnellcheck gibt in unter 5 Minuten eine erste Einschätzung – ohne Anmeldung, ohne Verkaufsdruck.

→ Zum kostenlosen Schnellcheck

Wenn Sie die KI-Schulungspflicht nach Art. 4 direkt und dokumentiert erfüllen möchten: Das KI-Kompetenz-Zertifikat nach Art. 4 von ki-zertifizieren.de umfasst 5–7 Lernmodule, eine Abschlussprüfung und ein personalisiertes PDF-Zertifikat mit Verifizierungs-ID – in unter 60 Minuten, für 47 € pro Person. Teams und Behördeneinheiten verwalten ihre Nachweise zentral über das Firmenportal.

→ Jetzt KI-Kompetenz-Zertifikat erwerben (47 €)