← Alle Artikel
1. August 2026 · Lesezeit ca. 7 Min.

KI-Kompetenz im Mittelstand: der pragmatische 5-Schritte-Fahrplan zur Art.-4-Konformität ohne eigene Compliance-Abteilung

Rechtlicher Hinweis: Dieser Artikel dient der allgemeinen Information und stellt keine Rechtsberatung dar. Für verbindliche Einschätzungen zu Ihrer konkreten Situation wenden Sie sich bitte an eine zugelassene Rechtsanwältin oder einen Rechtsanwalt.

Sie führen ein Unternehmen mit 10 bis 250 Mitarbeitenden. Ihre Kolleginnen und Kollegen nutzen ChatGPT für Textentwürfe, Microsoft Copilot für Zusammenfassungen oder KI-gestützte Tools in der Buchhaltung. Eine Rechts- oder Compliance-Abteilung haben Sie nicht. Und nun hören Sie, dass der EU AI Act seit Februar 2025 Pflichten für alle Unternehmen begründet – auch für Ihres.

Die gute Nachricht: Die Anforderungen, die für die meisten KMU relevant sind, lassen sich ohne externen Juristen und ohne großes Budget strukturiert umsetzen. Dieser Artikel zeigt, wie – in fünf konkreten Schritten.


Was Art. 4 EU AI Act von KMU verlangt – und was nicht

Artikel 4 EU AI Act verpflichtet jeden Betreiber von KI-Systemen dazu, „nach besten Kräften" sicherzustellen, dass das betroffene Personal über ausreichende KI-Kompetenz verfügt. Diese Pflicht gilt seit dem 2. Februar 2025 und kennt keine Ausnahme nach Unternehmensgröße – sie gilt für die GmbH mit 12 Mitarbeitern genauso wie für den Konzern. Eine vollständige Einführung in den Artikel bietet unser Beitrag EU AI Act Artikel 4 einfach erklärt; wer wissen möchte, ob sein Betrieb überhaupt betroffen ist, findet die Antwort in EU AI Act für kleine Unternehmen & KMU – was wirklich Pflicht ist.

Was Art. 4 nicht verlangt:

  • Eine eigene Compliance-Abteilung oder einen Datenschutzbeauftragten (der ist nach DSGVO gesondert zu prüfen)
  • Zertifikate einer staatlichen Stelle – es gibt keine staatlich akkreditierte KI-Zertifizierung, die Art. 4 vorschreibt
  • Stundenlange Schulungsprogramme für jeden einzelnen Mitarbeitenden
  • Externe Berater – die Umsetzung ist intern machbar

Was Art. 4 verlangt: geeignete Maßnahmen, die den Kompetenzbedarf Ihres konkreten KI-Einsatzes decken – und die Sie im Zweifelsfall belegen können. Das ist überschaubar, wenn man strukturiert vorgeht.


Ein Wort zu Sanktionen – ohne Panikmache

Viele Artikel schreiben, Art. 4 drohe mit Bußgeldern von bis zu 35 Millionen Euro. Das ist so nicht korrekt. Artikel 4 EU AI Act enthält keinen eigenständigen Bußgeldtatbestand. Die Sanktionsrahmen von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes beziehen sich auf Verstöße gegen verbotene KI-Praktiken nach Art. 5 – also etwa Social Scoring oder manipulative KI-Anwendungen, die kein seriöses KMU betreibt.

Das bedeutet nicht, dass Art. 4 folgenlos ignoriert werden kann. Fehlende Dokumentation kann bei einer Prüfung durch die Bundesnetzagentur, bei Haftungsfragen oder im Schadensfall zum Problem werden – insbesondere für die Geschäftsführung persönlich. Mehr dazu in unserem Artikel zur Geschäftsleiterhaftung und dem KI-Schulungsnachweis. Aber die Maßnahme lohnt sich, weil sie sinnvoll ist – nicht weil Bußgelder drohen.


Der 5-Schritte-Fahrplan für KMU

Schritt 1

KI-Nutzung im Unternehmen erfassen

Bevor Sie schulen können, müssen Sie wissen, wo KI überhaupt eingesetzt wird. Machen Sie eine kurze Bestandsaufnahme: Welche Tools nutzen Ihre Mitarbeitenden – offen oder im Verborgenen? ChatGPT, Copilot, Canva KI, KI-gestützte Buchhaltung, automatisierter E-Mail-Versand? Erfassen Sie den Status in einer einfachen Liste: Tool, Abteilung, Nutzungsart, Häufigkeit. Das dauert in einem KMU oft nicht mehr als einen halben Tag. Diese Übersicht ist gleichzeitig die Grundlage für Schritt 3 (rollenbasierte Schulung) und Schritt 4 (Dokumentation).

Schritt 2

Verantwortlichkeit intern benennen

Art. 4 verlangt, dass das Unternehmen Maßnahmen ergreift – aber es verlangt keine eigene Abteilung. In KMU reicht es, eine interne Person zu benennen, die das Thema koordiniert: oft die Geschäftsführung selbst, alternativ die Teamleitung oder eine motivierte Mitarbeiterin bzw. ein motivierter Mitarbeiter mit Organisationstalent. Diese Person muss kein KI-Experte sein. Ihre Aufgabe ist es, die Schritte 1 bis 5 zu koordinieren, Schulungen zu planen und die Dokumentation zu führen. Halten Sie die Benennung schriftlich fest – das gehört zur Dokumentation in Schritt 4. Eine interne KI-Richtlinie kann dabei helfen, Zuständigkeiten klar zu regeln.

Schritt 3

Mitarbeitende nach Rolle schulen

Art. 4 verlangt keine einheitliche Schulung für alle. Er verlangt ausreichende Kompetenz – je nach Kontext des KI-Einsatzes. Das bedeutet: Wer KI nur gelegentlich als Schreibhilfe nutzt, braucht weniger als jemand, der KI-gestützte Entscheidungsprozesse verantwortet. Unterscheiden Sie in der Praxis mindestens zwei Ebenen: (1) Grundlagenwissen für alle Mitarbeitenden, die irgendeinen KI-Kontakt haben – Funktionsweise, Grenzen, Datenschutz, Halluzinationen; (2) vertiefte Kompetenz für Entscheider und Führungskräfte – regulatorischer Überblick, Risikobeurteilung, Governance. Was konkret in eine gute KI-Schulung für Mitarbeitende gehört und welche Formate sinnvoll sind, beschreibt unser separater Artikel. Führungskräfte haben dabei besondere Anforderungen – mehr dazu in KI-Kompetenz für Führungskräfte.

Schritt 4

Kompetenz dokumentieren und nachweisen

Ohne Dokumentation haben Sie im Prüffall nichts in der Hand. Doch Dokumentation muss nicht aufwändig sein. Halten Sie fest: wer wann welche Schulung absolviert hat, mit welchem Ergebnis (idealerweise eine kurze Abschlusskontrolle), und wo die Unterlagen aufbewahrt werden. Ein strukturiertes PDF-Zertifikat mit Prüf-ID – wie es das Angebot von ki-zertifizieren.de bereitstellt – erfüllt diese Funktion und lässt sich zentral im Firmenportal verwalten. Eine vollständige Checkliste zur rechtssicheren Dokumentation finden Sie in unserem dazugehörigen Artikel. Wichtig: Schulungen ohne Nachweis sind bei einer Prüfung durch die Bundesnetzagentur kaum verwertbar.

Schritt 5

Wiederkehrend aktualisieren

KI-Technologie verändert sich schnell. Was heute ausreichend ist, kann in einem Jahr überholt sein – weil neue Tools eingeführt wurden, neue regulatorische Anforderungen in Kraft treten oder sich die Einsatzgebiete im Betrieb weiterentwickeln. Legen Sie daher von Beginn an einen Rhythmus fest: mindestens einmal jährlich eine kurze Überprüfung des Ist-Stands (neue Tools? neue Mitarbeitende? neue Risiken?) und gegebenenfalls eine Auffrischungsschulung. Das muss kein großer Aufwand sein – oft reicht eine 30-minütige Teambesprechung mit aktualisierten Inhalten. Zum Fristenfahrplan des EU AI Act: Weitere Anforderungen – insbesondere für Hochrisiko-KI-Systeme – treten 2026 und 2027 schrittweise in Kraft. Wer jetzt dokumentierte Strukturen aufbaut, ist für diese Stufen besser aufgestellt.


Wie viel Zeit und Budget braucht das realistisch?

In einem KMU mit 10 bis 50 Mitarbeitenden lässt sich die initiale Umsetzung der fünf Schritte realistisch in ein bis zwei Arbeitstagen abschließen – verteilt auf einige Wochen. Die laufende Pflege (Schritt 5) ist danach eine Routineaufgabe von wenigen Stunden pro Jahr.

Die größten Kostenpositionen sind typischerweise:

  • Schulungszeit der Mitarbeitenden: 60–90 Minuten pro Person für ein strukturiertes E-Learning-Format
  • Schulungskosten: Externe Online-Kurse oder Angebote wie das KI-Kompetenz-Zertifikat von ki-zertifizieren.de (47 € pro Person) mit Abschlussprüfung und Nachweis-PDF
  • Koordinationsaufwand: Gering, wenn Schritt 2 (Verantwortlichkeit benennen) klar geregelt ist

Eine externe Rechts- oder Compliance-Beratung ist für die Art.-4-Grundpflicht in der Regel nicht erforderlich. Allerdings gilt: Sobald Ihr Unternehmen KI in risikoreichen Bereichen einsetzt – etwa in Personalentscheidungen, Kreditvergabe oder medizinischen Kontexten – können strengere Anforderungen aus anderen Artikeln des EU AI Act greifen. Dann ist fachkundige Beratung sinnvoll.


Der häufigste Fehler: Schulen ohne zu dokumentieren

Viele KMU haben das Thema KI-Kompetenz bereits intern aufgegriffen – durch Workshops, informelle Schulungen oder kurze Teambesprechungen. Das ist gut. Der Fehler liegt häufig darin, dass diese Maßnahmen nicht festgehalten werden: keine Teilnehmerliste, kein Lernnachweis, keine Ablage.

Was nicht dokumentiert ist, existiert in einem Prüf- oder Haftungsfall rechtlich kaum. Gehen Sie deshalb von Anfang an mit Struktur vor: Schulung und Nachweis gehören zusammen. Das kostenlose Schnellcheck-Tool hilft Ihnen, den eigenen Kompetenzstand einzuschätzen – und gibt einen konkreten Ausgangspunkt für die Planung.


Fazit: Konformität ohne Compliance-Abteilung ist machbar

Art. 4 EU AI Act ist keine Vorschrift, die ein spezialisiertes Team oder ein großes Budget erfordert. Für KMU geht es um strukturiertes Vorgehen in fünf überschaubaren Schritten: KI-Einsatz erfassen, Verantwortlichkeit klären, rollengerecht schulen, dokumentieren und aktuell halten. Wer diese Schritte umsetzt, ist gut aufgestellt – nicht nur regulatorisch, sondern auch im eigenen Interesse: Mitarbeitende, die KI-Werkzeuge kompetent und verantwortungsvoll einsetzen, machen weniger Fehler und schaffen mehr Vertrauen.

Hinweis: Dieser Artikel stellt keine Rechtsberatung dar. Für Ihre konkrete Situation empfehlen wir den Rat einer zugelassenen Kanzlei.


Wo stehen Sie gerade?

Der kostenlose KI-Kompetenz-Schnellcheck gibt Ihnen in unter 5 Minuten eine erste Einschätzung – ohne Anmeldung, ohne Verkaufsdruck.

Zum kostenlosen Schnellcheck

Wenn Sie die KI-Kompetenz für Ihr Team strukturiert aufbauen und dokumentiert nachweisen möchten: Das KI-Kompetenz-Zertifikat nach Art. 4 umfasst 5–7 Lernmodule, eine Abschlussprüfung und ein personalisiertes PDF-Zertifikat mit Verifizierungs-ID – in unter 60 Minuten, für 47 € pro Person.

Jetzt KI-Kompetenz-Zertifikat erwerben (47 €)

Für mehrere Mitarbeitende gleichzeitig steht das Firmenportal mit zentraler Verwaltung und Staffelpreisen zur Verfügung.

Dokumentierter KI-Kompetenz-Nachweis – pro Mitarbeiter

Gratis mit dem Schnellcheck starten oder direkt das personalisierte Zertifikat nach Art. 4 mit Prüf-ID sichern.

Gratis-Schnellcheck startenZertifikat ansehen (47 €)