EU AI Act & KI-Governance

Wer KI im Unternehmen einsetzt, hat damit meist auch Pflichten nach dem EU AI Act, selbst wenn die Systeme nur zugekauft sind. Einige gelten bereits, andere wurden zuletzt verschoben. Rechtsberatung bieten wir nicht an: Die rechtliche Bewertung im Einzelfall bleibt bei Juristinnen und Juristen und beim betrieblichen Datenschutz. Wir liefern die fachliche und technische Grundlage und setzen im Betrieb um, was dort entschieden wird.

Wie der AI Act KI-Systeme einordnet

Der EU AI Act verfolgt einen risikobasierten Ansatz: Je größer das Risiko eines Systems für Menschen und Grundrechte, desto strenger die Anforderungen. Ganz oben stehen verbotene Praktiken, etwa Social Scoring durch Behörden oder die Ausnutzung von Schwächen bestimmter Personengruppen. Diese Verbote gelten seit Februar 2025. Darunter liegen die Hochrisiko-Systeme, also KI in sensiblen Bereichen wie Personalauswahl, Bildung, Kreditwürdigkeit oder in regulierten Produkten. Für sie gelten umfangreiche Anforderungen an Risikomanagement, Daten, Dokumentation, Protokollierung und menschliche Aufsicht.

Wieder eine Stufe tiefer stehen die Transparenzpflichten. Wer mit einer KI interagiert, muss das erkennen können, und KI-generierte oder manipulierte Inhalte sind in bestimmten Fällen zu kennzeichnen. Für die meisten Anwendungen, etwa Textzusammenfassungen oder Spamfilter, gibt es keine zusätzlichen Pflichten aus dem AI Act, minimales Risiko genannt. Die KI-Kompetenzpflicht und andere Gesetze wie die DSGVO gelten trotzdem. Eine eigene Regelung gibt es für General-Purpose-AI-Modelle, also große, vielseitig einsetzbare Sprachmodelle. Diese Pflichten richten sich in erster Linie an die Anbieter der Modelle.

Die Rolle bestimmt die Pflichten

Anbieter entwickeln ein KI-System oder lassen es entwickeln und bringen es unter eigenem Namen auf den Markt. Betreiber setzen ein System in eigener Verantwortung ein. Die meisten Unternehmen sind Betreiber, etwa beim Einsatz eines KI-Assistenten im Office-Paket oder einer zugekauften Bewerbersoftware.

Die Rollen können sich verschieben. Wer ein System unter eigenem Namen bereitstellt oder seinen Zweck wesentlich verändert, kann zum Anbieter werden und damit deutlich mehr Pflichten übernehmen. Auch ein eigener Chatbot auf Basis eines fremden Sprachmodells kann darunter fallen. Wer ein fremdes Modell in eine eigene Anwendung einbaut, unterschätzt das leicht. Die Frage sollte früh geklärt werden, am besten mit der Rechtsberatung.

Was seit wann gilt

Der AI Act ist am 1. August 2024 in Kraft getreten und wird schrittweise anwendbar. Maßgeblich ist der Stand nach dem AI Omnibus, der Änderungsverordnung zum AI Act, die seit dem 27. Juli 2026 in Kraft ist.

• Seit Februar 2025 gelten die verbotenen Praktiken und die Pflicht zur Förderung der KI-Kompetenz nach Artikel 4. Dieser Artikel wurde durch den AI Omnibus angepasst: Die Pflicht besteht weiter, ein bestimmtes Kompetenzniveau muss aber nicht garantiert werden.
• Seit August 2025 gelten die Pflichten für Anbieter von General-Purpose-AI-Modellen. Seit August 2026 kann das AI Office sie durchsetzen. Für Modelle, die schon vorher am Markt waren, gilt eine Übergangsfrist bis August 2027.
• Seit August 2026 gelten die Transparenzpflichten nach Artikel 50. Anbieter generativer KI müssen ihre Ausgaben zudem maschinenlesbar kennzeichnen. Der AI Omnibus hat außerdem ein weiteres Verbot eingeführt, für KI-Systeme, die nicht einvernehmliche intime Darstellungen erzeugen.
• Die Pflichten für Hochrisiko-Systeme wurden verschoben, auf den 2. Dezember 2027 für Anwendungen nach Anhang III und auf den 2. August 2028 für KI in regulierten Produkten nach Anhang I. Diese Verschiebung ist beschlossen und kein Vorschlag mehr.

Die verschobenen Fristen sind keine Entwarnung: Verbote, KI-Kompetenz und Transparenz gelten bereits. Nicht beschlossen sind dagegen die Vorschläge der Kommission zur Änderung der DSGVO, die ebenfalls unter dem Namen Digital Omnibus laufen. Auch Leitlinien und Normen sind noch in Arbeit, die Leitlinien zur Einstufung von Hochrisiko-Systemen liegen nach unserem Kenntnisstand nur als Entwurf vor. Verbindlich sind allein die Texte im Amtsblatt der EU.

Mit dem Inventar anfangen

Ausgangspunkt ist ein vollständiges KI-Inventar. Dazu gehören nicht nur eigene Projekte, sondern auch KI-Funktionen in Standardsoftware, Tools einzelner Teams und Anwendungen, die Mitarbeitende selbst nutzen. Gerade diese Schatten-KI wird leicht übersehen, und ein Inventar ohne sie ist unvollständig. Pro Eintrag halten wir fest, wofür das System eingesetzt wird und wer damit arbeitet, ob das Unternehmen Anbieter oder Betreiber ist und welche Risikoklasse vorläufig zutrifft, samt Begründung und zur Prüfung durch Recht und Datenschutz. Dazu kommen die Daten, die einfließen, das Modell dahinter, der Ort der Verarbeitung und die Namen von fachlich Verantwortlichen, technischer Betreuung und Freigabe.

Diese Einträge sind zugleich der Kern der Dokumentation und werden um Testergebnisse, Freigaben und Änderungen ergänzt. Für Hochrisiko-Systeme verlangt der AI Act deutlich mehr, etwa technische Dokumentation und Risikomanagement beim Anbieter sowie Aufbewahrung der Protokolle und menschliche Aufsicht beim Betreiber. Ein Inventar, das nicht gepflegt wird, ist nach wenigen Monaten veraltet. Der Freigabeprozess sollte es deshalb automatisch aktualisieren.

Richtlinie, Zuständigkeiten und Schulung

KI-Governance bedeutet, dass Entscheidungen über KI nicht zufällig fallen. Dafür reichen wenige verbindliche Bausteine. Eine KI-Richtlinie legt fest, welche Tools erlaubt sind, welche Daten eingegeben werden dürfen und wie neue Anwendungsfälle freigegeben werden. Eine verantwortliche Person oder ein kleines Team aus IT, Fachbereich, Datenschutz und Recht bewertet die Anwendungsfälle, und alle neuen Anwendungen durchlaufen vor dem Einsatz dieselben Schritte: Einordnung, Prüfung, Tests, Freigabe.

Bei der Schulung lernen Mitarbeitende, was die genutzten Tools können, wo die Grenzen liegen und was erlaubt ist. Die Tiefe richtet sich nach Aufgabe und Risiko, Teilnahme und Inhalte werden dokumentiert. Ein einmaliges Video ohne Bezug zu den tatsächlich genutzten Tools erfüllt den Zweck der KI-Kompetenz kaum. Als Orientierung für das Managementsystem dienen Standards wie ISO/IEC 42001 oder das NIST AI Risk Management Framework. Sie ersetzen die rechtlichen Pflichten nicht, helfen aber, Prozesse zu strukturieren. Das Zusammenspiel mit der DSGVO behandeln wir gesondert unter datenschutzkonformer KI.

Was sich nur im Betrieb nachweisen lässt

Vieles, was der AI Act verlangt, zeigt sich erst im laufenden Betrieb. Deshalb gehört die technische Seite von Anfang an dazu. Anfragen, Antworten, verwendete Quellen und Modellversionen werden nachvollziehbar protokolliert, unter Beachtung von Datenschutz und Aufbewahrungsfristen. Vor der Freigabe prüfen wir Anwendungen mit typischen und kritischen Fällen und wiederholen die Tests bei Modell- oder Datenänderungen. Qualität, Fehlerquoten und auffälliges Verhalten werden laufend beobachtet, und es ist festgelegt, wer darauf reagiert.

Wo Entscheidungen Menschen betreffen, regeln wir die menschliche Aufsicht: wer Ergebnisse prüft, wer sie übersteuern kann und in welchen Fällen die KI nicht entscheiden darf. Chatbots weisen deutlich darauf hin, dass man mit einer KI spricht, und KI-generierte Inhalte werden dort gekennzeichnet, wo es erforderlich ist.