EU AI Act

Künstliche Intelligenz (KI) spielt eine immer größere Rolle in Wirtschaft und Alltag – z. B. in der Produktion, im Gesundheitswesen oder im Finanzbereich. Um den sicheren und verantwortungsvollen Einsatz von KI in Europa zu fördern, hat die EU den Artificial Intelligence Act (AI Act) verabschiedet.
Die Verordnung ist seit dem 1. August 2024 in Kraft und basiert auf einem risikobasierten Ansatz: Je höher das Risiko eines KI-Systems, desto strenger die Anforderungen. Auch wenn viele Details noch konkretisiert werden, sind alle Unternehmen, die KI entwickeln, einsetzen oder vertreiben, gut beraten, sich frühzeitig mit den neuen Vorgaben auseinanderzusetzen.

Warum gibt es den AI Act?

Der AI Act soll Risiken wie Diskriminierung durch fehlerhafte Daten (z. B. KI-Bias), Täuschung oder Überwachung durch KI verhindern. Ziel ist es, dass KI in der EU sicher, transparent und im Einklang mit den Grundrechten der Bürger eingesetzt wird – unabhängig vom Sektor.

Für wen gilt der AI Act?

Der AI Act gilt für alle Unternehmen – innerhalb und außerhalb der EU –, die KI-Systeme in der EU anbieten oder nutzen, wenn dadurch EU-Bürger betroffen sind. Es kommt also nicht darauf an, wo das Unternehmen sitzt, sondern wo die KI eingesetzt wird (Marktortprinzip).
Da KI in vielen Bereichen eingesetzt wird, betrifft der AI Act alle Beteiligten entlang der Wertschöpfungskette – z. B. Entwickler, Anbieter, Einführer oder Nutzer von KI-Systemen. Wichtig: Auch Nutzer oder Hersteller können rechtlich zum „Anbieter“ werden, z. B. wenn sie ein KI-System unter eigener Marke vertreiben oder wesentlich verändern – und müssen dann bestimmte Pflichten einhalten.

Welche Akteure werden unterschieden?

Anbieter: Entwickeln KI-Systeme, stellen sie zur Nutzung bereit oder bringen sie unter eigenen Namen oder eigener Handelsmarke auf den Markt (z.B. Ein Softwareunternehmen entwickelt ein KI-System zur medizinischen Bilderkennung und bietet es unter eigenem Namen an)
Betreiber: Nutzen KI-Systeme oder integrieren sie in interne Prozesse (z.B. Ein Logistikunternehmen setzt KI ein, um Lieferketten in Echtzeit zu optimieren.)
Produkthersteller: Bieten oder vertreiben KI-Anwendungen unter eigenen Namen oder eigener Marke in der EU als Produkt oder Bestandteil eines Produkts an (z.B. Ein Haushaltsgerätehersteller bringt eine smarte Waschmaschine mit integrierter KI zur automatischen Waschmitteldosierung auf den Markt)
Bevollmächtigter: In der EU niedergelassene Vertreter von ausländischen KI-Anbietern (z.B. Anwaltskanzleien)
Einführer: Bringen KI-Systeme von ausländischen Anbietern auf den europäischen Binnenmarkt (z.B. Eine EU-Unternehmen importiert ein amerikanisches KI-Überwachungssystem zur Vermarktung in der EU.)
Händler: Vertreiben KI-Produkte an Endnutzer oder andere Unternehmen (z.B. Ein Elektronikhändler verkauft eine Sprachassistenz-Software mit KI-Funktion an Privatkunden oder Firmen.)
Hinweis: Wenn ein Unternehmen eine Hochrisiko-KI unter seinem eigenen Namen oder seiner Marke auf den Markt bringt oder in Betrieb nimmt, gilt es rechtlich als "Anbieter" im Sinne des EU AI Act. Es muss dann bestimmte Pflichten erfüllen – insbesondere die aus Artikel 16 (bzw. Artikel 28). Das betrifft vor allem Produkthersteller, da sie ihre Produkte häufig unter eigener Marke verkaufen. Auch wenn ein Unternehmen den Einsatzzweck eines Hochrisiko-KI-Systems ändert oder es technisch stark verändert, sodass es weiterhin (oder nun) als Hochrisiko-KI gilt, wird es zum neuen Anbieter. In solchen Fällen gilt:
  • Der ursprüngliche Anbieter ist nicht mehr verantwortlich.
  • Das Unternehmen, das die Änderung vornimmt, übernimmt die volle Verantwortung und muss alle Anforderungen der KI-Verordnung erfüllen.
Der ursprüngliche Anbieter muss dem neuen Anbieter jedoch alle nötigen Unterlagen und technischen Informationen zur Verfügung stellen. Diese müssen sorgfältig geprüft und – falls nötig – korrigiert werden.

Welche Risikokategorien gibt es?

Unannehmbares Risiko:

Der AI Act verbietet bestimmte Anwendungen von Künstlicher Intelligenz, weil sie ein untragbares Risiko für Menschenrechte, Sicherheit oder die Werte der EU darstellen. Diese KI-Systeme dürfen seit dem 2. Februar 2025 nicht mehr in der EU eingesetzt oder verkauft werden.

Folgende KI-Anwendungen sind ausdrücklich verboten:

  • Manipulation von Menschen
KI-Systeme, die das Verhalten von Personen gezielt beeinflussen – ohne dass sie es merken – sind verboten.
Beispiel: Eine App nutzt versteckte psychologische Tricks, um Nutzer zu längerem Scrollen oder ungewolltem Kauf zu bewegen.
  • Ausnutzung schutzbedürftiger Personen
Wenn KI eingesetzt wird, um gezielt Schwächen bestimmter Gruppen auszunutzen (z. B. Kinder, Senioren oder Menschen in schwierigen Lebenslagen), ist das verboten.
Beispiel: Ein Online-Spiel für Kinder nutzt KI, um gezielt emotionale Schwächen auszulesen und sie zu In-App-Käufen zu verleiten – etwa durch besonders gestaltete Spielfiguren oder Zeitdruckmechanismen, die Kinder schwer durchschauen können.
  • Soziales Punktesystem (Social Scoring)
KI darf nicht dazu verwendet werden, das Verhalten oder die Persönlichkeit von Menschen systematisch zu bewerten, um ihnen z. B. Vorteile oder Rechte zu verweigern.
Beispiel: Ein Wohnungsanbieter nutzt KI, um Bewerber aufgrund ihres Online-Verhaltens auszusortieren.
  • Gesichtserkennung in Echtzeit im öffentlichen Raum
Die automatische Erkennung von Personen per Gesichtserkennung in Echtzeit an öffentlichen Orten ist verboten – außer bei sehr engen Ausnahmen, etwa zur Terrorabwehr oder bei der Suche nach vermissten Personen.
Beispiel: Ein Verkehrsunternehmen installiert Kameras mit KI-gestützter Gesichtserkennung an Bahnhöfen, um automatisch Personen zu identifizieren, die in der Vergangenheit Fahrkarten nicht bezahlt haben – das ist verboten.
  • Biometrische Kategorisierung
KI darf keine sensiblen Merkmale wie ethnische Herkunft, Religion, politische Meinung oder sexuelle Orientierung anhand von Aussehen oder Verhalten ableiten – außer in klar geregelten Fällen, z. B. bei bestimmten polizeilichen Ermittlungen.
Beispiel: Eine Bewerbungsscreening-Software analysiert Fotos und versucht daraus Rückschlüsse auf Religion oder Herkunft zu ziehen – verboten.
  • Emotionserkennung am Arbeitsplatz oder in der Schule
KI-Systeme dürfen nicht dazu eingesetzt werden, um Emotionen von Mitarbeitenden oder Schülern ohne deren Zustimmung auszulesen.
Beispiel: Eine Firma überwacht per Webcam die Mimik von Mitarbeitenden während Online-Meetings – das ist nicht erlaubt.
Hinweis: Die EU-Kommission hat am 4. Februar 2025 Leitlinien veröffentlicht, die genau erklären, welche KI-Systeme verboten sind. Die Grenzen sind aber oft nicht eindeutig, deshalb sollten Unternehmen jeden Einsatz von KI sorgfältig prüfen.

Hohes Risiko:

Der Großteil der Regeln im AI Act betrifft sogenannte Hochrisiko-KI-Systeme. Solche Systeme kommen oft in sensiblen Bereichen zum Einsatz – also dort, wo Fehler oder Missbrauch ernsthafte Folgen für Menschen oder die Gesellschaft haben können.
Beispiel: ein KI-System, das Entscheidungen im Straßenverkehr oder bei Kreditvergaben trifft.
Für diese Hochrisiko-Systeme gelten strenge Anforderungen, z. B. zu Transparenz, Sicherheit, Dokumentation und menschlicher Kontrolle. Ob ein KI-System als hochriskant gilt, hängt davon ab, ob es unter eine der Produktregulierung nach Anhang I erfüllt oder in eines der acht Bereiche unter Anhang II gelistet ist.

Anhang I – KI als Teil von regulierten Produkten

Ein KI-System gilt als hochriskant, wenn es:
  • eine sicherheitsrelevante Funktion in einem Produkt übernimmt
oder
  • selbst als Produkt gilt, das unter EU-Vorgaben wie CE-Kennzeichnung fällt.
Betroffene Branchen:
  • Maschinenbau (z. B. Produktionsroboter mit KI-Steuerung)
  • Spielwaren (z. B. interaktive Kinderspielzeuge mit Spracherkennung)
  • Fahrzeuge (z. B. autonomes Fahren oder Assistenzsysteme)
  • Medizinprodukte
Solche Produkte müssen in der Regel von einer benannten Stelle geprüft werden.

Anhang II - Acht sensible Einsatzbereiche

  1. Biometrische Fernidentifizierung
    Beispiel: automatische Gesichtserkennung bei Zugangskontrollen
  2. Sicherheitskritische Infrastrukturen
    Beispiel: KI zur Überwachung von Stromnetzen oder Verkehrsleitsystemen
  3. Bildung & Ausbildung
    Beispiel: KI-Systeme, die Prüfungen automatisch bewerten oder über Zulassungen entscheiden
  4. Beschäftigung & Personalwesen
    Beispiel: KI bei der Vorauswahl von Bewerbungen oder zur Leistungsbewertung von Mitarbeitenden
  5. Zugang zu wichtigen Leistungen und Dienstleistungen
    Beispiel: KI entscheidet über Kreditvergaben, Versicherungsbeiträge oder Notfalldienste
  6. Strafverfolgung
    Beispiel: KI zur Beurteilung von Beweismitteln oder in Lügendetektoren
  7. Migration, Asyl & Grenzschutz
    Beispiel: KI in Visaverfahren oder zur Erkennung von gefälschten Dokumenten
  8. Justiz & demokratische Prozesse
    Beispiel: KI, die Gerichte bei Urteilsfindungen unterstützt oder Wahlverhalten analysiert

Begrenztes Risiko:

KI-Systeme, die mit Menschen interagieren, z.B. z. B. Chatbots oder KI-generierte Inhalte, die aber kein hohes Risiko darstellen, sind grundsätzlich erlaubt. Sie müssen jedoch bestimmte Transparenzpflichten erfüllen. Das bedeutet, Nutzer müssen klar erkennen können, dass sie mit einer KI sprechen. Wenn Inhalte (z. B. Bilder, Videos, Audios oder Texte) durch KI erzeugt wurden – vor allem Deepfakes – müssen sie als KI-generiert gekennzeichnet sein. Dies gilt sowohl für Anbieter als auch Betreiber.
Beispiele:
Ein Chatbot im Kundenservice muss dem Nutzer mitteilen, dass er kein Mensch ist.
Ein KI-generiertes Werbevideo darf nicht so aussehen, als sei es ein echtes Ereignis – es braucht einen Hinweis wie „KI-generiert“.

Minimales Risiko:

KI-Systeme, die sehr geringe oder keine Risiken für die Nutzer darstellen, fallen in die niedrigste Kategorie, das sind z.B. z. B. Spamfilter oder Rechtschreibkorrektur. Für sie gibt es keine gesetzlichen Verpflichtungen – aber:
Die EU empfiehlt Unternehmen, sich an einen freiwilligen Verhaltenskodex für KI zu halten. Dieser soll Verantwortungsbewusstsein und gute Praxis fördern, auch wenn kein direktes Risiko vorliegt.

Pflichten für Anbieter von Hochrisiko-KI

Wenn ein Unternehmen ein Hochrisiko-KI-System entwickelt oder unter eigenem Namen vertreibt, gelten die umfassendsten Anforderungen des AI Acts. Diese Pflichten sind in Abschnitt II des Gesetzes geregelt. Verstöße können zu hohen Geldbußen.

Transparenz und Bereitstellung von Informationen für Betreiber (Artikel 13)

Anbieter müssen den Betreibern klar und verständlich erklären:
  • Was das KI-System kann (Funktionen und Grenzen)
  • Wofür es gedacht ist (Zweckbestimmung)
  • Welche Risiken bestehen
  • Wie eine menschliche Überwachung möglich ist
  • Wie auf Protokolle zugegriffen werden kann
Diese Informationen müssen in einer Gebrauchsanleitung enthalten sein – inklusive Kontaktdaten des Anbieters (oder des Bevollmächtigten in der EU).

Risikomanagement (Artikel 9)

Unternehmen, die Hochrisiko-KI-Systeme anbieten, müssen ein Risikomanagementsystem einführen, das:
  • schriftlich dokumentiert wird,
  • über den gesamten Lebenszyklus der KI hinweg besteht
  • und regelmäßig aktualisiert wird.
Ziel ist es, alle bekannten und vorhersehbaren Risiken zu erfassen, die die Gesundheit, Sicherheit oder Grundrechte von Personen gefährden könnten.
Dazu gehört auch:
  • Die Analyse möglicher Fehlanwendungen, etwa durch falsche Nutzung oder missverständliche Ergebnisse
  • Die Berücksichtigung von Risiken, die erst nach der Markteinführung auftreten können
Außerdem müssen Unternehmen die KI schon während der Entwicklung regelmäßig testen, um Schwachstellen frühzeitig zu erkennen und zu beheben.

Daten und Datenverwaltung (Artikel 10)

Die KI-Modelle, die in Hochrisiko-Systemen eingesetzt werden, müssen mit zuverlässigen und geeigneten Datensätzen trainiert, getestet und überprüft werden. Diese Datensätze müssen bestimmte Qualitätsanforderungen nach dem AI Act erfüllen (Artikel 17).
Konkret bedeutet das:
  • Die Datenmenge muss ausreichend sein,
  • Die Daten müssen verfügbar und relevant für den Einsatzzweck sein,
  • Verzerrungen (Bias), Lücken oder Fehler in den Daten sollen möglichst vermieden werden.
Nur mit hochwertigen Daten kann die KI verlässliche und faire Ergebnisse liefern.

Technische Dokumentation (Artikel 11)

Bevor ein Hochrisiko-KI-System in der EU verkauft oder eingesetzt werden darf, muss das Unternehmen eine technische Dokumentation erstellen.
Diese Dokumentation soll:
  • nachweisen, dass alle gesetzlichen Anforderungen erfüllt sind
  • und den Behörden ermöglichen, die Konformität des Systems zu prüfen – zum Beispiel im Rahmen einer Kontrolle
Ohne diese Unterlagen darf das KI-System nicht in den Markt gebracht oder genutzt werden.

Aufzeichnungspflichten (Artikel 12)

Hochrisiko-KI-Systeme müssen so entwickelt sein, dass sie automatisch Aufzeichnungen (Protokolle) über wichtige Abläufe und Ergebnisse speichern können.
Diese Protokolle sind wichtig, um:
  • nachzuvollziehen, wie das System Entscheidungen getroffen hat
  • bei Bedarf (z. B. bei Beschwerden oder technischen Problemen) reagieren zu können
  • den Behörden auf Anfrage Einblick zu geben, z. B. bei Prüfungen oder im Fall von Änderungen am System
Wichtig: Die Protokolle müssen ordnungsgemäß gespeichert und zugänglich sein – auch nachträglich.

Menschliche Aufsicht (Artikel 14)

Wenn ein Unternehmen ein Hochrisiko-KI-System entwickelt oder einsetzt, muss sichergestellt sein, dass Menschen das System jederzeit überwachen und im Notfall eingreifen können. Ziel ist, dass die Kontrolle über die KI beim Menschen bleibt, um Risiken für Gesundheit, Sicherheit und Grundrechte zu vermeiden.
Das bedeutet:
  • Es muss eine Mensch-Maschine-Schnittstelle geben, also eine Möglichkeit für Personen, das System zu bedienen und zu kontrollieren.
  • Die verantwortliche Person muss die Funktionsweise der KI verstehen, bei Problemen eingreifen und die Ergebnisse kritisch hinterfragen können – so wird verhindert, dass Entscheidungen einfach „blind“ von der KI übernommen werden (Stichwort: Automatisierungs-Bias).
  • Bei größeren Störungen muss die KI auch technisch abschaltbar sein, z. B. über eine Stopptaste oder einen vergleichbaren Notfallmechanismus.
  • Unternehmen sind verpflichtet, sicherzustellen, dass das zuständige Personal über die nötigen Fachkenntnisse im Umgang mit der KI verfügt.
Wichtig: Bei Entscheidungen mit Auswirkungen auf Menschen – z. B. bei der Vergabe eines Kredits – muss immer ein Mensch die letzte Entscheidung treffen.
Beispiel: Eine Bank nutzt KI zur Einschätzung der Kreditwürdigkeit. Das Ergebnis darf nicht automatisch übernommen werden – ein Mitarbeiter muss es prüfen und verantworten.

Genauigkeit, Robustheit und Cybersicherheit (Artikel 15)

Hochrisiko-KI-Systeme müssen bestimmte technische Anforderungen erfüllen, damit sie zuverlässig und sicher funktionieren. Drei zentrale Punkte sind dabei:
  • Genauigkeit:
    Das KI-System muss verlässliche Ergebnisse liefern. Das bedeutet: Die Vorhersagen oder Bewertungen der KI sollen möglichst gut mit der Realität übereinstimmen.
    Beispiel: Wenn eine KI eine Diagnose vorschlägt oder ein Kreditrisiko bewertet, muss das Ergebnis fachlich korrekt und nachvollziehbar sein.
  • Robustheit:
    Die KI muss stabil und widerstandsfähig gegenüber Störungen, technischen Fehlern oder unerwarteten Eingaben sein. Das gilt besonders, wenn das System mit Menschen oder anderen Software-Systemen zusammenarbeitet.
    Ziel ist es, dass die KI auch unter schwierigen Bedingungen zuverlässig funktioniert – ohne ungewollte Ausfälle oder Fehlentscheidungen.
  • Cybersicherheit:
    Das System muss vor externen Angriffen oder Manipulationen geschützt sein. Hacker oder andere böswillige Akteure dürfen nicht in der Lage sein, die Leistung der KI zu stören oder Nutzer zu täuschen.
    Schutzmaßnahmen gegen Datendiebstahl, Missbrauch oder Systemfehler durch Cyberangriffe sind daher verpflichtend.

Weitere Pflichten

Darüber hinaus müssen Anbieter folgenden Pflichten nachkommen:
  • Qualitätsmanagement gemäß Artikel 17 einhalten
  • Kennzeichnungspflicht (Informationen über den Anbieter)
  • Aufbewahrung der Dokumente gemäß Artikel 18
  • Korrekte Aufbewahrung der Protokolle
  • Konformitätsbewertungsverfahren bevor das KI-System eingeführt oder in Betrieb genommen wird
  • EU-Konformitätserklärung gemäß Artikel 47 erstellen
  • CE-Kennzeichnung kenntlich machen an KI-System oder seiner Verpackung
  • Registrierungspflichten gemäß Artikel 49, Abs. 1 nachkommen
  • Bei Korrekturmaßnahmen die erforderlichen Informationen bereitstellen gemäß Artikel 20
  • Nachweispflicht über eingehaltene Verpflichtungen nach Abschnitt II des AI Acts, sofern eine Behörde dies anfordert
  • Barrierefreiheitsanforderungen gemäß den Richtlinien (EU) 2016/2102 und (EU) 2019/882 erfüllen

Pflichten für Betreiber von Hochrisiko-KI

Wer ein Hochrisiko-KI-System nutzt (also nicht selbst entwickelt oder vertreibt), übernimmt als Betreiber ebenfalls wichtige Verantwortung. Einige dieser Pflichten ähneln denen von Anbietern – besonders im Hinblick auf Transparenz, Sicherheit und Kontrolle.
Die wichtigsten Pflichten im Überblick:
  • Schulung der Mitarbeitenden:
    Das Unternehmen muss dafür sorgen, dass Mitarbeitende, die mit der KI arbeiten, über ausreichende Fachkenntnisse verfügen – z. B. durch Schulungen.
  • Sicherer Betrieb der KI:
    Es müssen technische und organisatorische Maßnahmen getroffen werden, damit das KI-System sicher, zuverlässig und korrekt funktioniert – so wie es in der Gebrauchsanweisung des Anbieters beschrieben ist.
  • Menschliche Aufsicht sicherstellen:
    Auch der Betreiber muss sicherstellen, dass eine Person das System überwachen und im Notfall eingreifen kann.
  • Zweckgebundene Nutzung beachten:
    Das KI-System darf nur für den vorgesehenen Zweck genutzt werden.
    Achtung: Wer das System technisch verändert oder anders einsetzt, kann rechtlich selbst zum Anbieter werden – mit zusätzlichen Pflichten.
  • Meldung bei Problemen:
    Wenn Zweifel bestehen, ob das System die gesetzlichen Vorgaben erfüllt, muss der Betreiber den Anbieter, Händler oder die Marktüberwachungsbehörde informieren – und das System im Zweifel vorübergehend außer Betrieb nehmen.
  • Protokolle aufbewahren:
    Die vom Anbieter bereitgestellten Protokolle müssen mindestens sechs Monate lang sicher aufbewahrt werden.
  • Konformitätserklärung prüfen:
    Vor dem Einsatz muss kontrolliert werden, ob der Anbieter eine gültige EU-Konformitätserklärung erstellt hat.
  • Registrierung prüfen:
    Betreiber müssen sicherstellen, dass das Hochrisiko-KI-System in der EU-Datenbank registriert wurde.
    Wenn es sich um kritische Infrastrukturen handelt (z. B. Strom- oder Verkehrsnetze), erfolgt die Registrierung zusätzlich in nationalen Datenbanken.
  • Zusammenarbeit mit Behörden:
    Betreiber sind verpflichtet, bei Rückfragen oder Prüfungen mit den zuständigen Behörden zu kooperieren.

KI mit allgemeinem Verwendungszweck: mit und ohne systemischem Risiko

Künstliche Intelligenz mit allgemeinem Verwendungszweck (englisch: General Purpose AI, kurz GPAI) kann in vielen Bereichen eingesetzt werden – zum Beispiel als virtueller Assistent im Kundenservice oder zur Auswertung medizinischer Daten. Deshalb gilt sie als besonders vielseitig und leistungsstark.

Man unterscheidet zwei Typen von GPAI:

  • GPAI ohne systemisches Risiko:

    Wird z. B. intern genutzt oder hat nur begrenzte Auswirkungen auf den Markt oder die Gesellschaft.

  • GPAI mit systemischem Risiko (Artikel 51):

    Eine KI mit allgemeinem Verwendungszweck (GPAI) gilt als systemisch riskant, wenn sie besonders leistungsfähig oder weit verbreitet ist. Das ist der Fall, wenn:
  • Sie beim Training eine Rechenleistung über 10²⁵ FLOPs benötigt hat (Artikel 51 Abs. 2)
  • Oder mindestens eines von acht Kriterien aus Anhang XIII erfüllt – z. B. sehr große Datensätze, viele Parameter oder eine besonders hohe Nutzerzahl
  • Wenn ein Modell mehr als 10.000 gewerbliche Nutzer in der EU hat, kann es bereits als systemisch eingestuft werden.
Je größer das Risiko für Gesellschaft, Wirtschaft oder Grundrechte, desto strenger sind die gesetzlichen Vorgaben.

Pflichten für Anbieter von GPAI ohne und mit systemischem Risiko

Unternehmen, die KI-Modelle mit allgemeinem Verwendungszweck (GPAI) entwickeln oder bereitstellen, haben bestimmte gesetzliche Anforderungen zu erfüllen. Diese unterscheiden sich je nach Risiko-Einstufung des Modells (mit oder ohne systemisches Risiko).

Technische Dokumentation

Anbieter müssen eine ausführliche technische Dokumentation erstellen, die insbesondere Folgendes enthält:
  • Wie das Modell trainiert und getestet wurde
  • Welche Ziele das Modell verfolgt (Verwendungszweck)
  • Welche Ergebnisse erzielt wurden
  • Lizenzinformationen
Wichtig: Diese Dokumentation muss regelmäßig aktualisiert werden und den Mindestanforderungen laut Anhang XI entsprechen.

Transparenz & Gebrauchsanweisung für Weiterverwender

Es muss eine Gebrauchsanleitung erstellt werden, die sich an andere Anbieter, Entwickler oder Nutzer richtet, die das Modell weiterverwenden. Sie soll:
  • Die vorgesehene Nutzung erklären,
  • mögliche Risiken verständlich darstellen
  • und alle notwendigen Transparenzinformationen enthalten (gemäß Anhang XII).
Nur so können andere Nutzer ihre eigenen gesetzlichen Pflichten korrekt erfüllen.

Urheberrecht beachten

Beim Training von GPAI-Modellen dürfen keine Urheberrechte verletzt werden. Anbieter müssen:
  • Technische Lösungen einsetzen, die den Einsatz urheberrechtlich geschützter Daten kontrollieren
  • Prüfen, ob Inhalte vom Urheber für Trainingszwecke gesperrt wurden
Beispiel: Die New York Times untersagt in ihren AGBs die Nutzung ihrer Inhalte zum KI-Training.

Trainingsdaten dokumentieren

Es ist eine übersichtliche Zusammenfassung der verwendeten Trainingsdaten zu erstellen.
Zur Unterstützung plant das Europäische KI-Amt, eine Vorlage dafür bereitzustellen.

Zusammenarbeit mit Behörden

Anbieter müssen mit der Europäischen Kommission und nationalen Aufsichtsbehörden zusammenarbeiten und auf Anfrage:
  • Die technische Dokumentation
  • Und weitere relevante Informationen
bereitstellen.

Zusätzliche Pflichten bei GPAI mit systemischem Risiko (Artikel 55)

Für GPAI-Modelle mit systemischem Risiko gelten verschärfte Anforderungen – zusätzlich zu den oben genannten:
  • Einrichtung eines Risikomanagementsystems (wie bei Hochrisiko-KI)
  • Meldepflicht bei schwerwiegenden Vorfällen an das Europäische KI-Amt (und ggf. nationale Behörden)
  • Nachweis über IT-Sicherheitsmaßnahmen zur Abwehr von Manipulation oder Missbrauch

Pflichten für Betreiber von GPAI

Für Unternehmen, die GPAI-Modelle nutzen, gibt es derzeit keine speziellen Pflichten im AI Act.
Aber: Wenn ein systemisches Modell verwendet wird, ist es empfehlenswert, die Pflichten des Anbieters zu prüfen – insbesondere im Hinblick auf Sicherheit, Transparenz und rechtliche Risiken.
Hinweis: Die Europäische Kommission hat zwischenzeitlich Leitlinien zum Umfang der Verpflichtungen für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck nach dem KI-Gesetz verabschiedet.
Zudem wurde ein freiwilliger Praxisleitfaden für KI mit allgemeinem Verwendungszweck veröffentlicht, um die Umsetzung des KI-Gesetzes der EU ab August 2025 zu unterstützen.

Datenschutz

Künstliche Intelligenz (KI) und Datenschutz sind eng miteinander verbunden, da viele KI-Systeme große Mengen an Daten verarbeiten. Sobald allerdings personenbezogene Daten verarbeitet, etwa durch Eingabe, Erfassung, Abfrage oder Auslesen von Informationen wie Namen, E-Mail-Adressen oder IP-Adressen, gilt die Datenschutz-Grundverordnung (DSGVO). Der Schutz dieser Daten muss in diesem Fall unbedingt sichergestellt werden. Weitere Informationen: KI und Datenschutz

Arbeitgeberpflicht zur KI-Kompetenzvermittlung (Artikel 4)

Seit dem 2. Februar 2025 sind Unternehmen gesetzlich verpflichtet, dafür zu sorgen, dass alle Beschäftigten, die mit Künstlicher Intelligenz (KI) arbeiten – egal ob sie „nur“ ChatGPT nutzen oder selbst KI-Systeme entwickeln – über ausreichendes Wissen und Verständnis im Umgang mit KI verfügen.
Diese Pflicht zur KI-Kompetenzvermittlung ist Teil des AI Acts und betrifft alle Unternehmen, unabhängig davon, ob sie Hochrisiko-KI oder einfache KI-Anwendungen einsetzen.
Laut Artikel 3(56) des AI Acts bedeutet KI-Kompetenz:
Die Fähigkeiten, Kenntnisse und das Verständnis, die nötig sind, um KI-Systeme sicher, sachkundig und verantwortungsvoll einzusetzen – und sich der Chancen und Risiken bewusst zu sein, die von KI ausgehen können.

Was verlangt der AI Act von Arbeitgebern konkret?

Anbieter und Betreiber von KI-Systemen müssen „nach besten Kräften sicherstellen“, dass alle Mitarbeitenden (und andere Personen, die im Auftrag des Unternehmens mit KI-Systemen arbeiten):
  • technisches Wissen und Erfahrung im Umgang mit KI haben,
  • ausreichend geschult und ausgebildet wurden,
  • die konkrete Nutzung und den Kontext der KI verstehen,
  • und auch die Zielgruppen kennen, bei denen die KI eingesetzt wird (z. B. Kunden, Patienten, Mitarbeitende).
Das gilt sowohl für KI mit geringem Risiko (z. B. Chatbots) als auch für Hochrisiko-KI.
Tipp: Datenschutz gleich mitdenken
Im Umgang mit KI sollte auch immer der Datenschutz nach DSGVO mitberücksichtigt werden. Mitarbeitende sollten wissen, wie personenbezogene Daten in KI-Systemen verarbeitet werden – und welche Regeln dabei zu beachten sind.

So setzen Unternehmen die Pflicht zur KI-Kompetenz praktisch um

KI-Inventar erstellen

Welche KI-Anwendungen nutzt Ihr Unternehmen?
Zum Beispiel: ChatGPT, Microsoft Co-Pilot, eigene KI-Systeme in Produkten oder Prozessen?

Rollen und Zuständigkeiten klären

Welche Mitarbeitenden haben direkten Kontakt mit KI?
Wer nutzt die Systeme? Wer entwickelt oder betreut sie?
Alle Beteiligten sollten ihre Verantwortung und Pflichten kennen.

Wissensstand erfassen

Wie gut kennen sich die Mitarbeitenden bereits mit KI aus?
Gibt es Unterschiede im Team? Wer braucht Grundwissen, wer vertieftes Know-how?

Schulungen entwickeln und anbieten

Je nach Bedarf können allgemeine Schulungen oder zielgerichtete Trainings für bestimmte Abteilungen sinnvoll sein – etwa zu:
  • Technischem Verständnis
  • Risiken und Grenzen von KI
  • Ethischem Umgang mit automatisierten Entscheidungen

Trainings zur sicheren Nutzung bereitstellen

In sensiblen Bereichen – z. B. in der Medizin, im Personalwesen oder bei sicherheitskritischen Anwendungen – sind spezielle Schulungen besonders wichtig.

Regelmäßige Fortbildungen anbieten

KI entwickelt sich schnell weiter. Daher sollte es regelmäßige Auffrischungskurse geben, um das Wissen aktuell zu halten.

KI-Aufsichtsbehörde in Deutschland und KI-Service Desk

Deutschland musste bis zum 2. August 2025 eine nationale KI-Aufsichtsbehörde ernennen. Die Bundesnetzagentur soll nach bisherigen Plänen der Bundesregierung eine zentrale Rolle in der Umsetzung des AI Acts in Deutschland übernehmen. Bislang ist noch keine abschließende Entscheidung gefallen.
Die Aufsichtsbehörde übernimmt zentrale Aufgaben wie:
  • Überwachung der Einhaltung des AI Acts,
  • Zulassung und Kontrolle von Hochrisiko-KI-Systemen,
  • Beratung und Unterstützung für Unternehmen,
  • Durchführung von Audits und Inspektionen,
  • Sanktionen bei Verstößen (z. B. Bußgelder oder Nutzungsverbote)

Mit dem KI-Service Desk der Bundesnetzagentur hat die Bundesregierung eine zentrale Anlaufstelle geschaffen, die Unternehmen hilft, die komplexen Anforderungen des EU AI Acts effizient und praxisnah zu erfüllen. Es werden praxisnahe Informationen und anschauliche Beispiele bereitgestellt, um die Vorgaben der KI-Verordnung besser einordnen zu können.

Was passiert bei Verstößen gegen den AI Act?

Wenn Unternehmen gegen die Vorgaben des AI Acts verstoßen, müssen die EU-Mitgliedstaaten wirksame und abschreckende Strafen verhängen. Die Höhe der Geldbußen richtet sich nach der Schwere des Verstoßes und der Größe des Unternehmens.

Welche Strafen drohen konkret?

  • Verstöße bei verbotenen Praktiken aus Artikel 5 oder Verletzungen von Datenanforderungen:
    Strafen bis zu 35 Millionen Euro oder 7 % des gesamten weltweiten Vorjahresumsatzes (je nachdem, welcher Wert höher ist).
  • Verstöße gegen andere Vorschriften der Verordnung:
    Strafen bis zu 15 Millionen Euro oder 3 % des gesamten weltweiten Vorjahresumsatzes.
    Hierunter fallen Vorschriften für Hochrisiko-KI wie Konformitätsprüfung oder Risikobewältigungsmaßnahmen. Unternehmen, die entlang der Wertschöpfungskette als Akteure (Anbieter, Betreiber, Händler oder Einführer) laut AI Act fungieren, laufen Gefahr, bei nicht konformen Praktiken Geldbußen zu erhalten.
  • Nichteinhalten der GPAI-Vorschriften:
    Strafen bis zu 15 Millionen Euro oder 3 % des gesamten weltweiten Vorjahresumsatzes.
  • Falsche, unvollständige oder irreführende Angaben an Behörden:
    Strafen bis zu 7,5 Millionen Euro oder 1,5 % des gesamten weltweiten Vorjahresumsatzes.

Was gilt für KMU und Start-ups?

Für kleinere Unternehmen und Start-ups gelten erleichterte Strafen – sie müssen nicht die Höchstbeträge zahlen, sondern profitieren von niedrigeren Schwellenwerten. Trotzdem gilt:
Auch kleinere Verstöße können teuer werden, wenn keine Vorkehrungen getroffen wurden.

Zeitplan EU AI Act

Datum Regelung Norm
12. Juli 2024

Das AI-Gesetz wird im Amtsblatt der Europäischen Union veröffentlicht. Dies dient der förmlichen Notifizierung des neuen Gesetzes.

Artikel 113
1. August 2024
Inkrafttretens des AI-Gesetzes. Zum jetzigen Zeitpunkt gelten keine der Anforderungen des Gesetzes - sie werden im Laufe der Zeit allmählich zur Anwendung kommen.

Artikel 113
2. Februar 2025 Das Verbot bestimmter KI-Systeme und die Anforderungen an die KI-Kompetenz beginnen zu gelten (Kapitel 1 und Kapitel 2).
Artikel 113 Buchstabe a
Erwägungsgrund 179
2. August 2025
Die folgenden Regeln beginnen zu gelten:
• Benannte Stellen (Kapitel III, Abschnitt 4),
• GPAI-Modelle (Kapitel V),
• Governance (Kapitel VII),
• Vertraulichkeit (Artikel 78)
• Sanktionen (Artikel 99 und 100)
Artikel 113 Buchstabe b
2. August 2025 Anbieter von GPAI-Modellen, die vor diesem Datum in Verkehr gebracht bzw. in Betrieb genommen wurden, müssen bis zum 2. August 2027 mit dem AI-Gesetz konform sein. Artikel 111 Absatz 3
2. August 2026 Die übrigen Bestimmungen des AI-Gesetzes finden Anwendung, mit Ausnahme von Artikel 6 Absatz 1. Artikel 113
2. August 2026 Diese Verordnung gilt für Betreiber von AI-Systemen mit hohem Risiko (mit Ausnahme der in Artikel 111 Absatz 1 genannten Systeme), die vor diesem Datum in Verkehr gebracht/in Betrieb genommen wurden. Dies gilt jedoch nur für Systeme, deren Konstruktion ab diesem Zeitpunkt wesentlich geändert wird. Artikel 111 Absatz 2
2. August 2027

Artikel 6(1) und die entsprechenden Verpflichtungen in der Verordnung beginnen zu gelten. Artikel 113
2. August 2027 Anbieter von GPAI-Modellen, die vor dem 2. August 2025 in Verkehr gebracht werden, müssen bis zu diesem Datum die erforderlichen Maßnahmen ergriffen haben, um den in dieser Verordnung festgelegten Verpflichtungen nachzukommen. Artikel 111 Absatz 3
2. August 2027 KI-Systeme, die Bestandteile der in Anhang X aufgeführten IT-Großsysteme sind und vor diesem Datum in Verkehr gebracht/in Betrieb genommen wurden, müssen bis zum 31. Dezember 2030 mit dieser Verordnung in Einklang gebracht werden. Artikel 111 Absatz 1
2. August 2030 Anbieter und Betreiber von KI-Systemen mit hohem Risiko, die von Behörden genutzt werden sollen, müssen bis zu diesem Datum die notwendigen Schritte unternommen haben, um die Anforderungen und Verpflichtungen dieser Verordnung zu erfüllen. Artikel 111 Absatz 2
31. Dezember 2030 Frist für KI-Systeme, die Bestandteile der in Anhang X aufgeführten IT-Großsysteme sind und vor dem 2. August 2027 in Verkehr gebracht oder in Betrieb genommen wurden, um mit dieser Verordnung in Einklang gebracht zu werden. Artikel 111 Absatz 1