Was ist der EU AI Act?

EU AI Act einfach erklärt

Der EU AI Act (Verordnung (EU) 2024/1689) gilt als das erste umfassende Gesetz, das künstliche Intelligenz (KI) regelt. Als EU-Verordnung gilt er unmittelbar in allen Mitgliedstaaten, auch in Deutschland. Er betrifft nicht nur Unternehmen, die KI entwickeln. Auch wer KI einkauft und einsetzt – etwa einen Chatbot im Kundenservice oder eine Software, die Bewerbungen vorsortiert –, hat Pflichten.

Das Grundprinzip kennen Sie aus dem Straßenverkehr: Für ein Fahrrad gelten wenige Regeln, für einen Gefahrguttransporter sehr viele. Genauso richtet sich die KI-Verordnung nach dem Risiko. Je größer der mögliche Schaden für Gesundheit, Sicherheit oder Grundrechte, desto strenger die Vorgaben.

Für die IT-Sicherheit ist ein Punkt besonders wichtig: Die Verordnung verlangt von riskanten KI-Systemen ausdrücklich Schutz vor Angriffen. KI ist damit nicht nur ein Thema für Datenschutz und Ethik, sondern auch für Sicherheitstests.

Das regelt der EU AI Act

Die Verordnung ordnet KI-Anwendungen in Risikostufen ein:

1. Verbotene Praktiken: KI, die Menschen gezielt manipuliert oder ihre Schwächen ausnutzt und ihnen damit erheblich schaden kann, ist untersagt. Verboten sind auch Social Scoring – die Bewertung von Menschen nach ihrem sozialen Verhalten – und grundsätzlich die Emotionserkennung am Arbeitsplatz.
2. Hochrisiko-KI: Dazu gehören KI-Systeme in sensiblen Bereichen wie Personalauswahl, Kreditwürdigkeitsprüfung, Bildung oder kritische Infrastruktur. Hinzu kommt KI als Sicherheitsbauteil regulierter Produkte, etwa von Medizinprodukten. Hier gelten strenge Auflagen: Risikomanagement, Datenqualität, Dokumentation und menschliche Aufsicht.
3. Transparenzpflichten: Menschen müssen erkennen können, dass sie mit einem Chatbot sprechen. Deepfakes – täuschend echte, künstlich erzeugte Bilder, Videos oder Stimmen – müssen offengelegt werden.
4. Minimales Risiko: Spamfilter oder KI in Videospielen unterliegen keinen besonderen Pflichten.

Eigene Regeln gelten für KI-Modelle mit allgemeinem Verwendungszweck, etwa große Sprachmodelle (LLM), auf denen viele Anwendungen aufbauen.

Für Hochrisiko-KI fordert Artikel 15 ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit. Robust heißt: Das System arbeitet auch bei Fehlern und Störungen verlässlich. Cybersicherheit bedeutet hier, dass es Angriffen standhält – etwa manipulierten Trainingsdaten („Datenvergiftung“) oder präparierten Eingaben, die das Modell zu Fehlern verleiten.

Die Pflichten greifen gestaffelt:

• seit 2. Februar 2025: Verbote und Maßnahmen zur KI-Kompetenz der Beschäftigten
• seit 2. August 2025: Regeln für KI-Modelle mit allgemeinem Verwendungszweck
• seit 2. August 2026: weitere Pflichten, darunter die Transparenzpflichten
• ab 2. Dezember 2026: zusätzliche Verbote für KI, die intime Darstellungen ohne Einwilligung oder Missbrauchsdarstellungen von Kindern erzeugt
• ab 2. Dezember 2027: Hochrisiko-KI in sensiblen Einsatzbereichen
• ab 2. August 2028: Hochrisiko-KI in regulierten Produkten

Die zusätzlichen Verbote und die späteren Hochrisiko-Termine stammen aus einer Änderung vom Juli 2026, dem „Digital Omnibus“ zur KI (Verordnung (EU) 2026/1744). Ältere Quellen nennen deshalb andere Daten.

Ein Beispiel aus der Praxis

Eine Einzelhandelskette stellt laufend Personal ein. Sie führt eine KI-Software ein, die Bewerbungen vorsortiert und eine Rangliste erstellt. Solche Systeme zählen in der Regel zur Hochrisiko-KI. Das Unternehmen ist dabei „Betreiber“. Es muss das System gemäß der Anleitung des Anbieters nutzen, eine menschliche Aufsicht einrichten und den Betrieb überwachen.

Schon bevor diese Pflichten ab Dezember 2027 greifen, lässt es die Anwendung samt Chatfunktion für Bewerbende auf Sicherheitslücken testen. Das Ergebnis: Mit geschickt formulierten Eingaben – einer sogenannten Prompt Injection – gibt der Chat interne Bewertungskriterien und Auszüge aus fremden Bewerbungen preis. Der Anbieter schränkt daraufhin ein, auf welche Daten der Chat zugreifen darf, bevor das System produktiv geht.

Warum ist das für Unternehmen wichtig?

Die KI-Verordnung trifft auch Unternehmen, die KI „nur“ nutzen – welche Pflichten gelten, hängt von der Rolle ab. Anbieter bringen ein KI-System unter eigenem Namen auf den Markt und haben es meist selbst entwickelt. Betreiber setzen es in eigener Verantwortung ein. Verstöße können teuer werden. Bei verbotenen Praktiken drohen bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes, je nachdem, welcher Betrag höher ist. Für kleine und mittlere Unternehmen gilt jeweils der niedrigere Betrag.

Unabhängig vom Gesetz liegt Sicherheit im eigenen Interesse. KI-Anwendungen sind oft mit internen Dokumenten oder Datenbanken verbunden. Das schafft neue Risiken wie den Abfluss vertraulicher Daten. Verarbeitet die KI personenbezogene Daten, gilt zudem die DSGVO.

Was Unternehmen jetzt tun sollten

• Bestandsaufnahme: Erfassen Sie, welche KI-Systeme Sie nutzen oder entwickeln – auch in eingekaufter Software und Cloud-Diensten.
• Rolle klären: Prüfen Sie für jedes System, ob Sie Anbieter oder Betreiber sind.
• Risiko einstufen: Klären Sie mit rechtlicher Unterstützung, ob eine Anwendung verboten oder hochriskant sein könnte.
• KI-Kompetenz fördern: Schulen Sie Beschäftigte und legen Sie Regeln für den Einsatz von KI-Werkzeugen fest.
• Transparenz herstellen: Kennzeichnen Sie Chatbots und KI-generierte Inhalte.
• Sicherheit testen: Prüfen Sie KI-Anwendungen vor dem Livegang und nach größeren Änderungen auf Prompt Injection, Datenabfluss und den Missbrauch angebundener Funktionen.
• Dokumentieren: Halten Sie Entscheidungen, Tests und Maßnahmen nachvollziehbar fest.

Wie Rootsektor unterstützt

Im KI- & LLM-Penetrationstest prüfen wir Chatbots, KI-Assistenten und KI-Agenten auf Prompt Injection, Datenabfluss und ungewollte Aktionen. Dabei orientieren wir uns an den OWASP Top 10 für LLM-Anwendungen. Der Bericht zeigt, welchen Angriffen Ihr System standhält – ein technischer Baustein für den Nachweis von Robustheit und Cybersicherheit, aber keine rechtliche Einstufung. Ein Festpreisangebot nach dem Scoping erhalten Sie über unser Pentest-Angebot.