Ein KI-Penetrationstest – oft auch LLM Security Test genannt – ist eine autorisierte Sicherheitsprüfung von Anwendungen, die auf großen Sprachmodellen (Large Language Models, LLMs) basieren: vom Chatbot im Kundenservice über interne Wissensassistenten mit Retrieval-Augmented Generation (RAG) bis zu KI-Agenten, die selbstständig Werkzeuge, APIs und Datenbanken nutzen. Wir prüfen, ob Angreifer Ihr System dazu bringen können, Vorgaben zu ignorieren, vertrauliche Daten preiszugeben oder Aktionen auszulösen, die niemand beabsichtigt hat.
KI-Anwendungen brauchen einen eigenen Testansatz. Ein Sprachmodell trennt nicht zuverlässig zwischen Daten und Anweisungen – jeder Text, den es verarbeitet, kann zur Anweisung werden: eine Kundenanfrage, ein hochgeladenes PDF, eine E-Mail oder eine Webseite. Zudem antworten Modelle nicht deterministisch. Ein Angriff, der neunmal scheitert, kann beim zehnten Versuch gelingen. Klassische Schwachstellenscanner erkennen solche Risiken nicht.
Die größten Risiken liegen dabei selten im Modell allein. Kritisch wird es dort, wo die KI auf Daten und Funktionen zugreift: bei fehlenden Berechtigungsprüfungen im Retrieval, zu weitreichenden Rechten von Agenten oder ungeprüft weiterverarbeiteten Antworten. Deshalb verbinden wir KI-spezifische Angriffe mit klassischen Web-, API- und Cloud-Tests und orientieren uns an den OWASP Top 10 für LLM-Anwendungen (Ausgabe 2025) sowie an MITRE ATLAS.
Auch regulatorisch gewinnt KI-Sicherheit an Gewicht. Der EU AI Act verlangt für Hochrisiko-KI-Systeme unter anderem ein angemessenes Maß an Robustheit und Cybersicherheit – einschließlich Schutz vor manipulierten Eingaben und vergifteten Trainingsdaten. Welche Pflichten für Ihr System gelten, hängt von Ihrer Rolle und der Risikoeinstufung ab. Ein Penetrationstest liefert dafür belastbare technische Nachweise, ersetzt aber keine rechtliche Bewertung.