Zum Inhalt springen

Penetration Testing

KI-Penetrationstest für Chatbots, RAG und Agenten

Damit Ihre KI nur tut, was sie soll.

Sprachmodelle beantworten Kundenanfragen, durchsuchen interne Dokumente und lösen über Schnittstellen eigenständig Aktionen aus. Ein KI-Penetrationstest zeigt, ob sich Ihre LLM-Anwendung manipulieren lässt – durch präparierte Eingaben, vergiftete Dokumente oder missbrauchte Werkzeuge.

  • Festpreis nach Scoping
  • Kostenloser Retest
  • Angebot in 24 h

Definition

Was ist ein KI-Penetrationstest?

Ein KI-Penetrationstest – oft auch LLM Security Test genannt – ist eine autorisierte Sicherheitsprüfung von Anwendungen, die auf großen Sprachmodellen (Large Language Models, LLMs) basieren: vom Chatbot im Kundenservice über interne Wissensassistenten mit Retrieval-Augmented Generation (RAG) bis zu KI-Agenten, die selbstständig Werkzeuge, APIs und Datenbanken nutzen. Wir prüfen, ob Angreifer Ihr System dazu bringen können, Vorgaben zu ignorieren, vertrauliche Daten preiszugeben oder Aktionen auszulösen, die niemand beabsichtigt hat.

KI-Anwendungen brauchen einen eigenen Testansatz. Ein Sprachmodell trennt nicht zuverlässig zwischen Daten und Anweisungen – jeder Text, den es verarbeitet, kann zur Anweisung werden: eine Kundenanfrage, ein hochgeladenes PDF, eine E-Mail oder eine Webseite. Zudem antworten Modelle nicht deterministisch. Ein Angriff, der neunmal scheitert, kann beim zehnten Versuch gelingen. Klassische Schwachstellenscanner erkennen solche Risiken nicht.

Die größten Risiken liegen dabei selten im Modell allein. Kritisch wird es dort, wo die KI auf Daten und Funktionen zugreift: bei fehlenden Berechtigungsprüfungen im Retrieval, zu weitreichenden Rechten von Agenten oder ungeprüft weiterverarbeiteten Antworten. Deshalb verbinden wir KI-spezifische Angriffe mit klassischen Web-, API- und Cloud-Tests und orientieren uns an den OWASP Top 10 für LLM-Anwendungen (Ausgabe 2025) sowie an MITRE ATLAS.

Auch regulatorisch gewinnt KI-Sicherheit an Gewicht. Der EU AI Act verlangt für Hochrisiko-KI-Systeme unter anderem ein angemessenes Maß an Robustheit und Cybersicherheit – einschließlich Schutz vor manipulierten Eingaben und vergifteten Trainingsdaten. Welche Pflichten für Ihr System gelten, hängt von Ihrer Rolle und der Risikoeinstufung ab. Ein Penetrationstest liefert dafür belastbare technische Nachweise, ersetzt aber keine rechtliche Bewertung.

Unser Vorgehen

So testen wir Ihre KI-Anwendung

Am Anfang steht ein Bedrohungsmodell: Welche Daten sieht das Modell, welche Werkzeuge darf es aufrufen, welche Rollen haben die Nutzenden – und wo können fremde Inhalte unbemerkt in den Kontext gelangen? Das Chatfenster ist dabei nur ein Einfallstor von vielen. Oft sind hochgeladene Dateien, eingelesene E-Mails und Webseiten, die Wissensbasis oder die Rückgaben angebundener Werkzeuge ebenso kritisch.

Auf dieser Grundlage greifen wir gezielt an – manuell, kreativ und mit systematischen Variationen: andere Sprachen und Kodierungen, Rollenspiele, über mehrere Nachrichten verteilte Anweisungen oder in Dokumenten versteckter Text. Da dieselbe Eingabe nicht immer dieselbe Antwort erzeugt, wiederholen wir erfolgversprechende Angriffe und halten fest, wie zuverlässig sie funktionieren. Automatisierte Testläufe ergänzen die manuelle Arbeit, ersetzen sie aber nicht.

Jeden Treffer verfolgen wir bis zur letzten Konsequenz: Lässt sich eine Prompt Injection nutzen, um Daten abfließen zu lassen, fremde Datensätze zu lesen oder über einen Agenten eine E-Mail zu versenden? Erst dieser Nachweis zeigt, wie groß das Risiko wirklich ist.

Testanforderungen besprechen
Indirekte Prompt Injection: Die Anweisung steckt im Dokument, nicht im Chat.

OWASP Top 10 für LLM-Anwendungen

Typische Schwachstellen in KI- und LLM-Anwendungen

LLM01 – Prompt Injection

Präparierte Chateingaben oder versteckte Anweisungen in Dokumenten, E-Mails und Webseiten hebeln die Vorgaben des Systems aus. Bei der indirekten Variante muss der Angreifer nie selbst mit Ihrer Anwendung interagieren – es genügt, dass die KI seinen Text verarbeitet.

LLM02 & LLM07 – Offenlegung von Daten und System-Prompt

Das Modell gibt personenbezogene Daten, Geschäftsgeheimnisse oder Inhalte anderer Nutzerkonten preis, etwa bei fehlender Mandantentrennung. Gelingt die Extraktion des System-Prompts, liegen zudem Filterregeln, Geschäftslogik und im schlimmsten Fall darin hinterlegte Zugangsdaten offen.

LLM03 & LLM04 – Lieferkette, Daten- und Modellvergiftung

Modelle, Adapter, Datensätze und Bibliotheken aus Drittquellen können manipuliert oder verwundbar sein – manche Modellformate führen beim Laden sogar Code aus. Vergiftete Trainings-, Fine-Tuning- oder Feedbackdaten verankern Hintertüren oder verzerren Antworten gezielt.

LLM05 – Fehlerhafte Ausgabeverarbeitung

Werden Antworten ungeprüft an Browser, Datenbanken oder Systembefehle weitergereicht, entstehen Cross-Site Scripting, SQL-Injection oder Codeausführung – mit der KI als Umweg.

LLM06 – Übermäßige Handlungsfreiheit

Agenten mit zu vielen Funktionen, Rechten oder zu viel Autonomie. Eine einzige manipulierte Anweisung kann genügen, um E-Mails zu versenden, Datensätze zu löschen oder Bestellungen auszulösen.

LLM08 – Schwächen bei Vektoren und Embeddings

In RAG-Systemen gelangen Dokumente ohne Berechtigungsprüfung in den Kontext, Mandanten teilen sich eine Vektordatenbank oder präparierte Inhalte beeinflussen die Suche.

LLM09 – Fehlinformationen

Erfundene Fakten, Quellen oder Softwarepakete werden zum Risiko, sobald Antworten ungeprüft in Entscheidungen, Verträge oder Code einfließen.

LLM10 – Unbegrenzter Ressourcenverbrauch

Fehlende Limits ermöglichen Denial of Service, unkontrolliert steigende API-Kosten oder das Nachbauen des Modells über massenhafte Abfragen.

Prüfumfang

Was wir prüfen

Wir betrachten Ihr KI-System als Ganzes – vom Eingabefeld bis zur letzten angebundenen Schnittstelle.

  • Chatbots & Assistenten

    Kundenservice-Bots, interne Copilots und Wissensassistenten – Jailbreaks, Umgehung von Schutzmechanismen, Rollen- und Mandantentrennung.

  • RAG-Pipelines & Vektordatenbanken

    Aufnahme und Aufbereitung von Dokumenten, Berechtigungen beim Abruf, Vergiftung der Wissensbasis und Datenabfluss zwischen Nutzerkonten.

  • KI-Agenten & Tool-Nutzung

    Function Calling, Plug-ins und MCP-Server (Model Context Protocol), Freigabeschritte für kritische Aktionen und die Rechte der Agenten.

  • Multi-Agenten-Systeme & Automatisierung

    Kommunikation zwischen Agenten, Gesprächsspeicher, Workflow-Automatisierung und Vertrauensstellungen zwischen den Komponenten.

  • Guardrails & Filter

    Eingabe- und Ausgabefilter, Moderationsschichten, Gestaltung des System-Prompts und Instruktionshierarchie.

  • Ausgabeverarbeitung

    Darstellung im Frontend, Weitergabe an Datenbanken, Code-Interpreter und Webhooks – inklusive Datenabfluss über eingebettete Links und Bilder.

  • APIs & Infrastruktur

    Authentifizierung, Rate Limiting, API-Schlüssel und die Cloud-Umgebung rund um Modell und Anwendung.

    Mehr erfahren
  • Modelle & Lieferkette

    Herkunft und Integrität von Modellen, Adaptern und Datensätzen sowie selbst gehostete Open-Source-Modelle und deren Bereitstellung.

  • Datenschutz & Protokollierung

    Personenbezogene Daten in Prompts, Verläufen und Logs, Aufbewahrung und Löschung sowie die Trennung zwischen Mandanten.

Testvarianten

Der passende Test für Ihr KI-Projekt

Ob einzelner Chatbot oder verzweigtes Agentensystem – wir stimmen Umfang und Tiefe auf Ihre Architektur ab.

  • Chatbot & Assistent

    LLM-Anwendungstest

    Für Chatbots und Copilots, die vor allem mit Nutzenden kommunizieren.

    • Direkte und indirekte Prompt Injection
    • Jailbreaks und Umgehung von Guardrails
    • Datenabfluss und Offenlegung des System-Prompts
  • Daten & Aktionen

    RAG- & Agenten-Test

    Für Systeme, die auf interne Daten zugreifen oder selbstständig handeln.

    • Berechtigungen beim Abruf von Dokumenten
    • Vergiftung der Wissensbasis
    • Missbrauch von Werkzeugen und Schnittstellen
  • Ende zu Ende

    KI-Systemtest

    LLM-spezifische Tests kombiniert mit Web-, API- und Cloud-Pentest.

    • Frontend, APIs und Backend
    • Identitäten, Cloud und Datenhaltung
    • Verkettete Angriffspfade bis zur Auswirkung

Ablauf

Ablauf eines KI- & LLM-Penetrationstests

Strukturiert, nachvollziehbar und abgestimmt auf die Besonderheiten von KI-Systemen – auf Basis unseres bewährten Vorgehens im Penetration Testing.

  1. 01

    Scoping & Bedrohungsmodell

    Gemeinsam klären wir, wofür Ihre KI eingesetzt wird, auf welche Daten und Werkzeuge sie zugreift, welche Benutzerrollen es gibt und was besonders schützenswert ist. Die Nutzungsbedingungen Ihres Modellanbieters fließen in die Testplanung ein.

  2. 02

    Festpreisangebot

    Innerhalb von 24 Stunden (an Werktagen) nach dem Scoping erhalten Sie ein Festpreisangebot ohne versteckte Kosten.

  3. 03

    Angriffsfläche erfassen

    Wir halten fest, über welche Kanäle fremde Inhalte in den Kontext gelangen und welche Aktionen das Modell auslösen darf – die Grundlage für alle weiteren Prompt-Injection-Tests.

  4. 04

    Angriffssimulation

    Wir attackieren Modell, Guardrails, RAG-Pipeline und Agenten mit wechselnden Techniken – manuell und ergänzt um automatisierte Testläufe.

  5. 05

    Umfeld & Verkettung

    Wir prüfen APIs, Authentifizierung, Ausgabeverarbeitung und Cloud-Anbindung und verketten Befunde bis zur tatsächlichen Auswirkung.

  6. 06

    Bericht, Retest & Prüfbescheinigung

    Sie erhalten reproduzierbare Nachweise, konkrete Maßnahmen, auf Wunsch eine Abschlussbesprechung und eine Prüfbescheinigung. Behobene Schwachstellen testen wir kostenlos erneut.

Ihre Vorteile

Warum ein KI-Pentest mit Rootsektor

  • Mehr als nur das Modell

    Wir testen auch Daten, Werkzeuge, APIs und Cloud-Anbindung – denn dort entstehen die folgenreichsten Angriffe.

  • Manuelle, kreative Angriffe

    Unser Team denkt wie ein Angreifer und geht weit über automatisierte Prompt-Listen hinaus.

  • Konkrete Gegenmaßnahmen

    Statt allgemeiner Hinweise erhalten Sie umsetzbare Empfehlungen für Architektur, Berechtigungen, Prompt-Gestaltung und Ausgabeverarbeitung.

  • Nachweise für Ihre KI-Governance

    Bericht und Prüfbescheinigung unterstützen Ihr KI-Risikomanagement, etwa nach ISO/IEC 42001, und schaffen Vertrauen bei Kunden und Partnern.

KI- & LLM-PENETRATIONSTEST · OWASP TOP 10 FÜR LLM

Ergebnisbericht

Ihr Bericht zum KI- & LLM-Penetrationstest

Jeder Befund ist nachvollziehbar dokumentiert: mit den verwendeten Eingaben, den Antworten des Systems, Angaben zur Reproduzierbarkeit und der konkreten Auswirkung. Die Management Summary ordnet die Ergebnisse für Geschäftsführung und KI-Verantwortliche ein. Der technische Teil gibt Ihrem Entwicklungsteam klare Ansatzpunkte – von engeren Werkzeugrechten über Berechtigungsprüfungen im Retrieval bis zur menschlichen Freigabe kritischer Aktionen.

  • Management Summary mit Risikoeinschätzung
  • Zuordnung zu den OWASP Top 10 für LLM-Anwendungen
  • Reproduzierbare Nachweise mit Prompts und Antworten
  • Bewertung nach CVSS, ergänzt um den Einsatzkontext
  • Umsetzbare Maßnahmen für Architektur und Berechtigungen
  • Kostenloser Retest und Prüfbescheinigung

KI einsetzen, ohne die Kontrolle abzugeben

Ob Chatbot, RAG-Assistent oder autonomer Agent – wir prüfen Ihre KI-Anwendung, bevor sie zum Einfallstor wird. Ihr Festpreisangebot erhalten Sie werktags innerhalb von 24 Stunden nach dem Scoping.

FAQ

Häufige Fragen zum KI- & LLM-Penetrationstest

Ihre Frage ist nicht dabei? Rufen Sie uns an: +49 2932 465265-0 oder schreiben Sie an info@rootsektor.de.

Welche Modelle und Plattformen können Sie testen?

Ob Ihre Anwendung auf GPT, Claude, Gemini oder Mistral aufsetzt, über Azure OpenAI, Amazon Bedrock oder Google Vertex AI läuft oder ein selbst gehostetes Open-Source-Modell nutzt: Wir testen die Anwendung, die Sie darauf gebaut haben – mit ihren Daten, Rollen und Integrationen. Die Infrastruktur des Modellanbieters ist nicht Gegenstand des Tests; seine Nutzungsbedingungen berücksichtigen wir bei der Planung.

Wie unterscheidet sich ein KI-Pentest von einem klassischen Penetrationstest?

Angriffe erfolgen in natürlicher Sprache, und dasselbe Modell kann auf denselben Angriff unterschiedlich reagieren. Deshalb arbeiten wir mit vielen Variationen und Wiederholungen und bewerten, wie zuverlässig ein Angriff gelingt. Klassische Prüfungen bleiben trotzdem wichtig, denn die gravierendsten Folgen entstehen meist in den angebundenen Systemen.

Was ist der Unterschied zwischen einem KI-Pentest und einem KI-gestützten Pentest?

Entscheidend ist, was geprüft wird. Bei einem KI-Pentest ist Ihre KI-Anwendung selbst das Angriffsziel – mit Modell, Datenanbindung und Agenten. Ein KI-gestützter Pentest richtet sich dagegen gegen Webanwendungen, Netzwerke oder andere Systeme; die KI dient dort nur als Werkzeug im Testprozess. Klären Sie bei Angeboten deshalb, welche der beiden Leistungen gemeint ist.

Benötigen Sie Zugriff auf System-Prompt und Quellcode?

Nicht zwingend. Ohne Vorwissen simulieren wir einen externen Angreifer (Black Box). Mit Einblick in System-Prompt, Architektur, Tool-Definitionen und Testkonten für verschiedene Rollen testen wir jedoch deutlich effizienter und gründlicher. Deshalb empfehlen wir meist einen Grey- oder White-Box-Ansatz.

Lässt sich Prompt Injection vollständig verhindern?

Nach heutigem Stand nicht – keine Filtertechnik erkennt alle Varianten zuverlässig. Wirksam ist eine mehrstufige Verteidigung: minimale Rechte für Modell und Agenten, eine klare Trennung vertrauenswürdiger und fremder Inhalte, sichere Ausgabeverarbeitung und menschliche Freigaben für kritische Aktionen. Unser Test zeigt, welche dieser Maßnahmen bei Ihnen greifen und wo die Folgen eines erfolgreichen Angriffs noch zu groß sind.

Hilft der Test bei EU AI Act und ISO/IEC 42001?

Ja, als technischer Baustein. Der EU AI Act fordert für Hochrisiko-KI-Systeme Robustheit und Cybersicherheit, ISO/IEC 42001 verlangt ein systematisches Management von KI-Risiken. Unser Bericht dokumentiert, welchen Angriffen Ihr System standhält und wo Handlungsbedarf besteht. Eine rechtliche Einstufung oder eine Zertifizierung ersetzt er nicht.

Wie gehen Sie mit vertraulichen Daten um?

Idealerweise testen wir in einer Staging-Umgebung mit repräsentativen Testdaten. Ist ein Test in der Produktion nötig, stimmen wir den Umgang mit echten Daten vorab ab und behandeln alle Ergebnisse vertraulich. Auf Wunsch unterzeichnen wir vorab eine Vertraulichkeitsvereinbarung.

Was kostet ein KI- & LLM-Penetrationstest?

Das hängt vor allem davon ab, wie viel Ihre KI-Anwendung kann: Ein Chatbot ohne angebundene Werkzeuge ist schneller geprüft als ein Agentensystem mit mehreren Rollen, Datenquellen und Schnittstellen. Nach dem Scoping erhalten Sie werktags innerhalb von 24 Stunden ein Festpreisangebot ohne Nachforderungen für den vereinbarten Umfang.

KI- & LLM-Penetrationstest anfragen

Erzählen Sie uns, was Ihre KI-Anwendung kann und worauf sie zugreift. Wir melden uns für ein unverbindliches Erstgespräch und schlagen einen passenden Prüfumfang vor.

Mit * gekennzeichnete Felder sind Pflichtfelder.

Für Rückfragen oder einen Rückruf

Wir melden uns dazu bei Ihnen und unterzeichnen die Vertraulichkeitsvereinbarung auf Wunsch vor dem ersten Gespräch – gern auch auf Basis Ihrer eigenen Vorlage.

Wir verwenden Ihre Angaben ausschließlich zur Bearbeitung Ihrer Anfrage. Weitere Informationen finden Sie in unserer Datenschutzerklärung. Bitte senden Sie uns über dieses Formular keine Passwörter oder Zugangsdaten.