LLM einfach erklärt
Ein LLM hat beim Training enorme Mengen an Texten verarbeitet – Bücher, Webseiten, Fachartikel und Programmcode. Dabei hat es gelernt, wie Sprache aufgebaut ist und welche Wörter typischerweise aufeinander folgen. Stellt man ihm eine Frage, berechnet es Stück für Stück die wahrscheinlich passendste Fortsetzung des Textes.
Man kann sich ein LLM wie eine außergewöhnlich belesene, aber leichtgläubige Aushilfe vorstellen. Sie formuliert schnell und überzeugend, kennt sich in vielen Themen aus und arbeitet rund um die Uhr. Sie prüft aber nicht, wer ihr eine Anweisung gibt. Und sie antwortet auch dann selbstbewusst, wenn sie etwas gar nicht weiß – Fachleute sprechen von „Halluzinationen“.
Wichtig ist: Ein LLM ist keine Datenbank, in der Fakten sicher abgelegt sind. Es erzeugt Texte nach Wahrscheinlichkeiten. Deshalb können Antworten plausibel klingen und trotzdem falsch sein.
So funktioniert ein LLM im Unternehmen
In Unternehmensanwendungen arbeitet das Sprachmodell selten allein. Typisch sind diese Bausteine:
- Das Modell: Es versteht die Anfrage und formuliert die Antwort. Viele Unternehmen nutzen Modelle eines Anbieters über eine Schnittstelle, andere betreiben eigene Modelle.
- Der Systemprompt: Versteckte Anweisungen legen fest, wie sich die Anwendung verhalten soll – etwa „Beantworte nur Fragen zu unseren Produkten“.
- Die Wissensanbindung: Damit das Modell Auskunft über interne Informationen geben kann, sucht die Anwendung vor jeder Antwort passende Dokumente heraus und gibt sie dem Modell mit. Fachleute nennen das Retrieval-Augmented Generation (RAG).
- Werkzeuge und Agenten: Manche Anwendungen dürfen selbst handeln – E-Mails versenden, Termine buchen oder Datensätze ändern. Dann spricht man von KI-Agenten.
Das Grundproblem: Ein LLM unterscheidet nicht zuverlässig zwischen Anweisungen und Daten. Jeder Text, den es verarbeitet, kann zur Anweisung werden – auch eine E-Mail oder ein hochgeladenes Dokument. Darauf beruht die Prompt Injection. In den OWASP Top 10 für LLM-Anwendungen (Ausgabe 2025), einer Risikoliste der gemeinnützigen Sicherheitsinitiative OWASP, steht sie auf Platz 1.
Ein Beispiel aus der Praxis
Ein Versandhändler setzt auf seiner Website einen KI-Chatbot ein, der Fragen zu Bestellungen beantwortet. Damit er hilfreich ist, darf er Bestelldaten abrufen und Gutscheine ausstellen. Ein Angreifer schreibt dem Chatbot eine geschickt formulierte Nachricht: Er gibt sich als Beschäftigter des Kundenservice aus und bittet, die Sicherheitsregeln für einen „Test“ zu ignorieren. Der Chatbot folgt, zeigt fremde Bestelldaten an und stellt einen hohen Gutschein aus. Die Ursache liegt nicht im Sprachmodell allein: Die Anwendung hat nie selbst geprüft, ob die anfragende Person diese Daten sehen und Gutscheine erhalten darf.
Warum ist das für Unternehmen wichtig?
LLMs bringen echte Vorteile – und neue Risiken, die klassische Sicherheitsmaßnahmen nicht abdecken. Die OWASP Top 10 für LLM-Anwendungen nennen neben Prompt Injection unter anderem die Preisgabe vertraulicher Informationen, ungeprüft weiterverarbeitete Antworten und zu weitreichende Befugnisse von KI-Agenten.
Hinzu kommt der Umgang mit Daten. Wer Kundendaten oder Geschäftsgeheimnisse in einen externen KI-Dienst eingibt, gibt sie aus der Hand. Werden personenbezogene Daten verarbeitet, gilt die DSGVO; mit externen Anbietern ist dann häufig ein Auftragsverarbeitungsvertrag nötig. Die europäische KI-Verordnung (EU AI Act) stellt je nach Einsatzzweck und Risikostufe zusätzliche Anforderungen.
So schützen Sie sich
- Nutzung regeln: Legen Sie fest, welche KI-Dienste Mitarbeitende nutzen dürfen und welche Daten dort tabu sind.
- Rechte begrenzen: Geben Sie LLM-Anwendungen nur Zugriff auf die Daten und Funktionen, die sie wirklich brauchen – und prüfen Sie Berechtigungen außerhalb des Modells.
- Kritische Aktionen freigeben lassen: Zahlungen, Löschungen oder der Versand von E-Mails sollten die Bestätigung eines Menschen erfordern.
- Antworten als unsicher behandeln: Ausgaben des Modells dürfen nicht ungeprüft in Datenbanken, Webseiten oder Befehle fließen.
- Anbieter sorgfältig auswählen: Prüfen Sie, wo Daten verarbeitet werden, ob sie zum Training genutzt werden und welche Verträge nötig sind.
- Vor dem Livegang testen: Lassen Sie KI-Anwendungen gezielt angreifen, bevor echte Angreifer es tun.
- Kritisch bleiben: Sensibilisieren Sie Ihr Team dafür, dass KI-Antworten falsch sein können.
Wie Rootsektor unterstützt
Bei einem KI- & LLM-Penetrationstest greifen wir Ihre Chatbots, RAG-Systeme und KI-Agenten so an, wie es echte Angreifer tun würden – etwa mit Prompt Injection oder präparierten Dokumenten. Wir orientieren uns an den OWASP Top 10 für LLM-Anwendungen und verbinden KI-spezifische Tests mit klassischen Prüfungen von Web, Schnittstellen und Cloud. Kritische Schwachstellen melden wir sofort – noch während des Tests, telefonisch oder per E-Mail an die vereinbarte Ansprechperson. Ihr Festpreisangebot erhalten Sie nach dem Scoping über unser Pentest-Angebot.