Die Gefahr lauert in der KI: Verbreitung kompromittierter Sprachmodelle
SophosAI entwickelt mit„LLM-Salting“eine neue Schutztechnik, die LLM-Jailbreaks unbrauchbar macht.
(PresseBox) - Das massenhafte Ausrollen von Software ist ein Problem, wenn diese bereits im Auslieferungszustand oder in einem Update kompromittiert ist. Damit erhalten unter Umständen Hunderttausende von Unternehmen eine Software mit Schwachstellen oder gar eingepflanzter Malware, die von Cyberkriminellen ausgenutzt wird.
Ähnlich verhält es sich mit der Nutzung von künstlicher Intelligenz (KI) beziehungsweise mit großen Sprachmodellen (LLMs). Unternehmen setzen zunehmend LLMs wie die GPT-Serie von OpenAI, Claude von Anthropic, LLaMA von Meta oder verschiedene Modelle von DeepSeek ein und passen diese für ihre individuellen Zwecke geringfügig an. Diese weit verbreitete Wiederverwendung führt zu einer Homogenität der Modelle über viele Anwendungen hinweg – von Chatbots bis hin zu Produktivitätswerkzeugen. Und sie schafft Risiken: Jailbreak-Prompts, die beispielsweise Ablehnungsmechanismen der KI umgehen und sie so zwingen, etwas zu tun, was sie normalerweise nicht täte, können einmal vorab berechnet und dann von den Cyberkriminellen in vielen Bereitstellungen wiederverwendet werden.
Diese Jailbreaks sind kein theoretisches Phänomen, sondern ein reales Sicherheitsrisiko. Mit ihnen kann die Offenlegung sensibler interner Daten bis hin zur Erzeugung falscher, unangemessener oder sogar schädlicher Antworten erzeugt werden.
Eine Prise Salz macht’s aus
Schutz vor Jailbreaks in LLMs bietet eine neue Technologie von SophosAI. Inspiriert vom Passwort-Salting– dem Konzept, kleine benutzerspezifische Variationen einzuführen, um die Wiederverwendung vorab berechneter Eingaben zu verhindern – hat SophosAI eine Technik namens „LLM-Salting” entwickelt. Dabei handelt es sich um die Einführung gezielter Variationen im Modellverhalten,um Jailbreaks unbrauchbar zu machen. Für einen Bereich in den Modellaktivierungen, der für das Verweigerungsverhalten verantwortlich ist, haben die Security- und KI-Experten ein Fine-Tuning-Verfahren entwickelt, das diesen Bereich rotiert. Diese Schutztechnologie stellt sicher, dass Jailbreaks, die für „Unsalted-Modelle“ entwickelt wurden, bei „Salted-Modellen“ nicht mehr erfolgreich sind.
Tests bescheinigen LLM-Salting Sicherheit gegen Jailbreaks
In ausgedehnten Tests erreichte das Expertenteam von SophosAIüberzeugende Schutzergebnisse durch LLM-Salting. In einer Evaluation prüfte das Team 300 GCG-Jailbreak-Prompts auf zwei unterschiedlichen Open Source Modellen und erreichte auf unveränderten LLM-Basismodellen eine Angriffserfolgsrate (ASR) von 100 %. In anschließenden Tests mit der Salting-Methode erreichte das Team eine ASR von lediglich 2,75 Prozent beziehungsweise 1,35 Prozent (je nach LLM-Modell).
LLM-Salting mit der Fine-Tuning-Technik unterbindet die Verwendung von Jailbreaks, indem sie die internen Verweigerungsrepräsentationen rotiert. Dabei bleibt die Leistung der Modelle bei harmlosen Eingaben erhalten.
Zukünftige Tests werden das Salting auf weitere, größere Modelle ausweiten, um deren Resilienz gegenüber einer breiteren Palette von Jailbreaks zu bewerten.
Weitere technische Informationen zu„LLM-Salting” sind hier zu finden: https://news.sophos.com/en-us/2025/10/24/locking-it-down-a-new-technique-to-prevent-llm-jailbreaks/
Datum: 04.11.2025 - 10:00 Uhr
Sprache: Deutsch
News-ID 2209257
Anzahl Zeichen: 0
Kontakt-Informationen:
Ansprechpartner: Arno LüchtThilo ChristJörg SchindlerUlrike MasztalerzAriane Wendt
Stadt:
Wiesbaden
Telefon: +49 (8081) 954619+49 (8081) 954617+49 (721) 25516-
Kategorie:
IT, New Media & Software
Dieser Fachartikel wurde bisher 5 mal aufgerufen.
Der Fachartikel mit dem Titel:
"Die Gefahr lauert in der KI: Verbreitung kompromittierter Sprachmodelle"
steht unter der journalistisch-redaktionellen Verantwortung von
Sophos Technology GmbH (Nachricht senden)
Beachten Sie bitte die weiteren Informationen zum Haftungsauschluß (gemäß TMG - TeleMedianGesetz) und dem Datenschutz (gemäß der DSGVO).