Wie LLMs Datenschutzerklärungen prüfen — und wo sie irren

Die Versuchung

DSGVO-Konformität zu prüfen ist mühsam. Pflichtangaben nach Art. 13, Rechtsgrundlagen, Speicherdauer, Drittlandtransfers, Betroffenenrechte — eine lange Liste, die sich pro Webseite unterscheidet. Sprachmodelle scheinen wie geschaffen für diese Aufgabe. Und tatsächlich: Mit dem richtigen Prompt findet ein modernes LLM viele Lücken in Sekunden.

Wo es schiefgeht

Aber LLMs sind keine Anwälte. Sie haben drei systematische Schwächen:

1. Halluzinationen. Ein Modell kann selbstbewusst behaupten, eine Klausel sei vorhanden, obwohl sie es nicht ist — vor allem, wenn der Eingangstext lang oder unstrukturiert ist.
2. Kontextverlust. Wird der gesamte Datenschutztext in einem Stück übergeben, verliert das Modell mittendrin den Faden. Wichtige Passagen "übersieht" es.
3. Unsicherheit ohne Markierung. Das Modell sagt nicht "weiß nicht" — es schreibt etwas Plausibles, ohne den Konfidenzgrad zu offenbaren.

Was wir dagegen tun

Unser Legal-Check arbeitet mit drei Sicherungen:

• Strukturierte Prompts mit explizitem Schema. Das Modell muss in einem festgelegten JSON-Format antworten — pro Pflichtangabe ein Bool, ein Score, eine Begründung mit Textauszug. Wer nichts findet, muss "nicht gefunden" zurückgeben.
• Cross-Check mit Pattern-Matching. Vor dem LLM laufen klassische Regex-Checks (Impressum-Felder, Telefonnummer, USt-ID, Verantwortlicher). So entstehen zwei unabhängige Ergebnisse, die wir vergleichen.
• Quellenangabe als Pflicht. Jede Behauptung des Modells muss mit einem Textfragment aus der echten Seite belegt werden. So ist jede Bewertung nachprüfbar.

Was das LLM trotzdem nicht ersetzt

Eine Anwältin oder einen Anwalt. Unser Audit liefert eine technische Risikoeinschätzung und priorisierte Hebel. Bei kritischen Lücken empfehlen wir immer eine juristische Prüfung — vor allem bei Cookie-Bannern, Tracking, AGB und internationalen Sachverhalten.

Fazit

KI-gestützte Rechtsprüfung ist heute praxistauglich, wenn man die Schwächen der Modelle kennt und mit klassischen Checks kombiniert. Genau so haben wir unseren Legal-Check gebaut — und genau das siehst du auch im Report: Welche Ergebnisse aus statischen Checks kommen, welche aus der LLM-Bewertung, und wo wir uns ergänzen.