Die Grenzen der KI-Erkennung

Vier dokumentierte Grenzen

1 · Bias gegen Nicht-Muttersprachler:innen

Stanford HAI, Liang et al. 2023 (Patterns) testeten 7 führende KI-Detektoren an 91 TOEFL-Essays, die vollständig von Nicht-Muttersprachler:innen des Englischen geschrieben wurden. Die Detektoren markierten im Durchschnitt 61,3 % dieser Menschen-Essays als KI. 97,8 % wurden von mindestens einem Detektor markiert, 19,8 % von allen sieben. Der Mechanismus ist strukturell: Detektoren lernen, dass begrenzte lexikalische Vielfalt und einfache Syntax wie KI aussehen — aber das sind auch die Oberflächenmerkmale von L2-Englisch. Die Autor:innen fanden, dass eine Verbesserung der Wortwahl in den TOEFL-Essays die Fehlklassifikation reduzierte und dass Vereinfachen der Essays von Muttersprachler:innen deren Fehlklassifikation erhöhte, was den Mechanismus bestätigt.

2 · Umgehung durch Paraphrasieren

Krishna et al. NeurIPS 2023 (arXiv:2303.13408): Der DIPPER-Paraphraser senkte die True-Positive-Rate von DetectGPT bei einer False-Positive-Rate von 1 % von 70,3 % auf 4,6 %. Sadasivan et al. 2023 zeigten, dass dieselbe Dynamik generalisiert: Leichte Paraphrasierung besiegt neuronale Detektoren, Zero-Shot-Klassifikatoren und Watermarking-Verfahren. Die eigenen Daten von Copyleaks zeigen einen Einbruch der Genauigkeit von 100 % auf 50 % bei Texten, die durch QuillBot umgeschrieben wurden.

Wie wir auf demselben Test abschneiden

Wir haben dieselbe Übung an unserem eigenen Kalibrierungsset durchgeführt. Die drei High-Slop-Anker (KI-Marketing, LinkedIn-Listicle, Konzern-Jargon-Memo), durch Claude mit einem Prompt geschickt, der Register und Ton explizit erhält (also Oberflächen-Paraphrasierung, keine Registeränderung), verschieben unseren Gesamt-Score um durchschnittlich −17 Punkte (einer von drei blieb in seinem Kalibrierungsband). Dieselben Anker durch einen Prompt, der die Stimme tatsächlich verbessert (Satzlängen variieren, Tricolons rauswerfen, ein konkretes Beispiel einfügen), verschieben den Score um durchschnittlich −33 Punkte (null von drei blieben im Band). Das Reword-only-Delta ist ungefähr halb so groß wie das substanzielle Rewrite-Delta — genau das, was wir uns wünschen: Der Score misst stilistisches Register statt Oberflächen-Tokens, also liest sich umformulierter Slop immer noch als Slop.

Das ist nicht dasselbe wie „unser Score überlebt Paraphrasierung“. Er fällt. Er fällt nur weniger als die publizierten Versagen klassifikatorbasierter Erkennung unter demselben Testmuster. Das Benchmark ist im Repo offen; jederzeit erneut ausführen, wenn sich die Engines ändern.

3 · Memorisierte kanonische Texte

Ein Versagensmuster, das zwischen 2023 und 2025 bei mehreren führenden Klassifikatoren dokumentiert wurde: Grundlegende gemeinfreie Texte — die US-Verfassung, die Bibel, die Unabhängigkeitserklärung — werden als KI-generiert markiert. Der Mechanismus ist strukturell: Große Sprachmodelle werden so intensiv auf diese Dokumente trainiert, dass das Modell gelernt hat, statistisch ähnlichen Text zu produzieren, und jeder Detektor, der Perplexität oder ähnliche statistische Signaturen nutzt, erbt diese Ähnlichkeit. Bessere Trainingsdaten beheben das nicht; die Ähnlichkeit ist in den Ansatz eingebaut.

4 · Eine theoretische Schranke

Sadasivan et al. 2023 (arXiv:2303.11156, University of Maryland, über 186 Zitationen): ein informationstheoretisches Argument, dass sich die obere Schranke für die Genauigkeit eines beliebigen Detektors dem Zufall annähert, sobald Sprachmodelle auf die menschliche Schreibverteilung konvergieren. Bessere Trainingsdaten schließen diese Lücke nicht. Es ist eine Grenze des Problems selbst. Je näher LLMs daran kommen, wie Menschen zu schreiben, desto weniger können Klassifikatoren leisten.

Was in Presse und Gerichten passiert ist

Diese Versagensmuster haben Konsequenzen jenseits des Papiers. Detektor-getriebene akademische Suspendierungen haben 2024 und 2025 zu Gerichtsverfahren geführt (öffentlich recherchierbar; Berichterstattung in Poets & Quants, Universitätszeitungen und juristischen Kommentaren), oft zentriert um die Falsch-Positiv-Rate bei Nicht-Muttersprachler:innen, die Liang et al. quantifizieren. Gerichte haben Schulen während des Verfahrens in der Regel keinen Vollzugsstopp auferlegt, aber Discovery-Akten und die Policy-Debatte darum sind öffentlich.

Beworbene Genauigkeitsangaben in der Branche liegen üblicherweise im 99-Prozent-Bereich. Die Lücke zur unabhängig gemessenen Genauigkeit auf breiten Testsets ist signifikant; die Lücke bei den oben genannten spezifischen Versagensmustern (Nicht-Muttersprachler:innen, paraphrasierter Input, kanonische gemeinfreie Texte) ist noch größer. Marketing-Genauigkeit und gemessene Genauigkeit sind nicht dieselbe Zahl.

Warum wir etwas anderes gebaut haben

Forensische KI-Erkennung verkauft ein binäres Urteil an Gatekeeper (Lehrkräfte, Recruiter, Verlage). Das Urteil hat Konsequenzen, die Methoden sind intransparent, und die Versagensmuster stehen in der publizierten Literatur. Die Lücke zwischen Marketing-Behauptungen und reproduzierbaren Messungen wird größer.

Wir spielen dieses Spiel nicht. deslopify bewertet stilistisches Register auf einer kontinuierlichen 0–100-Skala und zeigt die Textstellen, die den Score treiben, Schicht für Schicht. Das verändert, was das Tool kann und was nicht:

• Kein Risiko falscher Anschuldigungen. Es gibt kein „du hast KI benutzt“-Urteil, das man falsch unterstellen könnte.
• Das Liang-Bias-Problem ist zerlegbar. Eine Person, die Englisch als Zweitsprache schreibt, kann sehen, dass ihre lexikalische Schicht ausgelöst hat, während strukturell und epistemisch sauber blieben — und das als Register-Signal lesen, nicht als KI-Vorwurf. Keiner der binären Klassifikatoren legt das offen.
• Das Memorized-Text-Problem trifft nicht zu. Der Slop Score ist keine Aussage über Urheberschaft. Slop in einem Grundlagendokument wäre immer noch Slop; der tatsächliche Score (niedrig) reflektiert Stimme und Konkretheit, nicht statistische Fingerabdrücke.

Die ehrliche Lesart

KI-Detektoren haben eng umrissene Einsatzgebiete: Bulk-Content-Moderation, Erstsichtung. Die sorgfältiger gebauten geben das zu, wenn man nachfragt. Sie sind keine gerichtsfeste oder schulnotenfeste Evidenz. Die obigen publizierten Versagensmuster sind der Grund. Wer einen Detektor benutzt, um eine folgenschwere Entscheidung über eine konkrete Person zu treffen, sollte zuerst die Liang-Studie lesen.

Wenn du hierher gekommen bist und eine Detektor-Empfehlung erwartest: benutze keinen, um Einzelpersonen zu bestrafen. Benutze ihn als weiches Signal, gepaart mit dem genauen Lesen, das du ohnehin tun würdest. Für Schreibende ist ein Diagnose-Tool nützlicher als ein Urteil: Es sagt dir, wie deine Prosa klingt, nicht auf welcher Seite einer Vermutung sie liegt. Die Limitations-Seite deckt ab, wo dieses Tool falsch liegt.