Offene Benchmarks

Die Detektor-Branche bewirbt einzelne Genauigkeitszahlen (99 %, 99,9 %, „1 von 10.000 Falsch-Positiven“), die auf unabhängigen Testsets so gut wie nie reproduzierbar sind. Wir veröffentlichen stattdessen drei orthogonale Benchmarks. Sie messen unterschiedliche Dinge und versagen auf unterschiedliche Weise, und genau das ist der Punkt: zusammen zeigen sie, wo der Slop Score trägt und wo er bricht.

1 · Kalibrierungsanker (CI-verankert)

Die harte Schranke. Sechs Referenztexte sind in unserer Testsuite verankert. Jede Engine-Änderung, die einen aus dem Band drückt, lässt den Build durchfallen und kann nicht merged werden. Die veröffentlichten Anker-Texte und Bänder stehen auf der Kalibrierungsseite.

2 · Zhang & Gosline 4-Paradigmen-Experimentalanker

Ein separates, lockereres Set, inspiriert von Zhang & Gosline 2023 (die MIT/Berkeley-Studie), die in Blindbewertungen mit 1.203 Teilnehmenden an Überzeugungstexten vier Content-Generierungs-Paradigmen testete. Wir nutzen diese Paradigmen als Stresstest für die unsaubere Mitte unseres Scores, wo KI- und Mensch-Beiträge sich mischen. Validiert am 28.05.2026: Die falsifizierbare Behauptung, dass unser Score eine monotone Ordnung über die vier Z&G-Paradigmen erzeugt, hält. Bänder unten sind beobachtete Werte ±10. Nicht im strikten Gate; bei Engine-Änderungen neu validiert.

Lies das als Plausibilitätscheck für die architektonische Behauptung. Wenn die vier Paradigmen aufhören, sich monoton zu ordnen (human_only < augmented_human < augmented_ai < ai_only), hat die Engine-Änderung etwas kaputt gemacht und der Build sollte nicht ausgeliefert werden.

3 · Paraphrasen-Resistenz

Ein gut dokumentierter Versagensmodus klassifikatorbasierter KI-Erkennung ist die Paraphrasierung: Krishna et al. 2023 senkten die True-Positive-Rate von DetectGPT von 70,3 % auf 4,6 % mit einem DIPPER-Round-Trip; GPTZeros eigene veröffentlichte Daten zeigen, dass seine Genauigkeit auf paraphrasiertem Text halbiert wird. Der theoretische Kontext steht in die Grenzen der KI-Erkennung. Wir führen das gleiche Experiment an unseren eigenen High-Slop-Ankern mit zwei Prompts durch:

• Oberflächen-Paraphrasierung. Umformulieren, aber Register, Ton und die fehlende eigene Stimme erhalten. Das ist das Analogon zu QuillBot / DIPPER: ein rein stilistisches Rewrite, das einen register-basierten Detektor NICHT täuschen sollte.
• Substanzielles Rewrite. Stimme aktiv verbessern (Rhythmus variieren, Tricolons rauswerfen, konkrete Beispiele einfügen). Das macht unser eigener Rewriter und sollte den Score um 25+ Punkte senken.

Über drei High-Slop-Anker hinweg verschiebt Oberflächen-Paraphrasierung den Score um durchschnittlich −17 Punkte (1 von 3 blieb im ursprünglichen Band), während substanzielles Rewrite ihn um −33 Punkte verschiebt (0 von 3 blieben im Band). Das Oberflächen-Delta ist ungefähr halb so groß wie das substanzielle. Der Score ist nicht paraphrasen-fest. Er ist ungefähr doppelt so widerstandsfähig wie ein Score, der sich von einem stilistischen Rewrite täuschen lässt — und an dieser Latte scheitern die meisten Detektoren.

Was wir noch nicht messen

Die bekannten Lücken. Wenn du eine weitere siehst, erreicht uns die Warteliste-E-Mail.

• Echte cross-Model-Robustheit. Unsere Kalibrierungsanker nutzen Output von Claude-Modellen; wir haben kein Benchmark, das GPT-4o-, Gemini- oder Llama-Ausgaben durch dieselbe Engine schickt und bestätigt, dass sie alle im KI-Band landen. Architektonisches Argument: Der Score ist register-basiert und sollte generalisieren (die deterministischen Engines sind muster-basiert, nicht perplexitätsbasiert, also wäre ein Single-Model-Bias überraschend). Die Messung schulden wir trotzdem.
• Sprachen jenseits von Englisch, Deutsch und Spanisch. Diese drei haben vollständige lexikalische Wörterbücher, strukturelle Regex-Bänke und Sonnet-Judge-Prompts; der Score ist aussagekräftig und die Highlights zeigen auf die richtigen Stellen. Andere Sprachen laufen zwar durch die Engines, aber die Zahlen sind Rauschen. Eine neue Sprache hinzuzufügen erfordert dieselbe Authoring-Pipeline. Siehe bekannte Grenzen.
• Iterierte Paraphrasen-Kette. Eine Runde Paraphrasierung ist der Test oben. Wir wissen nicht, wie sich der Score nach 3–5 Runden aufeinanderfolgenden Umschreibens verhält, was eher dem entspricht, wie ein entschlossener Nutzer tatsächlich versuchen würde, Erkennung zu umgehen.
• Kurztext-Untergrenze. Unter ~150 Wörtern haben die deterministischen Engines nicht genügend Stichprobe, damit ihre per-500-Wörter-Normalisierungen stabil sind. Wir haben anekdotische Hinweise, dass der Score unterhalb der Schwelle unzuverlässig ist; wir haben keinen veröffentlichten Wert.
• L2-Englisch-Falsch-Positiv-Rate. Der Stanford-2023-Befund über Nicht-Muttersprachler:innen (61 % Falsch-Positive bei Konkurrenz-Detektoren) ist der Grund, warum wir per-Engine-Sub-Scores veröffentlichen und die L2-Register-Interpretations-Banner hinzugefügt haben. Wir haben kein L2-Korpus durch unseren Engine geschickt, um unsere eigene FPR zu messen. Sollten wir.

Wie reproduzieren

Die Benchmarks sind offen und im GitHub-Repo wiederholbar. Die Befehle stehen in der README; wenn eine Zahl auf dieser Seite sich nicht reproduzieren lässt, ist das ein Bug, sag uns Bescheid.