In Blindtests bevorzugen Leser:innen KI-Marketingtexte

Die Studie

Yunhao Zhang (MIT Sloan, Berkeley Haas) und Renee Gosline (MIT Sloan) führten zusammen mit Accenture ein vorregistriertes 3-×-4-Between-Subjects-Experiment mit 1.203 über CloudResearch Connect rekrutierten Teilnehmenden durch. Das vollständige Paper ist auf SSRN verfügbar unter #4453958.

• Vier Paradigmen der Inhaltserstellung:
  • Nur Mensch (Experte)
  • Nur KI (ChatGPT-4)
  • Augmented Human (Mensch verfasst die finale Version, KI-Entwurf als Vorlage)
  • Augmented AI (KI verfasst die finale Version, menschlicher Entwurf als Vorlage)
• Drei Informationsbedingungen: Baseline (Bewertende wissen nicht, wer/was geschrieben hat), teilweise informiert (Bewertende wissen, dass eines der vier Paradigmen den Text erstellt hat, aber nicht welches), vollständig informiert (Bewertenden wird vor jedem Text das genaue Paradigma genannt).
• Inhalte: Werbetexte mit 100 Wörtern für fünf Einzelhandelsprodukte und Überzeugungstexte mit 100 Wörtern für fünf Kampagnen (unkontroverse Ziele: Rassismus stoppen, weniger Junkfood essen usw.).
• Menschliche Verfasser:innen: zehn professionelle Content-Ersteller:innen einer Beratungsfirma mit 175 Mrd. USD Marktkapitalisierung, die die Aufgabe während bezahlter Arbeitszeit erledigten.

Was sie herausfanden

Blind: KI gewinnt

In der Baseline (blind) lagen die reinen KI-Texte über den Texten der menschlichen Expert:innen bei Zufriedenheit (5,29 vs 4,93, p < 0,001) und bei der log-Zahlungsbereitschaft (4,83 vs 4,61, p = 0,01). Das Augmented-AI-Paradigma (KI verfasst die finale Version, mit menschlichem Entwurf als Vorlage) war auf Augenhöhe mit der Nur-KI-Bedingung. Augmented Human (Mensch verfasst die finale Version, KI-Entwurf als Vorlage) war von Nur-Mensch nicht zu unterscheiden.

Anders gesagt: bei identischem Inhalt, ohne jede Angabe zur Autorschaft, zahlten Blindleser:innen mehr für die KI-geschriebene Version. Der Effekt repliziert sich bei Zufriedenheit, Zahlungsbereitschaft, Interesse und Überzeugungskraft und bleibt bestehen, wenn Produktanzeigen und Kampagnenbotschaften getrennt analysiert werden. Es ist das Gegenteil dessen, was der Großteil der Literatur zur Algorithmen-Aversion für subjektive Aufgaben vorhersagte.

Sag den Lesenden, ein Mensch habe es geschrieben: Mensch gewinnt

Wenn Lesenden gesagt wurde, ein Text sei von einem menschlichen Experten geschrieben, stieg ihre angegebene Zufriedenheit mit diesem Text (+0,09, p = 0,003) und ihre Zahlungsbereitschaft stieg (+0,18, p < 0,0001). Wenn Lesenden gesagt wurde, ein Text involviere KI, sank die wahrgenommene Qualität nicht. Die Verschiebung ist asymmetrisch.

Kein „Qualitäts-Prime“

Die naheliegende Alternativerklärung — dass Lesende durch das Wissen, der Verfasser sei ein Top-Profi, automatisch höhere Qualität erwarten — wurde getestet und verworfen. In der „teilweise informiert“-Bedingung, in der Lesende wissen, dass die vier Paradigmen existieren, aber nicht, welches den vorliegenden Text erstellt hat, steigt die wahrgenommene Qualität nicht. Der Effekt tritt nur dann auf, wenn Lesenden konkret gesagt wird, dass ein menschlicher Experte diesen Text geschrieben hat. Das ist die Signatur einer Voreingenommenheit zugunsten von Menschen als Kategorie, nicht eines Priming durch Information.

Was das für „Slop“ bedeutet

Dieser Befund prägt, wie wir über den Slop Score sprechen.

Wenn Blindleser:innen KI-Werbetexte vorziehen, ist das Slop-Register keine schlechte Qualität, und wir tun nicht so, als wäre es das. Für kurzen Überzeugungstext, in dem der Leser für Klarheit über ein Produkt bezahlt, erfüllt das KI-Register seinen Zweck. Es als Slop zu bezeichnen und eine Überarbeitung zu empfehlen, wäre der falsche Ratschlag.

Das Slop-Register wird zum Problem, wenn das Genre eines ist, in dem die Stimme den Wert ausmacht: persönliche Essays, Meinungsstücke, Journalismus, von Ghostwritern verfasste Bücher, Schularbeiten, überall, wo der Leser spüren möchte, dass ein konkreter Mensch zu ihm spricht. Für diese Genres trifft die Zhang/Gosline-Studie nicht zu (sie testeten keine essayistischen Langformate), und das Slop-Register ist genau das Nicht-Ankommen, das der Score sichtbar machen soll.

Daraus ergibt sich die ehrliche Formulierung: Dein Score zählt bei Inhalten, bei denen Stimme zählt. Sonst ist er eine Kuriosität. Das steht auch auf der „Wie Slop klingt“-Seite.

Was das außerdem impliziert

Wenn das Wissen um menschliche Urheberschaft die wahrgenommene Qualität anhebt, ist das ein übertragbarer Kniff. Ein Text, der sich liest, als hätte ihn eine konkrete Person geschrieben, löst dieselbe Bevorzugung aus, auch wenn der Person, die liest, nichts zur Autorschaft gesagt wurde. Die Signale, die nach Mensch klingen, leisten die Arbeit. Der Slop Score misst denselben Mechanismus von der anderen Seite: wie sehr dein Text diese Signale verfehlt.

Wir hätten gerne mehr Forschung dazu. Zhang & Gosline testeten kurzen Überzeugungstext und ließen Texte mit ausgeprägter Stimme im Langformat außen vor; wir vermuten, dass der Bevorzugungs-Effekt dort deutlich größer ist. Wenn du das untersuchst und einen öffentlichen, instrumentierten Datensatz mit menschlichen Bewertungen im Vergleich zu Slop-Scores pro Text möchtest, melde dich.

Vollständige Quellenangabe

Zhang, Y. & Gosline, R. (2023). Human Favoritism, Not AI Aversion: People's Perceptions (and Bias) Toward Generative AI, Human Experts, and Human-GAI Collaboration in Persuasive Content Generation. Working paper, MIT Sloan / Berkeley Haas, in Zusammenarbeit mit Accenture Applied Intelligence und der MIT Initiative on the Digital Economy. SSRN 4453958.