Mensch oder Maschine: wer schreibt den besseren Content? Um dieser Frage nachzugehen, hat Peak Ace CEO Bastian Grimm auf der SEOkomm 2022 einen entsprechenden Feldversuch durchgeführt. Dazu wurden die mehr als 500 Teilnehmer:innen aus dem Publikum in vier verschiedene, zufällige Gruppen mit jeweils 116 bis 146 Personen unterteilt. Unter jedem Sitz befand sich ein Umschlag, der zwei Texte zu einem spezifischen Thema enthielt. Die im Umschlag enthaltenen Texte waren mit den Buchstaben A und B versehen. Ein Text in jedem Umschlag wurde im Vorfeld von einem Menschen verfasst, während der andere von der KI-Writing-Plattform GPT-3 maschinell produziert wurde.
Es waren also zu jedem der vier verschiedenen Themen immer zwei Varianten im Umschlag – Text A stammte dabei immer aus der Feder eines Menschen, wohingegen Text B von einer Maschine erstellt wurde. Welche Variante wie verfasst wurde, war den Befragten zuvor nicht bekannt. Drei Minuten hatten die Teilnehmenden Zeit, um die zwei Texte zum entsprechenden Thema zu lesen. Anschließend sollten die Teilnehmer:innen per Online-Umfrage abstimmen, welcher der beiden Texte ihnen besser gefallen hat.
Ergebnisse der Abstimmung decken sich mit denen des Flesch-Index
Die Auswertung machte schnell deutlich: den Teilnehmenden war es nicht möglich zu unterscheiden, welcher Text vom Menschen und welcher von der Maschine erstellt wurde. In nahezu allen Gruppen wurden beide Texte für ähnlich gut befunden. Nochmal zur Erinnerung: Variante A wurde von einem Menschen erstellt, während Variante B maschinell generiert wurde.
Zu einem ganz ähnlichen Ergebnis kamen die Berechnungen auf Basis des Flesch-Index. Dieser gibt mithilfe einer Formel Aufschluss über die Lesbarkeit eines Textes. Einbezogen werden dabei die Anzahl der Worte und der Sätze im Text, beziehungsweise die durchschnittliche Satzlänge sowie die durchschnittliche Silbenanzahl – nicht aber der Inhalt des Geschriebenen. Anhand dieser Formel lässt sich nun ein Wert, der sogenannte Flesch Reading Ease Score berechnen. Dieser liegt zwischen 0 und 100 und hilft, den Text einzuordnen. Je leichter der Text lesbar ist, desto höher ist der Wert.
Im direkten Vergleich liegt der durch die KI produzierte Content mit einem leicht höheren Flesch-Score in jeder Gruppe vorn gilt damit ebenfalls als „besser“. Dieses Ergebnis lässt sich damit erklären, dass sich eine verbesserte Lesbarkeit nach Flesch durch kürzere Sätze auszeichnet. GPT-3 neigt dazu, dies zu berücksichtigen. Komplexe Satzkonstruktionen lassen sich in den Textvarianten B daher eher nicht finden.
Studie ergibt: KI verfasst bessere Marketing-Texte
Dass maschinell erstellte Inhalte mit den von Menschen verfassten Texten mithalten können, hat auch die kürzlich durchgeführte Studie des Institute for Conversational Business an der Hochschule Aalen belegt: Im Rahmen der im September 2022 veröffentlichten Untersuchung „Mensch oder Maschine: Wer schreibt den besseren Content“ wurden Landingpages, Blogbeiträge und Social Media Posts internationaler Top-Marken wie Vodafone, Telekom, M&Ms oder Starbucks mit KI-generierten Alternativen verglichen. Dazu produzierte die KI-Writing Plattform GPT-3 neue Inhalte zu den vorliegenden Themen. Hierfür wurden die relevanten Keywords zu den entsprechenden Inhalten mithilfe der KI-Content-Plattform rellify im Vorfeld ermittelt. Im Anschluss daran wurden die KI-Texte sowie die Originale 100 zufällig ausgesuchten Personen zur Überprüfung vorgelegt.
Gleichzeitig wurden die KI-Versionen und die Originaltexte auf Basis des Flesch-Index klassifiziert. Dabei erzielten die KI-Inhalte durchweg den besseren Flesch-Index: Während die maschinell erstellte Landingpage von Vodafone mit nur zwei Prozentpunkten vorne lag, fiel die Differenz bei Social Media Posts mit 38 Punkten deutlich gravierender aus. Daran wird mitunter deutlich, dass sich mittels KI aktuell kurze Texte besonders gut verfassen lassen.
KI-unterstützte Content-Kreation soll sich langfristig durchsetzen
„Sowohl nach den subjektiven Bewertungen unserer Testgruppe aus gut 100 Menschen als auch nach den objektiven Ergebnissen der Flesch-Metrik sind die von der Künstlichen Intelligenz geschriebenen Varianten der verglichenen Marketinginhalte besser als ihre Originale“, so der Studienleiter und KI-Forscher Prof. Dr. Peter Gentsch. „Aus Sicht der Probanden waren die KI-Texte nicht nur leichter lesbar und ansprechender, sondern auch überraschenderweise persönlicher“, erklärt der KI-Forscher.
Trotz dieser Ergebnisse sei KI heute aber per se noch kein besserer Autor als ausgebildete Texter:innen einer Agentur. „Ohne menschliche Einflussnahme geht es noch nicht“, so Gentsch. Zum einen müsse der maschinell generierte Input aus der KI-Ideation-Phase überprüft und eventuell von Hand „gefiltert“ oder bereinigt werden. Zum anderen sei ein Fine-Tuning der Prompts sowie eine Parametrisierung der GPT-3-Plattform absolut erfolgskritisch.
Das Gesamtfazit von Prof. Dr. Gentsch fällt daher wie folgt aus: „Für die Einrichtung der KI, vor allem aber zur Qualitätssicherung und für den Faktencheck wird nach wie vor menschlicher Sachverstand gebraucht“. Zugleich zeige die Studie aber auch, dass mit dieser Unterstützung bessere Ergebnisse in kürzerer Zeit – und damit zu geringeren Kosten – erstellt werden könnten. Es sei abzusehen, dass „[…] KI-unterstützte Content-Kreation sich schnell durchsetzen wird“, so Gentsch.
Der Peak Ace AI Survival Guide
