Wie weit ist die KI wirklich bei der Texterstellung?

Wie weit ist die KI wirklich bei der Texterstellung?

Seit ChatGPT im November 2022 öffentlich zugänglich gemacht wurde, ist Content-Erstellung mithilfe von KI in aller Munde. Künstliche Intelligenz mache die Erstellung von Content zum Kinderspiel. Manpower brauche es nur noch für den redaktionellen Feinschliff. Aber ist das wirklich so? Wir haben anhand eines Blogartikels zum Thema “Produktvisualisierung mithilfe der Unreal Engine” einen großen Praxistest gemacht.

Welche KI-Tools haben wir verwendet?

Bei unserem Verlgeich haben wir folgende KI-Tools getestet:

  • ChatGPT
  • LEX
  • Neuroflash

In einem späteren Blogbeitrag werden wir genauer auf die Vor- und Nachteile der einzelnen KI-Tools eingehen.

Verglichen wurde das Ergebnis mit der Arbeit unserer eigenen professionellen Redaktion.

Erster Schritt – Aller Anfang ist schwer

Es gab ein Ausgangsbriefing, das wir so für den Autor erstellt hatten. Der ursprüngliche Plan war, den Blogartikel anhand des gleichen Briefings auch von KI-Tools schreiben zu lassen. Hier setzte dann aber schon unser erster Lerneffekt ein.

Lerneffekt 1: Ein komplett fertiges Briefing ist für KI-Tools ungeeignet. Besser ist ein iteratives Vorgehen.

Das Briefing, das wir für unseren Autor erstellt hatten, erwies sich für die KIs als zu lang. Entweder sie konnten es gar nicht verarbeiten, weil die zulässige Zeichenanzahl (Tokens) überschritten wurde, oder sie verstanden es nicht richtig und zogen sich in der Folge nur einzelne Punkte aus dem Briefing raus, zu denen sie dann etwas schrieben.

Erst die Gliederung

Also zurück auf Anfang: Als Nächstes sind wir bei der künstlichen Intelligenz schrittweise vorgegangen. Das geht bei Neuroflash vom Handling her am einfachsten, da das Tool für Blogartikel einen eigenen Workflow vorgibt, den man Schritt für Schritt durchgehen kann. Bei LEX und ChatGPT erfolgt das Ganze in Dialogform. Da muss man sich erst etwas reindenken, um herauszufinden, wie man die Fragen richtig formuliert, um ein sinnvolles Ergebnis zu erhalten.

Am besten funktioniert hat bei allen drei Tools der Weg über eine Gliederung des Themas. D.h. wir haben das Tool zunächst einmal gebeten, ein Inhaltsverzeichnis zum Thema zu erstellen. Alternativ kann man die Tools auch bitten, fünf Fragen zu einem bestimmten Begriff – idealerweise dem Haupt-Keyword – oder Thema zu erstellen. Daraus lässt sich dann relativ einfach eine eigene Gliederung erstellen.

Lerneffekt 2: Durch den Dialog mit der KI eröffnen sich neue Perspektiven auf ein Thema.

Dieses Vorgehen war tatsächlich sehr produktiv und die Gliederungen durchweg sinnvoll. Zum Teil sind wir dadurch auch auf ganz neue Blickwinkel oder Fragestellungen zum Thema gestoßen, die wir bei unserem ursprünglichen Briefing gar nicht bedacht hatten. In der Funktion als Ideengeber haben wir die künstliche Intelligenz so schnell schätzen gelernt. Oder auch einfach als Anstoßhilfe, wenn einem gerade nichts zu einem Thema einfällt.

Textbeispiel:

In unserem Fall haben wir die Gliederung für unseren Unreal-Blogartikel fast eins zu eins von der KI übernommen.

  • Was ist die Unreal Engine?
  • Wie kann man Unreal Engine nutzen, um Produkte zu visualisieren?
  • Welche Vorteile bietet die Unreal Engine für Produktvisualisierungen?
  • Einsatzmöglichkeiten der Unreal Engine in der Produktvisualisierung
  • Fazit – Unreal Engine ist die Zukunft der Produktvisualisierung

Kapitel für Kapitel weitergehen

Hat man eine Gliederung ausgewählt und bearbeitet, kann man im nächsten Schritt von der KI einzelne Absätze zu den Kapitelüberschriften erstellen lassen. Auf diese Weise kommt schnell ein solides Grundgerüst für einen Blogartikel zustande. Aber Achtung! Auf dem Weg zu einem guten Blogbeitrag lauern hier ein paar gravierende Stolperfallen, auf die wir gleich genauer eingehen werden. Halten wir erst das Positive fest.

Lerneffekt 3: Mit der KI lassen sich schnell und bequem gute Briefings erstellen.

Die einzelnen Absätze zu den Kapiteln ließen sich relativ schnell bearbeiten und so als Grundlage für ein Briefing für unseren Autor verwenden.

Eine andere Möglichkeit, schnell zu einem guten Briefing zu kommen, ist, die KI zu bitten, fünf Fragen oder Fakten zu den einzelnen Gliederungspunkten aufzuzählen. Daraus können relativ einfach Stichpunkte für das Briefing ausgewählt werden.

Schwierigkeiten bei der Content-Erstellung mit KI

Dass wir die Texte der künstlichen Intelligenz aber einfach so, unverändert für einen Blogartikel hätten übernehmen können – das hat bei keinem der drei Tools funktioniert. Und zwar bei Weitem nicht.

Die drei größten Stolpersteine, die bei allen Tools auftraten, waren:

  • Viele Wiederholungen
  • Oberflächliche Texte
  • Falsche Fakten bzw. Unwahrheiten

Wiederholungen

Das Phänomen der vielen Redundanzen im Text hat sich bei allen drei getesteten KI-Tools im gleichen Maß durchgezogen. Das Hauptproblem dabei war vor allem, dass die KI-Tools die Tendenz haben, in jedem Kapitel wieder mit einer Art Einleitungssatz anzufangen, obwohl das gar nicht mehr nötig wäre.

Dazu ein Textbeispiel von ChatGPT.

Die eigentliche Einleitung zu unserem Blogartikel zur „Unreal Engine“ schrieb das Tool wie folgt:

Pixel Streaming und die Unreal Engine sind eine starke Kombination, um Produkte im Produktmarketing effektvoll zu visualisieren und zu präsentieren. Dieser Blogartikel erklärt, wie Unternehmen die beiden Technologien nutzen können, um ihre Produkte zu bewerben und zu verkaufen.

Unter dem Punkt „Einsatzmöglichkeiten der Unreal Engine in der Produktkommunikation“ schrieb die KI am Anfang schon wieder:

Unternehmen können die Kombination von Pixel Streaming und Unreal Engine im Produktmarketing nutzen, um ihre Produkte effektvoll zu visualisieren und zu präsentieren.

Und so zog sich das bei allen drei Tools über alle Gliederungspunkte hinweg durch. Wir haben die Erfahrung gemacht, dass diese Schwäche umso ausgeprägter auftritt, je spezieller das Thema ist. Wahrscheinlich weil sich die KI dann nur auf wenige vorhandene Texte stützen kann und deshalb oft die gleichen Formulierungen in leicht abgewandelter Form wiederholt.

Oberflächlichkeit

Auch diese Schwäche zog sich bei allen drei Tools durch, wobei es hier aber doch Unterschiede gab. Interessanterweise lieferte LEX hier die besten, sprich am wenigsten oberflächlichen Ergebnisse, während ChatGPT und Neuroflalsh meist sehr generische Texte produzierten.

Hier ein Textbeispiel von Neuroflash zum Kapitel „Einsatzmöglichkeiten der Unreal Engine in der Produktvisualisierung“:

Unreal Engine & Pixel Streaming revolutionieren die Produktvisualisierung. Es ermöglicht die Erstellung photorealistischer 3D-Bilder und -Videos. Dank der integrierten Pixel Streaming-Technologie können Entwickler interaktive 3D-Anwendungen direkt über ein webbasiertes Gerät wie einen PC, ein Tablet oder ein Smartphone ausführen. Dies ermöglicht es Unternehmen, ihre Produkte viel schneller und effizienter zu visualisieren. Mit Unreal Engine & Pixel Streaming können Unternehmen auch immersive VR- und AR-Erfahrungen erstellen. Unternehmen können so ihre Produkte auf eine völlig neue, eindrucksvolle Weise darstellen und schnell, zuverlässig und effizient ihre Kunden auf dem Laufenden halten. Mit Unreal Engine & Pixel Streaming betreten wir ein neues Zeitalter der Produktvisualisierung.

Das liest sich nicht schlecht, aber die Aussagekraft geht auch gegen null. Es fehlen konkrete Anwendungsbeispiele, und das Ganze bleibt sehr allgemein.

Dagegen wurde LEX stellenweise viel konkreter, etwa wenn es, wie in diesem Beispiel, um die Funktionsweise der Unreal Engine für die Produktvisualisierung geht:

Mit fortschrittlichen Grafikkomponenten wie Echtzeitbeleuchtung, einer realistischen Physikmaterial- und Texturbibliothek, der Möglichkeit, 3D-Objekte zu modellieren, zu bearbeiten und zu animieren, und einer Vielzahl von Postprocessing-Effekten können Entwickler …

Überraschenderweise haben wir auch im Fall der Oberflächlichkeit den Eindruck gewonnen, dass das Problem prägnanter auftritt, je spezieller das Thema ist. Dabei müsste man doch davon ausgehen, dass die Texte spezifischer werden, je weniger allgemein das Thema ist.

Falsche Fakten

Das ist wohl das mit Abstand größte Problem der Content-Erstellung mit KI. Die künstliche Intelligenz interessiert sich schlicht nicht für den Wahrheitsgehalt ihrer Texte. Sie sind vielmehr das Ergebnis von Wahrscheinlichkeiten, die sich aus dem, zugegebenermaßen riesigen, Ausgangsmaterial ergeben, aus dem die KI gelernt hat.

Und hier liegt auch die größte Falle der KI-Texte: Denn da die künstliche Intelligenz sonst tatsächlich wie von Zauberhand in Sekundenschnelle ganz vernünftig klingende Sätze zusammenbastelt, gehen wir oft automatisch davon aus, dass die Fakten darin auch stimmen. Das ist aber leider oft nicht der Fall, und das macht die Überprüfung von Texten, die mithilfe der KI erstellt wurden, mühsam. Denn im Prinzip müssen wir erst mal immer davon ausgehen, dass eine Aussage, die die KI macht, auch falsch sein könnte. Dieses Problem stellt sich bei einem Fachredakteur oder einer professionellen Textagentur weniger, da diese in der Regel ihre Fakten selber recherchieren und überprüfen.

Noch schwieriger wird die Überprüfung der KI-Texte, wenn wir uns in dem Thema, über das wir die künstliche Intelligenz schreiben lassen, nicht ganz so gut auskennen. In unserem Beispiel des Blogbeitrags zur Unreal Engine spuckte Neuroflash zum Beispiel auch diese Info aus:

Die Unreal Engine ist in der Lage, bis zu 100 Frames pro Sekunde zu rechnen, was bedeutet, dass Sie eine atemberaubende Geschwindigkeit und Realismus in Ihren Produktvisualisierungen erzielen können.

Der Satz klingt im ersten Augenblick sehr überzeugend und schlüssig. Aber stimmen die 100 Frames pro Sekunde wirklich? Wenn Sie sich in diesem Punkt nicht sicher sind, können Sie die KI nun aber nicht nach ihren Quellen fragen – was Sie im Zweifelsfall bei internen Autoren oder auch externen Textagenturen jederzeit tun können –, sondern sie müssen selber recherchieren. Und das kann schnell sehr zeitaufwendig werden.

Fazit – viel Luft nach oben

Der vorliegende Blogartikel wurde ohne Hilfe von künstlicher Intelligenz geschrieben, allein aufgrund unserer Erfahrung im Umgang mit Content-Erstellung durch KI. Und dieser Rückgriff auf eigene Erfahrungen und das eigene Wissen ist unserer Meinung nach immer noch der beste Weg, um einen wirklich guten Beitrag zu verfassen. Auch beim Blogartikel über das Potenzial der Unreal Engine für die Produktvisualisierung haben wir uns schlussendlich für das Ergebnis unseres eigenen Autors entschieden – das allerdings tatsächlich auf einem mithilfe der KI erstellten Briefing beruhte.

Denn wir wollen zugeben, dass die KI in der Content-Erstellung durchaus eine wertvolle Unterstützung bieten kann. Und „wertvoll“ ist hier nicht nur in qualitativer Hinsicht gemeint, sondern auch in materieller. Künstliche Intelligenz kann helfen, die Content-Erstellung effizienter zu machen.

Aus unserer Sicht ist KI insbesondere gut geeignet, um:

  • Inspirationen zu sammeln
  • neue Blickwinkel auf ein Thema zu gewinnen
  • eine Schreibblockade zu überwinden
  • schnell gute Briefings zu erstellen

Und das ist jetzt auch nicht wenig, sondern erleichtert die Arbeit der Texterstellung enorm, sodass auch mehr Content produziert werden kann.

Beitrag von Bernhard Schnüriger
Bernhard Schnüriger leitet Redaktion und Korrektorat der mds. Agenturgruppe. Neben Content-Erstellung und Qualitätssicherung ist er auch für das Wissensmanagement verantwortlich – sowohl intern als auch extern für unsere Kunden.

Empfohlene Artikel

Kontakt
Kontakt
Wir sind sofort für sie da
+49 89 74 73 44 0
info@mds.eu