Quo vadis Content und KI: Wie gut sind künstlich generierte Inhalte heute?

Benötigte Lesezeit: 8 Minuten

Als Content-Expertin beobachte ich seit 2016 den Einfluss von Big Data auf Content. Damals  bemerkte ich zum ersten Mal, dass Nutzer begannen personalisierte Suchergebnisse zu erwarten, die perfekt zu ihren Bedürfnissen oder Geschmack passten – auf Google ebenso wie auf Netflix oder Spotify.

Es blieb nicht bei den Kunden. Maschinelle Übersetzungen funktionierten plötzlich ohne zu viele Fehler zu machen. Eltern erzählten, dass Sprachassistenten die Hausaufgaben für ihre Kinder erledigten, indem sie Antworten auf einfache Fragen lieferten. Instagram-Schönheiten wurden mit Hilfe von KI-unterstützten Face-Tuning-Apps noch schöner. Deepfakes von Obama oder anderen VIPs fluteten und begeisterten das Internet.

Im Job wuchs der Einfluss von nützlichen Tools wie unterstütztes Authoring, Text-to-Speech-Anwendungen und automatisierter Textgenerierung. KI schlich sich meist unbemerkt in unser aller Leben ein und veränderte Verhalten und Erwartungen langsam aber stetig.

Aber gehen wir einen Schritt zurück und schauen uns KI genauer an.

Am Anfang war KI für mich so etwas wie Raketenwissenschaft. Ich hatte keine Ahnung was es war und wie es funktionierte, aber ich wollte mehr darüber erfahren. Es kostete mich mehrere Monate, um künstliche Intelligenz in drei Schlüsselkomponenten zu zerlegen:

  1. Statistik und Wahrscheinlichkeitsrechnung,
  2. das Programmieren mit Python,
  3. und Geschäftsstrategie (z. B. Identifizierung eines Anwendungs- und Geschäftsfalls).

Es war desillusionierend zu verstehen, dass KI die Welt um uns herum in Zahlen und mathematische Formeln übersetzt, damit ein Computer sie verarbeiten kann. Gleichzeitig erstaunte mich die Macht der Mathematik. Es ist unglaublich, was Wahrscheinlichkeitsrechnung erreichen und erschaffen kann. Denn genau darum geht es beim maschinellen Lernen: Zu berechnen, wie hoch die Wahrscheinlichkeit ist, dass ein Bild eine Katze oder einen Hund zeigt. Der höchste Prozentsatz gewinnt.

Ich erinnere mich an den Film iRobot, in dem Will Smith Detective Del Spooner spielt, der in einen Autounfall verwickelt ist, bei dem ein Auto mit zwei Personen darin in einen Fluss stürzt. Ein Roboter springt hinterher, um die Opfer zu retten, zieht aber nur Del Spooner an Land. Ein Mädchen namens Sarah stirbt. Später erklärt Detective Del Spooner:

Ich war die *logische* Wahl. Die KI errechnete, dass ich eine Überlebenschance von fünfundvierzig Prozent hatte, Sarah nur eine elfprozentige Chance.”

Ich habe selten eine bessere und einfachere Erklärung dafür gesehen, wie KI funktioniert. Und wo der Unterschied zum menschlichen Handeln zu finden ist.

Dasselbe Prinzip lässt sich auf Texte anwenden, wenn es darum geht, zu berechnen, welches Wort in einem Satz höchstwahrscheinlich das nächste ist.  Heutzutage sogar unter Berücksichtigung von Kontext, Sprache oder Satztyp – wie Fragen vs. Aussagen.

Bei einem Schachspiel wären die „Gründe“ für die Entscheidung eines Deep-Learning-Modells ähnlich: Der erste mögliche Zug hat eine Erfolgswahrscheinlichkeit von 0,3 und die zweite Möglichkeit eine Erfolgswahrscheinlichkeit von 0,7. Basierend auf diesen Ergebnissen trifft der Computer dann eine Entscheidung und führt seinen Zug auf dem Schachbrett aus.

Eine richtige Antwort kann nicht immer garantiert werden. KI-Modelle müssen in der Regel mit historischen Daten trainiert werden, um Fehlerquoten zu minimieren. Die statistische Natur sowohl des Lernens als auch der Vorhersage bedeutet, dass alle derzeit in der Praxis eingesetzten ML- und KI-Systeme probabilistisch sind.

Der Unterschied zwischen KI, maschinellem Lernen und Deep Learning

Wer bereits von KI, maschinellem Lernen (ML) und Deep Learning (DL) gehört hat, weiß vermutlich, dass jedes eine Unterform des anderen ist. Der Unterschied zwischen ML und DL besteht darin, dass ML mehr manuelle Arbeit, aber weniger Daten erfordert. Während DL weniger manuelle Arbeit und mehr Daten (und damit Rechenleistung) erfordert. Je mehr Daten, desto mehr Rechenleistung ist nötig, um sie zu verarbeiten.

Beim maschinellen Lernen wird der Maschine anhand von Beispielen im Voraus mitgeteilt, welche Merkmale eine Katze und welche Merkmale ein Hund hat. Basierend auf dieser Eingabe kann ein mathematisches Modell berechnen, ob ein neues Bild eine Katze oder einen Hund zeigt.

Deep Learning strukturiert Algorithmen in Schichten und schafft ein „künstliches neuronales Netzwerk“, das selbst lernt. Künstliche neuronale Netze, die Deep Learning verwenden, senden die Eingabe (Informationen der Bilder) durch verschiedene Schichten des Netzes und definieren spezifische Merkmale. Nach der Verarbeitung der Daten identifiziert das System selbst die passenden Merkmale, um beispielsweise Hunde oder Katzen zu klassifizieren. 

Oder um es einfach zu machen:
KI = Dieser Computer tut etwas Menschliches
ML = Dieser Computer lernt.
DL = Dieser Computer lernt auf eine bestimmte Weise.

Warum gab es in den vergangenen Jahren so viele Neuerungen?

Erstens produzieren wir mehr Daten als je zuvor, indem wir das Internet, unsere Mobiltelefone oder andere mit dem World Wide Web verbundene Dienste nutzen. Außerdem ist die verfügbare Rechenleistung gestiegen, die notwendig ist, um alle Daten zu speichern und zu verarbeiten. Drittens ist Deep Learning ein beliebtes Thema, das Tausende von Menschen dazu inspiriert hat, sich mit dem Thema zu befassen und es weiter voranzutreiben. 

Eine der jüngsten, beeindruckendsten Entwicklungen in diesem Bereich sind große Sprachverarbeitungsmodelle wie GPT-3 oder BERT (Bidirectional Encoder Representation from Transformers), die z.B. Google helfen, Suchanfragen besser zu verstehen. DALL-E ist ein neuronales Netz, das Bilder basierend auf Texteingaben erstellt. Alle drei können als sogenannte “Transformer-Modelle” eingestuft werden, die die aktuelle ML-Welt im Sturm erobern. BERT oder GPT-3 bringen Suchmaschinen, Chatbots, virtuelle Agenten oder maschinelle Übersetzungen auf ein nie dagelegenes Niveau. Sie übertreffen frühere Modelle wie Recurrent Neural Networks (RNNs) oder Gates Recurrent Networks.

DALL-E
DALL-E generiertes Bild, basierend auf der Texteingabe “Illustration eines Baby-Rettich in einem Tutu, der einen Hund spazieren führt”

Warum Transformers die Welt im Sturm erobern

Transformers haben den Vorteil, dass sie nicht unter einem “Kurzzeitgedächtnis” leiden. RNNs berücksichtigen beim Generieren von Text ein kürzeres Referenzfenster. Sie sind nicht in der Lage, jeden Aspekt eines längeren Artikels zu berücksichtigen. Sie können beispielsweise nicht auf den ersten Satz zugreifen, während sie versuchen, den 16. zu schreiben. Kontext und wichtige Informationen gehen verloren.

Transformatoren verwenden den sogenannten Aufmerksamkeitsmechanismus, der ein unendliches Referenzfenster hat. Sie können bei der Texterstellung den gesamten Kontext einer Geschichte berücksichtigen. Somit ist die Qualität des generierten Textes höher.

Sie werden außerdem anhand extrem großer Datenmengen trainiert. Zum Beispiel GPT-n Netzwerke:

  • GPT-1: 110 Millionen Parameter, trainiert auf Büchern Corpus-Datensatz mit 7000 unveröffentlichten Büchern.
  • GPT-2: 117 Millionen Parameter, trainiert auf einem Datensatz von 8 Millionen Webseiten. 
  • GPT-3: 175 Milliarden maschinelle Lernparameter, trainiert auf etwa 45 TB Textdaten aus verschiedenen Datensätzen.
  • GPT-4: Könnte 100 Billionen Parameter haben und wird “fünfhundertmal” größer sein als GPT-3.

Wenig beeindruckend: GPT-2s Textvorschläge via https://transformer.huggingface.co/doc/gpt2-large

Vergleicht man GPT-2 mit GPT-3, erkennt man bereits einen deutlichen Qualitätsunterschied. Wir können davon ausgehen, dass GPT-4 das übertreffen wird.

GPT-3 in Aktion ist bereits deutlich schneller und fortgeschrittener via https://beta.openai.com/playground

Diese Erfolge werden durch klare Schwächen überschattet. Wie bereits erwähnt: mehr Daten = mehr benötigte Rechenleistung = mehr Energieverbrauch und damit negativer Einfluss auf das Klima und die Umwelt. Es wird geschätzt, dass das Training eines großen KI-Modells (wie GPT-3) fünfmal mehr kontaminiert als ein Auto in seiner gesamten Lebensdauer – und ihr Nutzen ist nicht so offensichtlich.

M6 – Die Zukunft der Transformatoren?

Am 25. Juni gab die Alibaba DAMO Academy (der Forschungs- und Entwicklungszweig von Alibaba) bekannt, dass sie M6 gebaut haben, ein großes multimodales Multitasking-Sprachmodell mit 1 Billion Parametern – bereits die 5-fache Größe von GPT-3. InfoQ, ein beliebtes chinesisches Tech-Magazin, stellt die wichtigsten Fähigkeiten von M6 zusammen:

„[Es] verfügt über Kognition und Kreativität, die über die traditionelle KI hinausgehen, ist gut im Zeichnen, Schreiben, Fragen und Antworten und hat breite Anwendungsperspektiven in vielen Bereichen wie E-Commerce und Fertigung, Literatur und Kunst.“

Der kritische Aspekt, den die Forscher von Alibaba hervorhoben, war jedoch die signifikante Verbesserung der Effizienz und der Energiekosten. Sie reduzierten den Verbrauch des Modells um 80 % und steigerten seine Effizienz um das 11-fache im Vergleich zu 100-Millionen-Sprachmodellen. Das deutet darauf hin, dass das Aufblasen von Modellen mit Daten und Parametern nicht unbedingt die klügste Lösung ist. Auch hier muss die Effizienz eine Rolle spielen – vor allem wenn man die Kosten für die Umwelt betrachtet.

Was bedeuten diese Entwicklungen für Content-Experten?

Als GPT-3 im Jahr 2020 auf den Markt kam, tauchten eine Reihe von Startups auf, die anboten, Inhalte jeglicher Art maschinell zu schreiben – von Produktinhalten über Werbetexte bis hin zu Bloginhalten. Beinahe alle nutzen GPT-3 als technische Grundlage.

  1. Jasper – gegründet 2020
  2. Otherside AI – gegründet 2020
  3. Writer.com -gegründet 2020
  4. Copysmith – gegründet 2020
  5. Writesonic – gegründet 2021
  6. Rytr.com – gegründet 2021
  7. ….

Die Nachrichtenagentur Reuters automatisiert zwar bereits seit 2006 die Erstellung datengetriebener Kurztexte zu Sport, Wetter und Finanzen. Die New York Times, Forbes und viele andere Verlage nutzen seit Jahrzehnten intelligente Content-Technologien. Der Fachbegriff dafür ist automatisierter Journalismus oder robotergenerierte Artikel.  

Doch durch Transformer-Netzwerke können praktisch beliebige Inhaltsformate erstellt werden. Damit können nicht nur Nachrichten, sondern komplette Langformartikel automatisch generiert werden, wie in Hacker News oder The Guardian zu sehen ist. GPT-3 kann unter anderem auch Texte zusammenfassen, mit Menschen chatten oder Informationen klassifizieren.

Es ist wichtig zu berücksichtigen, dass Fortschritte in der Sprachverarbeitung durch KI nicht nur schriftliche Inhalte betreffen, sondern auch sprachliche oder visuelle Inhalte (wie DALL-E zeigt). Wenn künstliche generierte, schriftliche Chats qualitativ hochwertig sind, gilt das in der Regel auch für das gesprochene Wort. Dies wird hörbar sein, wenn wir mit Sprachassistenten sprechen, oder z.B. wenn wir unseren Internetanbieter anrufen und nicht mit einem Menschen verbunden werden.

 

Die Fähigkeiten von Deep Learning und maschinellem Lernen zu verstehen, erlaubt uns die Möglichkeiten und Risiken zu sehen, die diese Technologien bieten. Die Automatisierung von Content-Operationen kann das Redaktionsteam von repetitiven Arbeiten befreien. Die so gewonnene Zeit können Mitarbeiter nutzen, um kreative Ansätze zu verfolgen oder mehr Zeit in umfassende Recherchen zu investieren. Im Idealfall führt dies zu einer höheren Inhaltsqualität. Die Leistungsfähigkeit moderner Netzwerke veranschaulicht jedoch auch, dass Redakteure in absehbarer Zeit mit ernsthafter Konkurrenz rechnen können.

 

Bild: DALLE 2

Tina

Tina Nord ist Marketing-Expertin, Autorin und Sprecherin. Die Kommunikationswirtin beschäftigt sich seit mehr als zehn Jahren mit Content Marketing. Seit 2016 erforscht Tina den Einfluss maschinellen Lernens auf Content und engagiert sich für die Repräsentation und Beteiligung von Frauen an der Entwicklung von KI.

Diese Artikel sind ebenfalls interessant:

2 Comments

  1. Dieser Artikel hat viele meiner Fragen zum Thema “Wie gut sind künstlich generierte Inhalte durch KI heute” beantwortet. Ich habe den Artikel sehr gerne gelesen und interessante Ideen daraus schöpfen können. Macht weiter so und schreibt interessante Artikel über KI-Themen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert