Benötigte Lesezeit: 2 Minuten
Generative Künstliche Intelligenz, auch als generative KI bezeichnet, ist in der Lage, Inhalte wie Gespräche, Geschichten, Bilder, Musik, Code und vieles mehr zu erstellen. Die Grundlage für diese Technologie bilden vorab trainierte Modelle, die als Basismodelle oder Foundational Models (FMs) bekannt sind. In diesem Blogbeitrag werden wir uns näher mit generativer KI und Basismodellen befassen und deren Anwendungen sowie Herausforderungen kennenlernen.
Was ist generative KI?
Generative KI ist eine breitere Kategorie von KI-Modellen und -Techniken, die Originalinhalte wie Texte, Bilder, Musik oder Videos auf der Grundlage eines bestimmten Satzes von Eingaben oder Trainingsdaten erstellen können (Prompt). Die Idee dahinter ist nicht neu und wird z.B. mit der Arbeit von Joseph Weizenbaum assoziiert, der in den 1960ern den ersten Chatbot namens ELIZA entwickelte. Ein weiterer Wissenschaftler der mit dem Begriff in Verbindung gebracht wird ist Ian Goodfellow, der 2014 das Konzept von Generativen kontradiktorischen Netzwerken (GAN) entwickelte. GANs spielen vorallem bei der Generierung von Bildern ein Rolle, können aber auch Texte erstellen.
Was sind Large Language Models (LLMs)?
Large Language Models (LLMs) – oder zu Deutsch große Sprachmodelle – sind über einen längeren Entwicklungszeitraum hinweg aus GANs hervorgegangen. Sie basieren oft auf einer Netzwerkarchitektur namens “Transformer” und werden mit riesigen Textdatenmengen trainiert. Dadurch können sie eine Vielzahl von sprachbezogenen Aufgaben wie Textvervollständigung, Übersetzung, Zusammenfassung und mehr bewältigen. Ein bekanntes Beispiel für ein LLM ist GPT-3.5, die Grundlage für ChatGPT. Diese Modelle sind in der Lage, auf der Grundlage der empfangenen Eingaben zusammenhängende und kontextrelevante Antworten zu generieren.
Was sind Basismodelle (FMs)?
Basismodelle, auch Foundational Models genannt, sind große Sprachmodelle, die als Basis oder Grundlage für die Entwicklung spezialisierterer Modelle oder Anwendungen dienen. Sie werden in der Regel anhand einer großen Menge an Textdaten vorab trainiert und können für spezifische Aufgaben oder Domänen feinabgestimmt werden. Basismodelle wie GPT-3 können für verschiedene Natural Language Processing (NLP)-Aufgaben wie Stimmungsanalyse, Objekterkennung und mehr optimiert werden.
Die Verbindung zwischen LLMs, generativer KI und Basismodellen:
1. LLMs und generative KI: LLMs wie GPT-3.5 sind eine Art generativer KI-Modelle, da sie menschenähnlichen Text generieren können. Sie nutzen die Transformatorarchitektur und Deep-Learning-Techniken, um kohärenten und kontextrelevanten Text zu verstehen und zu erzeugen.
2. Basismodelle und LLMs: Basismodelle sind umfangreiche Sprachmodelle, die als Ausgangspunkt für die Entwicklung spezialisierterer Modelle wie LLMs dienen. LLMs können als spezialisierte Modelle betrachtet werden, die auf Basismodellen aufbauen und für spezifische Anwendungsfälle angepasst sind.
3. Generative KI und Basismodelle: Generative KI-Modelle, einschließlich LLMs, bauen bei ihrer Entwicklung auf Basismodellen auf. Vorab trainierte Basismodelle bieten den Ausgangspunkt für generative KI-Modelle, die die Sprachgenerierungsfunktionen weiter verfeinern und spezialisieren können.
Anwendungsbeispiele für generative KI:
- Erstellung neuer Originalinhalte wie Kurzgeschichten, Lieder oder kreative Kunst basierend auf spezifischen Aufforderungen.
- Schreibassistenz und automatische Erstellung von Code.
- Zusammenfassung von Textinhalten wie Artikeln oder Dokumenten.
- Erstellung von Konversationsschnittstellen wie Chatbots oder virtuellen Assistenten für ein verbessertes Nutzererlebnis.
Da die Entwicklung großer Sprachmodelle teures Fachwissen und leistungsstarke Hardware erfordert, kann dies sehr teuer sein und einen deutlichen CO2-Abdruck hinterlassen. Es ist daher empfehlenswert, bestehende Basis-Modelle als Grundlage zu nutzen und anschließend für individuelle Anwendungsfälle zu optimieren. ChatGPT oder GPT 3.5 sind großartige Beispiele für leicht zugängliche generative KI, die für jeden Nutzer ein anderen Mehrwert erzeugt.
Quellen:
linkedin.com/pulse/brief-history-large-language-models-bob/ ibm.com/blog/what-is-generative-ai-what-are-foundation-models-and-why-do-they-matter/ en.wikipedia.org/wiki/Generative_adversarial_network www.techtarget.com/searchenterpriseai/tip/GAN-vs-transformer-models-Comparing-architectures-and-uses
