Künstliche Intelligenz (KI) ist ein Teilgebiet der Informatik. Sie imitiert menschliche kognitive Fähigkeiten, indem sie Informationen aus Eingabedaten erkennt und sortiert. Diese Intelligenz kann auf programmierten Abläufen basieren oder durch maschinelles Lernen erzeugt werden.

Diese Definition umfasst weit mehr als nur das, was wir aktuell im öffentlichen Diskurs als "KI" betiteln. Ein System wie ChatGPT zählt präziser zu einer des Machine Learnings, den generativen Machine-Learning-Systemen. Dabei ist Machine Learing (ML) selbst nur ein möglicher Computing-Ansatz.

GPT ist die Abkürzung für Generative Pre-trained Transformer.

• Generative ML-Systeme generieren, also erzeugen, Text, Bilder, etc..

• Pre-trained, also vortrainiert, bedeutet, dass das ML-System, auf dem die jeweilige Anwendung basiert, bereits auf Grundlage bestimmter Daten zu einem bestimmten Zeitpunkt durch maschinelles Lernen trainiert wurde. Das Ergebnis dieses Trainings wurde in Form eines Modells gespeichert. Auf die jeweiligen Modelle kann später zurückgegriffen werden.

• Transformer sind ML-Systeme, welche aus bekannten Daten (Text, Bild, etc.) andere Daten erzeugen. Sie transformieren Daten mithilfe von Machine Learning unter Verwendung des Aufmerksamkeitsprinzips (Attention). Durch dieses Prinzip werden nur die stärksten errechneten Signale in einem neuronalen Netzwerk mit der vermutlich hilfreichsten Information, z. B. hinsichtlich des nächsten auszugebenden Wortbausteines eines Textes in einem spezifischen Kontext, berücksichtigt. Es existiert in generativen Systemen zur Texterzeugung keine Verständnishierarchie von Wörtern oder gar ganzen Sätzen. Nur auf diese Weise kann die enorme Performanz von Systemen wie ChatGPT überhaupt erst erreicht werden.

Weiterhin wichtig…

• Mithilfe von Large Language Models (LLMs; große Sprachmodelle) lassen sich alle digital repräsentierbaren Objekte (Texte, Bilder, Töne, Videos, 3D-Modelle, Molekülstrukturen, etc.) generieren bzw. von einem Datentyp in einen anderen überführen (z. B. lassen sich aus Texten Bilder erstellen).

• ML-Systeme des Typs GPT erzeugen mitunter sachliche und/oder logische Fehler, da sie kein inhaltliches Verständnis besitzen, sondern das statistisch Erwartbare anhand ihrer LLMs ausgeben.

• LLMs werden zur Anpassung an ganz bestimmte Anwendungsanforderungen dem sogenannten Fine Tuning unterzogen. OpenAI setzt bei ChatGPT auf ein zweites neuronales Netzwerk für diesen Vorgang. Dieses zweite neuronale Netz (Optimierer) wird durch den Ansatz des Reinforcement Learnings (Verstärkungslernen) durch menschliches Feedback vortrainiert. Es dient der Beurteilung der Güte bzw. Erwünschtheit der Datenausgabe. Anschließend treffen die beiden neuronalen Netze (GPT und Optimierer) in einer virtuellen Umgebung aufeinander und interagieren nach dem Trial-and-Error-Prinzip miteinander. Das Ergebnis ist in diesem Fall eine auf Konversation abgestimmte Anwendung.

Bias...