|
. |
|||||||||||||||||
|
|
|
|
|
|
|
||||||||||||
|
|
|||||||||||||||||
|
|||
|
Ein Large Language Model ist ein großes künstliches Neuronales Netzwerk, das Wahrscheinlichkeiten für Wort- bzw. Tokenfolgen schätzt: Es sagt voraus, welches Token mit welcher Wahrscheinlichkeit als Nächstes in einer gegebenen Kontextsequenz auftreten sollte. Aus dieser einfachen, aber sehr generischen Fähigkeit entsteht fast alles, was LLMs tun: vom Weiter-Schreiben eines Absatzes über Übersetzung bis hin zu komplexer Dialogführung. Der Begriff „large“ bezieht sich primär auf zwei Dimensionen:
LLMs gehören zur Unterklasse der Generativen KI (GenAI), weil sie nicht nur klassifizieren oder bewerten, sondern explizit neue Inhalte erzeugen. Zentrale Architektur: TransformerModerne LLMs basieren fast ausnahmslos auf der Transformer-Architektur, die 2017 eingeführt wurde und Self-Attention als Kernmechanismus nutzt. Transformer sind besonders gut darin, lange Sequenzen parallel zu verarbeiten und dabei kontextuelle Abhängigkeiten über viele Tokens hinweg abzubilden – ein entscheidender Vorteil gegenüber älteren RNN- oder LSTM-Modellen. Typische Komponenten eines LLM (vereinfacht):
Self-Attention berechnet für jedes Token, wie stark es auf andere Tokens in der Sequenz „achten“ soll, um seine eigene Repräsentation zu verbessern. Dadurch können Abhängigkeiten wie Anaphern („er“, „sie“), lange Kausal- oder Argumentationsketten und syntaktische Strukturen sehr flexibel abgebildet werden. Trainingsprozess: Vortraining und FeinabstimmungDer Lebenszyklus eines LLM lässt sich grob in zwei Phasen einteilen: Foundation-Vortraining und nachgelagerte Anpassung (Fine-Tuning, Instruction Tuning, RLHF usw.). Foundation-VortrainingIm Vortraining wird das Modell auf sehr großen, weitgehend unstrukturierten Textkorpora trainiert, etwa aus Webseiten, Büchern, Foren und Code-Repos. Typisch sind Self-Supervised-Lernaufgaben wie: nächstes Token vorhersagen (autoregressiv), maskierte Tokens rekonstruieren (BERT-artige Modelle). Wichtige Schritte:
Feinabstimmung und AlignmentNach dem Vortraining wird das Modell weiter angepasst, um bestimmte Nutzungsszenarien zu unterstützen und Risiken zu reduzieren. Wichtige Verfahren:
Ziel ist es, das rohe Sprachmodell in einen nutzbaren Assistenten zu verwandeln, der Anweisungen befolgt, hilfreiche Antworten gibt und Richtlinien beachtet. Inferenz: Wie Textgenerierung abläuftBei der Nutzung eines LLM (Inference) wird der Eingabetext zunächst tokenisiert und durch die Embedding- und Transformer- schichten geleitet, um für jedes Positionstoken eine interne Repräsentation zu berechnen. Am Ende entsteht eine Wahrscheinlichkeitsverteilung über das nächste Token, aus der nach bestimmten Sampling-Strategien gewählt wird. Übliche Strategien: Greedy Decoding: Immer das wahrscheinlichste Token wählen; führt oft zu deterministischen, aber manchmal eintönigen und repetitiven Texten. Temperature-Sampling: Adjustierung der Verteilung; höhere Temperatur verteilt Wahrscheinlichkeit gleichmäßiger (kreativer, aber risikoreicher), niedrigere macht die Ausgaben konservativer. Top-k / Top-p (Nucleus) Sampling: Auswahl nur aus den wahrscheinlichsten k Tokens oder dem kleinsten Token-Set, das eine kumulierte Wahrscheinlichkeit p erreicht; balanciert Kohärenz und Vielfalt. Der Kontext wird normalerweise als Sequenz von Tokens (Prompt + ggf. System- und Verlaufsnachrichten) verarbeitet, die Länge ist durch das Kontextfenster des Modells begrenzt (z.B. einige Tausend bis Hunderttausende Tokens bei neueren Modellen). |
Praktische Nutzung: Vom Prompt zum SystemIn der Praxis sind LLMs heute häufig nicht direkt, sondern über Dienste und APIs zugänglich, die das rohe Modell mit Zusatzfunktionen kombinieren. Typische Bausteine: Prompt-Engineering und -Vorlagen (Rollenanweisungen, Formatvorgaben, Beispiele). Tools/Plugins (z.B. Anbindung an Suchsysteme, Datenbanken, Unternehmens-Wissensbasen). Guardrails (Regelsysteme, die bestimmte Antworten blockieren oder umleiten). Für Entwickler und Forscher ist es wichtig, das statistische Wesen eines LLM im Hinterkopf zu behalten: Es „weiß“ nichts im menschlichen Sinn, sondern approximiert komplexe, hochdimensionale Verteilungen über Symbolsequenzen. Das erklärt sowohl seine Flexibilität als auch seine Fehlertypen. |
||
LLM - was ist es?Weitere Highlights
Web-site, das E-Book, die Newsletter und die Vorträge werden mit Hilfe von KI-Lösungen erstellt. © 2025 | Copyright by Paulo Heitlinger |
||||||