Wie funktioniert ChatGPT? Einfach erklärt

Kurz gesagt: ChatGPT sagt Stück für Stück das wahrscheinlichste nächste Wort voraus. Mehr Magie steckt im Grundsatz nicht dahinter.

Nimm den Satzanfang „Der Himmel ist …“. ChatGPT überlegt sich nicht einfach ein Wort. Es berechnet für jedes mögliche nächste Wort, wie wahrscheinlich es ist. „Blau“ ist sehr wahrscheinlich, „grau“ oder „heute“ sind möglich, aber seltener. Dann wählt es ein Wort aus, hängt es an und fängt mit dem etwas längeren Text wieder von vorn an. Hunderte Male für eine einzige Antwort.

Deshalb siehst du in ChatGPT, wie der Text Stück für Stück erscheint. Das ist kein Effekt für die Optik, so wird er wirklich erzeugt. Du kennst das Prinzip von den Wortvorschlägen auf deinem Handy. Nur hat ein Sprachmodell unvorstellbar viel mehr Text gesehen und setzt deshalb ganze Absätze sinnvoll fort. Neuere Modelle „denken“ vor der Antwort erst nach. Auch dieses Nachdenken entsteht Wort für Wort, nur eingeklappt.

Genau genommen arbeitet ChatGPT nicht mit ganzen Wörtern, sondern mit Stücken. Die heißen Token. Ein langes Wort wie „Pferdedecke“ wird in mehrere Token zerlegt, häufige kurze Wörter sind oft ein einziges.

Als Faustregel nennt OpenAI für Englisch: ein Token entspricht etwa vier Zeichen oder einem Dreiviertel Wort. Deutsch braucht wegen der langen zusammengesetzten Wörter meist mehr Token. Wichtig wird das, weil KI-Anbieter nach Token abrechnen und ihre Limits in Token angeben.

Token erklären auch einen Klassiker: Ältere Modelle sagten auf die Frage, wie viele r in „Strawberry“ stecken, oft zwei. Richtig ist drei. Das Modell sieht eben nicht die einzelnen Buchstaben, sondern nur die Stücke. Neuere Modelle bekommen das meist hin.

Woher weiß ChatGPT, welches Wort wahrscheinlich ist? Aus dem Training, und das läuft in drei Schritten.

1. Vortraining, ein riesiger Lückentext: Das Modell liest Texte aus Büchern, Websites, Foren und Programmcode und muss immer das nächste Stück raten. Liegt es falsch, werden im Modell viele Regler ein kleines Stück nachgestellt. Diese Regler heißen Parameter, große Modelle haben Milliarden davon. Am Ende steckt in ihnen viel Wissen über Sprache und die Welt, aber als Muster, nicht als Datenbank zum Nachschlagen.
2. Beispiele von Menschen: Menschen schreiben Musterdialoge, wie eine gute Antwort aussieht. Daran lernt das Modell, wie ein Assistent antwortet.
3. Bewertungen von Menschen: Menschen vergleichen mehrere Antworten und sagen, welche besser ist. So lernt das Modell, was hilfreich, höflich und sicher ist.

Den Unterschied merkst du sofort: Ein nur vortrainiertes Modell hängt an „Wie koche ich Nudeln?“ vielleicht einfach weitere Fragen an, als wäre es eine Liste aus einem Forum. Nach dem Feinschliff bekommst du eine Antwort. OpenAI hat dieses Verfahren 2022 beschrieben und für den Start von ChatGPT am 30. November 2022 genutzt.

GPT steht für Generative Pre-trained Transformer. Das T ist der Kern. Nimm das Wort „Bank“: In „Ich sitze auf der Bank im Park“ schaut das Modell auf „sitze“ und „Park“ und weiß, dass eine Sitzbank gemeint ist. In „Ich hole Geld von der Bank“ ist „Geld“ der entscheidende Hinweis.

Genau das macht der Transformer bei jedem Wort: Er schaut auf alle anderen Wörter im Text und gewichtet, welche gerade wichtig sind. Das heißt Attention, also Aufmerksamkeit. Dadurch erkennt das Modell Zusammenhänge auch über lange Texte. Eingeführt hat Google diese Bauweise 2017 im Paper „Attention Is All You Need“. Ohne sie gäbe es ChatGPT nicht.

Bei jeder Antwort bekommt das Modell den bisherigen Chat mitgeliefert, so viel, wie in sein Kontextfenster passt. Moderne Fenster sind riesig, ganze Bücher passen hinein. Unendlich sind sie aber nicht: Wird ein Chat sehr lang, fällt das Älteste irgendwann heraus. Mein Tipp: Für ein neues Thema einen neuen Chat starten.

Wichtig: Das Modell lernt im Gespräch nicht dauerhaft dazu. Sein Wissen hat einen Stichtag, das Ende des Trainings. Was danach passiert ist, weiß es nur, wenn es im Internet sucht. Die Erinnerungsfunktion von ChatGPT speichert Notizen über dich und gibt sie in neuen Chats wieder mit ins Kontextfenster. Das Modell selbst ändert sich dadurch nicht.

Stellst du dieselbe Frage zweimal, bekommst du oft zwei verschiedene Antworten. Das ist Absicht. Die KI nimmt nicht immer stur das wahrscheinlichste Wort, sondern würfelt ein bisschen unter den wahrscheinlichen Wörtern mit. Sonst klängen Texte schnell eintönig. In der Technik heißt diese Stellschraube Temperatur. Für dich heißt das: Gefällt dir eine Antwort nicht, lass sie einfach neu erzeugen.

Halluzinieren heißt: Die KI erfindet etwas und präsentiert es so überzeugend, als wäre es ein Fakt. Fragst du nach einer Studie mit Quelle, bekommst du vielleicht einen Doktortitel, eine Universität, eine Jahreszahl und eine Prozentzahl. Klingt top, existiert aber nicht.

Der Grund steckt im Prinzip vom Anfang: ChatGPT sagt das wahrscheinlichste nächste Wort voraus. Wie eine Quellenangabe aussieht, weiß es sehr gut. Ob es die Studie wirklich gibt, prüft es dabei nicht. Plausibel heißt nicht wahr.

Wie teuer das werden kann, zeigt ein Fall aus New York: 2023 reichte ein Anwalt im Verfahren Mata gegen Avianca einen Schriftsatz mit Urteilen ein, die ChatGPT erfunden hatte. Das Gericht verhängte gegen zwei Anwälte je 5.000 US-Dollar Strafe. Mit neueren Modellen und eingeschalteter Websuche sind Halluzinationen deutlich seltener geworden, verschwunden sind sie nicht.

Es gibt einen zweiten Grund, und den kennst du aus der Schule. Stell dir einen Multiple-Choice-Test mit vier Antworten pro Frage vor. Schreibst du ehrlich „weiß ich nicht“, gibt es null Punkte. Rätst du, liegst du jedes vierte Mal richtig, bei 100 Fragen also im Schnitt bei 25 Punkten. Raten lohnt sich.

Ähnlich werden Sprachmodelle oft bewertet: Eine richtige Antwort zählt, „weiß ich nicht“ zählt nichts. Das Modell lernt also, lieber etwas Plausibles zu sagen, als Unsicherheit zuzugeben. OpenAI hat das im September 2025 in der Studie „Why Language Models Hallucinate“ als einen Hauptgrund beschrieben.

1. Zahlen, Namen und Zitate immer prüfen. Genau da erfindet KI am häufigsten.
2. Quellen verlangen und anklicken. Eine Quelle zählt erst, wenn dort auch steht, was die KI behauptet.
3. Material mitgeben. Lade das Dokument hoch oder lass die KI im Internet suchen. Dann antwortet sie aus der Quelle statt aus dem Gedächtnis.
4. Nichtwissen erlauben. Schreib dazu: „Wenn du es nicht sicher weißt, sag das.“
5. Bei wichtigen Dingen gegenprüfen. Neu fragen, ein zweites Tool fragen, und bei Recht, Steuern oder Gesundheit im Zweifel einen Menschen vom Fach.

Wie du Fragen so stellst, dass gute Antworten herauskommen, zeige ich dir in Folge 4 über Prompts. Welches Tool du dafür nimmst, klärt Folge 3: Welche KI ist die beste?

1. ChatGPT sagt Stück für Stück das wahrscheinlichste nächste Wort voraus.
2. Gelernt hat es das aus riesigen Textmengen, geschliffen durch menschliches Feedback.
3. Plausibel heißt nicht wahr: Fakten prüfst du selbst.

Wie funktioniert ChatGPT einfach erklärt?

ChatGPT ist ein Sprachmodell. Es berechnet für jedes mögliche nächste Wort eine Wahrscheinlichkeit, wählt eines aus, hängt es an und wiederholt das, bis die Antwort fertig ist. Gelernt hat es das aus riesigen Textmengen, danach wurde es mit Beispielen und Bewertungen von Menschen zum Assistenten geschliffen.

Was bedeutet Halluzinieren bei KI?

Halluzinieren heißt, dass eine KI etwas erfindet, zum Beispiel eine Studie, ein Zitat oder eine Zahl, und es so überzeugend formuliert, als wäre es ein Fakt.

Warum halluzinieren KI-Modelle?

Weil sie das wahrscheinlichste nächste Wort vorhersagen und dabei nicht prüfen, ob etwas stimmt. Dazu kommt, dass Training und Bewertung Raten oft stärker belohnen als ein ehrliches „weiß ich nicht“. OpenAI hat das 2025 als einen Hauptgrund beschrieben.

Was sind Token bei ChatGPT?

Token sind die Textstücke, in die ein Sprachmodell Wörter zerlegt. Im Englischen entspricht ein Token etwa vier Zeichen, Deutsch braucht meist mehr Token. Anbieter rechnen nach Token ab und geben Limits in Token an.

Lernt ChatGPT aus meinen Chats?

Im Gespräch selbst nicht, das Modell verändert sich dabei nicht. Ob deine Chats für das Training künftiger Modelle genutzt werden, hängt von Tarif und Einstellungen ab. Bei privaten Konten ist das standardmäßig eingeschaltet und lässt sich in den Datenkontrollen abschalten.