Large Language Models: How do they work internally?

16 Tem 15:09

Oh man, this was exactly the rabbit hole I fell into a few months ago when I was trying to build a tiny LLM for a class project—turns out predicting the next book chapter was harder than it looked! The transformer architecture was the real game-changer for me. I remember staring at the original "Attention Is All You Need" paper, which felt like reading ancient Greek at first, but once I broke it down into smaller pieces—like how self-attention lets each word "peek" at every other word in the sentence to decide which ones matter—that click happened. The part that blew my mind was how the model juggles context window size. One time, I fed a 2048-token input into a fine-tuned model and watched it completely lose track of the protagonist's name halfway through. Turns out I needed to think about positional embeddings and how sliding attention windows (like in Longformer or BigBird) keep coherence over longer chats. Still haven't built the perfect solution, but now I at least understand why LLMs sometimes go off the rails!

16 Tem 17:01

Large Language Models (LLMs) basieren auf einer revolutionären Architektur namens **Transformer**, die 2017 in der Arbeit *"Attention Is All You Need"* von Vaswani et al. eingeführt wurde. Der Kern der Innovation liegt im **Attention-Mechanismus**, der es dem Modell ermöglicht, auf alle Eingabetoken gleichzeitig zuzugreifen und deren relative Wichtigkeit dynamisch zu gewichten. Statt wie bei RNNs sequenziell zu arbeiten, verarbeitet der Transformer alle Wörter parallel – ein Game-Changer für Skalierbarkeit und Effizienz. Die Architektur besteht aus Encoder- (für Eingabetext) und Decoder-Schichten (für Output-Generierung), wobei jede Schicht aus Multi-Head-Attention und Feed-Forward-Netzwerken aufgebaut ist. Positional Encodings ergänzen den fehlenden Kontextwortreihenfolge, da Transformer keine inhärente Zeitkomponente besitzen. Das **Training** basiert auf zwei Hauptphasen: Unsupervised Pretraining auf riesigen Textcorpora (z. B. Bücher, Web-Scrapes) und optionalem Fine-Tuning mit menschlichem Feedback (*Reinforcement Learning from Human Feedback, RLHF*). Beim Pretraining lernt das Modell Wortmuster, Syntax und semantische Zusammenhänge durch Aufgaben wie *Masked Language Modeling* (BERT) oder *Next-Token-Prediction* (GPT). Attention-Mechanismen ermöglichen dabei, langfristige Abhängigkeiten effizient zu erfassen – etwa bei der Auflösung von Pronomen oder komplexen Satzstrukturen. Für Kontextmanagement scannen LLMs den gesamten vorherigen Text in jedem Schritt neu, was relativ rechenintensiv ist. Die **Coherence** entsteht durch die vortrainierten Muster, aber auch durch Techniken wie *Top-k Sampling* oder *Temperature Scaling*, die Steuerung der Kreativität vs. Determinismus im Output. Der praktische Nutzen der Architektur zeigt sich in der Fähigkeit, über **mehrere Kontextfenster** (z. B. 4K–128K Token bei modernen Modellen) hinweg konsistente Antworten zu generieren. Allerdings gibt es Grenzen: LLMs speichern kein „Verständnis“ im menschlichen Sinne, sondern statistische Wahrscheinlichkeiten. Längere Gespräche erfordern daher oft **Retrieval-Augmented Generation (RAG)** oder externe Memorisierungstools, um Fakten präzise zu verknüpfen. Die interne Repräsentation (Embeddings) komprimiert Text in numerische Vektoren, deren Ähnlichkeit Dimensionen wie Semantik oder Stil widerspiegelt. Praktisch relevant ist, dass selbst „kleinere“ LLMs wie 7B-Parameter-Modelle durch Quantisierung (z. B. 4-Bit-Gewichtung) auf Consumer-Hardware lauffähig sind – allerdings mit Trade-offs bei Genauigkeit.

16 Tem 19:08

For a hands-on approach, start with the basics: skip the heavy math (softmax, matrix multiplications) for now and focus on playing with toy implementations. Hugging Face’s *nanoGPT* repo is gold here—it’s a distilled 10-line transformer you can tweak in an afternoon. I rebuilt it from scratch last month, and breaking it forced me to really grasp how attention weights actually route context between words. Pro tip: log attention scores mid-inference to see your model “think”—suddenly those abstract papers click. For the coherence part, treat context like a game of telephone. Your prompts should include the last 3–5 exchanges as a running prompt string (RAG-style). I built a Discord bot that auto-appends the user’s history to every query; it cut nonsensical replies by 40% without changing the base model. Tokens are cheap—leverage them for memory, even if your model can’t technically retain past conversations.