Methoden
Token
Kleinste Verarbeitungseinheit eines LLM – meist Wortteile, etwa 4 Zeichen.
Ausführliche Erklärung
Sprachmodelle zerlegen Text in Tokens und berechnen Kosten in Tokens. Eine deutsche A4-Seite entspricht ca. 500–700 Tokens. Token-Limits begrenzen, wie viel Kontext gleichzeitig verarbeitet werden kann.