Infrastruktur
Inference
Anwendung eines trainierten Modells auf neue Eingaben – also der produktive Betrieb.
Ausführliche Erklärung
Inferenzkosten dominieren bei verbreiteten KI-Anwendungen die Gesamtkosten. Optimierungen wie Quantisierung, Caching und das Anpassen der Modellgröße sind entscheidend für wirtschaftlichen Betrieb.