Die drei wichtigsten Parameter
Ob
temperature und top_p tatsächlich wirken, ist modellabhängig: Localmind reicht die Parameter an das jeweils gewählte Modell durch, aber nicht jedes Modell unterstützt beide. Nicht unterstützte Parameter werden ohne Fehlermeldung ignoriert. Welches Modell du wählst, erfährst du unter Modellauswahl.Temperature
Temperature bestimmt, wie “kreativ” (= unvorhersagbar) das Modell antwortet:Top-P (Nucleus Sampling)
Top-P begrenzt die Auswahl der möglichen nächsten Wörter auf die wahrscheinlichsten, bis die kumulative Wahrscheinlichkeit den Top-P-Wert erreicht:Temperature und Top-P beeinflussen ähnliche Aspekte. Empfehlung: Einen Parameter anpassen, den anderen auf Standard belassen – nicht beide gleichzeitig.
Max Tokens
Begrenzt die maximale Länge der Antwort:- Max Tokens ≠ garantierte Länge: Das Modell kann kürzer antworten
- Zu niedrig: Die Antwort wird mitten im Satz abgeschnitten
- Zu hoch: Kein Nachteil, aber unnötig hohe Werte können die Kosten erhöhen
- Empfehlung: Wert ~20% über der erwarteten Antwortlänge setzen
Ausgabeformat steuern
Die Qualität hängt auch davon ab, wie klar du das gewünschte Format definierst:Nächste Schritte
Halluzinationen vermeiden
Strategien für faktisch korrekte Ergebnisse.
Modellauswahl
Das richtige Modell für deinen Anwendungsfall finden.