Chain-of-Thought (CoT)
Chain-of-Thought (CoT)
Das Modell wird angewiesen, seinen Denkprozess offenzulegen – Schritt für Schritt.Trigger-Phrase: “Denke Schritt für Schritt” oder “Erkläre deinen Denkweg”
Embeddings
Embeddings
Numerische Repräsentationen von Text als Vektoren (Listen von Zahlen). Ähnliche Texte haben ähnliche Vektoren.Verwendet für:
- Semantische Suche
- Dokumenten-Ähnlichkeit
- RAG-Systeme
Few-Shot Prompting
Few-Shot Prompting
Dem Modell werden Beispiele gezeigt, bevor es die eigentliche Aufgabe löst.Vorteil: Modell versteht das gewünschte Format besser.
Halluzinationen
Halluzinationen
Wenn ein Modell falsche Informationen überzeugend präsentiert – Fakten erfindet, die nicht existieren.Ursachen:
- Frage liegt außerhalb des Trainingswissens
- Modell “füllt Lücken” mit plausibel klingendem Text
- RAG verwenden (Dokumente als Quelle)
- Modell anweisen: “Sage wenn du unsicher bist”
- Quellen/Zitate einfordern
Hybrid Search
Hybrid Search
Kombination aus semantischer Suche (Bedeutung) und Keyword-Suche (exakte Wörter) für beste Ergebnisse.In Localmind führt das Data-Tool (UI: „Daten”) die Hybrid Search aus.
Kontextfenster (Context Window)
Kontextfenster (Context Window)
Die maximale Textmenge, die ein Modell gleichzeitig verarbeiten kann – gemessen in Tokens.
Wichtig: Das Kontextfenster umfasst sowohl deine Eingabe als auch die Antwort des Modells.
Multimodal
Multimodal
Modelle, die verschiedene Medientypen verarbeiten können:
- Text
- Bilder
- Audio
- Video (bei einigen Modellen)
RAG (Retrieval-Augmented Generation)
RAG (Retrieval-Augmented Generation)
Eine Technik, bei der das Modell zuerst relevante Dokumente abruft und dann basierend auf diesen antwortet.Vorteile:
- Antworten basieren auf deinen Daten
- Reduziert Halluzinationen
- Aktuellere Informationen als das Trainings-Cutoff
Reasoning (Denken)
Reasoning (Denken)
Modelle mit Reasoning denken schrittweise nach, bevor sie antworten. Sie zerlegen komplexe Probleme in Teilschritte.Ideal für:
- Mathematische Berechnungen
- Logische Schlussfolgerungen
- Mehrstufige Analysen
- Wissenschaftliche Probleme
System Prompt
System Prompt
Die grundlegende Anweisung, die das Verhalten des Agenten definiert. Wird vor jeder Konversation geladen.Enthält typischerweise:
- Rolle des Agenten
- Verhaltensregeln
- Ausgabeformat
- Einschränkungen
Temperature
Temperature
Steuert die Kreativität der Antworten.
In Localmind: nicht pro Agent einstellbar – bei API-Nutzung wird
temperature an das Modell durchgereicht.Tokens
Tokens
Die Grundeinheit, in der KI-Modelle Text verarbeiten. Ein Token ist ungefähr:
- 4 Zeichen im Englischen
- 3 Zeichen im Deutschen
- 1 häufiges Wort oder Wortteil
Top K
Top K
Begrenzt die Auswahl auf die K wahrscheinlichsten nächsten Wörter.
In Localmind: nicht einstellbar – über die API wird nur
temperature durchgereicht, nicht top_k.Top P (Nucleus Sampling)
Top P (Nucleus Sampling)
Begrenzt die Auswahl auf die wahrscheinlichsten Wörter, deren kumulierte Wahrscheinlichkeit den Wert P erreicht.
In Localmind: nicht einstellbar – über die API wird nur
temperature durchgereicht, nicht top_p.Vector Database
Vector Database
Eine Datenbank, die Embeddings speichert und schnelle Ähnlichkeitssuchen ermöglicht.Localmind verwaltet dies automatisch im Hintergrund.
Zero-Shot
Zero-Shot
Das Modell löst eine Aufgabe ohne Beispiele – nur basierend auf der Anweisung.
