Analogie: Ein Modell ohne Wissensquelle ist wie ein Mitarbeiter, der alles aus dem Gedächtnis beantworten muss. Ein Modell mit Wissensquelle ist wie ein Mitarbeiter, der vor der Antwort die passende Akte aus dem Archiv holt.
Wie funktioniert RAG?
Frage stellen
Sie stellen Ihre Frage im Chat – z.B. “Was ist unsere Urlaubsregelung für Teilzeitkräfte?”
Relevante Dokumente suchen
Das System durchsucht automatisch die angebundenen Dokumente und findet die relevantesten Passagen (z.B. aus dem HR-Handbuch).
Kontext an das Modell übergeben
Die gefundenen Textpassagen werden zusammen mit Ihrer Frage an das KI-Modell gesendet.
Warum reduziert RAG Halluzinationen?
Ohne RAG muss das Modell auf sein Trainingswissen zurückgreifen – dabei kann es plausibel klingende aber falsche Informationen generieren (Halluzinationen). Mit RAG:- Das Modell antwortet auf Basis Ihrer verifizierten Dokumente, nicht aus dem Gedächtnis
- Quellen können zitiert und überprüft werden
- Fragen außerhalb der Wissensbasis können erkannt werden (“Dazu liegen mir keine Informationen vor”)
RAG in Localmind einrichten
In Localmind nutzen Sie die Hybrid Search, um Agenten mit Dokumenten zu verbinden:Ordner mit Dokumenten anlegen
Erstellen Sie in Ihrem Space einen Ordner und laden Sie die relevanten Dokumente hoch (PDF, DOCX, TXT, etc.).
Agent öffnen oder erstellen
Navigieren Sie zu Space → Ressourcen → Agenten und öffnen oder erstellen Sie einen Agenten.
Hybrid Search aktivieren
Klicken Sie auf Edit Agent → Hybrid Search Tool und wählen Sie den Ordner mit Ihren Dokumenten aus.
Wann RAG vs. Chat-Upload?
| Chat-Upload | RAG (Hybrid Search) | |
|---|---|---|
| Geeignet für | Einzelne Dokumente, einmalige Analyse | Wiederkehrende Fragen an eine Wissensbasis |
| Dokumente | 1–3 Dateien direkt im Chat hochladen | Beliebig viele Dateien in einem Ordner |
| Persistenz | Nur für diese eine Konversation | Dauerhaft für alle Konversationen mit dem Agenten |
| Einrichtung | Keine – einfach hochladen | Ordner erstellen + Hybrid Search zuweisen |
| Typischer Einsatz | ”Fasse dieses PDF zusammen" | "HR-Bot für alle Mitarbeiter-Fragen” |
Beide Ansätze können kombiniert werden: Ein Agent mit Hybrid Search kann zusätzlich Dokumente im Chat erhalten, z.B. für Ad-hoc-Analysen.
Best Practices für RAG
- Dokumentqualität ist entscheidend: Gut strukturierte, aktuelle Dokumente liefern bessere Ergebnisse als unformatierte Textdateien
- Ordnerstruktur planen: Thematisch gruppierte Ordner (z.B. “HR-Richtlinien”, “Produktdokumentation”) ermöglichen gezieltere Suche
- System-Prompt ergänzen: Weisen Sie den Agenten im System-Prompt an, nur basierend auf den bereitgestellten Dokumenten zu antworten
- Regelmäßig aktualisieren: Ersetzen Sie veraltete Dokumente, da das Modell sonst mit veralteten Informationen antwortet