Skip to main content
KI-Modelle haben kein eigenes Wissen über dein Unternehmen, deine Produkte oder deine internen Prozesse. Du kannst ihnen aber gezielt Wissen bereitstellen – durch Dokumente, die dem Modell als Kontext mitgegeben werden. Die dafür eingesetzte Technologie heißt RAG (Retrieval-Augmented Generation). Die Idee: Statt sich auf das Trainingswissen des Modells zu verlassen, werden relevante Dokumente automatisch gesucht und dem Modell mitgegeben, bevor es antwortet.
Analogie: Ein Modell ohne Wissensquelle ist wie ein Mitarbeiter, der alles aus dem Gedächtnis beantworten muss. Ein Modell mit Wissensquelle ist wie ein Mitarbeiter, der vor der Antwort die passende Akte aus dem Archiv holt.

​
Wie funktioniert RAG?

1

Frage stellen

Du stellst deine Frage im Chat – z.B. “Was ist unsere Urlaubsregelung für Teilzeitkräfte?”
2

Relevante Dokumente suchen

Das System durchsucht automatisch die angebundenen Dokumente und findet die relevantesten Passagen (z.B. aus dem HR-Handbuch).
3

Kontext an das Modell übergeben

Die gefundenen Textpassagen werden zusammen mit deiner Frage an das KI-Modell gesendet.
4

Fundierte Antwort generieren

Das Modell antwortet basierend auf den bereitgestellten Dokumenten – nicht aus dem Gedächtnis, sondern mit Quellenangabe.

​
Warum reduziert RAG Halluzinationen?

Ohne RAG muss das Modell auf sein Trainingswissen zurückgreifen – dabei kann es plausibel klingende aber falsche Informationen generieren (Halluzinationen). Mit RAG:
  • Das Modell antwortet auf Basis deiner verifizierten Dokumente, nicht aus dem Gedächtnis
  • Quellen können zitiert und überprüft werden
  • Fragen außerhalb der Wissensbasis können erkannt werden (“Dazu liegen mir keine Informationen vor”)
RAG reduziert Halluzinationen erheblich, eliminiert sie aber nicht vollständig. Das Modell kann Passagen falsch interpretieren oder irrelevante Dokumente heranziehen. Prüfe kritische Antworten immer.

​
RAG in Localmind einrichten

In Localmind nutzt du das Werkzeug Daten, um Agenten mit Dokumenten zu verbinden – es führt die Hybrid Search aus:
1

Ordner mit Dokumenten anlegen

Erstelle in deinem Space einen Ordner und lade die relevanten Dokumente hoch (PDF, DOCX, TXT, etc.).
2

Agent öffnen oder erstellen

Navigiere zu Space → Ressourcen → Agenten und öffne oder erstelle einen Agenten.
3

Werkzeug Daten aktivieren

Klicke auf Agent bearbeiten, aktiviere das Werkzeug Daten (es führt die Hybrid Search aus) und wähle den Ordner mit deinen Dokumenten aus.
4

Testen

Stelle dem Agenten Fragen zu deinen Dokumenten und prüfe, ob die Antworten korrekt und mit Quellenangaben versehen sind.
Aktiviere Zitate anzeigen in den Agent-Einstellungen, damit der Agent bei jeder Antwort die genutzten Quellen anzeigt. Das erleichtert die Überprüfung.

​
Wann RAG vs. Chat-Upload?

Beide Ansätze können kombiniert werden: Ein Agent mit aktiviertem Daten-Tool kann zusätzlich Dokumente im Chat erhalten, z.B. für Ad-hoc-Analysen.

​
Best Practices für RAG

  • Dokumentqualität ist entscheidend: Gut strukturierte, aktuelle Dokumente liefern bessere Ergebnisse als unformatierte Textdateien
  • Ordnerstruktur planen: Thematisch gruppierte Ordner (z.B. “HR-Richtlinien”, “Produktdokumentation”) ermöglichen gezieltere Suche
  • System-Prompt ergänzen: Weise den Agenten im System-Prompt an, nur basierend auf den bereitgestellten Dokumenten zu antworten
  • Regelmäßig aktualisieren: Ersetze veraltete Dokumente, da das Modell sonst mit veralteten Informationen antwortet

​
Nächste Schritte

Halluzinationen vermeiden

Weitere Strategien für faktisch korrekte Ergebnisse.

Prompt-Templates

Fertige Prompts für RAG-Anwendungsfälle.