RAG für Unternehmenswissen: Antworten mit nachvollziehbaren Quellen

Warum ein Sprachmodell allein nicht reicht

Ein Sprachmodell kennt die Welt, wie sie in seinen Trainingsdaten stand. Ihre Montageanleitungen, Ihre Reisekostenrichtlinie oder die Änderungsmitteilung von letzter Woche kennt es nicht. Fragt man es trotzdem, antwortet es oft plausibel klingend – und im Zweifel falsch.

Retrieval-Augmented Generation löst das mit einem einfachen Prinzip: Bevor das Modell antwortet, sucht ein System die passenden Abschnitte aus Ihren Dokumenten heraus und gibt sie dem Modell mit. Die Anweisung lautet dann sinngemäß: „Beantworte die Frage ausschließlich auf Grundlage dieser Abschnitte und nenne die Quelle.“ Das Modell formuliert, die Fakten kommen aus Ihren Dokumenten.

Der Aufbau: zwei Spuren

Ein RAG-System besteht aus zwei Abläufen, die unabhängig voneinander laufen. Die Indexierung bereitet Dokumente im Hintergrund auf – einmalig und danach bei jeder Änderung. Die Abfrage passiert bei jeder Frage, in wenigen Sekunden.

Indexierung

1. Parsing: Text und Struktur werden aus PDFs, Office-Dateien, Wiki-Seiten oder E-Mails extrahiert – inklusive Überschriften und Tabellen.
2. Chunking: Dokumente werden in Abschnitte zerlegt, die jeweils einen Gedanken vollständig enthalten. Zu kurz, und der Zusammenhang fehlt. Zu lang, und die Suche wird ungenau.
3. Embeddings: Jeder Abschnitt wird in einen Vektor übersetzt, der seine Bedeutung abbildet. So findet die Suche auch Abschnitte, die andere Wörter verwenden als die Frage.
4. Speichern mit Rechten: Vektoren, Text und Metadaten landen im Index – etwa in Postgres mit der Erweiterung pgvector. Zu jedem Abschnitt wird gespeichert, wer ihn sehen darf.

Abfrage

1. Retrieval mit Rechteprüfung: Die Frage wird ebenfalls in einen Vektor übersetzt. Gesucht werden die ähnlichsten Abschnitte – aber nur unter denen, die die fragende Person sehen darf.
2. Reranking: Ein spezialisiertes Modell sortiert die Treffer noch einmal nach tatsächlicher Relevanz. Das verbessert die Auswahl oft deutlich.
3. Antwort: Das Sprachmodell erhält Frage und die besten Abschnitte und formuliert eine Antwort mit Verweisen auf die Quellen.

Antworten, denen man trauen kann

Der eigentliche Unterschied zwischen einem Spielzeug und einem Werkzeug ist die Nachprüfbarkeit. Ein Assistent, der zu jeder Aussage die Fundstelle nennt, verändert den Umgang mit ihm: Mitarbeitende prüfen bei wichtigen Fragen kurz nach, statt blind zu vertrauen oder gar nicht zu fragen.

Drei Gestaltungsregeln haben sich bewährt:

• Quellen auf Aussageebene, nicht nur als Liste am Ende. So ist klar, welche Information woher stammt.
• Die markierte Textstelle zeigen. Ein Link auf ein 80-seitiges PDF hilft wenig, ein Sprung zum richtigen Absatz sehr.
• „Weiß ich nicht“ ist erlaubt. Findet die Suche nichts Passendes, sagt der Assistent das – statt eine Antwort zu erfinden. Das wirkt anfangs weniger beeindruckend, schafft aber Vertrauen.

Berechtigungen: der Teil, der nicht fehlen darf

In fast jedem Unternehmen gibt es Dokumente, die nicht alle sehen dürfen: Personalakten, Vorstandsprotokolle, Kalkulationen, Kundenverträge. Ein Wissensassistent, der darüber hinwegsieht, ist ein Datenschutzproblem mit freundlicher Oberfläche.

Die Lösung ist, Berechtigungen bereits bei der Indexierung aus den Quellsystemen zu übernehmen – etwa aus Gruppen im Verzeichnisdienst oder Freigaben im Dokumentenmanagement – und bei jeder Suche als Filter anzuwenden. Entscheidend: Die Prüfung passiert vor der Übergabe an das Sprachmodell. Was nicht gefunden werden darf, kann auch nicht in einer Antwort auftauchen.

Ebenso wichtig ist die Aktualität: Wird einer Person ein Zugriff entzogen oder ein Dokument gelöscht, muss der Index das zeitnah nachvollziehen. Das gehört zur Indexierung dazu und wird in Prototypen fast immer vergessen.

Chunking: die unterschätzte Stellschraube

Wie Dokumente in Abschnitte zerlegt werden, entscheidet darüber, ob die Suche die richtige Stelle findet – und ob das Modell genug Zusammenhang bekommt, um sie richtig zu verstehen. Es gibt keine allgemein beste Methode, aber bewährte Muster:

• Feste Länge mit Überlappung: einfach und robust für Fließtext, zerreißt aber Tabellen und Aufzählungen.
• Strukturbasiert: Zerlegung entlang von Überschriften, Kapiteln und Absätzen. Für Handbücher, Richtlinien und technische Dokumentation meist die beste Wahl.
• Klein suchen, groß übergeben: Gesucht wird in kurzen, präzisen Abschnitten; an das Modell geht der umgebende größere Abschnitt. So bleibt die Suche genau und der Kontext vollständig.
• Kontext anreichern: Jeder Abschnitt erhält Dokumenttitel, Kapitelpfad und Gültigkeit als Präfix. Ein Satz wie „Der Wert beträgt 45 Nm“ ist ohne diese Information wertlos.

In der Praxis lohnt es sich, Chunking je Dokumenttyp unterschiedlich zu gestalten: E-Mails anders als Prüfberichte, Tabellen anders als Fließtext. Die Testfragen zeigen, welche Variante für Ihren Bestand am besten funktioniert.

Was die Antwortqualität wirklich bestimmt

Wenn ein Assistent schlechte Antworten gibt, wird oft zuerst das Sprachmodell gewechselt. Das hilft selten. In den meisten Fällen hat das Modell schlicht nicht die richtigen Abschnitte bekommen – weil sie im Dokument fehlen, beim Zerlegen zerrissen wurden oder die Suche sie nicht gefunden hat.

Daraus ergeben sich praktische Empfehlungen:

• Mit den Dokumenten anfangen. Veraltete Versionen und Dubletten aussortieren, Gültigkeit als Metadatum pflegen. Das verbessert jede spätere Antwort.
• Struktur erhalten. Tabellen, Überschriften und Nummerierungen beim Parsing bewahren und jedem Abschnitt seinen Kontext mitgeben – etwa Dokumenttitel und Kapitel.
• Hybrid suchen. Vektorsuche findet Bedeutungen, klassische Stichwortsuche findet Artikelnummern und Fachbegriffe. Beides kombiniert ist robuster als jede Methode allein.
• Mit Testfragen messen. Ein Satz echter Fragen mit bekannten Fundstellen zeigt, ob eine Änderung die Suche verbessert – bevor Nutzer es merken.

Wann RAG nicht die richtige Lösung ist

RAG ist stark bei Fragen, deren Antwort in einem oder wenigen Textabschnitten steht. Es ist schwach bei Fragen, die alle Dokumente vollständig berücksichtigen müssen („Liste alle Verträge mit Kündigungsfrist unter drei Monaten“) oder bei Berechnungen über strukturierte Daten („Wie hoch war der Umsatz je Region im letzten Quartal?“). Für Letzteres ist eine Anbindung an die Datenbank oder Datenplattform der bessere Weg – das Sprachmodell formuliert dann die Abfrage, die Zahlen kommen aus geprüften Tabellen. Gute Assistenten kombinieren beides und wählen je Frage den passenden Weg.

Souverän betreiben

Ein Wissensassistent verarbeitet per Definition interne Dokumente. Deshalb lohnt sich der Blick auf den Betriebsort: Index, Dokumente und Embeddings können vollständig auf eigener oder europäischer Infrastruktur liegen. Für das Sprachmodell selbst gibt es offene Modelle, die lokal betrieben werden können, und europäische API-Anbieter. Über ein Gateway lässt sich auch hier je nach Vertraulichkeit entscheiden, welches Modell eine Anfrage beantwortet.

Der Einstieg muss nicht groß sein: Ein klar abgegrenzter Dokumentbestand – etwa die technische Dokumentation einer Produktlinie oder das interne Regelwerk – reicht, um in wenigen Wochen einen Assistenten in den Pilotbetrieb zu bringen. Mit Quellen, Rechten und Testfragen von Anfang an.