Leitfaden / Industrielle KI
RAG im Unternehmen: Antworten aus Handbüchern mit Quellen und Zugriffsrechten
Ein Mitarbeiter fragt nach einer Wartungsvorgabe. Die Antwort klingt richtig, stammt aber aus der Anleitung einer anderen Anlagenversion. Für den Nutzer ist das schwer zu erkennen, wenn das System nur einen flüssigen Absatz ausgibt.
Ein brauchbares RAG-System muss deshalb mehr leisten als Dokumente finden und Text erzeugen. Es muss die passenden, für den Nutzer freigegebenen Quellen verwenden und ihre Grenzen sichtbar machen.
RAG steht für Retrieval-Augmented Generation: Eine Anwendung sucht Informationen und übergibt ausgewählte Inhalte an ein Sprachmodell. Das ursprüngliche RAG-Paper von Lewis und Kollegen beschreibt die Verbindung von Abruf und Generierung. Zugriffsrechte, Dokumentstände und fachliche Freigaben müssen Sie für Ihren betrieblichen Einsatz zusätzlich gestalten.
RAG, Suche oder Fine-Tuning: Was löst welche Aufgabe?
RAG verbindet das Auffinden externer Informationen mit der Formulierung einer Antwort. Eine reine Suche liefert Fundstellen; das Sprachmodell kann daraus einen Entwurf mit Quellen erstellen. Fine-Tuning verändert dagegen Modellparameter anhand von Trainingsbeispielen. Es ist kein Ersatz für eine aktuelle Dokumentablage mit durchgesetzten Zugriffsrechten.
| Bedarf | Passender Ansatz zur Prüfung |
|---|---|
| Einen bekannten Dokumenttitel oder eine Teilenummer finden | Stichwortsuche mit Metadatenfiltern |
| Ähnliche Aussagen trotz anderer Formulierung finden | Semantische Suche, gegebenenfalls zusammen mit Stichwortsuche |
| Eine Frage aus freigegebenen Unterlagen beantworten | RAG mit Belegen und einer Möglichkeit, nicht zu antworten |
| Ein wiederkehrendes Antwortformat oder Fachverhalten verbessern | Zuerst klare Vorgaben und Beispiele testen; danach Fine-Tuning vergleichen |
In der Aufbereitung werden Dokumente in sinnvolle Abschnitte zerlegt. Eine Tabellenzeile ohne Kopf oder eine Warnung ohne zugehörige Anweisung kann ihren Sinn verlieren. Prüfen Sie deshalb die gefundenen Abschnitte, nicht nur die fertige Antwort.
Vergleichen Sie geeignete Modelle an denselben Suchergebnissen. So lässt sich ein Problem der Dokumentauswahl von einem Problem der Formulierung unterscheiden. Ob das Modell lokal oder als externer Dienst läuft, klärt der Vergleich der Betriebsformen.
Geben Sie dem Dokument einen betrieblichen Zusammenhang
Zu einem technischen Handbuch gehören mindestens seine Identität, Version und Zuordnung zur Anlage. Ergänzen Sie den Freigabestatus und die Gruppen, die es lesen dürfen. Für ersetzte Dokumente braucht es eine klare Regel: archivieren, aus der regulären Suche nehmen oder ausdrücklich als historische Quelle kennzeichnen.
Stellen Sie sich eine konkrete Anfrage vor: "Welche Wartung ist an Anlage A-17 fällig?" Wenn die Konfiguration der Anlage fehlt, darf die Anwendung diesen Zusammenhang nicht erraten. Sie sollte die fehlende Angabe anfordern oder eine zuständige Person hinzuziehen.
Legen Sie die Berechtigung vor die Antwort
Ein möglicher Arbeitsweg lautet:
Nutzer identifizieren → erlaubte Quellen eingrenzen → passende Abschnitte suchen → Antwort vorbereiten → Fundstellen und offene Punkte anzeigen
Die Suchkomponente und nachgelagerte Zugriffe müssen die Berechtigungen zuverlässig durchsetzen. Ein Hinweis im Prompt, vertrauliche Inhalte nicht zu verraten, ersetzt diese Kontrolle nicht.
Dokumente selbst sind außerdem keine vertrauenswürdigen Anweisungen an die Anwendung. Ein eingebetteter Text kann versuchen, das Modell zu einem anderen Verhalten zu bringen. OWASP beschreibt solche Prompt-Injection-Angriffe. Für den vorgeschlagenen Wissensassistenten sollte Dokumentinhalt daher keine zusätzlichen Systemrechte oder externen Aktionen auslösen können.
Zeigen Sie, was die Antwort trägt
Eine Quellenangabe ist nur hilfreich, wenn sie die betreffende Aussage wirklich belegt. Zeigen Sie Dokumenttitel, Version und den relevanten Abschnitt. Ermöglichen Sie dem Nutzer, die Stelle zu öffnen, sofern seine Rechte dies erlauben.
Bei widersprüchlichen Angaben sollte das System den Konflikt benennen. Eine scheinbar eindeutige Zusammenfassung aus zwei unterschiedlichen Ständen kann schlechter sein als die ausdrückliche Bitte um Klärung.
Auch "Dazu habe ich keine ausreichende Quelle" ist ein brauchbares Ergebnis. Es verhindert, dass eine Informationslücke als Wissen erscheint.
Aktualisierung gehört zum Wissenssystem
Prüfen Sie, wie eine neue Dokumentversion in die Suche gelangt und wie eine entzogene Berechtigung wirksam wird. Beide Änderungen müssen auch Zwischenspeicher und bereits vorbereitete Antworten berücksichtigen. Eine Antwort aus einer früher erlaubten Quelle darf nach einem Rechteentzug nicht einfach aus einem gemeinsamen Cache erscheinen.
Definieren Sie dafür eine zulässige Verzögerung und testen Sie den Ablauf mit einem Dokumentwechsel und einem Rechteentzug. Die nötige Aktualität richtet sich nach dem Risiko der Aufgabe.
Testen Sie die Suche getrennt von der Formulierung
| Testfall | Erwartetes Verhalten |
|---|---|
| Eine eindeutige Antwort liegt im aktuellen Handbuch | Passenden Abschnitt finden und die Aussage daran belegen |
| Zwei Versionen nennen unterschiedliche Werte | Richtigen Stand verwenden oder den Konflikt offenlegen |
| Die Quelle ist für den Nutzer gesperrt | Weder Inhalt noch vertrauliche Auszüge in die Antwort übernehmen |
| Im Bestand fehlt die Antwort | Informationslücke benennen |
| Ein Dokument enthält eine fremde Handlungsanweisung | Daraus keine zusätzlichen Befugnisse ableiten |
Messen Sie, wie häufig die Suche die richtige Quelle liefert und wie häufig die Antwort diese korrekt wiedergibt. Ein Fehler in der Suche braucht eine andere Korrektur als eine falsche Schlussfolgerung aus einem passenden Abschnitt.
Welf verbindet Wissenssysteme mit vorhandenen Identitäten und Dokumentquellen. Lesen Sie mehr zu Integrationen und zur Bewertung von KI-Modellen.