RAG (Retrieval-Augmented Generation): Definition und Funktionsweise

RAG ist einer der technischen Bausteine, die heutige autonome KI-Agenten antreiben, neben Werkzeugaufrufen und persistentem Gedächtnis. Das Kürzel stammt aus einem Forschungsartikel, veröffentlicht im Mai 2020 von einem Team von Facebook AI Research (heute Meta), angeführt von Patrick Lewis. Damals war die Feststellung einfach: Große Sprachmodelle speichern eine beeindruckende Menge Wissen in ihren Parametern, können es aber weder leicht aktualisieren noch präzise auf eine Quelle verweisen. RAG schlägt eine Lösung vor: das Modell im Moment der Antwort in einer externen Basis nach Informationen suchen lassen, statt sich vollständig auf sein beim Training eingefrorenes Gedächtnis zu stützen.

Definition im Detail

Retrieval-Augmented Generation, oder suchgestützte Textgenerierung, bezeichnet eine Architektur, die zwei getrennte Bausteine kombiniert: einen Suchmechanismus (Retrieval), der relevante Passagen in einer externen Dokumentenbasis sucht, und ein Textgenerierungsmodell, das die endgültige Antwort aus diesen Passagen verfasst. Im Gründungsartikel von Lewis und seinen Mitautoren (NeurIPS 2020) verbindet RAG ein parametrisches Gedächtnis (das interne Wissen des vortrainierten Modells) mit einem nicht-parametrischen Gedächtnis (eine im laufenden Betrieb abgefragte Dokumentenbasis), um die Leistung bei Aufgaben zu verbessern, die präzises Wissen erfordern.

Der Konsens um diese Definition ist breit: ob in der akademischen Literatur oder in allgemeinverständlichen Erklärungen wie der von NVIDIA, RAG läuft immer auf dieselbe zweistufige Mechanik hinaus, zuerst suchen, dann generieren. Die Unterschiede betreffen vor allem die technische Umsetzung (Art der Vektordatenbank, Methode zur Zerlegung der Dokumente, Anzahl der abgerufenen Passagen), nicht die Definition des Prinzips selbst.

RAG adressiert zwei bekannte Schwächen von Sprachmodellen: Halluzinationen, wenn das Modell eine plausible, aber falsche Antwort erfindet, und Veralterung, wenn sich eine Information seit dem Trainingsdatum des Modells geändert hat. Indem es die Generierung an reale, aktuelle Dokumente verankert, mindert RAG beide Probleme, ohne dass das Modell neu trainiert werden muss.

So funktioniert es

Der typische Ablauf einer RAG-Anfrage folgt drei Schritten. Zuerst wird die Frage des Nutzers (oder der Bedarf eines Agenten) in eine Suche in einer Dokumentenbasis umgewandelt, oft über eine Ähnlichkeitssuche auf vektoriellen Textrepräsentationen, manchmal kombiniert mit einer klassischen Stichwortsuche. Dann werden die relevantesten, durch diese Suche gefundenen Passagen zusätzlich zur ursprünglichen Frage in den an das Sprachmodell gesendeten Kontext eingefügt. Schließlich generiert das Modell seine Antwort gestützt auf diese Passagen, idealerweise indem es deren Inhalt zitiert oder sich daran ausrichtet, statt zu improvisieren.

Diese Mechanik eignet sich gut für die Nutzung durch einen autonomen KI-Agenten: Die Dokumentensuche kann als Werkzeug bereitgestellt werden, das der Agent selbst aufruft, sobald er urteilt, es zu brauchen, statt systematisch vor jeder Antwort ausgelöst zu werden. Das ist der Unterschied zwischen einem "statischen" RAG, vorgeschaltet vor jeder Anfrage, und einem "agentischen" RAG, bei dem das Modell entscheidet, wann es sucht, was es sucht, und ob es erneut suchen muss, wenn das erste Ergebnis nicht ausreicht.

Konkretes Beispiel bei Atako

Die öffentliche Dokumentation von Atako beschreibt die interne Architektur der Dokumentensuche seiner Agenten nicht im Detail, daher lässt sich hier nicht behaupten, Atako nutze RAG im engen Sinn des Artikels von Lewis et al. Was hingegen dokumentiert ist, ist der nächstliegende Mechanismus: Jeder Agent verfügt über eine vom Unternehmen geteilte, in Ordnern organisierte Dateibibliothek mit vorschaubaren Formaten (Markdown, CSV, JSON, PDF, HTML, Bilder, Text, Quellcode). Diese Dateien können einem Agenten lesend freigegeben oder direkt in einen dem Agenten zugeordneten Ordner gelegt werden, durch einen Menschen oder durch den Agenten selbst.

Diese Dateibibliothek, kombiniert mit dem persistenten Gedächtnis eines Agenten, das Neustarts und Pausen übersteht, übernimmt die Rolle einer externen Wissensbasis, die der Agent vor dem Antworten oder Handeln konsultieren kann, was dem Prinzip von RAG im Geiste entspricht: reale Informationen suchen, statt sich ausschließlich auf das zu stützen, was das Modell beim Training gespeichert hat. Ein für Kundensupport konfigurierter Agent kann zum Beispiel in seinem Ordner geteilte Produktdokumentation konsultieren, bevor er auf ein Ticket antwortet, statt die Antwort zu erraten.

Häufige Fehler

Erste häufige Verwechslung: glauben, RAG sei eine Funktion, die man mit einem Klick aktiviert, wie ein Schalter in einer Software. Tatsächlich ist es eine Architektur mit konkreten technischen Entscheidungen (wie man Dokumente zerlegt, wie man sie indexiert, wie viele Passagen man liefert), die die Qualität der Antworten direkt bestimmen.

Zweiter Fehler: denken, RAG beseitige Halluzinationen vollständig. Es reduziert sie, indem es die Generierung an überprüfbaren Dokumenten verankert, aber ein Modell kann eine Passage weiterhin falsch interpretieren oder eine Antwort aus irrelevanten, durch eine unvollkommene Suche gelieferten Dokumenten erzeugen. RAG verschiebt das Risiko, es beseitigt es nicht.

Dritter Fehler: RAG und Fine-Tuning verwechseln. Fine-Tuning verändert das Modell dauerhaft, indem es auf spezifischen Daten neu trainiert wird; RAG lässt das Modell unverändert und fügt ihm eine bei jeder Anfrage konsultierte externe Basis hinzu, was schneller zu aktualisieren und in der Regel günstiger ist.

Schließlich ist es ein klassischer Fehler, die Bedeutung der Qualität der Dokumentenbasis zu unterschätzen. Ein RAG-System, das auf veraltete, schlecht strukturierte oder unvollständige Dokumente zugreift, liefert schlechte Antworten, unabhängig von der Leistungsfähigkeit des dahinterliegenden Generierungsmodells.