Innovation · 10. August 2026

RAG einfach erklärt: Wie KI aus euren eigenen Firmendaten antwortet

RAG steht für Retrieval Augmented Generation. Übersetzt: Die KI sucht zuerst in euren eigenen Dokumenten nach und formuliert die Antwort erst danach. Sie rät nicht mehr aus dem allgemeinen Gedächtnis, sondern arbeitet mit eurer Preisliste, eurem Handbuch, euren Verträgen. Und sie kann zu jeder Aussage sagen, aus welchem Dokument sie stammt.

Das ist die kurze Antwort. Der Rest zeigt, wie das technisch abläuft, woran solche Projekte scheitern, was Aufbau und Betrieb kosten und wann RAG die falsche Lösung ist.

Was heisst RAG? Die Erklärung ohne Fachchinesisch

Stell dir zwei Prüfungen vor. In der ersten musst du alles auswendig wissen. Fällt dir etwas nicht ein, schreibst du etwas Plausibles hin und hoffst. In der zweiten darfst du die Unterlagen aufschlagen, die richtige Seite suchen und daraus antworten. Ein Sprachmodell ohne RAG schreibt die erste Prüfung. Mit RAG schreibt es die zweite.

Die drei Buchstaben beschreiben genau diese Reihenfolge. Retrieval ist das Heraussuchen der passenden Stellen. Augmented ist das Anreichern der Frage mit diesen Stellen. Generation ist das Formulieren der Antwort. Erst suchen, dann anreichern, dann schreiben.

Für die Person, die fragt, ändert sich nichts. Sie tippt eine Frage, sie bekommt eine Antwort. Der Unterschied passiert dazwischen, in dem Moment, in dem das System entscheidet, welche drei Absätze dem Modell überhaupt vorgelegt werden.

Warum ein Sprachmodell euer Firmenwissen nicht kennt

Ein Sprachmodell ist ein Generalist. Es hat riesige Mengen öffentlicher Texte gesehen, aber keine Zeile aus eurem Intranet. Eure Artikelnummern, eure Rabattstaffel, die Ausnahmeregel von vor zwei Jahren: alles unbekannt.

Fragst du trotzdem, bekommst du eine Antwort. Sprachmodelle sind darauf gebaut, den plausibelsten nächsten Satz zu produzieren, nicht darauf, zu schweigen. Das Ergebnis klingt kompetent und ist im Zweifel erfunden. Fachleute nennen das Halluzination. Das ist keine Dummheit, sondern eine Eigenschaft der Bauart.

Dazu kommt der Stichtag. Jedes Modell hat einen Trainingsstand. Was danach kam, fehlt. Was nie öffentlich war, fehlt sowieso. Eure Preise von letzter Woche gehören zu beidem.

Wie eine RAG-Anfrage wirklich abläuft

RAG besteht aus zwei Teilen. Der eine läuft einmal beim Aufbau und danach bei jeder Änderung an euren Unterlagen. Der andere läuft bei jeder Frage, meist in ein bis drei Sekunden.

Der Aufbau, also die Vorbereitung eurer Dokumente, geht in vier Schritten.

1. Einlesen. PDFs, Word-Dateien, Intranet-Seiten und Ticket-Historien werden zu reinem Text. Eingescannte Dokumente brauchen vorher eine Texterkennung, sonst sind sie für die KI ein Bild ohne Inhalt.
2. Zerlegen, im Fachjargon Chunking. Der Text wird in Häppchen geschnitten, typischerweise ein paar hundert Wörter mit etwas Überlappung. Ein gutes Häppchen ist für sich allein verständlich, wie eine Karteikarte. Wo geschnitten wird, entscheidet über die halbe Antwortqualität.
3. In Zahlen übersetzen, im Fachjargon Embedding. Jedes Häppchen bekommt eine lange Zahlenreihe, die seine Bedeutung abbildet. Ähnliche Bedeutung, ähnliche Zahlenreihe. Deshalb findet die Suche später die Kündigungsfrist, wenn jemand nach «Vertrag vorzeitig beenden» fragt.
4. Ablegen. Zahlenreihe, Originaltext und Zusatzangaben wandern in eine Vektordatenbank. Zusatzangaben sind Quelle, Datum, Abteilung, Sprache und Berechtigung. Wer sie weglässt, kann später weder filtern noch belegen.

Wenn dann eine Frage kommt, laufen vier weitere Schritte, diesmal in Sekundenbruchteilen.

Der letzte Halbsatz ist wichtiger, als er klingt. «Das steht so nicht in euren Unterlagen» ist kein Mangel, sondern ein Feature. Ein System, das nie passen kann, ist eines, dem niemand glauben sollte.

KI mit den eigenen Firmendaten: was da wirklich reinkommt

«Daten» heisst hier nicht Millionen Datenpunkte und keine perfekte Datenbank. Es heisst: eure Dokumente. PDFs, Word-Dateien, Intranet-Seiten, FAQ, Produktkataloge, Qualitätshandbücher, alte Angebote, Ticket-Historien. Das meiste davon habt ihr längst. Es liegt nur an fünf Orten und in drei Versionen.

Genau hier entscheidet sich mehr, als den meisten lieb ist. Gartner prognostiziert, dass Organisationen bis 2026 sechzig Prozent jener KI-Vorhaben abbrechen, für die keine KI-tauglichen Daten bereitstehen. Ob aus eurer Ablage etwas Verlässliches wird, entscheiden vier Eigenschaften, nicht die Wahl des Modells.

• Aktualität. Ein System, das aus der Preisliste von 2023 schöpft, gibt die Preise von 2023 aus. Es tut das mit derselben Überzeugung wie bei den richtigen. Veraltete Dokumente sind der häufigste Grund für falsche Antworten, die niemand sofort bemerkt.
• Eindeutigkeit. Liegen drei Fassungen derselben Regelung im Index, bekommt ihr drei verschiedene Antworten, je nachdem welche gerade oben landet. Es braucht eine Regel, welche Quelle gewinnt, und das Löschen des Rests.
• Lesbarkeit. Eingescannte Verträge, Tabellen als Bild, Präsentationen mit Text in Grafiken. All das ist für die Maschine leer, solange es nicht aufbereitet wird. Tabellen brauchen besondere Behandlung, weil eine Zahl in einer Preistabelle etwas anderes bedeutet als dieselbe Zahl im Fliesstext.
• Berechtigungen. Die bestehenden Zugriffsrechte müssen ins Retrieval, und zwar bevor gesucht wird, nicht als Filter auf die fertige Antwort. Wer ein Dokument heute nicht öffnen darf, darf auch keine Antwort daraus bekommen. Microsoft schreibt in der eigenen Dokumentation, dass generative KI das Problem zu weit geteilter Daten verstärkt. Das ist der Punkt, der in Projekten am häufigsten zu spät kommt.

Und ein Satz, der viel Zeit spart: Ihr müsst nicht zuerst alles digitalisieren. Startet dort, wo die Unterlagen heute am besten sind, räumt auf, baut das System, nehmt dann den nächsten Bereich. Sechs Monate Vorab-Aufräumen für alle Abteilungen gleichzeitig ist der sicherste Weg, nie zu starten.

Braucht es dafür ein eigenes RAG-Tool?

Nicht zwingend. Es gibt drei Stufen, und die günstigste reicht öfter, als Anbieter zugeben.

• Stufe 1: Standardtool mit Dokumenten-Upload. Ein Team-Arbeitsbereich in ChatGPT, Copilot oder Gemini mit euren Dateien ist im Kern auch RAG, nur fertig konfiguriert. Für ein Team, ein paar Dutzend Dokumente und unkritische Inhalte ist das oft genug. Wenn es reicht, nehmt es.
• Stufe 2: Plattform-Baukasten. Die grossen Cloud-Anbieter liefern die Bausteine fertig, ihr konfiguriert Quellen, Rechte und Oberfläche. Guter Kompromiss, wenn mehrere Abteilungen dranhängen.
• Stufe 3: Eigene Lösung. Nötig, sobald Zugriffsrechte pro Rolle sauber abgebildet werden müssen, ERP oder CRM angebunden werden, das Hosting in der Schweiz liegen soll oder die Antwortqualität nachweisbar sein muss.

Der ehrliche Weg führt von unten nach oben. Erst ein paar Monate mit dem Standardtool arbeiten, merken wo es nicht mehr reicht, dann gezielt investieren. Mehr dazu in Tools oder eigene Systeme.

RAG, Fine-Tuning oder einfach ein grosses Kontextfenster?

Diese drei werden ständig verwechselt, obwohl sie unterschiedliche Probleme lösen. RAG bringt Wissen dazu. Fine-Tuning bringt Verhalten bei. Ein grosses Kontextfenster bringt Material für genau eine Anfrage mit.

Ein Team von Microsoft hat das 2023 an 910 Fragen zu Ereignissen nach dem Trainingsstichtag geprüft. Das Fazit der Autoren: Fine-Tuning ist mit RAG nicht konkurrenzfähig, wenn es um neues Faktenwissen geht. Bei einem der Modelle machte das Nachtrainieren die Ergebnisse sogar schlechter als vorher. Verhalten lässt sich antrainieren. Wissen nicht zuverlässig.

Beim Kontextfenster lohnt ein genauerer Blick, weil das Argument «die Modelle lesen heute doch Millionen Wörter, damit ist RAG überflüssig» ständig auftaucht. Die Fenster sind tatsächlich gross geworden. Nur ist Platz nicht dasselbe wie Aufmerksamkeit.

Forschende aus Stanford haben das 2023 unter dem Namen «Lost in the Middle» sauber gemessen. Bei zwanzig mitgelieferten Dokumenten lag das getestete Modell in 75,8 Prozent der Fälle richtig, wenn die entscheidende Stelle ganz vorne stand. Stand dieselbe Stelle in der Mitte, waren es 53,8 Prozent. Ohne jedes Dokument, also rein aus dem Gedächtnis, kam es auf 56,1 Prozent. Material an der falschen Stelle im Fenster war schlechter als gar kein Material.

Das Problem ist nicht verschwunden, es ist nur weitergewandert. Adobe Research prüfte 2025 dreizehn Modelle, die alle mindestens 128'000 Token beherrschen sollen. Bei 32'000 Token fielen elf davon unter die Hälfte ihrer eigenen Leistung aus kurzen Eingaben. Und das Forschungsteam von Chroma testete im Juli 2025 achtzehn aktuelle Modelle von Anthropic, OpenAI, Google und Alibaba mit demselben Ergebnis: Die Trefferquote sinkt mit wachsender Eingabelänge, selbst bei einfachen Aufgaben.

Platz im Kontextfenster ist also nicht dasselbe wie Aufmerksamkeit im Kontextfenster. Fünf richtige Absätze schlagen fünfhundert mittelmässige.

Dazu kommt die Rechnung. Wer bei jeder Frage das halbe Archiv mitschickt, bezahlt bei jeder Frage das halbe Archiv. Und Zugriffsrechte lassen sich in einem Riesenprompt nicht sauber abbilden, weil alle dasselbe Material sehen.

Wann RAG die falsche Antwort ist

Manchmal ist RAG nicht die Lösung, und wer es trotzdem baut, hat ein teures Suchfeld. Fünf Situationen, in denen wir abraten.

• Das Wissen ist nirgends aufgeschrieben. RAG findet nichts, was nicht existiert. Steckt das Entscheidende in drei Köpfen, ist die erste Aufgabe kein KI-Projekt, sondern eine Woche Dokumentation.
• Die Frage verlangt Rechnen, nicht Lesen. «Wie viele Aufträge aus der Region Ost waren letzten Monat verspätet» ist keine Suchfrage, sondern eine Datenbankabfrage. Dafür braucht die KI Zugriff auf eure Datenbank, nicht auf Textschnipsel. Wird das mit RAG gelöst, kommen Zahlen heraus, die niemand nachrechnen kann.
• Es geht um Verhalten, nicht um Wissen. Wenn die Antworten in einem bestimmten Ton, Format oder Aufbau kommen sollen, ist das eine Prompt- oder Fine-Tuning-Frage. RAG ändert daran nichts.
• Die Menge ist klein. Anthropic empfiehlt selbst, eine Wissensbasis unter rund 200'000 Token, also etwa 500 Seiten, einfach komplett in die Anfrage zu legen statt eine Suche davorzubauen. Erst darüber, oder wenn Zugriffsrechte pro Person nötig sind, lohnt sich der Aufbau.
• Niemand pflegt die Basis. Ein System ohne Verantwortlichen für die Inhalte verfällt leise. Nach einem halben Jahr suchen die Leute wieder selbst. Dann habt ihr beides bezahlt.

Die typischen RAG-Probleme, und woher sie kommen

«Warum halluziniert unser System immer noch?» ist die häufigste Frage nach dem Start. Die ehrliche Antwort lautet meistens: Es halluziniert gar nicht. Es hat die richtige Stelle nie gesehen. Ein Forschungsteam der Deakin University in Australien hat 2024 drei RAG-Systeme aus Forschung, Bildung und Medizin untersucht und daraus sieben Stellen benannt, an denen solche Systeme brechen. Ihr wichtigster Befund ist unbequem und deckt sich mit unserer Erfahrung: Die Belastbarkeit eines RAG-Systems lässt sich nicht am Reissbrett konstruieren, sie entsteht im Betrieb.

In der Praxis lassen sich diese Bruchstellen vier Zonen zuordnen. Wer weiss, in welcher sein Problem sitzt, sucht nicht am falschen Ort.

Die Ursachen dahinter wiederholen sich. Sechs Punkte sehen wir in fast jedem Projekt, das nicht liefert.

• Veraltete und widersprüchliche Inhalte. Drei Fassungen derselben Richtlinie liegen im Index, und das System hat keinen Grund, die neueste zu bevorzugen, solange ihr ihm keinen gebt.
• Falsch geschnitten. Zu kleine Häppchen können bestimmte Fragen gar nicht beantworten, zu grosse bringen Rauschen mit. Die richtige Grösse hängt an euren Dokumenten und lässt sich nicht raten, nur messen.
• Vokabellücke zwischen Frage und Dokument. Der Kunde fragt nach «Garantie», im Handbuch steht «Gewährleistungsfrist». Ohne die Kombination aus Bedeutungssuche und Stichwortsuche plus einen zweiten Sortierdurchgang fällt so etwas durch.
• Zugriffsrechte fehlen im Retrieval. Wenn das System alles durchsucht, was technisch erreichbar ist, kann eine harmlose Frage ein Protokoll der Geschäftsleitung sichtbar machen. Nicht weil jemand angreift, sondern weil eine offene Freigabe von 2019 nie jemand geprüft hat.
• Gescanntes, Tabellen und Bilder. Was nicht als Text vorliegt, existiert für das System nicht. Ein erschreckender Teil des Firmenwissens liegt genau so vor.
• Niemand misst, ob es besser wird. Ohne festen Satz von Testfragen mit bekannten Antworten ist jede Verbesserung Bauchgefühl. Man ändert die Häppchengrösse, es fühlt sich besser an, und keiner weiss es.

Der gemeinsame Nenner: Die meisten dieser Punkte liegen vor dem Sprachmodell, in den Daten und in der Suche. Ein besseres Modell heilt sie nicht, es formuliert die falsche Antwort nur eleganter.

Wie stark die Quelle den Ausschlag gibt, zeigt eine Studie in JMIR Cancer von 2025 an 62 medizinischen Fragen. Ohne Quellenanbindung lag die Halluzinationsrate bei rund 40 Prozent. Mit einer kuratierten Fachquelle fiel sie auf null bis sechs Prozent. Mit beliebigen Suchmaschinentreffern als Quelle blieb sie bei 19 bis 35 Prozent, sobald die Frage über das Material hinausging. Dieselbe Technik, drei völlig verschiedene Ergebnisse.

Und damit die Erwartung stimmt: RAG schaltet Halluzinationen nicht ab. Forschende der Stanford University prüften 2024 kommerzielle Rechtsrecherche-Werkzeuge, die als halluzinationsfrei beworben wurden. Bei über 200 Rechtsfragen lagen sie in 17 bis 34 Prozent der Fälle daneben. Besser als ohne RAG, aber nicht fehlerfrei. Wer das verspricht, verspricht zu viel.

Was diese Probleme in der Praxis verhindert

Es gibt keinen Trick, aber eine Reihenfolge, die funktioniert. Sieben Massnahmen, die in unseren Projekten den Unterschied machen.

1. Erst der Testsatz, dann das System. Schreibt 50 bis 200 echte Fragen auf, deren richtige Antwort ihr kennt. Das ist euer Massstab. Ohne ihn diskutiert ihr später über Gefühle.
2. Eine gültige Fassung pro Thema. Aufräumen im gewählten Bereich, alte Versionen raus oder klar markiert, eine Regel für den Konfliktfall.
3. Zusatzangaben an jedes Häppchen. Quelle, Datum, Gültigkeit, Abteilung, Berechtigung. Damit könnt ihr filtern, priorisieren und belegen. Ohne sie nur hoffen.
4. Hybride Suche plus Re-Ranking. Bedeutungssuche und Stichwortsuche zusammen, danach ein zweiter Durchgang, der die Treffer neu sortiert. Der Hebel mit dem besten Verhältnis von Aufwand zu Wirkung.
5. Rechte vor der Suche, nicht nach der Antwort. Der Index kennt zu jedem Häppchen die erlaubten Rollen, gefiltert wird vor der Suche. Alles andere ist eine Wette.
6. Quellenangabe und «weiss ich nicht» als Pflicht. Jede Antwort verlinkt die Stelle, aus der sie stammt. Reicht die Beleglage nicht, sagt das System das.
7. Ein fester Pflegerhythmus mit Namen dran. Wöchentlich zwanzig bis fünfzig Antworten stichprobenweise prüfen, Feedback auswerten, Inhalte nachziehen. Wenn Leute wieder selbst suchen, ist die Qualität schon abgesackt.

Wie viel Punkt vier bringt, hat Anthropic 2024 nachgemessen und veröffentlicht. Gezählt wurde, wie oft die richtige Textstelle nicht unter den zwanzig besten Treffern landet.

Wie lange dauert der Aufbau, und was kostet er?

Für eine Wissensdatenbank mit vielen Dokumenten liegt der Erfahrungswert bei CHF 25'000 bis 80'000 und ein bis drei Monaten bis zum Praxiseinsatz. Ein eng geschnittener erster Anwendungsfall geht darunter, eine Lösung über mehrere Systeme und Sprachen darüber. Das sind Orientierungswerte aus unseren Projekten, keine Offerten.

Der Ablauf ist fast immer gleich. Ein bis zwei Wochen Verstehen: Interviews, Sichtung der Unterlagen, Zieldefinition. Zwei bis sechs Wochen Bauen und Testen mit euren echten Fragen. Ein bis zwei Wochen Live-Gang, zuerst für eine kleine Gruppe. Danach die Phase, die nie aufhört.

Im Betrieb sind die Zahlen kleiner, als viele erwarten. Nutzungsgebühren liegen als Erfahrungswert bei einem halben bis fünf Rappen pro Anfrage, Hosting zwischen CHF 50 und 500 im Monat. Vergessen wird fast immer die eigene Zeit: zwei bis vier Stunden pro Woche fürs Testen im Aufbau, danach dauerhaft dasselbe für die Pflege. Wer diese Stunden nicht einplant, hat kein günstiges Projekt, sondern ein blindes. Die ganze Rechnung steht in Was kostet KI ehrlich.

Wenn ihr unsicher seid, ob sich das trägt, ist der Prototyp der billigste Weg zur Antwort. Für rund CHF 10'000 in unter zwei Wochen klärt ihr die Frage, an der alles hängt: Findet das System auf euren echten Unterlagen die richtigen Stellen?

Datenschutz: wo eure Dokumente landen

Bei RAG geht nicht euer ganzes Archiv an ein Sprachmodell, sondern pro Frage ein paar Textstellen. Das ist ein echter Vorteil gegenüber dem Ansatz, alles ins Modell zu kippen. Es ist aber keine Entwarnung, denn genau diese Textstellen können Personendaten enthalten.

Das revidierte Datenschutzgesetz gilt seit dem 1. September 2023. Drei Punkte sind für RAG praktisch relevant. Ein Prompt mit Personendaten ist eine Datenbekanntgabe, und geht er ins Ausland, braucht das eine Grundlage. Für den Anbieter braucht es einen Vertrag, der Zweck, Sicherheit und Unterauftragnehmer regelt. Und ein RAG-System über HR-Dokumente fällt regelmässig in die Kategorie, für die eine Datenschutz-Folgenabschätzung nötig wird.

Swiss-hosted löst die Frage, wo die Daten liegen. Es löst nicht die Frage, ob eure Bearbeitung zweckgebunden, verhältnismässig und transparent ist. Wir beziehen Modelle aus Schweizer Rechenzentren, wenn Personendaten oder Betriebsgeheimnisse durch das System fliessen. Der Mehraufwand ist klein, der Unterschied in der ersten Legal-Prüfung gross. Die Details stehen in KI und Datenschutz in der Schweiz. Das ist keine Rechtsberatung, für Verbindliches fragt eure Juristen.

Was nach RAG kommt

Die nächste Stufe heisst agentische Suche. Statt einmal zu suchen und dann zu antworten, zerlegt das System eine komplizierte Frage in Teilfragen, sucht mehrfach, prüft ob die Belege reichen, und sucht bei Bedarf nochmals mit anderen Begriffen. Es kann zwischendurch in eine Datenbank schauen statt nur Text zu lesen. Bei einer Frage wie «Welche Rahmenverträge laufen im nächsten Quartal aus und welche Kündigungsfristen gelten dort» entscheidet das über brauchbar oder unbrauchbar.

Der Preis dafür ist Rechenzeit. Anthropic hat gemessen, dass agentische Systeme rund viermal so viele Token verbrauchen wie ein normaler Chat, Systeme mit mehreren zusammenarbeitenden Agenten etwa fünfzehnmal so viele. Für die Standardfrage aus dem Kundendienst lohnt sich das nicht. Für die Analyse, an der sonst ein Mensch zwei Stunden sitzt, sehr wohl. Mehr dazu in KI-Agenten in der Industrie.

Was sich dabei nicht ändert: Die Basis bleibt dieselbe. Ein Agent, der in einer unaufgeräumten Ablage sucht, findet unaufgeräumte Antworten. Nur teurer.

Wichtig zu merken

RAG ist keine Zauberei, sondern eine gut gebaute Suche mit einem Sprachmodell am Ende. Der Erfolg entscheidet sich deshalb nicht am Modell, sondern an eurer Ablage, an der Suche und an den Zugriffsrechten. Wer diese drei ernst nimmt, bekommt ein Werkzeug, das aus euren echten Unterlagen antwortet und zeigt, woher. Wer sie überspringt, bekommt schnelle Antworten, denen niemand traut.

Wollt ihr wissen, ob sich das für euren Fall lohnt, schauen wir uns eure Unterlagen an und sagen ehrlich, was geht. In der Beratung sortieren wir den Hebel, in der Entwicklung bauen wir das System, im Betrieb halten wir es aktuell. Start ist ein kostenloses Erstgespräch.

Von Andrin Knoll, Gründer & CEO, IntelliLab GmbH.

Jetzt kontaktieren