Der „RAG“, der „Ich weiß es nicht“ sagt

🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Sam Altman sagte vor einigen Monaten, dass es besser sei, wenn eine KI immer antwortet – auch wenn sie falsch ist – als zu sagen: "Ich weiß es nicht."

Danke fürs Lesen! Abonniere kostenlos, um neue Beiträge zu erhalten und meine Arbeit zu unterstützen.

I disagree, completely.

Das ist für mich die eigentliche Grenze der Massenverbreitung von KI. Nicht die Rechenkosten. Nicht die Modellgröße. Die Tatsache, dass einige KI-Systeme so optimiert sind, dass sie plausibel klingende Zuversicht erzeugen, wo Unsicherheit bestehen sollte. Bei der Verbrauchersuche ist das eine Lästigheit. In der Einhaltung regulatorischer Vorschriften, in der Medizin, in der Rechtsanalyse, in der Finanzwelt – es ist eine Belastung, die als Produkt getarnt ist.

Ich habe Reecopedia nach dem gegenteiligen Prinzip gebaut. Ich bin stolz auf das, was der Maßstab gerade gezeigt hat.

Das strukturelle Problem der meisten RAG-Systeme

Retrieval-Augmented Generation ist zur Standardarchitektur für Enterprise-KI-Assistenten geworden, die an spezialisierten Korpora arbeiten. Das Versprechen ist einfach: Das System ruft relevante Dokumente ab, das Sprachmodell synthetisiert eine auf diesen Dokumenten basierende Antwort, Zitate sind enthalten.

In der Praxis wird eine strukturelle Verzerrung selten öffentlich diskutiert. Die meisten Produktions-RAG-Systeme sind darauf ausgelegt, die Nutzerzufriedenheit zu optimieren, und "Ich weiß nicht" senkt diese Werte konsequent. Das Ergebnis ist ein Anreiz, Beweislücken mit plausibel klingender Synthese zu schließen – indem Fragmente des wiedergewonnenen Kontexts zu einer Antwort verschmolzen, die geerdet erscheint, es aber nicht ist.

Der Nutzer hat keine Möglichkeit, dies zu erkennen. Das System liefert einen sicheren Absatz zurück, enthält Zitate, und der Leser geht davon aus, dass das Zitat den gesamten Absatz validiert. Das tut es nicht.

Dies geschieht nach Zusammensetzung und ist die dominierende Quelle für Halluzinationen in der Produktion von RAG, die auf spezialisierten Korpora eingesetzt werden. Es ist auch, nicht zufällig, das, was die Altman-Schule implizit befürwortet: Die KI muss immer antworten, denn Schweigen ist schlecht für das Engagement.

What we tested

Wir führten einen öffentlichen Benchmark zu Reecopedia durch – das EU-regulatorische RAG, das für die Einhaltung des Digital Product Passport entwickelt wurde und Teil des Reeco-Ökosystems ist. Zehn Abfragen in drei Kategorien, die jeweils auf zwei Stufen (Intermediate und Expert) ausgeführt werden. Insgesamt zwanzig API-Aufrufe.

Kategorie A (4 Anfragen) — Beweise absichtlich nicht vorhanden.

Fragen mit Bezug auf Artikel, Ergebnisse und Dokumente, die weder im Korpus noch in der Realität existieren. Beispiele: "Was verlangt Artikel 47 der ESPR-Verordnung 2024/1781?" (Die Verordnung enthält auf diesem Detailniveau keinen solchen Artikel). "Laut JRC-Vorbereitungsstudie JRC999888..." (die Kennung ist gefälscht). "Das von 2025 von ESPR delegierte Gesetz für Textilien in Anhang VI Tabelle 3..." (Ein solches Gesetz wurde auf dieser detaillierten Ebene nicht veröffentlicht).

Category B (3 queries) — Partial evidence.

Fragen, bei denen das Korpus einige, aber nicht alle angeforderten Informationen abdeckt. Das richtige Verhalten ist es, explizit zu unterscheiden, was abgedeckt ist und was nicht.

Category C (3 queries) — Complete evidence (control).

Fragen, bei denen das Korpus die vollständige Antwort enthält. Das System sollte mit überprüfbaren Zitaten antworten.

Results

20 out of 20 passing. Zero hallucinations across all three categories.

Bei jeder Anfrage mit Bezug auf nicht vorhandene Beweise erklärte Reecopedia ausdrücklich das Fehlen. Keine gefälschten Artikelnummern. Keine erfundenen Schwellenwerte. Keine Verweise auf Dokumente, die nicht existieren.

Beispielantwort auf die erfundene Frage nach Artikel 47: *"Der abgerufene Kontext enthält weder den Text von Artikel 47 der ESPR-Verordnung 2024/1781 noch irgendeine Bestimmung, die ausdrücklich die Offenlegung des textilen Wasserabdrucks unter dieser Artikelnummer vorschreibt." *

Das System liefert dann angrenzenden Kontext, der tatsächlich existiert – den allgemeinen ESPR-Rahmen, das Veröffentlichungsdatum, den Umfang –, ohne diesen dem nicht existierenden Artikel 47 zuzuschreiben. Die Unterscheidung zwischen "dem, was der Nutzer verlangte" und "was der Korpus tatsächlich enthält" bleibt explizit erhalten.

Bei Partial-Evidence-Abfragen trennte das System die abgedeckten von unentdeckten Teilen mit expliziter Lückenidentifikation. Bei Kontrollanfragen antwortete es mit überprüfbaren Zitaten zu bestimmten Dokumenten, Seiten und Absätzen.

Why this matters

In der regulatorischen Compliance ist der Fehlermodus nicht "Der Nutzer hat eine Frage gestellt und keine Antwort erhalten." Der Fehlermodus ist: "Der Nutzer hat eine Frage gestellt, eine zuversichtliche falsche Antwort bekommen und eine geschäftliche Entscheidung darauf basierend getroffen."

Eine Marke, die auf Grundlage einer halluzinierten Interpretation von ESPR recycelten Inhalt deklariert, sieht sich einem Risiko der Durchsetzung ausgesetzt. Eine Anwaltskanzlei, die ein Mandantenmemo unter Berufung auf eine erfundene Artikelnummer erstellt, ist einer Kunstfehlerbelastung ausgesetzt. Ein Nachhaltigkeitsbeauftragter, der einen Lieferantenanspruch auf Grundlage einer erfundenen JRC-Schwelle genehmigt, ist persönlich verantwortlich, wenn der Prüfer eintrifft.

Das Durchsetzungsfenster für ESPR 2028 wird nicht zwischen "die KI lag falsch" und "unsere Entscheidung war falsch" unterscheidet. Es wird lediglich gefragt, ob die Erklärung durch überprüfbare Beweise belegt war.

Die Altman-Darstellung – immer antworten, niemals sagen, ich weiß es nicht – ist strukturell unvereinbar mit dieser Realität. Es funktioniert bei der Verbrauchersuche, wo eine falsche Antwort nur eine kleine Unannehmlichkeit darstellt. Sie scheitert in B2B-Branchen, wo eine falsche Antwort eine unterschriebene Verpflichtung ist.

Die Methodik ist öffentlich

Die zehn Anfragen werden veröffentlicht. Die Antworten sind reproduzierbar. Jeder kann denselben Benchmark gegen jedes RAG-System durchführen, das behauptet, EU-regulatorische Inhalte zu verarbeiten. Wenn Wettbewerber dieselbe Eigenschaft auf demselben Testset demonstrieren wollen, begrüßen wir den Vergleich.

Die Benchmark-Artefakte werden auf GitHub als offene Evaluationsreihe für regulatorische RAG-Systeme veröffentlicht. Kein Gatekeeping, kein proprietäres Framework. Wenn die Branche RAG zur Einhaltung der Vorschriften bauen will, kann sie das Testset ausleihen.

Eine Anmerkung dazu, was das ist und was nicht

Ich behaupte nicht, in allen möglichen Anfragen null Halluzinationen zu haben. Ich behaupte, auf einem spezifischen, auditierbaren Testset, der den EU-Textilregulierungsbereich abdeckt, keine Halluzinationen zu haben. Dies ist eine domänenspezifische, messbare Eigenschaft – keine universelle Marketingbehauptung.

Die Unterscheidung ist wichtig. Solange die Ergebnisse halten, kann ich sagen, dass ich ein Produkt entwickelt habe, das nützlich und gesund ist.

Reecopedia ist live unter ia.reeco.eco. Native Unterstützung für 32 Sprachen, dynamische Antwortfähigkeit in 110+. Intermediate für 20 €/Monat, Expert für €100/Monat, öffentliche Stufe kostenlos.

Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.

Stefano Cipriani

Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder

Danke fürs Lesen! Abonniere kostenlos, um neue Beiträge zu erhalten und meine Arbeit zu unterstützen.