> For the complete documentation index, see [llms.txt](https://docs.blockbrain.ai/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.blockbrain.ai/de/for-users/all-about-knowledge-management/abruffqualitat-und-benchmarks.md). # Abruffqualität und Benchmarks Wie wir die Abruffqualität messen, was die Zahlen bedeuten, was sie nicht abdecken und was sie bei der Wahl einer Qualitätsstufe aussagen. Eine Wissensdatenbank ist nur nützlich, wenn sie die richtige Passage findet. Wir messen das fortlaufend anhand öffentlicher, unabhängig erstellter Benchmarks statt uns auf unseren eigenen Eindruck zu verlassen, und diese Seite zeigt, was diese Messungen aussagen. Jeder der unten aufgeführten Datensätze ist öffentlich und offen lizenziert, sodass die Zahlen zitierfähig sind. {% hint style="info" %} **Lesen** [**Was diese Benchmarks Ihnen nicht sagen**](#what-these-benchmarks-do-not-tell-you) **bevor Sie Schlussfolgerungen für Ihre eigene Sammlung ziehen.** Diese Korpora sind leichter zu lesen als die meisten realen Kundendokumente, wodurch die Precision-Stufe systematisch zu niedrig ausfällt. {% endhint %} ## Was wir messen und wie | Benchmark | Was er testet | | ----------------------- | --------------------------------------------------------------------------------------------------------------------------------------------------- | | **EnterpriseRAG-Bench** | Ein realistisches Unternehmenskorpus: 5.722 Dokumente in echten Ordnern, einschließlich falsch abgelegter Dokumente und widersprüchlicher Versionen | | **CUAD** | 102 kommerzielle Verträge, abgefragt sowohl über den Vertragsnamen als auch über den Klauseltyp | | **GermanQuAD** | Fragebeantwortung auf Deutsch über 474 Dokumente hinweg | | **TAT-QA** | Tabellen in Finanzberichten | Drei Dinge an der Methode sind für das Lesen der Ergebnisse wichtig: * **Jeder Lauf durchläuft das echte Produkt.** Dokumente werden über dieselbe Oberfläche hochgeladen, die Sie verwenden, mit derselben Pipeline indexiert und über dieselben Chat- und Assistentenpfade abgefragt. Nichts ist simuliert. * **Wir vergleichen Gleiches mit Gleichem.** Ein Stufenvergleich ist nur gültig, wenn beide Wissensdatenbanken dieselben Dokumente enthalten. Wir haben gemessen, dass eine halb gefüllte Sammlung etwa 15 Punkte **höher**, schlicht weil es weniger gibt, worüber man falsch liegen kann, daher bestätigt jeder Vergleich hier die Dokumentanzahl auf beiden Seiten. * **Antworten werden von einem Sprachmodell bewertet** anhand der Referenzantwort des Benchmarks. ### Die Headline-Zahl lesen Die Hauptkennzahl ist **recall\@5**: befand sich die vom Benchmark als korrekt markierte Passage unter den fünf besten Ergebnissen? **Es ist ein strenges Maß und unterschätzt die tatsächliche Leistung**, aus drei Gründen: 1. Ein KI-Assistent bekommt weit mehr als fünf Passagen und antwortet aus allen. Eine korrekte Passage auf Position neun liegt dem Modell vor und zählt hier dennoch als Fehlschlag. 2. Diese Benchmarks markieren genau eine Passage als korrekt. Reale Dokumente nennen dieselbe Tatsache an mehreren Stellen, und das Finden einer anderen korrekten Passage zählt ebenfalls als Fehlschlag. 3. Es sagt nichts über die Antwort selbst aus. Das messen die untenstehenden Zahlen zur Antwortqualität, und die sind viel höher. Wir berichten außerdem **wie hoch** die richtige Passage rangierte, nicht nur, ob sie auftauchte, denn ein Ergebnis, das technisch vorhanden, aber vergraben ist, ist eine schlechtere Erfahrung, als die Headline-Zahl vermuten lässt. Bei einer einfachen Sammlung können die beiden gegensätzliche Geschichten erzählen, deshalb betrachten wir beide. **Unterschiede unter etwa drei Punkten als Rauschen betrachten.** Wir haben die Lauf-zu-Lauf-Varianz der Pipeline gemessen, indem wir dieselbe Sammlung dreimal mit nichts Wesentlichem geändert bewertet haben, und sie bewegte sich um bis zu 3,4 Punkte in beide Richtungen. ## Antwortqualität Die Zahlen, die dem entsprechen, was Sie tatsächlich erleben. | Benchmark | Antwort bleibt in Ihren Dokumenten verankert | Antwort geht auf die Frage ein | | ----------------------- | -------------------------------------------- | ------------------------------ | | EnterpriseRAG-Bench | 0.76 | 1.00 | | CUAD, nach Vertragsname | 0,71 bis 0,73 | 0.98 | | CUAD, nach Klauseltyp | 0,90 bis 0,95 | 0.99 | | GermanQuAD | 0,93 bis 0,97 | 0,88 bis 0,94 | | TAT-QA | 0,75 bis 0,83 | 0,97 bis 1,00 | Die Antwortrelevanz liegt überall zwischen 0,88 und 1,00, was bedeutet, dass der Assistent die gestellte Frage beantwortet. Verankerung, also die Frage, ob die Antwort an den abgerufenen Dokumenten verankert bleibt statt abzuschweifen, ist die anspruchsvollere Messgröße und reicht je nach Schwierigkeit der Dokumente von 0,71 bis 0,97. ## Ergebnisse nach Stufe Recall\@5 für eine direkte Suche in der Wissensdatenbank. | Benchmark | Schnell | Ausgewogen | Precision | | --------------------------- | -------- | ---------- | ------------------- | | **GermanQuAD** | **1.00** | **1.00** | 0.99 | | **CUAD, nach Klauseltyp** | 0.99 | 0.98 | **1.00** | | **TAT-QA** | 0.93 | 0.93 | **0.94** | | **EnterpriseRAG-Bench** | 0.90 | **0.91** | noch nicht gemessen | | **CUAD, nach Vertragsname** | 0.80 | 0.82 | **0.88** | Und wenn ein KI-Assistent selbst sucht, was deutlich mehr Passagen zurückgibt und der schwierigere Test ist: | Benchmark | Schnell | Ausgewogen | Precision | | --------------------------- | -------- | ---------- | ------------------- | | **GermanQuAD** | 0.98 | 0.98 | **0.99** | | **CUAD, nach Vertragsname** | 0.86 | **0.92** | 0.83 | | **CUAD, nach Klauseltyp** | 0.75 | 0.73 | **0.76** | | **TAT-QA** | 0.70 | 0.63 | **0.72** | | **EnterpriseRAG-Bench** | **0.70** | 0.69 | noch nicht gemessen | ## Was die Ergebnisse tatsächlich aussagen ### Keine Stufe gewinnt überall Jede der drei gewinnt irgendwo und verliert irgendwo. Es gibt keine einzelne beste Konfiguration, nur eine, die zu einer bestimmten Art von Dokument passt. Deshalb gibt es die Stufensteuerung, und deshalb ist die Anleitung zu Qualitätsstufen und erweiterten Einstellungen nach Dokumenttypen und nicht nach einem Ranking ausgerichtet. ### Eine einfache Sammlung sagt Ihnen nichts über Ihre Stufenwahl GermanQuAD ist der klarste Fall. Alle drei Stufen liegen auf beiden Pfaden zwischen 0,98 und 1,00, innerhalb der jeweiligen Messungenauigkeit voneinander. Bei einer Sammlung aus sauberem Enzyklopädietext mit einer gut formulierten Frage, **findet jede Stufe das richtige Dokument**, und die Stufensteuerung entscheidet nicht über Ihr Ergebnis. Die Ergebnisse zum Klauseltyp sagen dasselbe. Das ist wichtig zu wissen, bevor Sie für eine höhere Stufe bezahlen: Wenn Ihre Dokumente unkomplizierter Text sind, reicht sehr wahrscheinlich die günstigste Stufe. ### Wenn die Rangkennzahl von Recall abweicht Bei GermanQuAD sind die drei Stufen gleichauf bei **ob** das richtige Dokument gefunden wird, und nicht gleichauf bei **wo es in der Liste landet**. Precision stuft es bei einer breiten Assistentensuche etwas niedriger ein als die beiden anderen und bei einer engen direkten Suche etwas höher. Das ist der Wissensgraph in Aktion, und es entspricht genau dem, was wir absichtlich gemessen haben (nächster Abschnitt). Deshalb berichtet diese Seite beide Messgrößen: Bei einer einfachen Sammlung hätte Recall allein gesagt, dass die Stufen identisch sind, was nicht stimmt. ### Tabellenverarbeitung und eine Schlussfolgerung, die wir zurückziehen mussten TAT-QA umfasst Tabellen in Finanzberichten, und die drei Stufen lesen Tabellen auf drei unterschiedliche Arten. | Tabelleneinstellung | Stufe | Recall\@5, Assistentensuche | | ------------------- | ---------- | --------------------------- | | Standard | Schnell | 0.70 | | Erweitert | Ausgewogen | 0.63 | | Maximum | Precision | **0.72** | Es ist verlockend, das als „Erweitert ist die schwache Einstellung“ zu lesen, und ein früherer Entwurf dieser Seite sagte genau das. **Wir haben es direkt getestet, und es war falsch.** Wenn man die mittlere Stufe mit der **Standard** Tabelleneinstellung laufen lässt und sonst alles identisch hält, ergibt sich **0.64**, was statistisch dasselbe ist wie ihr 0,63 mit Erweitert. Das Ändern der Tabelleneinstellung machte die Lücke nicht wett, also ist die Tabelleneinstellung nicht die Ursache dafür. Was übrig bleibt, ist enger gefasst und dennoch nützlich: * **Maximum liegt bei Tabellen vorn**, was dazu passt, dass es sie aus einem Bild der Seite liest. * **Wenn Tabellen nicht Ihr Engpass sind, wird das alleinige Ändern dieser Einstellung Ihre Ergebnisse nicht verändern.** Wir wissen noch nicht, was den Wert der mittleren Stufe bei diesem Benchmark erklärt, und wir sagen das lieber offen, als eine saubere Erklärung zu wiederholen, die wir widerlegt haben. ### Der Wissensgraph verändert die Rangfolge, nicht das Gefundene Wir haben das direkt getestet, indem wir dieselben Dokumente und dieselben Fragen mit deaktiviertem Beitrag des Wissensgraphen zur Rangfolge ausgeführt haben. Er änderte fast nie **ob** ob die richtige Passage gefunden wurde. Er änderte **wo in der Liste** sie erschien, und die Richtung hing davon ab, wie viele Passagen berücksichtigt wurden: * Bei einer engen, präzisen Suche verbesserte er die Rangfolge um etwa 16 Punkte. * Bei einer breiten Suche mit vielen berücksichtigten Passagen verschlechterte er die Rangfolge um bis zu 13 Punkte. Wir haben nun dasselbe Muster in drei separaten Benchmarks gesehen, darunter einen, der anders gemessen wurde, daher sind wir überzeugt, dass es echt ist und nicht eine Eigenart eines einzelnen Korpus. Der Wissensgraph lohnt sich also für die Suche bei präzisen, stark entitätslastigen Sammlungen wie Verträgen, und er lohnt sich, bei allgemeinen Sammlungen ausgeschaltet zu bleiben. ### Reranking war die Verbesserung mit dem höchsten Nutzen Das Hinzufügen eines Reranking-Modells, also eines zweiten Modells, das die Kandidatenpassagen anhand der Frage erneut liest und neu ordnet, verbesserte die Ergebnisse der direkten Suche bei einem Benchmark um 26 Prozentpunkte. Es kostet bei der Indexierung nichts und einen Aufruf pro Frage, und es läuft jetzt in jeder Stufe. ### Bei sauberen Textsammlungen hält die günstigste Stufe stand EnterpriseRAG-Bench ist hier das größte Korpus: 5.722 Dokumente mit echter Ordnerstruktur, fehlabgelegten Dokumenten und widersprüchlichen Versionen. Jeder Unterschied zwischen Schnell und Ausgewogen liegt innerhalb der Messungenauigkeit. Es ist besser, das offen zu sagen, statt es zu verschleiern: **Bei Sammlungen aus gewöhnlichem maschinell lesbarem Text lohnt sich die Bezahlung für KI-Analyse pro Passage nicht automatisch.** Lesen Sie den nächsten Abschnitt, bevor Sie diese Erkenntnis auf Ihre eigenen Dokumente anwenden, denn sie betrifft dieses Korpus und nicht Ihres. Die Kostenseite dieses Kompromisses wird bei Qualitätsstufen und erweiterten Einstellungen gemessen: Bei reinem Text indexiert die mittlere Stufe ungefähr zum zehnfachen Preis der günstigsten, während bei Dokumenten mit Bildern oder Scans die Stufen innerhalb eines Faktors von zwei zueinander kosten, weil das Lesen der Seite auf jeder Stufe den Großteil der Rechnung ausmacht. ## Was diese Benchmarks Ihnen nicht sagen Öffentliche Benchmarks sind die ehrliche Art, Retrieval zu messen, weil wir sie nicht gebaut haben und nicht darauf feinabstimmen können. Sie haben einen wesentlichen blinden Fleck, und der ist für die Precision-Stufe am wichtigsten. ### Diese Korpora sind leichter zu lesen als Ihre Dokumente Fast alles oben ist **digital geboren, maschinell lesbarer Text**: synthetische Bürodokumente, Vertragstexte, Enzyklopädieartikel. Von den vier Sets stellt nur das zu Finanzberichten die Tabellen wirklich auf die Probe. Keines davon stellt die Dinge auf die Probe, die Kundendokumente tatsächlich schwierig machen: * Gescannte Seiten und fotografierte Dokumente * Dichte Layouts mit mehreren Spalten * Konstruktionszeichnungen, Schaltpläne und Abbildungen, die die Antwort enthalten * Tabellen, die sich über mehrere Seiten erstrecken oder in einem Bild liegen * Handschrift, Stempel und Anmerkungen * Mehrere Sprachen innerhalb eines Dokuments Wir messen das tatsächlich, und zwar auf Datensätzen, die genau für diesen Zweck erstellt wurden. Ihre Lizenzen erlauben Forschung und interne Nutzung, aber keine Veröffentlichung, daher können ihre Ergebnisse hier nicht erscheinen. **Das ist eine Lizenzbeschränkung und nicht das Fehlen von Tests**, und deshalb wirkt diese Seite ordentlicher, als die zugrunde liegende Realität ist. ### Das heißt, diese Zahlen unterschätzen Precision wahrscheinlich Das ist die wichtige Konsequenz, also ist es sinnvoll, sie offen anzusprechen. Alles, was die Precision-Stufe gegenüber Ausgewogen hinzufügt, zielt auf schwer lesbare Dokumente ab: das Lesen komplexer Tabellen aus einem Bild der Seite, bedeutungsbasierte Passagegrenzen und, in der Konfiguration, die wir benchmarken, stärkere OCR- und Vision-Modelle. Bei einem Korpus aus sauberem digitalem Text **hat das alles nichts damit zu tun**. Die Stufe zahlt ihre vollen Kosten und bekommt keine Gelegenheit, ihren Vorteil zu zeigen, daher landet sie ungefähr auf dem Niveau der günstigeren Stufen. Genau das ist das Muster oben. Precision liegt bei jedem sauberen Text-Benchmark gleichauf mit oder vor den anderen Stufen, aber nur um einen Unterschied, der zu klein ist, um zu zählen, und führt nur bei Tabellen klar, dem einen veröffentlichten Korpus, der eine ihrer Stärken nutzt. Lesen Sie „die günstigste Stufe reicht“ bitte nicht als allgemeine Aussage über Ihre Sammlung. Es ist eine Aussage über Korpora aus sauberem Text. Wenn Ihre Dokumente gescannte Verträge, fotografierte Formulare, technische Handbücher voller Abbildungen oder Berichte mit Zahlen in komplexen Tabellen sind, kann die Lücke zwischen den Stufen bei Ihren Daten erheblich größer sein, als die obigen Tabellen vermuten lassen, und zwar zugunsten von Precision. ### Ein Benchmark kann auch das Falsche messen Noch ein Hinweis, weil es uns bei der Vorbereitung dieser Seite aufgefallen ist. Einige Benchmarks bewerten ein Ergebnis, indem sie eine abgerufene Passage **genau** mit ihrer eigenen Referenzpassage abgleichen. Das belohnt eine Stufe, die Passagen zufällig genauso schneidet wie der Benchmark, und bestraft eine, die sie anders schneidet, selbst wenn sie exakt den richtigen Inhalt abgerufen hat. Bei GermanQuAD setzte diese Bewertungsmethode Precision 13 Punkte unter die anderen Stufen. Auf einer vergleichbaren Grundlage erneut gemessen, lag Precision tatsächlich geringfügig **vorn**. Die Lücke von 13 Punkten maß Passagengrenzen, nicht Retrieval-Qualität. Wir erwähnen das, weil es die Art von Fehler ist, die Benchmark-Tabellen in eine Richtung irreführend macht, die niemand bemerkt, und weil es ein weiterer Grund ist, auf Ihren eigenen Dokumenten zu testen, statt einer Tabelle zu vertrauen. ### Precision ist auch die am wenigsten gemessene Stufe Sie wurde bei vier der fünf obigen Benchmarks gemessen, gegenüber allen fünf bei den beiden anderen Stufen, weil ihre Indexierung mit ungefähr zwei Dokumenten pro Minute läuft und eine vollständige Messung daher langsam und teuer ist. Wo eine Zelle „noch nicht gemessen“ sagt, bedeutet das genau das, und es sollte nicht als schlechtes Ergebnis gelesen werden. ### Wie Sie das für Ihre eigenen Dokumente entscheiden Benchmarks dienen dazu, einen Ausgangspunkt zu wählen. Sie können die Frage mit Ihren Daten nicht entscheiden, und bei schwer lesbaren Dokumenten sind sie nicht einmal ein guter Anhaltspunkt. Wenn das Ihre Sammlung beschreibt: 1. Legen Sie eine repräsentative Stichprobe in zwei Wissensdatenbanken an, eine auf Ausgewogen und eine auf Precision. Nehmen Sie Ihre schwierigsten Dokumente und nicht die ordentlichsten. 2. Stellen Sie beiden dieselben zehn oder zwanzig echten Fragen. 3. Vergleichen Sie die Antworten **und die Passagen, auf die sie verweisen**, nicht nur, ob eine Antwort erschienen ist. Dieser Vergleich an Ihren eigenen Dokumenten ist mehr wert als jede Zahl auf dieser Seite. Ihr Account-Team kann Ihnen helfen, ihn einzurichten. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation by asking a question. Perform an HTTP GET request on the following URL with the `ask` and `goal` query parameters: ``` GET https://docs.blockbrain.ai/de/for-users/all-about-knowledge-management/abruffqualitat-und-benchmarks.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is what the user is ultimately trying to achieve, the reason they need the answer. Sharing it helps GitBook give you a better, more relevant answer. A goal is most helpful when it describes the outcome the user wants rather than restating the question. For example, with `ask=how do I create an API token`, a goal like `automate deployments from our CI pipeline` lets GitBook tailor the answer to that use case. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.