Intelligente Wissensdatenbanken
Die neuere Generation mit intelligenterer Dokumentenverarbeitung, erstklassigen Ordnern, umfangreicherer Retrieval-Funktion und Knowledge-Graph-Verständnis.
Was ist an einer Smart-Wissensdatenbank intelligenter
Eine Smart-Wissensdatenbank liest Ihre Dokumente gründlicher und durchsucht sie präziser als eine Standard-Wissensdatenbank:
Sie liest gescannte Seiten und Fotos mit OCR und beschreibt Bilder, Diagramme und Schaubilder sodass sie durchsuchbar werden.
Sie versteht Tabellen als Zeilen und Spalten, nicht nur als Textblock (sofern für Ihre Organisation aktiviert).
Sie schreibt eine kurze Zusammenfassung und Tags für jede Passage sowie eine Zusammenfassung für jedes Dokument und jeden Ordner.
Sie erstellt einen schlanken Wissensgraphen der Personen, Unternehmen und Dinge, die in Ihren Dokumenten erwähnt werden, sodass Antworten diesen Verbindungen folgen können.
Ordner sind erstklassig: Sie haben eigene Zusammenfassungen und können verwendet werden, um eine Suche einzugrenzen.
Die Suche kombiniert bedeutungsbasiertes und schlüsselwortbasiertes Matching, und Zitate können Ihnen die ursprüngliche PDF-Seite mit hervorgehobener Antwort.
Erweiterte Einstellungen (nur Smart)
Eine Smart-Wissensdatenbank gibt Ihnen unter Erweiterte Smart-KB-Einstellungenfeine Kontrolle darüber, wie Dokumente verarbeitet und abgerufen werden. Die Standardwerte sind so abgestimmt, dass sie sofort gut funktionieren, sodass Sie diesen Abschnitt getrost überspringen und später ändern können. Wenn Sie die Einstellungen anpassen möchten, sind die nützlichsten Optionen:
Semantisches Chunking. Standardmäßig aktiviert. Blockbrain trennt Dokumente an natürlichen Bedeutungswechseln statt nach einer festen Länge, sodass jede Passage zusammenhängend bleibt. Chunk-Größe und Überlappung sind anpassbar.
KI-Tags und Zusammenfassungen generieren. Standardmäßig aktiviert. Blockbrain schreibt während der Verarbeitung Tags und Zusammenfassungen pro Dokument, was die Suche bei allgemeinen Fragen verbessert.
Tabellenverarbeitung. So werden Tabellen in Ihren Dokumenten gelesen: Aus, Standard (Zeilen und Spalten), Erweitert (lernt ein sich wiederholendes Spaltenlayout) oder Maximum (liest komplexe Tabellen in digitalen PDFs aus dem Seitenbild). Höhere Stufen fallen sicher zurück, sodass Ergebnisse nie schlechter werden. Verfügbar, sofern für Ihre Organisation aktiviert.
Systemmodelle. Welche Modelle Anreicherung, Vision (Bildbeschreibung), OCR und Reranking übernehmen. Jedes bietet eine Systemvorgabe, und Sie überschreiben sie nur mit gutem Grund, weil sie Verarbeitungsaufwand und Qualität beeinflusst.
Wissensgraph aufbauen. Standardmäßig deaktiviert. Aktivieren Sie es, um die Entitäten in Ihren Dokumenten zu extrahieren und in einen Wissensgraphen zusammenzuführen, der entitätsbewussten Abruf und die Graph-Ansicht ermöglicht. Das verursacht pro Dokument zusätzliche Verarbeitungskosten, und das Aktivieren verarbeitet vorhandene Dokumente erneut.
Ordnerbezogener Abruf. Verwendet die Zusammenfassung und Beschreibung jedes Ordners, um den Abruf auf den richtigen Ordner zu lenken. Empfohlen für gut organisierte Wissensdatenbanken.
Einstellungen, die ändern, wie Dokumente gelesen werden (Chunking, Modelle, Tabellenverarbeitung), gelten für danach hinzugefügte Dokumente. Um sie auf bestehende Dokumente anzuwenden, indizieren Sie diese Dokumente neu (siehe Dokumente neu verarbeiten).
Dokumente hochladen
Unterstützte Dateitypen
Wie bei der Standard-Datenbank.
Wie Dokumente verarbeitet werden
Wenn Sie eine Datei hochladen, durchläuft Blockbrain sie im Hintergrund automatisch eine Verarbeitungs-Pipeline. Jeder Schritt ist dauerhaft: Wenn etwas schiefgeht (zum Beispiel ein vorübergehendes Problem mit einem Modell), wird der Schritt automatisch erneut versucht, ohne die bereits erfolgreich abgeschlossene Arbeit zu wiederholen. Hier ist vereinfacht beschrieben, was passiert.
Lesen der Datei. Blockbrain erkennt den Dateityp und extrahiert den Inhalt als Text, Tabellen und Bilder, wobei festgehalten wird, von welcher Seite jedes Element stammt.
Aufteilung in Passagen. Der Text wird in überlappende Passagen aufgeteilt, die für die Suche geeignet sind, wobei natürliche thematische Grenzen bevorzugt werden, damit jede Passage zusammenhängend lesbar bleibt.
Gescannte Seiten und Bilder lesen. Seiten mit wenig oder keinem auswählbaren Text werden per OCR gelesen. Bilder, Diagramme und Schaubilder werden von einem Vision-Modell beschrieben, und diese Beschreibung wird zu durchsuchbarem Text. Das Bild selbst wird sicher gespeichert und nur von der Wissensdatenbank aus referenziert.
Tabellen verstehen. Wenn die Tabellenverarbeitung für Ihre Organisation aktiviert ist, werden Tabellen als Zeilen und Spalten gelesen, damit der Abruf mit den tatsächlichen Zellwerten abgleichen kann. Die leistungsfähigste Stufe liest auch Tabellen in gewöhnlichen digitalen PDFs wie Rechnungen und Belegen. Wenn eine Tabelle nicht sauber gelesen werden kann, fällt sie sicher auf reinen Text zurück, sodass Ergebnisse nie schlechter werden.
Wiederholungen entfernen. Wiederkehrende Standardtexte (Kopfzeilen, Fußzeilen, Haftungsausschlüsse, Seitenzahlen) werden zusammengefasst, damit sie echte Antworten nicht verdrängen.
Zusammenfassungen und Tags schreiben. Blockbrain schreibt für jede Passage eine kurze Zusammenfassung und eine Reihe von Tags sowie optional einen kleinen Wissensgraphen der Beziehungen, die es findet. Wenn Sie ein Tag-Vokabular festlegen, werden Tags auf Ihre Standardbegriffe abgebildet.
Durchsuchbar machen. Jede Passage wird in einen Vektor umgewandelt, der ihre Bedeutung erfasst, und alles wird gemeinsam gespeichert, sodass ein Dokument als Ganzes durchsuchbar wird.
Dokumente und Ordner zusammenfassen. Zum Schluss schreibt Blockbrain eine Zusammenfassung für das gesamte Dokument und fasst Ordnerzusammenfassungen aus den darin enthaltenen Dokumenten und Unterordnern zusammen.
Wie lange es dauert
Die Verarbeitungszeit hängt von der Dateigröße, der Anzahl der Bilder und davon ab, ob gescannte Seiten OCRbenötigen. Ein typisches Dokument mit 10 bis 50 Seiten ist in unter einer Minute fertig. Große PDFs mit vielen gescannten Seiten können einige Minuten dauern. Während ein Dokument in der Warteschlange ist, zeigt seine Zeile eine grobe geschätzte Zeit an (zum Beispiel „3 Minuten verbleibend“ oder „Wird berechnet…“, wenn noch nicht genug Verlauf vorhanden ist), und ein Banner erscheint, wenn das System ungewöhnlich ausgelastet ist. Betrachten Sie die Schätzung als Richtwert, nicht als Garantie.
Dokumente neu verarbeiten
Neuindizierung führt die gesamte Pipeline erneut für Inhalte aus, die sich bereits in der Wissensdatenbank befinden, und verwendet dabei die aktuellen Einstellungen der Wissensdatenbank. Greifen Sie darauf zurück, wenn Sie Einstellungen geändert haben und bestehende Dokumente diese übernehmen sollen, wenn sich ein zugrunde liegendes Modell verbessert hat oder wenn ein Dokument in einen fehlerhaften Zustand geraten ist und Sie einen sauberen Durchlauf wünschen.
Sie können Neu indizieren ein einzelnes Dokument, einen Ordner (und alles darunter) oder die gesamte Wissensdatenbank. Dokumente, die bereits verarbeitet werden, bleiben unberührt, und Ihnen wird mitgeteilt, wie viele in die Warteschlange gestellt wurden. Die Neuindizierung ersetzt den Inhalt eines Dokuments an Ort und Stelle, sodass der Abruf weiterhin die aktuelle Version zurückgibt, bis die neue bereit ist, ohne Lücke, in der das Dokument nicht verfügbar ist.
Wenn Sie eine Einstellung ändern, die nur beeinflusst, wie Passagen gespeichert werden, nicht wie sie gelesen werden, verarbeitet Blockbrain die vorhandenen Dokumente mit der neuen Konfiguration erneut und verwendet dabei den bereits extrahierten Text, wo immer es möglich ist, sodass es viel schneller und günstiger ist als eine vollständige Neuindizierung. Dies bestätigt es mit einer Neue Einstellungen anwenden Aufforderung, bevor es ausgeführt wird.
Tabellenverarbeitung
Tabellen gehören zu den schwierigsten Dingen, die man gut durchsuchen kann, deshalb kann eine Smart-Wissensdatenbank sie in Zeilen und Spalten strukturieren, statt eine Tabelle als einen einzigen Textblock zu behandeln. Wie viel Aufwand dabei pro Wissensdatenbank betrieben wird, wählen Sie in den Smart-Einstellungen unter Tabellenverarbeitung.
Es gibt vier Stufen, und jede macht alles, was die vorherige Stufe kann, und fügt noch mehr hinzu:
Aus. Tabellen werden als reiner Text durchsucht. Keine Tabellenverarbeitung und keine zusätzlichen Kosten.
Standard (die Standardstufe). Tabellen werden durch schnelle integrierte Analyse in Zeilen und Spalten strukturiert. Dadurch entstehen keine zusätzlichen KI-Kosten.
Erweitert. Alles, was Standard tut, plus es lernt ein wiederverwendbares Spaltenlayout für jede sich wiederholende Tabellenform. Dafür wird einmalig ein kleiner KI-Aufwand pro Layout benötigt, der dann wiederverwendet wird, sodass die Kosten selbst bei Hunderten ähnlicher Tabellen niedrig bleiben (zum Beispiel viele Rechnungen im gleichen Format).
Maximum. Alles, was Erweitert tut, plus es liest jede Tabelle mit einem Vision-Modell aus einem Bild der Tabelle. Dadurch werden die schwierigsten Tabellen wiederhergestellt (dichte Raster, bildähnliche Rechnungen), aber es erfolgt ein Vision-Lesevorgang pro Tabelle, sodass dies die teuerste und langsamste Stufe ist und die Kosten mit der Anzahl der Tabellen steigen.
Was auf jeder Stufe ausgeführt wird
Diese Grafik folgt einer Tabelle in einem gewöhnlichen digitalen PDF (einer Rechnung oder einem Beleg) und zeigt, was jede Stufe damit macht. Von links nach rechts gelesen fügt jede Stufe nur einen Schritt hinzu, sodass eine höhere Stufe nur Struktur hinzufügen, sie aber nie wieder entfernen kann.
Den Seiteninhalt lesen
Ja
Ja
Ja
Ja
Die Tabelle auf der Seite lokalisieren
Nein
Ja
Ja
Ja
In Zeilen und Spalten strukturieren
Nein
Ja (saubere Raster)
Ja
Ja
Ein sich wiederholendes Spaltenlayout lernen und wiederverwenden
Nein
Nein
Ja (einmal pro Layout)
Ja
Die Tabelle mit einem Vision-Modell lesen
Nein
Nein
Nein
Ja (jede Tabelle)
Was die Tabelle für die Suche wird
Reiner Text, keine Zeilen
Strukturierte Zeilen (reiner Text, wenn das Raster zu spärlich ist)
Strukturierte Zeilen mit bereinigten Spalten
Strukturierte Zeilen, wobei jede Tabelle per Vision gelesen wird
Zusätzliche KI-Arbeit
Keine
Keine (integrierte Analyse)
Ein wenig, einmal pro Layout
Ein Vision-Lesevorgang pro Tabelle (am meisten)
Nie schlechter. Die Stufen fügen nur Struktur hinzu. Wenn eine höhere Stufe eine Tabelle nicht sauber lesen kann, fällt sie auf die darunterliegende Stufe und schließlich auf reinen Text zurück, sodass eine anspruchsvollere Einstellung nie ein schlechteres Ergebnis liefert als eine einfachere.
Für welche Dateien das gilt. Die obigen Schritte beschreiben gewöhnliche digitale PDFs, die kein eingebautes Tabellenraster enthalten. Tabellenkalkulationen, Word- und HTML-Tabellen liegen bereits als Raster vor, daher werden sie ab Standard aufwärts ohne den Lokalisierungsschritt strukturiert. Tabellen auf gescannten Seiten und in hochgeladenen Bildern werden zuerst per OCR gelesen und dann auf dieselbe Weise strukturiert.
Eine Stufe wählen. Standard ist eine gute Voreinstellung. Wechseln Sie zu Erweitert, wenn Ihre Dokumente dasselbe Tabellenlayout wiederholen, und zu Maximum nur dann, wenn die niedrigeren Stufen Tabellen übersehen, die Sie benötigen. Eine Stufenänderung gilt für danach hinzugefügte Dokumente, daher indizieren Sie bestehende Dokumente neu, um ihre Tabellen neu zu strukturieren. Tabellenverarbeitung ist verfügbar, sofern sie für Ihre Organisation aktiviert ist.
Wie Ihre Dokumente durchsucht werden
Die eigentliche Stärke einer Smart-Wissensdatenbank liegt darin, wie sie durchsucht wird, wenn ein KI-Assistent eine Frage beantwortet. Sie müssen dafür nichts konfigurieren. Wenn eine Wissensdatenbank mit einer Unterhaltung, einem Datenraum oder einem Bot verbunden ist, ruft ein Assistent die relevantesten Passagen ab und stützt seine Antwort darauf.
Im Hintergrund kann der Abruf mehrere Techniken kombinieren:
Bedeutungsbasiert
Findet Passagen, die dieselbe Bedeutung wie die Frage haben, auch wenn andere Wörter verwendet werden. Das ist die Standardoption.
Schlüsselwort
Findet die genauen Begriffe aus der Frage. Nützlich für Produktcodes, Namen und Fachjargon.
Hybrid
Verbindet bedeutungsbasiertes und schlüsselwortbasiertes Matching, sodass Ergebnisse auf beiden Seiten stark sind.
Entität (Wissensgraph)
Folgt einer benannten Person, einem Unternehmen oder einem Produkt durch den Wissensgraphen und löst verschiedene Namen für dasselbe auf, sodass „Apple“ auch „Apple Inc.“ findet. Verfügbar, wenn Wissensgraph aufbauen aktiviert ist.
Ordner
Verwendet Ordnerzusammenfassungen, um den relevantesten Ordner für ein Thema zu finden.
Standardmäßig findet der Abruf Passagen anhand der Bedeutung und ordnet sie dann mit einem Reranking-Modell für zusätzliche Präzision neu an, und nahezu doppelte Passagen werden zusammengeführt, sodass der Assistent denselben Inhalt nie zweimal sieht. Mehrere optionale Verfeinerungen können pro Wissensdatenbank aktiviert werden, um die Qualität weiter zu erhöhen, etwa hybrides Schlüsselwort-Matching, ordnerbezogener Abruf, wissensgraphbewusste Rangfolge und ein Recency-First-Durchlauf.
Wissensgraph- und entitätsbewusster Abruf
Während es Ihre Dokumente verarbeitet, kann eine Smart-Wissensdatenbank auch Fakten extrahieren und einen Wissensgraphen Wissensgraphen
aktivieren
Das Erstellen des Graphen ist optional. Aktivieren Sie in den Smart-Einstellungen der Wissensdatenbank Wissensgraph aufbauen. Es ist standardmäßig deaktiviert, weil es bei jedem Dokument zusätzliche KI-Arbeit verursacht, also zusätzliche Verarbeitungskosten mit sich bringt, und das Aktivieren verarbeitet Ihre vorhandenen Dokumente erneut, damit ihre Fakten dem Graphen hinzugefügt werden. Neue Dokumente werden dann automatisch dem Graphen hinzugefügt, sobald sie verarbeitet werden.
Wenn der Graph erstellt ist, führt die Wissensdatenbank auch die verschiedenen Schreibweisen desselben Begriffs zu einer einzigen Entität zusammen. „Apple“, „Apple Inc.“ und „das Unternehmen“ werden zu einem Knoten, der nach Bedeutung statt nach Schreibweise zugeordnet wird, und jeder Entität wird ein Typ zugewiesen (Person, Organisation, Standort und so weiter).
Was er Ihnen bietet
Entitätssuche. Fragen Sie nach allem zu einer benannten Person, einem Unternehmen oder einem Produkt, und die Wissensdatenbank gibt die Passagen zurück, in denen diese Entität als Fakt vorkommt, sortiert danach, wie viel darüber bekannt ist. Da Namen zusammengeführt werden, zeigt eine Suche nach „Apple“ auch Passagen an, die nur „Apple Inc.“ erwähnen. Ein optionaler Erweiterungsmodus zieht auch Passagen zu direkt verbundenen Entitäten heran.
Präzisere Rangfolge. Wenn eine Antwort zusammengestellt wird, werden Passagen, deren Fakten dieselben Entitäten wie die Frage erwähnen, in der Rangfolge nach oben geschoben, sodass die passendsten Passagen gewinnen.
Beides setzt voraus, dass der Graph existiert (Wissensgraph aufbauen) und in den Abruf eingebunden wird (Wissensgraph-Triples im Abruf verwenden, ebenfalls in den Smart-Einstellungen, standardmäßig deaktiviert). Der Abrufschalter greift zur Anfragezeit, sodass Sie ihn nach dem Erstellen des Graphen ein- oder ausschalten können, ohne erneut zu verarbeiten.
Den Graphen erkunden
Öffnen Sie eine Wissensdatenbank und wählen Sie Wissensgraph-Ansicht aus, um den Graphen selbst zu sehen. Jeder Knoten ist eine Entität und jede Linie ist eine Beziehung, beschriftet mit dem Fakt, der sie verbindet (zum Beispiel „ist ein früher Kunde von“, „wurde gegründet von“, „hat Folgeinvestitionen getätigt in“). Sie können:
Wechseln Layout zwischen Hierarchie und Cluster.
Verwenden Anzeigen um die Anzahl der dargestellten Entitäten zu begrenzen (die Kopfzeile zeigt beispielsweise „50 von 149 Entitäten werden angezeigt“), damit ein großer Graph lesbar bleibt.
Klicken Sie auf einen Knoten, um seine Verbindungen zu sehen, und zoomen oder passen Sie die Ansicht mit den Steuerelementen in der Ecke an.
Jedes Dokument hat außerdem einen eigenen Triples Tab, der die aus diesem einzelnen Dokument extrahierten Fakten auflistet, mit einem Filterfeld zum Durchsuchen der Entitäten und Fakten.
Verarbeitungsstatus verfolgen
Jedes Dokument im Browser zeigt an, wo es steht: in der Warteschlange, in Verarbeitung, beim Embedding, fertig oder fehlgeschlagen. Ein Dokument, das erfolgreich abgeschlossen wurde, ist durchsuchbar. Ein Dokument kann auch teilweisevorliegen, was bedeutet, dass der größte Teil durchsuchbar ist, aber ein Teil (zum Beispiel ein Bild, das auch nach Wiederholungen nicht gelesen werden konnte) ausgelassen wurde. Fehlgeschlagene und teilweise Dokumente enthalten eine Fehlermeldung, die erklärt, was passiert ist.
In der Warteschlange
Hochgeladen und wartet auf den Start.
Verarbeitung / Einbettung
Wird gelesen und durchsuchbar gemacht.
Fertig
Abgeschlossen und vollständig durchsuchbar.
Teilweise
Durchsuchbar, aber ein Teil konnte nicht verarbeitet werden.
Fehlgeschlagen
Konnte nach automatischen Wiederholungen nicht abgeschlossen werden.
Standard- und Smart-Wissensdatenbanken
Blockbrain bietet zwei Arten von Wissensdatenbanken nebeneinander an. Beide werden vollständig unterstützt, und Sie müssen mit den Standard-Wissensdatenbanken, die Sie bereits haben, nichts tun.
Smart-Passagengrenzen (semantisches Chunking)
Nein
Ja
Gescannte Seiten lesen (OCR)
Nein
Ja
Bilder, Diagramme und Schaubilder beschreiben
Nein
Ja
Tabellen als Zeilen und Spalten verstehen
Nein
Ja (sofern aktiviert)
Wissensgraph und entitätsbewusster Abruf
Nein
Ja
Erstklassige Ordner mit Zusammenfassungen
Nein
Ja
Ordner umbenennen oder verschieben, ohne Verknüpfungen zu unterbrechen
Unterbricht Verknüpfungen
Bleibt stabil
Dokument- und Ordnerzusammenfassungen
Nein
Ja
Verarbeitungs- und Abrufeinstellungen pro Wissensdatenbank
Begrenzt
Vollständig
Ursprüngliche PDF-Seite mit hervorgehobener Antwort
Nein
Ja
FAQs
Schnellreferenz
Dokumente hinzufügen und durchsuchbar machen
Erstellen Sie eine Wissensdatenbank (Neue Datenbankquelle, Typ Smart).
Dateien hochladen (Dateien hochladen oder per Drag-and-drop).
Warten Sie, bis die Dokumente mit der Verarbeitung fertig sind (die Zeile zeigt an, wann jedes Dokument abgeschlossen ist).
Hängen Sie die Wissensdatenbank an eine Unterhaltung, einen Datenraum oder einen Bot an.
Eine große Dokumentensammlung organisieren
Erstellen Sie Ordner der obersten Ebene oder laden Sie mit relativen Pfaden wie
legal/contracts/nda.pdfhoch, damit Ordner für Sie erstellt werden.Fügen Sie Ordnerbeschreibungen hinzu, damit Ordner thematisch auffindbar sind.
Wenn Sie an einen Bot oder Datenraum anbinden, grenzen Sie den Umfang auf den relevanten Ordner ein.
Einem Teammitglied Zugriff geben
Öffnen Sie die Wissensdatenbank und wählen Sie Teilen.
unter Personen hinzufügenein, geben Sie seine E-Mail-Adresse ein und wählen Sie eine Rolle aus (Betrachter, Mitwirkender oder Inhaltsmanager).
Es kann die Wissensdatenbank jetzt unter Für mich freigegeben sehen und in seinen eigenen Unterhaltungen verwenden.
Zuletzt aktualisiert