Die Synthese-Pipeline: Widersprüche, Budgets, Freigaben
Die Synthese-Pipeline: Die Dokumente eines Archivs zu kombinierten Wiki-Seiten - budgetierte Läufe, gerichtete Widersprüche, nur freigegebene Schreibvorgänge. Census: F-SYNTH-1.
Wo Dokumente uneinig sind, sagt sie es
Die Seiten des Wiki-Engine lösen das Speichern; die Synthese-Pipeline löst die Übereinstimmung. Vor ein Set der Dokumente eines Archivs gegeben, erzeugt die Pipeline kombinierte Wiki-Seiten - jede vereint ihre Quellen und sagt dort, wo die Quellen uneinig sind, mit einem Widerspruchs-Marker davon. Nichts landet im Dateisystem, bevor ein Mensch genau freigibt, was vorgeschlagen wurde, und jeder Lauf ist durch ein ausdrückliches Budget von Token, Aufrufen und Seiten gedeckelt.
Dieser Artikel geht den Entwurf durch: die Pipeline in Durchläufen, wie Widerspruchs-Kandidaten entstehen und beurteilt werden, wie das Budget einen Lauf ehrlich hält, und warum die Freigabe-Schranke - nicht das Modell - entscheidet, was ausgeliefert wird.
Eine Community-Funktion (die Pipeline läuft auf derselben Infrastruktur wie der Chat-Orchestrator; Budgets pro Lauf). Fakten: FACT-CENSUS.md F-SYNTH-1.Die Pipeline in Durchläufen
Ein Synthese-Lauf wird von der Service-Fassade über eine Reihe von Durchläufen orchestriert:
- Entitäten-Extraktion - über den gewählten Korpus.
- Seiten pro Quelle - die Pipeline entwirft die eigene Seite jeder Quelle.
- Die finalen Blöcke - die kombinierte Wiki-Seite, geschrieben mit dem Beratungsblock des Archivs auf der SYSTEM-Rolle des entscheidenden Durchlaufs (die Injektions-Naht ist ausdrücklich: die Beratschienen betreten nur den finalen, entscheidenden Durchgang).
Die Durchläufe laufen durch einen einzigen LLM-Aufruf-Umschlag, sodass ein Budget jeden Aufruf an einer Stelle zählt.
Widerspruchserkennung: vorfiltern, dann richten
Jede Behauptung gegen jede andere zu stellen ist quadratisch und vor allem Rauschen. Die Aufteilung der Pipeline:
- Die Kandidatenpaare entstehen über Ähnlichkeit - ein Jaccard-ähnlicher Vorfilter an einer niedrigen Schwelle (0,15) bringt die Paare nach oben, die einen zweiten Blick verdienen.
- Die verdächtigen Paare gehen zum LLM-Richter - ein Aufruf pro Paar liest die zwei Behauptungen und entscheidet: Widerspruch oder nicht.
- Das Urteil landet als Widerspruchs-Marker auf den betroffenen Seiten, mit dem einzeiligen Behauptungs-Summi aus beiden Seiten gezogen.
Und eine wöchentliche Treue-Stichprobe misst die Genauigkeit des Prozesses über die Zeit - die Qualität des Detektors ist selbst eine erfasste, beobachtete Zahl.
Der Budget-Tracker
Jeder Lauf deckelt DREI Budgets - Token, LLM-Aufrufe, erzeugte Seiten. Sie speisen sich aus der Zählung desselben Umschlags:
- Anhalten = ein benannter, erwarteter Zustand: Die schon geschriebene Ausgabe bleibt gültig; das Ergebnis ist nie ein Halbe-Seite-Limbo.
- Die Bewachung läuft parallel zum Chat-Orchestrator - ein entlaufener Lauf kann nicht über seine Konfiguration hinaus ausgeben.
Das ist die Wache der Betriebsleitung: Synthese ist ein Hintergrundverbraucher, und sein Appetit ist ausdrücklich.
Die selektive Freigabe - was sie sicher macht
Die vorgeschlagenen Änderungen der Pipeline landen NICHT automatisch. Jeder Schreibvorgang geht durch den Freigabe-Fluss:
- Die vorgeschlagene Seite erzeugt zuerst eine deterministische Vorschau (dieselbe Maschinerie wie der Schreibpfad des Wiki) - was Sie prüfen, ist was landen würde.
- Die Freigebende bestätigt - und nur die freigegebenen Änderungen persistieren (
applyApprovedChanges). - Jede vorgeschlagene Seite trägt ihr eigenes Quellen-Frontmatter - die Provenanz reist mit dem Vorschlag.
Das Modell schlägt vor; der Mensch verschifft. Diese Trennung ist die ganze Sicherheitspostur der Pipeline: Ein LLM darf alles lesen, aber das Dateisystem hört nur die Freigabe.
Die Pflege: Auslöser und der Reaper
- Post-OCR-Auslöser - wenn ein Scan abgeschlossen ist, stellt der Auslöser-Dienst einen Synthese-Lauf in die Schlange (mit Abklingzeit, damit ein Schwarm von Scans die Schlange nicht stürmt).
- Der Reaper - ein 15-Minuten-Planer kippt verwaiste PROCESSING-Läufe auf FAILED - ein gecrashter Lauf kann nie für einen beschäftigten gehalten werden.
Weiterlesen
Die Anleitung trägt das Detail auf Bedienerebene - die Durchlauf-Tabellen, die Auslöser-Endpunkte, die Budget-Schlüssel - unter /de/docs/synthesis-pipeline:
- Synthesis pipeline - die Anleitung
- Fakten dieses Beitrags: Zeile
FACT-CENSUS.mdF-SYNTH-1 (die Multi-Dokumenten-Synthese mit Widerspruchserkennung + der Budget-Verfolgung)
Provenance: Simmetric Chat docs/SERVICES.md (der Synthese-Unterdomäne; die synthesis*-Module) + README.md:33, docs/WIKI_SCHEMA_LAYER.md (die Pass-4-Naht), CHANGELOG.md v0.28.1 - am vom Census fixierten Dokumentenstand (SHA aca5b8ff).
