La pipeline de synthèse : contradictions, budgets, approbation

Là où les documents ne sont pas d'accord, elle le dit

Les pages du wiki engine résolvent le stockage ; la pipeline de synthèse résout l'accord. Face à un ensemble des documents d'une archive, la pipeline produit des pages wiki combinées - chacune unit ses sources et, où les sources divergent, le dit avec un marqueur de contradiction. Rien n'atterrit sur le système de fichiers avant qu'un humain approuve précisément ce qui fut proposé, et chaque exécution est bornée par un budget explicite de tokens, d'appels et de pages.

Cet article parcourt le design : la pipeline à passes, comment les candidats contradictions se forment et se jugent, comment le budget garde l'exécution honnête, et pourquoi la porte d'approbation - pas le modèle - décide de ce qui part.

Une fonctionnalité Community (la pipeline tourne sur la même infrastructure que l'orchestrateur du chat ; budgets par run). Faits : FACT-CENSUS.md F-SYNTH-1.

La pipeline à passes

Une exécution de synthèse est orchestrée par la façade du service au-dessus d'un ensemble de passes :

1. L'extraction des entités - sur le corpus sélectionné.
2. Les pages par source - la pipeline rédige la page propre à chaque source.
3. Les blocs finaux - la page combinée du wiki, écrite avec le bloc consultatif de l'archive porté par le rôle système de la passe décisive (la seam d'injection est explicite : les rails consultatifs n'entrent que la passe finale, celle qui décide).

Les passes tournent via un unique emballeur d'appels LLM, si bien qu'un budget compte chaque appel en un seul endroit.

La détection des contradictions : pré-filtrer, puis juger

Accoster chaque affirmation à chaque autre est quadratique et bruité. La coupure de la pipeline :

• Les paires candidates se forment par similarité - un pré-filtre jaccard à seuil bas (0,15) fait surface aux paires qui méritent un second regard.
• Les paires suspectes vont au juge LLM - un appel par paire lit les deux affirmations et tranche : contradiction ou pas.
• Le verdict atterrit en marqueur de contradiction sur les pages impliquées, avec le résumé d'affirmation à une ligne extrait de chaque côté.

Et un échantillon de fidélité hebdomadaire mesure l'exactitude du processus dans le temps - la qualité du détecteur est elle-même un nombre enregistré et surveillé.

Le budget tracker

Chaque exécution borne TROIS budgets - tokens, appels LLM, pages produites. Ils se nourrissent du compteur du même emballeur :

• S'arrêter = un état nommé et attendu : l'output déjà écrit reste valide ; le résultat n'est jamais un limbe de demi-page.
• Le watchdog est le parallèle de l'orchestrateur du chat - une exécution échappée ne peut pas dépenser plus haut que sa configuration.

Voilà la garde de l'opérateur : la synthèse est un consommateur de fond, et son appétit est explicite.

L'approbation sélective - ce qui la rend sûre

Les changements proposés par la pipeline n'atterrissent PAS automatiquement. Chaque écriture passe la porte d'approbation :

1. La page proposée produit d'abord un aperçu déterministe (la même machine que le chemin d'écriture du wiki) - ce que vous révisez est ce qui atterrirait.
2. L'approuveur confirme - et seules les modifications approuvées persistent (applyApprovedChanges).
3. Chaque page proposée porte son propre frontmatter des sources - la provenance voyage avec la proposition.

Le modèle propose ; l'humain expédie. Cette division est toute la posture de sécurité de la pipeline : un LLM peut tout lire, mais le système de fichiers n'entend jamais que l'approuveur.

L'entretien : déclencheurs et le reaper

• Les déclencheurs post-OCR - quand un scan se termine, le service de déclencheur met en file une exécution de synthèse (avec un temps de refroidissement, pour qu'un lot de scans n'assaille pas la file).
• Le reaper - un ordonnanceur de 15 minutes retourne les exécutions orphelines PROCESSING en FAILED - une exécution tombée ne peut jamais passer pour une affairée.

Pour continuer

Le guide porte le détail opérateur - les tables des passes, les endpoints des déclencheurs, les clés du budget - sur /fr/docs/synthesis-pipeline :

• Synthesis pipeline - le guide
• Faits de ce billet : ligne FACT-CENSUS.md F-SYNTH-1 (la synthèse multi-documents avec détection des contradictions + le suivi budgétaire)

Provenance : Simmetric Chat docs/SERVICES.md (le domaine Synthèse ; les modules synthesis*) + README.md:33, docs/WIKI_SCHEMA_LAYER.md (la seam de la Passe-4), CHANGELOG.md v0.28.1 - à l'état documentaire épinglé par le census (SHA aca5b8ff).