A pipeline de síntese: contradições, orçamentos, aprovação

Onde os documentos discordam, ela o diz

As páginas do wiki engine resolvem o guardar; a pipeline de síntese resolve o acordo. Diante de um conjunto dos documentos de um arquivo, a pipeline produz páginas wiki combinadas - cada uma une as suas fontes e, onde as fontes divergem, o diz com um marcador de contradição. Nada pousa no filesystem até um humano aprovar exatamente o que foi proposto, e cada corrida fica cercada por um orçamento explícito de tokens, chamadas e páginas.

Este artigo percorre o projeto: a pipeline em passadas, como os candidatos a contradição se formam e se julgam, como o orçamento mantém honesta a corrida, e por que a trava de aprovação - não o modelo - decide o que sai.

Uma função Community (a pipeline roda na mesma infraestrutura do orquestrador do chat; orçamentos por corrida). Fatos: FACT-CENSUS.md F-SYNTH-1.

A pipeline em passadas

Uma corrida de síntesis é orquestrada pela fachada do serviço sobre um conjunto de passadas:

1. A extração de entidades - sobre o corpus escolhido.
2. As páginas por fonte - a pipeline redige a página própria de cada fonte.
3. Os blocos finais - a página combinada do wiki, escrita com o bloco consultivo do arquivo levando o papel SYSTEM da passada decisiva (o seam de injeção é explícito: os trilhos consultivos entram só na última passada, a que decide).

As passadas rodam por um único embrulhador de chamadas LLM, assim um orçamento conta cada chamada num só lugar.

A detecção de contradições: pré-filtrar, depois julgar

Cruzar cada afirmação com cada outra é quadrático e a maior parte ruído. O corte da pipeline:

• Os pares candidatos se formam por semelhança - um pré-filtro ao jeito Jaccard com umbral baixo (0,15) traz à superfície os pares que pedem outro olhar.
• Os pares suspeitos vão ao juiz LLM - uma chamada por par lê as duas afirmações e decide: contradição ou não.
• O veredicto pousa como marcador de contradição nas páginas envolvidas, com o resumo da afirmação numa linha puxado de cada lado.

E uma amostra semanal de fidelidade mede a exatidão do processo no tempo - a qualidade do detector é ela própria um número anotado e observado.

O gestor de orçamento

Cada corrida cerca TRÊS orçamentos - tokens, chamadas LLM, páginas produzidas. Alimentam-se do contador do mesmo embrulhador:

• Parar = um estado nomeado e esperado: a saída já escrita continua válida; o resultado nunca é um limbo de meia-página.
• O cão de guarda é o paralelo do orquestrador do chat - uma corrida desgarrada não pode gastar mais do que a sua configuração.

Essa é a guarda do operador: a síntese é um consumidor de fundo, e o seu apetite é explícito.

A aprovação seletiva - o que a torna segura

As mudanças propostas pela pipeline NÃO pousam automaticamente. Cada escritura passa a trava de aprovação:

1. A página proposta gera primeiro uma prévia determinista (a mesma maquinaria do caminho de escritura do wiki) - o que você revisa é o que pousaria.
2. Quem aprova confirma - e só as modificações aprovadas persistem (applyApprovedChanges).
3. Cada página proposta carrega o próprio frontmatter das fontes - a provenance viaja com a proposta.

O modelo propõe; o humano embarca. Essa divisão é toda a postura de segurança da pipeline: um LLM pode ler tudo, mas o filesystem só escuta quem aprova.

A arrumação: disparadores e o ceifador

• Disparadores pós-OCR - quando um escaneamento completa, o serviço de disparadores enfileira uma corrida de síntesis (com cooldown, para que um lote de escaneamentos não assalte a fila).
• O ceifador - um planejador a cada 15 minutos vira corridas órfãs em PROCESSING a FAILED - uma corrida caída jamais pode passar por ocupada.

Para continuar

A guia leva o detalhe do operador - as tabelas das passadas, os endpoints dos disparadores, as chaves do orçamento - em /pt/docs/synthesis-pipeline:

• Synthesis pipeline - a guia
• Fatos deste post: linha FACT-CENSUS.md F-SYNTH-1 (a síntese multi-documento com detecção de contradições + o acompanhamento do orçamento)

Provenance: Simmetric Chat docs/SERVICES.md (o domínio Síntese; os módulos synthesis*) + README.md:33, docs/WIKI_SCHEMA_LAYER.md (o seam da passada 4), CHANGELOG.md v0.28.1 - no estado documental fixado pelo census (SHA aca5b8ff).