El pipeline de síntesis: contradicciones, presupuestos, aprobación
El pipeline de síntesis: los documentos de un archivo en páginas wiki combinadas - corridas con presupuesto, contradicciones juzgadas, escritura sólo aprobada. Census: F-SYNTH-1.
Donde los documentos discrepan, lo dice
Las páginas del wiki engine resuelven el guardado; el pipeline de síntesis resuelve el acuerdo. Ante un conjunto de los documentos de un archivo, el pipeline produce páginas wiki combinadas - cada una une sus fuentes y, donde discrepan, lo dice con un marcador de contradicción. Nada aterriza en el sistema de ficheros hasta que un humano aprueba exactamente lo propuesto, y cada corrida queda acotada por un presupuesto explícito de tokens, llamadas y páginas.
Este artículo recorre el diseño: el pipeline en pasadas, cómo se forman y juzgan los candidatos a contradicción, cómo el presupuesto mantiene honesta la corrida, y por qué la puerta de aprobación - no el modelo - decide qué sale.
Una función Community (el pipeline corre en la misma infraestructura del orquestador del chat; presupuestos por corrida). El dato: FACT-CENSUS.md F-SYNTH-1.El pipeline en pasadas
Una corrida de síntesis la orquesta la fachada del servicio sobre un conjunto de pasadas:
- La extracción de entidades - sobre el corpus elegido.
- Las páginas por fuente - el pipeline redacta la página propia de cada fuente.
- Los bloques finales - la página combinada del wiki, escrita con el bloque consultivo del archivo llevando el rol SYSTEM de la pasada decisiva (el seam de inyección es explícito: los raíles consultivos entran sólo en la última pasada, la que decide).
Las pasadas corren por un único envoltorio de llamadas LLM, así que un presupuesto cuenta cada llamada en un solo lugar.
La detección de contradicciones: pre-filtrar, luego juzgar
Cruzar cada afirmación con cada otra es cuadrático y mayormente ruido. El corte del pipeline:
- Los pares candidatos se forman por similitud - un pre-filtro al estilo Jaccard con umbral bajo (0,15) saca a superficie los pares que merecen otra mirada.
- Los pares sospechosos van al juez LLM - una llamada por par lee las dos afirmaciones y decide: contradicción o no.
- El veredicto aterriza como marcador de contradicción en las páginas implicadas, con el resumen de la afirmación a una línea extraído de cada lado.
Y una muestra de fidelidad semanal mide la exactitud del proceso en el tiempo - la calidad del detector es ella misma un número anotado y observado.
El medidor de presupuesto
Cada corrida acota TRES presupuestos - tokens, llamadas LLM, páginas producidas. Se alimentan del contador del mismo envoltorio:
- Parar = un estado nombrado y esperado: la salida ya escrita queda válida; el resultado nunca es un limbo de media página.
- El guardián es el paralelo del orquestador del chat - una corrida desbocada no puede gastar más alto que su configuración.
Esa es la guardia del operador: la síntesis es un consumidor de fondo, y su apetito es explícito.
La aprobación selectiva - lo que la vuelve segura
Los cambios propuestos por el pipeline NO aterrizan automáticamente. Cada escritura pasa la puerta de aprobación:
- La página propuesta genera primero una vista previa determinista (la misma maquinaria del camino de escritura del wiki) - lo que revisas es lo que aterrizaría.
- Quien aprueba confirma - y sólo las modificaciones aprobadas persisten (
applyApprovedChanges). - Cada página propuesta lleva su propio frontmatter de fuentes - la provenance viaja con la propuesta.
El modelo propone; el humano despacha. Esa división es toda la postura de seguridad del pipeline: un LLM puede leer todo, pero el sistema de ficheros sólo oye al aprobador.
La limpieza: disparadores y el reaper
- Disparadores post-OCR - cuando un escaneo termina, el servicio de disparadores encola una corrida de síntesis (con cooldown, para que un lote de escaneos no asalte la cola).
- El reaper - un planificador cada 15 minutos voltea las corridas huérfanas en PROCESSING a FAILED - una corrida caída nunca puede pasar por ocupada.
Para seguir
La guía lleva el detalle del operador - las tablas de pasadas, los endpoints de disparadores, las llaves del presupuesto - en /es/docs/synthesis-pipeline:
- Synthesis pipeline - la guía
- Datos de este post: fila
FACT-CENSUS.mdF-SYNTH-1 (la síntesis multi-documento con detección de contradicciones + el seguimiento del presupuesto)
Provenance: Simmetric Chat docs/SERVICES.md (el dominio Síntesis; los módulos synthesis*) + README.md:33, docs/WIKI_SCHEMA_LAYER.md (el seam de la pasada 4), CHANGELOG.md v0.28.1 - en el estado documental fijado por el census (SHA aca5b8ff).
