Pipeline
Señales y alertas en tiempo real vía WebSocket
Cómo el pipeline emite alertas en tiempo real a los frontends conectados usando WebSockets, con broadcast thread-safe desde el scheduler y registro de conexiones por proyecto.
Pipeline
Pipeline
YouTube, MediaCloud y Apify: fuentes sin RSS ni API estándar
Cómo el pipeline extrae transcripciones de YouTube sin credenciales, consulta el archivo de MediaCloud con rotación de API keys, y usa Apify para Google, Twitter/X y YouTube.
Pipeline
Análisis narrativo: framing, fact-checking y cobertura comparada
Las tres funciones de análisis narrativo del pipeline: detect_framing, fact_check_claims y compare_coverage, con fallback DSPy y LiteLLM como proxy de modelos.
Pipeline
Deduplicación: Jaccard, clustering y circuit breaker de contenido
Cómo el pipeline detecta y agrupa documentos duplicados o muy similares usando similitud de Jaccard y un sistema de clustering incremental.
Pipeline
GDELT: inteligencia geopolítica global en tiempo real
Integración con las cuatro APIs de GDELT v2: DOC, GEO, Context y Timeline, con throttling estricto y reintentos para respetar el límite de 5 s entre llamadas.
Pipeline
Extractores legales: BOE, boletines autonómicos y congreso
Cómo el pipeline monitoriza el BOE, 17 boletines autonómicos, el Congreso y el Senado con scrapers específicos y un extractor universal como fallback.
Pipeline
Conectores RSS y circuit breaker: fuentes sin API
Cómo el conector RSS del pipeline gestiona feeds heterogéneos con un circuit breaker por feed que evita que una fuente caída bloquee el resto.
Pipeline
Arquitectura del pipeline de inteligencia mediática
Visión general del pipeline KatanServant: conectores de fuentes, normalización, deduplicación, análisis y señales de alerta.