MinIO y MeiliSearch: almacenamiento de objetos y búsqueda en tiempo real
El stack tiene dos servicios de datos especializados que el pipeline usa de forma independiente: MinIO para almacenamiento de objetos y MeiliSearch para búsqueda full-text.
MinIO — almacenamiento de objetos
MinIO expone una API compatible con S3 en minio.d4r.es. El stack lo usa para:
- Almacenar archivos de Supabase Storage (imágenes, documentos subidos por usuarios).
- Guardar PDFs descargados por el conector legal antes de procesarlos.
- Exportar snapshots del pipeline para análisis offline.
El acceso a la consola requiere pertenecer al grupo storage-admin en Authentik. Para operaciones de API desde el backend, el pipeline usa credenciales de servicio separadas de la cuenta de administración.
MeiliSearch — búsqueda full-text
El pipeline indexa los documentos procesados en MeiliSearch para permitir búsqueda instantánea desde la interfaz. La configuración en FastAPI:
MEILISEARCH_URL: http://meilisearch:7700
MEILISEARCH_KEY: ${MEILI_MASTER_KEY}
MeiliSearch no necesita tuning de esquema: acepta documentos JSON arbitrarios y construye el índice automáticamente. Los campos más relevantes para búsqueda (title, content, source_name) tienen mayor peso en el ranking.
Redis — caché y pub/sub
Redis sirve para dos propósitos en el stack: caché de resultados frecuentes del pipeline (evitar re-procesar documentos recientes) y como backend de memoria para CrewAI cuando CREWAI_MEMORY_BACKEND=redis. El acceso requiere autenticación con REDIS_PASSWORD.