MinIO y MeiliSearch: almacenamiento de objetos y búsqueda en tiempo real

admin · 2 min

El stack tiene dos servicios de datos especializados que el pipeline usa de forma independiente: MinIO para almacenamiento de objetos y MeiliSearch para búsqueda full-text.

MinIO — almacenamiento de objetos

MinIO expone una API compatible con S3 en minio.d4r.es. El stack lo usa para:

  • Almacenar archivos de Supabase Storage (imágenes, documentos subidos por usuarios).
  • Guardar PDFs descargados por el conector legal antes de procesarlos.
  • Exportar snapshots del pipeline para análisis offline.

El acceso a la consola requiere pertenecer al grupo storage-admin en Authentik. Para operaciones de API desde el backend, el pipeline usa credenciales de servicio separadas de la cuenta de administración.

MeiliSearch — búsqueda full-text

El pipeline indexa los documentos procesados en MeiliSearch para permitir búsqueda instantánea desde la interfaz. La configuración en FastAPI:

MEILISEARCH_URL: http://meilisearch:7700
MEILISEARCH_KEY: ${MEILI_MASTER_KEY}

MeiliSearch no necesita tuning de esquema: acepta documentos JSON arbitrarios y construye el índice automáticamente. Los campos más relevantes para búsqueda (title, content, source_name) tienen mayor peso en el ranking.

Redis — caché y pub/sub

Redis sirve para dos propósitos en el stack: caché de resultados frecuentes del pipeline (evitar re-procesar documentos recientes) y como backend de memoria para CrewAI cuando CREWAI_MEMORY_BACKEND=redis. El acceso requiere autenticación con REDIS_PASSWORD.

admin

Editor en D4R.