DSPy en producción: módulos compilados y evaluación offline

La capa de IA del stack usa DSPy para definir módulos de análisis como programas optimizables, no como prompts estáticos. Los módulos se compilan offline y se sirven en producción sin necesidad de reentrenamiento en caliente.

Estructura

app/ai/
  modules/       # definiciones DSPy (Signature + Module)
  compiled/      # módulos compilados (.json)
  tools/         # herramientas para CrewAI
  dataset.py     # generación de trainsets
  evaluate_modules.py  # evaluación offline
  compile_modules.py   # compilación con optimizador

Configuración por flags

La capa de IA está desactivada por defecto. Se activa por variables de entorno:

DSPY_ENABLED=true
DSPY_LM_MODEL=openai/gpt-4o-mini
DSPY_API_BASE=http://litellm:4000
DSPY_COMPILED_DIR=/app/app/ai/compiled

LiteLLM como proxy

Tanto DSPy como CrewAI apuntan a http://litellm:4000 en lugar de directamente a OpenAI o Anthropic. Esto permite cambiar de modelo sin tocar el código, añadir rate limiting y centralizar el logging de tokens.