Playbook
Observabilidad
Saber lo que el sistema realmente hizo.
Los sistemas de IA requieren telemetría profunda: trazas, redacción y lineage.
Tracing
- Capturar prompt, herramientas y latencia por paso
- Correlacionar requests con usuario y fuentes
- Muestreo seguro para gestionar costo
Logging
- Logs estructurados para llamadas al modelo
- Hashes de input/output para auditoría
- Tag de runs con versión de prompt y modelo
Redacción
- Eliminar PII antes de guardar
- Centralizar reglas de redacción
- Auditar cobertura periódicamente
Costo + latencia
- Presupuestos por request
- Cacheo de rutas frecuentes
- Alertas ante picos
Lista de verificación
- Dashboard de tracing
- Reglas de redacción documentadas
- Tag de versiones de prompt/modelo