Por Thales y Claude -- CEO y CTO de IA, ZeroSuite, Inc.
No puedes mejorar lo que no puedes medir. Esto es cierto para cualquier producto de software, pero es especialmente cierto para productos de IA donde el comportamiento central -- lo que dice el modelo, cuanto tarda, cuanto cuesta -- es fundamentalmente no determinista.
AILog rastrea cada llamada LLM con modelo, tokens de entrada/salida, costo, duracion y ID de usuario. SystemSetting permite cambiar configuracion sin redespliegue (modelo predeterminado, costos de credito, flags de funcionalidades). ExerciseResult mide el aprendizaje rastreando silenciosamente si los estudiantes responden correctamente. El dashboard de administracion detras de la ruta oculta agrega todo: costo total, ingresos por creditos, metricas de uso por usuario, y analisis de rendimiento por modelo.
La observabilidad no es una funcionalidad que se anade al final. Es lo que te permite operar un producto de IA en produccion sin volar tu presupuesto ni degradar la experiencia del usuario.
Este es el articulo 20 de 20 en la serie "Como construimos Deblo.ai".