Ciclo de Vida de IA/ML y Métricas de Evaluación - AI Practitioner Certification #2

Construir un modelo de Inteligencia Artificial que funcione en un entorno de laboratorio es solo la mitad del trabajo. En el mundo real, un modelo que no se evalúa correctamente o que no se monitorea tras su despliegue puede colapsar en producción, generar alucinaciones costosas o arruinar la experiencia del cliente.

🔑 Conceptos Clave

🔄 El Ciclo de Vida de un Foundation Model — Un Proceso Cíclico e Iterativo

1. Selección de Datos: Recopilar datos considerando su calidad, diversidad y volumen.
2. Selección del Modelo: Decidir la arquitectura y tamaño según el balance entre capacidad, costo y objetivo.
3. Preentrenamiento: El entrenamiento inicial masivo donde el modelo aprende patrones generales. Es la etapa más costosa en tiempo y cómputo.
4. Fine-tuning: Especializar el modelo preentrenado con un dataset más pequeño y específico.
5. Evaluación: Medir el desempeño mediante benchmarks y métricas antes de ir a producción.
6. Despliegue: Poner el modelo a disposición mediante APIs administradas o autoalojadas.
7. Retroalimentación: Recopilar calificaciones de usuarios, correcciones y fallas en producción para alimentar futuros ciclos de mejora.

💡 Analogía

⚠️ Ojo para el examen: El ciclo de vida es iterativo, no lineal. La retroalimentación de producción sirve para activar nuevos ciclos de ajuste y reentrenamiento.

📝 Métricas de Texto Generativo — ROUGE, BLEU y BERTScore

• ROUGE: Mide la superposición literal de palabras clave entre el texto generado y un texto de referencia. Se utiliza principalmente para evaluar resúmenes.
• BLEU: Compara secuencias exactas de palabras (n-gramas) contra referencias. Se utiliza tradicionalmente para evaluar traducción automática.
• BERTScore: Utiliza representaciones semánticas (embeddings) para medir si dos textos tienen significados similares, aunque utilicen palabras totalmente distintas.

💡 Analogía

• ROUGE (Resúmenes): Un corrector que revisa si el resumen de un libro contiene los nombres y conceptos clave del capítulo original.
• BLEU (Traducción): Un examen de idiomas donde se verifica si tradujiste la oración respetando el orden y la estructura exacta de las palabras del diccionario.
• BERTScore (Significado Semántico): Un profesor comprensivo que califica la idea conceptual. Si la referencia dice "El cliente canceló porque llegó tarde" y el alumno escribe "El retraso causó la anulación del pedido", BERTScore le da la puntuación máxima porque entiende que significan lo mismo.

📌 Atajo Mental para el Examen

📝 ROUGE → Resúmenes.

🌐 BLEU → Traducción.

🧠 BERTScore → Significado y similitud semántica.

🧩 Evaluación de Modelo vs. Evaluación de Aplicación — RAG, Agentes y Workflows

• Evaluación de RAG: En una arquitectura RAG debes evaluar por separado la Recuperación (Retrieval) —si recuperaste la información relevante del vector store— y la Generación (Generation) —si el modelo redactó bien basándose en ese contexto—.
• Evaluación de Agentes: Evaluar solo el mensaje final es insuficiente. Debes evaluar el flujo completo end-to-end: si eligió las herramientas correctas, tomó buenas decisiones intermedias y completó la tarea.
• Evaluación de Workflows: Evalúa cómo interactúan todos los modelos, validaciones y servicios automatizados dentro del flujo completo.

💡 Analogía

🧪 Enfoques de Evaluación — Human-in-the-Loop, Benchmarks y LLM-as-a-Judge

• Evaluación Humana (Human-in-the-loop): Personas reales revisan el tono, claridad, amabilidad, utilidad y adecuación al contexto. Da juicio humano real pero es lento y costoso de escalar.
• Benchmark Datasets: Conjuntos estandarizados de pruebas para comparar modelos de forma consistente y reproducible.
• LLM-as-a-Judge: Utiliza un LLM más grande para evaluar las salidas de otro modelo recibiendo la pregunta, la respuesta generada, una referencia y criterios de evaluación. Permite evaluaciones cualitativas a gran escala.
• RLHF (Reinforcement Learning from Human Feedback): Incorpora las preferencias expresadas por humanos como señal para alinear y mejorar el comportamiento del modelo.

⚠️ Ojo: Un excelente resultado en un benchmark no garantiza que el modelo funcione bien en tu caso de uso específico.

💡 Analogía

💰 Métricas de Negocio e Impacto Financiero

• Task Completion Rate (Tasa de finalización de tareas): Porcentaje de tareas que la aplicación o agente logra completar con éxito de principio a fin.
• User Satisfaction (Satisfacción del usuario): Nivel de satisfacción medido mediante calificaciones, encuestas o retroalimentación directa.
• Cost per Interaction (Costo por interacción): Cuánto cuesta cada consulta considerando tokens, cómputo e infraestructura.

💡 Analogía

☁️ Entonces, ¿Cómo me ayuda AWS con esto?

• Amazon Bedrock Model Evaluation: Servicio administrado que permite evaluar, comparar y seleccionar Foundation Models de manera estructurada antes de llevarlos a producción. Permite combinar evaluaciones automáticas (con métricas estandarizadas) o integrar flujos con revisores humanos internos.
• Amazon SageMaker Model Monitor: Servicio diseñado para monitorear modelos en producción de forma continua. Permite detectar desviaciones de calidad y el fenómeno de drift (cambio en el comportamiento de los datos con el tiempo).
• Amazon Augmented AI (A2I): Permite implementar revisiones humanas (Human-in-the-loop) dentro de flujos de trabajo de Machine Learning. Si una predicción tiene confianza alta, el sistema continúa de forma automatizada; si la confianza es baja, la envía a un revisor humano.
• Amazon SageMaker Pipelines: Permite implementar metodologías MLOps, conectando y automatizando todas las fases del ciclo de vida (preparación de datos, entrenamiento, evaluación y despliegue) en flujos repetibles y seguros.