Aplicaciones de Foundation Models: Entrenamiento, Fine-Tuning y Evaluación - AI Practitioner Certification #6
En este artículo utilizo la Técnica Feynman para desglosar de manera sencilla y profunda los pilares fundamentales del Prompt Engineering, lo cual ayudará en la preparación de forma sólida para la certificación AWS Certified AI Practitioner.
Series: Hacia la certificación AWS AI Practitioner (6 articles)
- …
- 6Aplicaciones de Foundation Models: Entrenamiento, Fine-Tuning y Evaluación - AI Practitioner Certification #6 This article
Contexto
Utilizar un Foundation Model tal como viene de fábrica no siempre es suficiente para resolver los problemas reales de una organización. En muchos escenarios, el modelo necesita comprender la jerga profunda de una industria, seguir formatos de respuesta estrictos o ser mucho más rápido y económico para operar a gran escala.
En la certificación AWS Certified AI Practitioner, este bloque evalúa tu capacidad para decidir cuándo y cómo adaptar un modelo (desde la curación de datos hasta la selección de técnicas como Instruction Tuning o Model Distillation) y cómo medir rigurosamente si los cambios funcionan, distinguiendo la calidad técnica del modelo del impacto financiero y la efectividad de la aplicación completa en producción.
🔑 Conceptos Clave
ESPECTRO DE ADAPTACIÓN Y PERSONALIZACIÓN
Menor Costo/Esfuerzo ─────────────────────────────────────────► Mayor Costo/Esfuerzo[ In-Context Learning ] ──► [ RAG ] ──► [ Fine-Tuning ] ──► [ Distillation ] ──► [ Pre-Training ] (In-Prompt / No Mod) (Información) (Comportamiento) (Maestro/Est.) (Desde Cero)🧠 Pre-training vs. Continuous Pre-training vs. Fine-tuning
Lo que debes entender realmente: Entrenar un modelo no es un proceso único; existen tres etapas en el espectro de aprendizaje:
- Pre-training: Es el entrenamiento inicial y masivo donde el modelo aprende patrones generales del lenguaje con cantidades masivas de datos. Es la etapa más costosa en tiempo y cómputo de todo el ciclo de vida y no tiene sentido repetirla desde cero para la mayoría de las organizaciones.
- Continuous Pre-training: Consiste en continuar entrenando un modelo preentrenado con datos adicionales masivos para ampliar o actualizar su base de conocimiento general.
- Fine-tuning: Toma un modelo preentrenado y utiliza un conjunto de datos más pequeño y específico para especializar su comportamiento, estilo o tono.
💡 Analogía
- Pre-training: Cursar la educación básica y la secundaria para aprender a leer, escribir, razonar y adquirir cultura general del mundo.
- Continuous Pre-training: Leer la biblioteca entera de derecho constitucional para incorporar un volumen masivo de conocimiento legal antes de ejercer.
- Fine-tuning: Hacer una residencia supervisada para aprender a redactar demandas judiciales siguiendo el formato y estilo estricto de un tribunal.
📌 Atajo mental para el examenPre-training → Crear el conocimiento general inicial.Continuous pre-training → Ampliar o actualizar el conocimiento general.Fine-tuning → Especializar el comportamiento en una tarea o dominio.
🎯 Enfoques de Fine-tuning — Instruction Tuning, Transfer Learning, Domain Adaptation y RLHF
Lo que debes entender realmente: Cuando decides hacer fine-tuning, el método depende de lo que quieras lograr con el modelo:
- Instruction Tuning: Utiliza datasets estructurados del tipo Instrucción → Respuesta esperada para que el modelo aprenda a seguir instrucciones en lenguaje natural y respetar formatos específicos.
- Domain Adaptation: Especializa al modelo en el vocabulario, estilo de redacción y patrones propios de una industria específica (salud, finanzas, seguros).
- Transfer Learning: Es el principio científico de reutilizar conocimiento adquirido previamente para aprender una nueva tarea relacionada sin empezar desde cero (una técnica clásica de ML).
- RLHF (Reinforcement Learning from Human Feedback): Incorpora las preferencias expresadas por revisores humanos como señal para alinear y mejorar el comportamiento del modelo.
💡 Analogía
- Instruction tuning: Entrenar a un soldado para que responda instantáneamente con un formato de reporte estándar ante la orden "Presente informe de situación".
- Domain adaptation: Sumergir a un traductor en un astillero naval para que se familiarice con la jerga técnica de la arquitectura de barcos.
- Transfer learning: Como ya sabes manejar un automóvil estándar, usas ese conocimiento previo para aprender rápidamente a conducir un camión.
- RLHF: Un chef que cocina tres platillos diferentes, se los da a probar a los comensales y ajusta su receta guiándose por cuál platillo recibió mejores elogios.
⚡ Model Distillation — Destilación de Modelos
Lo que debes entender realmente: Es una técnica de compresión donde se utiliza un modelo grande y capaz como maestro (teacher) para entrenar a un modelo más pequeño llamado estudiante (student) con el fin de que replique su comportamiento.
- Objetivo principal: Obtener menor costo de inferencia y menor latencia en producción conservando la mayor cantidad de capacidad del modelo original.
⚠️ Ojo para el examen: La destilación también tiene un costo de entrenamiento inicial (entrenar al estudiante y generar las respuestas del maestro); el beneficio económico se recupera al usar repetidamente al estudiante en producción.
💡 Analogía
Un profesor universitario con doctorado (maestro) redacta un cuaderno de resumen simplificado con sus mejores trucos y explicaciones. Un estudiante de bachillerato (estudiante) estudia directamente de esa guía y logra resolver los exámenes ágilmente sin tener que cursar los 5 años de doctorado.
📊 Métricas de Evaluación de Texto y Métodos de Evaluación
Lo que debes entender realmente: No existe una única métrica para evaluar un Foundation Model; debes elegir la herramienta adecuada según la tarea:
- ROUGE: Mide la superposición literal de palabras clave entre el texto generado y la referencia. Se usa para resúmenes.
- BLEU: Compara secuencias exactas de palabras (n-gramas) contra referencias. Se usa para traducción automática.
- BERTScore: Utiliza embeddings semánticos para evaluar si dos textos expresan el mismo significado, aunque utilicen palabras totalmente distintas.
- Evaluación Humana (Human-in-the-loop): Personas reales evalúan el tono, la amabilidad y la utilidad. Aporta juicio humano real pero es lento y difícil de escalar.
- Benchmark Datasets: Conjuntos estandarizados para comparar modelos de forma reproducible.
- LLM-as-a-Judge: Utilizar un LLM más grande como evaluador para analizar la relevancia y coherencia de otro modelo a gran escala.
⚠️ Atención: Un buen resultado en un benchmark no garantiza éxito en tu caso de uso específico.
💡 Analogía
- ROUGE: Un corrector que verifica si el resumen de una película menciona a los personajes principales.
- BLEU: Un profesor de idiomas que revisa si traducirse la frase palabra por palabra según el diccionario.
- BERTScore: Un profesor comprensivo que califica la idea conceptual. Si la referencia dice "El cliente canceló porque el producto llegó tarde" y el modelo genera "El retraso en la entrega provocó que el comprador anulara su pedido", BERTScore otorga el puntaje máximo porque comprende que el significado es equivalente.
🧩 Evaluación del Modelo vs. Evaluación de la Aplicación e Indicadores de Negocio
Lo que debes entender realmente: Un Foundation Model excelente puede dar origen a una pésima aplicación si los componentes a su alrededor fallan.
- Evaluación en RAG: Debes evaluar de forma independiente la Recuperación (Retrieval) —si recuperaste los documentos correctos— y la Generación (Generation) —si el modelo redactó bien con ese contexto—. Un modelo excelente no compensa una recuperación deficiente.
- Evaluación de Agentes: Evaluar solo el mensaje final es insuficiente; debes evaluar el desempeño end-to-end (elección de herramientas, pasos intermedios y cumplimiento del objetivo).
💰 Métricas de Negocio
- Task Completion Rate: Porcentaje de tareas completadas con éxito de principio a fin.
- User Satisfaction: Nivel de satisfacción medido mediante encuestas o calificaciones.
- Cost per Interaction: Cuánto cuesta cada consulta (tokens + infraestructura). Una solución brillante es inviable si su costo por interacción destruye el ROI del proyecto.
💡 Analogía
Un motor de carreras Ferrari (el LLM) instalado en un automóvil que tiene los neumáticos ponchados (Retrieval deficiente en RAG) y un tanque de gasolina con fugas que cuesta $10,000 dólares por kilómetro (Costo por interacción desmedido). El motor es perfecto, pero el coche perderá la carrera y quebrará al dueño.
☁️ Entonces, ¿cómo ayuda AWS en esto?
AWS proporciona herramientas y servicios para gestionar la adaptación, la gobernanza y la evaluación estructurada de modelos:
SERVICIOS DE EVALUACIÓN Y ADAPTACIÓN EN AWS
¿Quieres evaluar FMs de forma administrada? ──────► [ Amazon Bedrock Model Evaluation ]* Evaluación automática y con revisores humanos* Comparación estructurada pre-despliegue
¿Quieres modelos listos para personalizar? ──────► [ Amazon SageMaker JumpStart ]* Catálogo de modelos open source preentrenados* Entorno integrado para Fine-tuning
¿Quieres revisar casos ambiguos en prod? ────────► [ Amazon Augmented AI (A2I) ]* Flujo de Human-in-the-loop* Desvío por umbral de confianza
¿Quieres automatizar el pipeline de MLOps? ──────► [ Amazon SageMaker Pipelines ]* Automatización de reentrenamiento y evaluación* Trazabilidad y gobernanza de modelos🛠️ Servicios de AWS
- Amazon Bedrock Model Evaluation: Servicio administrado que permite evaluar, comparar y seleccionar Foundation Models de manera estructurada mediante métricas automáticas o involucrando equipos de revisores humanos internos.
- Amazon SageMaker JumpStart: Catálogo dentro de SageMaker que da acceso a modelos preentrenados para desplegarlos o adaptar su comportamiento con Fine-tuning utilizando la infraestructura de SageMaker.
- Amazon Bedrock Customization (Fine-tuning): Funcionalidad administrada en Bedrock para adaptar los pesos de modelos base utilizando datasets propios de la organización.
- Amazon Augmented AI (A2I): Permite implementar flujos de revisión humana (Human-in-the-loop) enviando predicciones de baja confianza a revisores humanos.
- Amazon SageMaker Pipelines: Permite implementar metodologías de MLOps, automatizando los pasos de curación de datos, fine-tuning, evaluación y despliegue.
Series: Hacia la certificación AWS AI Practitioner (6 articles)
- …
- 6Aplicaciones de Foundation Models: Entrenamiento, Fine-Tuning y Evaluación - AI Practitioner Certification #6 This article
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article