Ciclo de vida de IA/ML y Métricas
Muchas personas creen que crear un modelo consiste únicamente en entrenarlo. En realidad, el entrenamiento es solo una etapa dentro de un proceso mucho más amplio llamado ciclo de vida de IA/ML. Además, aprenderemos cómo evaluar si un modelo realmente funciona, no solo desde un punto de vista técnico, sino también desde la perspectiva del negocio.
Series: Reto de Certificación AI Practitioner (9 articles)
- 2Ciclo de vida de IA/ML y Métricas This article
Ciclo de vida de IA/ML
El desarrollo de un modelo sigue una serie de etapas conocidas como pipeline o ciclo de vida de IA/ML.
Etapas del pipeline
| Etapa | ¿Qué sucede? |
|---|---|
| 📥 Recolección de datos | Obtener la información necesaria. |
| 🔍 Análisis Exploratorio (EDA) | Comprender cómo son los datos. |
| 🧹 Preprocesamiento | Limpiar y preparar los datos. |
| 🧩 Ingeniería de características | Seleccionar o crear las variables más útiles. |
| 🧠 Entrenamiento | El modelo aprende a partir de los datos. |
| ⚙️ Ajuste de hiperparámetros | Optimizar la configuración del modelo. |
| 📊 Evaluación | Medir qué tan bien funciona. |
| 🚀 Despliegue | Publicar el modelo para que los usuarios lo utilicen. |
| 📈 Monitoreo | Vigilar su desempeño y actualizarlo cuando sea necesario. |
Entremos al detalle.
1. Recolección de datos
Todo comienza obteniendo los datos.
Estos pueden venir de:
- Bases de datos
- Formularios
- APIs
- Sensores
- Archivos
- Registros de aplicaciones (logs)
💡 Recuerda
La calidad del modelo depende directamente de la calidad de sus datos.
2. Análisis Exploratorio de Datos (EDA)
Antes de entrenar cualquier modelo debemos conocer nuestros datos.
Durante esta etapa buscamos responder preguntas como:
- ¿Hay datos faltantes?
- ¿Existen valores atípicos?
- ¿Cómo están distribuidos los datos?
- ¿Qué relaciones existen entre las variables?
Es una etapa para comprender la información antes de utilizarla.
3. Preprocesamiento
Ahora toca preparar los datos.
Algunas tareas comunes son:
- eliminar duplicados;
- completar datos faltantes;
- normalizar valores numéricos;
- convertir categorías en números.
4. Ingeniería de características
No toda la información tiene el mismo valor.
En esta etapa se crean o seleccionan las variables que ayudarán al modelo a aprender mejor.
En muchos proyectos, mejorar las características produce mejores resultados que cambiar el algoritmo.
5. Entrenamiento
Aquí el modelo aprende utilizando los datos preparados.
Durante esta etapa ajusta sus parámetros internos para reducir sus errores y mejorar sus predicciones.
6. Ajuste de hiperparámetros
Los hiperparámetros son configuraciones que decidimos antes del entrenamiento.
Por ejemplo:
- Learning Rate
- Número de árboles
- Profundidad máxima
Su objetivo es mejorar el desempeño del modelo.
⚠️ Error común
Muchas personas confunden entrenamiento con ajuste de hiperparámetros.
- El entrenamiento hace que el modelo aprenda.
- Los hiperparámetros indican cómo aprenderá.
7. Evaluación
Antes de poner el modelo en producción debemos comprobar qué tan bien funciona utilizando datos que nunca había visto.
Aquí aparecen métricas como:
- Accuracy
- Precision
- Recall
- F1 Score
Las veremos más adelante.
8. Despliegue
Es el momento de poner el modelo a disposición de los usuarios.
Dependiendo del caso de uso, el modelo puede funcionar mediante APIs, aplicaciones web, procesos batch o sistemas en tiempo real.
9. Monitoreo
El trabajo no termina cuando el modelo entra en producción.
Los datos cambian con el tiempo y el desempeño del modelo puede disminuir.
Por eso es necesario monitorearlo continuamente.
El pipeline es un ciclo
Una de las preguntas favoritas del examen consiste en recordar que el pipeline no es lineal.
Si durante la evaluación encontramos un problema, podemos regresar a etapas anteriores para mejorar el modelo.
Es completamente normal volver a limpiar datos, crear nuevas características o incluso entrenar nuevamente.
🤖 ¿Modelo preentrenado o modelo personalizado?
Antes de desarrollar una solución de IA debemos decidir de dónde provendrá el modelo.
Modelos preentrenados
Ya fueron entrenados previamente.
Sus ventajas son:
- implementación rápida;
- menor costo;
- menor infraestructura;
- ideales para la mayoría de los proyectos.
Servicios como Amazon Bedrock ofrecen acceso a modelos fundacionales mediante API.
Modelos personalizados
Se entrenan utilizando datos propios.
Ofrecen mayor control, pero requieren:
- mucho más tiempo;
- mayor inversión;
- grandes cantidades de datos;
- infraestructura de cómputo.
En la práctica, la mayoría de las organizaciones no entrena modelos desde cero. Lo más común es ajustar (fine-tuning) un modelo ya existente.
🌐 ¿Cómo llevar un modelo a producción?
Existen dos enfoques principales.
API administrada
El proveedor administra toda la infraestructura.
Ventajas:
- implementación rápida;
- menor mantenimiento;
- escalado automático.
Ejemplo: Amazon Bedrock.
API auto-alojada
La organización administra el modelo y su infraestructura.
Ventajas:
- mayor control;
- mayor personalización.
Desventajas:
- requiere mayor operación y mantenimiento.
Ejemplo: desplegar modelos propios utilizando Amazon SageMaker AI.
⚙️ ¿Qué es MLOps?
Así como DevOps mejora el desarrollo de software, MLOps busca automatizar y mantener todo el ciclo de vida de Machine Learning.
Incluye actividades como:
- experimentación;
- procesos repetibles;
- sistemas escalables;
- monitoreo;
- reentrenamiento;
- gestión de deuda técnica;
- preparación para producción.
El objetivo es que el modelo siga funcionando correctamente incluso meses después de haber sido desplegado.
🫣 ¿Qué es el Drift?
Con el paso del tiempo el comportamiento de los usuarios cambia.
Eso provoca que los datos actuales sean diferentes a los utilizados durante el entrenamiento.
A este fenómeno se le conoce como Drift.
Cuando aparece, normalmente es necesario volver a entrenar el modelo.
📊 Métricas para evaluar un modelo
No existe una única métrica perfecta.
Cada una responde una pregunta diferente.
| Métrica | Responde a la pregunta |
|---|---|
| Accuracy | ¿Qué porcentaje de todas las predicciones fue correcto? |
| Precision | De todo lo que predije como positivo, ¿cuánto realmente era positivo? |
| Recall | De todos los positivos reales, ¿cuántos detecté? |
| F1 Score | ¿Cuál es el equilibrio entre Precision y Recall? |
🎯 Tip para el examen
Si el costo de un falso positivo es alto, normalmente interesa Precision.
Si el costo de un falso negativo es alto, normalmente interesa Recall.
Las métricas de negocio también importan
Un modelo puede ser técnicamente excelente y aun así no ser rentable.
Por eso también se evalúan indicadores como:
- costo por usuario;
- costos de desarrollo;
- retroalimentación de clientes;
- retorno de inversión (ROI).
La meta no es únicamente obtener un modelo preciso, sino uno que genere valor para la organización.
✨ Mantente al día con todas las novedades
AWS Tech Girls
Series: Reto de Certificación AI Practitioner (9 articles)
- 2Ciclo de vida de IA/ML y Métricas This article
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article