Fundamentos de IA Generativa: conceptos y modelos
Una guía práctica para entender los fundamentos de la IA Generativa: desde tokens, embeddings y LLMs hasta Foundation Models, prompt engineering, costos y context engineering.
Series: Reto de Certificación AI Practitioner (9 articles)
- …
- 3Fundamentos de IA Generativa: conceptos y modelos This article
La IA Generativa puede parecer complicada cuando empezamos a escuchar términos como tokens, embeddings, Transformers, Foundation Models o context engineering. Pero detrás de todos estos conceptos existe una idea sencilla:
La IA Generativa transforma información en representaciones que los modelos pueden procesar, aprende patrones a gran escala y utiliza ese conocimiento para generar nuevas respuestas.
🧱 Los ladrillos de la IA Generativa
Antes de entender cómo funciona un modelo, necesitamos saber cómo representa la información.
🔤 Tokens
Un token es una unidad de texto que el modelo utiliza para procesar una entrada o generar una salida.
Un token puede ser:
- Una palabra completa.
- Una parte de una palabra.
- Incluso un carácter.
Por ejemplo, una palabra larga o poco común podría dividirse en varios tokens.
Los modelos de lenguaje no procesan directamente las palabras como nosotros las vemos. El texto se transforma en una secuencia de tokens que posteriormente se representa numéricamente.
💡 ¿Por qué importa?
Porque la cantidad de tokens afecta directamente:
- 💰 El costo.
- ⏱️ El tiempo de respuesta.
- 📦 La cantidad de información que podemos enviar al modelo.
✂️ Chunking
Cuando tenemos un documento muy grande, podemos dividirlo en fragmentos más pequeños llamados chunks.
A este proceso se le conoce como chunking.
Por ejemplo:
1
2
3
4
5
6
7
8
9
📄 Documento de 200 páginas
↓
✂️ Chunking
↓
📄 Chunk 1
📄 Chunk 2
📄 Chunk 3
...
📄 Chunk N
Es especialmente importante en aplicaciones de búsqueda semántica y RAG, donde necesitamos recuperar solamente las partes relevantes de un documento.
⚠️ El tamaño importa:
- Chunks demasiado grandes → pueden mezclar temas diferentes.
- Chunks demasiado pequeños → pueden perder información necesaria para entender el contexto.
🧠 Embeddings
Un embedding es una representación numérica de información —por ejemplo, texto o imágenes— que busca capturar su significado semántico.
La idea clave es:
Textos con significados similares tendrán representaciones numéricas cercanas.
Por ejemplo:
1
2
3
"¿Cómo puedo recuperar mi contraseña?"
↕
"Olvidé mi password"
Aunque las palabras no sean exactamente iguales, sus embeddings pueden estar cerca porque expresan una idea similar.
Esto permite realizar búsquedas por significado, no únicamente por coincidencia exacta de palabras.
📐 Vectores
Un vector es la lista ordenada de números que representa ese embedding.
Podemos visualizarlo de forma simplificada:
1
2
3
4
5
6
7
Texto
↓
Embedding
↓
[0.21, -0.43, 0.87, 0.12, ...]
↑
Vector
Los vectores pueden almacenarse en bases de datos vectoriales para posteriormente compararlos y encontrar información semánticamente similar.
🔗 ¿Cómo se conectan?
El flujo puede resumirse así:
Documento → Chunking → Tokens → Embedding → Vector → Búsqueda semántica
Esta relación será especialmente importante cuando estudiemos RAG y bases de datos vectoriales.
🏗️ ¿Qué hay detrás de un modelo de GenAI?
Ahora que sabemos cómo se representa la información, podemos hablar de los modelos.
🧠 LLMs y Transformers
Los Large Language Models (LLMs) son modelos especializados en comprender y generar lenguaje.
Los LLM modernos se basan principalmente en la arquitectura Transformer.
Una de sus características fundamentales es el mecanismo de atención, que permite al modelo determinar qué partes del contexto son relevantes al momento de generar una respuesta.
Una forma sencilla de pensarlo:
El Transformer analiza las diferentes partes del contexto y decide cuáles son más importantes para interpretar o generar la siguiente parte del texto.
🌎 Foundation Models
Un Foundation Model (FM) es un modelo preentrenado con grandes cantidades de datos y diseñado para servir como base para diferentes tareas.
En lugar de construir un modelo desde cero para cada problema, podemos partir de un FM y adaptarlo utilizando técnicas como:
- Prompt engineering.
- Fine-tuning.
🧩 LLM vs Foundation Model
Aquí hay una distinción importante para el examen:
Un LLM es un tipo de Foundation Model, pero no todos los Foundation Models son LLMs.
Por ejemplo:
- 📝 LLM → trabaja principalmente con lenguaje.
- 🎨 Modelo de difusión → puede utilizarse para generar imágenes.
- 🖼️ Modelo multimodal → puede trabajar con diferentes tipos de datos.
👁️ Modelos multimodales
Un modelo multimodal puede procesar y/o generar diferentes tipos de datos.
Por ejemplo:
Texto + imagen + audio + video
Esto permite escenarios como:
📸 "Analiza esta imagen y explícame qué contiene."
o:
✍️ "Genera una imagen a partir de esta descripción."
⚠️ Multimodal no significa "puede hacer muchas tareas".
Significa que puede trabajar con diferentes modalidades de datos.
🎨 Modelos de difusión
Los modelos de difusión son una arquitectura muy utilizada para generar imágenes.
La idea puede parecer sorprendentemente sencilla:
1
2
3
4
5
6
7
Ruido
↓
🌀
↓
🌀 + menos ruido
↓
🖼️ Imagen
Durante el entrenamiento, el modelo aprende a revertir progresivamente un proceso de adición de ruido.
Durante la generación, parte de ruido y lo va refinando hasta producir una imagen coherente, guiada por un prompt.
✍️ Prompt Engineering
Seguramente ya has utilizado un prompt sin darte cuenta.
Un prompt es la instrucción que proporcionamos al modelo.
El prompt engineering consiste en diseñar y refinar esas instrucciones para obtener respuestas más precisas y consistentes.
Por ejemplo:
❌ Prompt poco específico:
"Háblame de AWS."
✅ Prompt más claro:
"Explícame Amazon S3 como si fuera un estudiante que está preparando el AWS Certified AI Practitioner. Utiliza un ejemplo sencillo y termina con tres preguntas de examen."
El segundo prompt proporciona más información sobre:
- 🎯 Qué queremos.
- 👤 Para quién.
- 📚 Con qué propósito.
- 📝 Cómo queremos la respuesta.
💡 Una idea importante
Prompt engineering no modifica el modelo.
No estamos entrenándolo nuevamente; simplemente estamos utilizando mejor sus capacidades existentes.
Por eso suele ser una de las primeras alternativas que debemos probar antes de recurrir a técnicas más costosas como el fine-tuning.
🔄 El ciclo de vida de un Foundation Model
Crear y operar un Foundation Model no es solamente "entrenar un modelo".
Existe un ciclo de vida completo:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
📚 Datos
↓
🧠 Selección del modelo
↓
🏋️ Preentrenamiento
↓
🎯 Fine-tuning
↓
📊 Evaluación
↓
🚀 Despliegue
↓
💬 Retroalimentación
↘
🔄
Veamos cada etapa.
1️⃣ Selección de datos
Se seleccionan grandes conjuntos de datos para entrenar el modelo.
La calidad, diversidad y volumen de los datos tienen una gran influencia en las capacidades que tendrá posteriormente el modelo.
2️⃣ Selección del modelo
Se decide qué arquitectura y tamaño de modelo utilizar.
Aquí existe un balance entre:
Capacidad ↔ Costo de entrenamiento ↔ Objetivo
Un modelo más grande puede ofrecer mayores capacidades, pero también puede implicar mayores costos.
3️⃣ Preentrenamiento
Es el entrenamiento inicial y masivo del modelo.
El modelo aprende patrones generales a partir de grandes cantidades de datos.
⚠️ Es la etapa más costosa en tiempo y cómputo del ciclo de vida.
4️⃣ Fine-tuning
Después del preentrenamiento, podemos especializar el modelo utilizando un conjunto de datos más pequeño y específico.
Por ejemplo:
1
2
3
4
5
Foundation Model
↓
Fine-tuning
↓
Modelo especializado
La diferencia fundamental es:
Preentrenamiento = construir conocimiento general.
Fine-tuning = especializar un modelo que ya existe.
5️⃣ Evaluación
Antes de utilizar el modelo en producción debemos medir su desempeño.
Esto puede hacerse mediante benchmarks y diferentes técnicas de evaluación.
6️⃣ Despliegue
El modelo se pone a disposición de los usuarios o aplicaciones.
Puede hacerse mediante diferentes mecanismos, como una API administrada o una solución autoalojada.
7️⃣ Retroalimentación
Una vez que el modelo está en producción, podemos obtener señales de su desempeño:
- 👍 Calificaciones de usuarios.
- ✏️ Correcciones.
- ❌ Casos donde falló.
- 💬 Comentarios.
Esta información puede alimentar ciclos futuros de ajuste y mejora.
Por eso el ciclo es iterativo, no lineal.
💰 ¿Por qué los tokens afectan el costo?
En GenAI, muchas soluciones utilizan un modelo de precios basado en tokens.
Los proveedores pueden cobrar por:
- 📥 Tokens de entrada.
- 📤 Tokens de salida.
Y normalmente ambos tienen precios diferentes.
Ejemplo sencillo
Imagina que tenemos una aplicación que envía:
1
2
3
4
5
Prompt corto
↓
Pocos tokens
↓
💰 Menor costo
Pero si enviamos:
1
2
3
4
5
6
7
Prompt enorme
+ historial completo
+ documentos innecesarios
↓
Muchos tokens
↓
💰 Mayor costo
Además, una mayor cantidad de tokens puede incrementar el tiempo de procesamiento y, por lo tanto, la latencia.
🎯 Regla práctica
No se trata de enviar la mayor cantidad de información posible, sino de enviar la información necesaria y relevante.
Esto nos lleva al siguiente concepto.
🧠 Context Engineering
El context engineering va más allá de escribir un buen prompt.
Mientras que:
Prompt engineering = ¿Cómo redacto la instrucción?
Context engineering = ¿Qué información necesita recibir el modelo para responder correctamente?
El contexto puede incluir:
- 💬 Historial de conversación.
- 📄 Documentos recuperados.
- 🔧 Resultados de herramientas.
- 📚 Información adicional.
- 🎯 Instrucciones relevantes.
Ejemplo
Imagina un asistente para una empresa.
El usuario pregunta:
"¿Cuándo es mi cita?"
Un buen sistema no necesita enviarle al modelo toda la base de datos de clientes.
Necesita proporcionar únicamente:
1
2
3
4
5
6
7
8
9
👤 Usuario actual
+
💳 Información relevante
+
📋 Instrucciones
↓
🤖 Modelo
↓
Respuesta
Eso es parte del context engineering: decidir qué información incluir, cuál omitir y cómo organizarla dentro de la ventana de contexto disponible.
🆚 Prompt Engineering vs Context Engineering
Esta diferencia es muy importante para el examen:
| Prompt Engineering | Context Engineering |
|---|---|
| Se enfoca en la instrucción | Se enfoca en toda la información disponible |
| ¿Cómo le pido algo al modelo? | ¿Qué información le doy al modelo? |
| Trabaja principalmente con el prompt | Incluye historial, documentos, herramientas, etc. |
| Es una parte del diseño de la interacción | Es un enfoque más amplio de gestión del contexto |
👉 Prompt engineering es cómo hacemos la pregunta.
👉 Context engineering es cómo construimos todo el contexto que rodea esa pregunta.
🧩 Todo empieza a conectarse
Ahora podemos juntar los conceptos:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
🤖 GenAI
│
┌───────────┴───────────┐
↓ ↓
Representación Modelos
│ │
Tokens → Embeddings Transformers
Chunking → Vectores Foundation Models
Multimodales
Difusión
│
↓
Información relevante
│
↓
Prompt Engineering
+
Context Engineering
│
↓
Respuesta
│
↓
Evaluación → Feedback
↖____________↙
La idea central es que GenAI no es solamente elegir un modelo.
También debemos entender:
- Cómo representamos la información.
- Cómo damos instrucciones.
- Qué contexto proporcionamos.
- Cómo se entrenan y especializan los modelos.
- Cómo evaluamos sus resultados.
- Cómo controlamos costos y rendimiento.
✨ Mantente al día con todas las novedades
AWS Tech Girls
Series: Reto de Certificación AI Practitioner (9 articles)
- …
- 3Fundamentos de IA Generativa: conceptos y modelos This article
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article