Arquitectura de la Solución
El flujo de trabajo se divide en dos fases clave: la ingesta de documentos y la generación de respuestas en tiempo real.
Fase de Ingesta:
Los documentos (PDF, TXT, CSV) se cargan en un bucket de Amazon S3.
Un evento de S3 activa una función AWS Lambda que procesa y fragmenta (chunking) el texto.
Los fragmentos se envían a Amazon Bedrock Titan Text Embeddings para generar vectores.
Los vectores se almacenan en una base de datos vectorial en Amazon OpenSearch Serverless.
Fase de Consulta:
El usuario realiza una pregunta a través de una API REST protegida por Amazon API Gateway.
Una función Lambda convierte la pregunta del usuario en un vector embeddings.
Se realiza una búsqueda de similitud en OpenSearch Serverless para recuperar el contexto más relevante.
Se envía el contexto junto con el prompt original a Amazon Bedrock (Claude 3.5) para generar la respuesta final.
Paso a Paso de la Implementación
- Configuración de la Base de Conocimiento
Primero, creamos la colección vectorial en OpenSearch Serverless y vinculamos el modelo de embeddings en Bedrock usando Boto3:
Python
import boto3
bedrock_client = boto3.client('bedrock-runtime', region_name='us-east-1')
def get_embedding(text):
response = bedrock_client.invoke_model(
modelId='amazon.titan-embed-text-v1',
body=f'{{"inputText": "{text}"}}'
)
# Procesar y retornar el vector
return response['body']
2. Orquestación del Prompt y Generación
Construimos la función Lambda principal para combinar el contexto recuperado con el modelo de lenguaje:
Python
def generate_response(prompt, context):
full_prompt = f"Basándote en el siguiente contexto: {context}\n\nPregunta: {prompt}"
response = bedrock_client.invoke_model(
modelId='anthropic.claude-3-5-sonnet-20240620-v1:0',
body=f'{{"prompt": "{full_prompt}", "max_tokens_to_sample": 500}}'
)
return response
Lecciones Aprendidas y Mejores Prácticas
Estrategia de Chunking: Ajustar el tamaño de los fragmentos de texto (entre 500 y 1000 tokens) es crítico para mantener la precisión sin perder el contexto.
Control de Costos: Al usar componentes serverless, solo pagas por las peticiones procesadas y las búsquedas vectoriales activas, lo que optimiza significativamente el presupuesto inicial.
Seguridad: Utilizar siempre IAM Roles con el principio de menor privilegio para la comunicación entre S3, Lambda y Bedrock.
Conclusión
Implementar un patrón RAG con componentes serverless en AWS reduce la sobrecarga operativa y permite escalar aplicaciones de IA de forma automática.
¿Has implementado Bedrock en tus proyectos o tienes alguna pregunta sobre el ajuste de hiperparámetros en el RAG? ¡Déjame tus comentarios abajo!
Loading article