AWS Builder Center

De POC a PROD: lecciones difíciles de más de 200 implementaciones empresariales de IA generativa, parte 2

En este artículo vas a descubrir las lecciones que aprendimos a partir de más de 200 implementaciones empresariales de GenAI y qué hace falta realmente para pasar de una POC a producción a escala.

Esta es la segunda parte de una serie de dos artículos. La  primera parte  contiene las seis lecciones principales que aprendimos al llevar más de 200 aplicaciones de IA generativa a producción. En esta parte vamos a compartir los patrones específicos que funcionan y los anti-patterns que fallan de manera consistente, basados en nuestra propia experiencia construyendo sistemas de IA generativa.
Nuestros sistemas de producción utilizan un stack relativamente consistente de servicios de AWS, que elegimos mediante prueba y error a lo largo de cientos de implementaciones. En la capa base usamos tres servicios principales:  Amazon Bedrock ,  Amazon Bedrock AgentCore  y  Amazon SageMaker AI . Amazon Bedrock proporciona acceso administrado a modelos fundacionales de Anthropic, Meta, Mistral y la familia Nova de Amazon. Amazon Bedrock AgentCore proporciona una plataforma para agentes de IA que incluye el runtime principal, seguridad, gestión de identidad y acceso, memoria y observabilidad. Amazon SageMaker AI te da más control si necesitas desplegar modelos personalizados, aunque vas a pagar más por el cómputo. En algunos casos ejecutamos la inferencia directamente en Amazon ECS o Amazon EC2, sobre todo cuando necesitamos un control específico del entorno.
AWS ofrece dos chips de diseño propio que deberías conocer:  AWS Trainium  para entrenamiento y  AWS Inferentia  para inferencia. Estos chips ofrecen una mejora aproximada del 60 % en la relación precio-rendimiento frente a las GPUs de Nvidia, aunque tienen dos trade-offs importantes:
  1. La cantidad de RAM disponible en las instancias Inferentia es menor que la que obtienes con una H100 o H200.
  1. Vas a tener que usar el  AWS Neuron SDK , algo similar a escribir XLA para las TPUs de TensorFlow.
Si tus modelos se ajustan a estas restricciones y ejecutas inferencia de alto volumen, podrías conseguir ahorros importantes. Te conviene prestar especial atención a los nuevos  Trainium3 UltraServers , que ofrecen tres veces más capacidad de procesamiento por chip y tiempos de respuesta cuatro veces más rápidos que la generación anterior.
Si necesitas más memoria o prefieres las GPUs de Nvidia, las instancias  P6-B300 , anunciadas recientemente y equipadas con GPUs Nvidia Blackwell Ultra, ofrecen 2,1 TB de memoria de GPU y 6,4 Tbps de ancho de banda de red mediante  Elastic Fabric Adapter (EFA) .
Nuestras preferencias para embeddings y búsqueda vectorial evolucionaron con el tiempo. Actualmente preferimos Postgres con pgvector para la mayoría de los casos de uso con acceso frecuente. Combinar la búsqueda por similitud vectorial con consultas relacionales tradicionales en una sola base de datos simplifica la arquitectura y permite implementar una búsqueda híbrida potente. OpenSearch sigue siendo una buena opción, en especial cuando necesitas funciones avanzadas de búsqueda de texto junto con la búsqueda vectorial. Para requisitos de latencia extremadamente baja,  Amazon MemoryDB  con búsqueda vectorial es impresionantemente rápido. Sin embargo, su costo refleja esa velocidad porque todo debe permanecer en RAM.  Amazon S3 Vectors  es una opción excelente para accesos poco frecuentes, pero sus unit economics hacen que resulte más caro si consultas el espacio vectorial, en promedio, más de diez veces por minuto. Si vas a construir un índice grande, deberías presupuestarlo en consecuencia o utilizar alternativas basadas en disco, como Postgres u OpenSearch, que pueden aprovechar los índices con mayor eficiencia.
El componente que realmente diferencia a tu sistema de las soluciones de tus competidores es la gestión del contexto. Los embeddings por sí solos no crean una ventaja defendible. Si tu competidor tiene los mismos documentos convertidos en embeddings y almacenados en la misma base de datos vectorial, a efectos prácticos ambos sistemas son iguales. En cambio, si puedes inyectar información contextual que otros no tienen, como la página actual del usuario, su historial de navegación, el estado de la sesión, sus patrones de interacción o metadatos específicos del negocio, vas a ofrecer mejores resultados. Ese contexto es tu ventaja competitiva. Por eso, comprender tus patrones de acceso importa más que conseguir embeddings perfectos. ¿Cómo van a buscar realmente tus usuarios? ¿Qué filtros van a necesitar? ¿Qué capacidades de faceted search vas a necesitar? Los embeddings no pueden responder por sí solos estas preguntas. En producción, la búsqueda híbrida que combina similitud vectorial con consultas estructuradas suele superar a la búsqueda vectorial pura.

Patrones que funcionan en producción

Más allá de las lecciones individuales, algunos patrones arquitectónicos demostraron ser sólidos en varias implementaciones en producción. Estos son sistemas reales que construimos y operamos a escala.

Arquitectura de búsqueda multimodal de video

Nature Footage, un proveedor de videos de stock, necesitaba implementar búsqueda semántica sobre miles de videos de alta resolución y recurrió a Caylent para encontrar una solución. El reto técnico consistía en permitir búsquedas mediante consultas en lenguaje natural y, al mismo tiempo, mantener una latencia y una calidad de búsqueda aceptables. La solución combinó varios componentes.
En lugar de procesar el video completo, lo que habría desperdiciado muchos tokens, usamos muestreo de frames (frame sampling) para extraer frames a intervalos regulares. La frecuencia depende del contenido: los videos con mucha acción necesitan muestras más frecuentes, mientras que las tomas estáticas necesitan menos. Generamos embeddings para cada frame mediante  Amazon Titan V2 multimodal embeddings  y también experimentamos con  Amazon Nova multimodal embeddings . La innovación clave fue aplicar agregación (pooling) a esos embeddings de cada frame para crear un único embedding por video. Este embedding agrupado capturaba el contenido semántico general del video y permitía implementar text-to-video search. Así, los usuarios podían describir lo que buscaban y recuperar contenido visualmente relevante.
Pero los embeddings por sí solos no alcanzan para una búsqueda en producción. Los usuarios necesitan filtrar por resolución, duración, frame rate, condiciones de licencia y elementos específicos. Almacenamos los embeddings junto con los metadatos en OpenSearch para permitir consultas híbridas que combinan similitud vectorial con filtros estructurados. Una consulta podría ser «atardecer en la montaña» con filtros de resolución 4K y una licencia determinada. La búsqueda vectorial encuentra videos semánticamente similares, mientras que los filtros eliminan los resultados incompatibles. Así, los usuarios reciben resultados que cumplen tanto con la consulta como con los filtros especificados.
Otro de nuestros clientes necesitaba una solución parecida para crear highlights, es decir, videos breves de las jugadas y los momentos principales de eventos deportivos. En ese caso extendimos la arquitectura para procesar contenido en tiempo real. Separamos los streams de audio y video, generamos transcripciones a partir del audio y analizamos ambas modalidades de forma independiente. Una técnica particularmente eficaz consistió en generar un espectrograma de amplitud con FFmpeg sobre la pista de audio para detectar cuándo vitoreaba el público, algo que se correlaciona fuertemente con los momentos destacados. Esta señal simple muchas veces supera al análisis de video complejo para identificar jugadas importantes. Luego usamos  Amazon Nova Pro  para comprender cada frame, generamos embeddings tanto del texto transcrito como de los frames y los almacenamos con puntajes de confianza para los comportamientos detectados. Las notificaciones push mediante  Amazon SNS  avisan a los usuarios cuando el sistema detecta highlights relevantes.
Anotar los videos mejora considerablemente la exactitud del modelo y muchas veces funciona mejor que enfoques más sofisticados. Para grabaciones de básquet, dibujamos una línea azul que marcaba la línea de tres puntos de la cancha. Luego le hicimos al modelo preguntas simples como: «¿El jugador cruzó la gran línea azul antes de lanzar?». Esa anotación tomó apenas unos segundos por video y mejoró drásticamente la exactitud de la detección. También podrías automatizar algunas anotaciones mediante modelos como SAM2 de Meta para segmentación. La lección es que una pequeña cantidad de preprocesamiento específico puede mejorar los resultados más que un model engineering complejo.

Evals que realmente importan

Los frameworks de evaluación evolucionan mediante etapas predecibles. Comprender esa progresión te ayuda a construir pruebas adecuadas para el nivel de madurez de tu sistema.
La revisión a ojo (vibe check) es el punto de partida. Pruebas algunos prompts, observas los outputs y decides si parecen razonables. Es un proceso subjetivo y no repetible, pero no por eso deja de ser útil. Tu primer vibe check se convierte en tu primera eval. Deberías anotar los prompts que probaste manualmente y los outputs que consideraste aceptables o inaceptables. Con eso ya creaste tu primer eval set.
Construir un eval set implica variar los inputs de manera sistemática y capturar casos límite. Deberías tomar tus prompts iniciales y cambiar los datos. ¿Qué sucede con inputs más largos o más breves? ¿Con frases ambiguas? ¿Con información faltante? ¿Con formatos inesperados? Después de unos veinte minutos de iteración ya puedes tener un eval set funcional. Al principio no necesitas cientos de ejemplos. Necesitas cubrir los casos importantes y los modos de falla más frecuentes.
Las métricas booleanas suelen funcionar mejor que los sistemas de puntuación complejos. Para cada caso de prueba, deberías definir un criterio de éxito claro. ¿El sistema extrajo todos los campos necesarios del documento? Sí o no. ¿Dirigió la request al handler correcto? Sí o no. Esta evaluación binaria es más fácil de implementar que el cálculo de BERT scores u otras métricas de similitud semántica y muchas veces resulta más significativa. Un score de 0,73 necesita interpretación. ¿Qué significa exactamente? En cambio, «15 de 20 casos de prueba pasaron» se entiende de inmediato.
La iteración con este framework de evals permite detectar regresiones y validar mejoras. Antes de cambiar un prompt o actualizar los modelos, deberías ejecutar tu eval set y registrar los resultados. Después puedes hacer el cambio, volver a ejecutar las evals y comparar. Si los scores bajan, encontraste una regresión. Si mejoran, vas a necesitar validar que la mejora también se aplique fuera de tu eval set. Este ciclo corto de feedback evita el problema de «ayer funcionaba», en el que cambios no documentados rompen funcionalidades que antes funcionaban.
El objetivo no es conseguir métricas de evaluación perfectas, sino contar con suficiente cobertura de pruebas para llevar cambios a producción con confianza. Deberías pensar las evals como las pruebas de las rutas de ejecución del LLM. A medida que tu sistema madura, el eval set crece para cubrir nuevos casos límite y modos de falla descubiertos en producción. Pero puedes comenzar con algo simple y hacerlo evolucionar de manera sistemática.

Gestión del contexto a escala

La gestión del contexto crea una ventaja competitiva difícil de replicar. Aunque los embeddings y el acceso a modelos están cada vez más disponibles para todos y ofrecen menos diferenciación, la información contextual que puedes aportar sigue siendo exclusiva de tu negocio.
Un buen ejemplo sería una plataforma de e-commerce que utiliza IA para recomendar productos. Los embeddings genéricos de productos basados en sus descripciones son apenas un requisito básico: todos los competidores los tienen. La información contextual es lo que crea diferenciación. Podrías incluir el historial de navegación del usuario durante la sesión actual, los productos que tiene en el carrito, sus compras anteriores, cuánto tiempo pasó en distintas páginas de categorías, sus patrones de clics, el tipo de dispositivo, la hora del día, el contexto estacional y los niveles de inventario de los productos relevantes. Este contexto enriquecido permite una personalización que los embeddings genéricos no pueden igualar.
El reto técnico consiste en determinar el contexto mínimo viable. Agregar contexto ayuda hasta cierto punto. Después, solo suma ruido y costos. Deberías usar tu framework de evaluación para probar distintas variantes. Podrías quitar elementos específicos del contexto y observar si el rendimiento de las evals se degrada. Muchas veces vas a descubrir que parte del contexto que considerabas fundamental no mejora realmente los resultados. También puede ocurrir lo contrario: un dato contextual que habías pasado por alto podría mejorar mucho la calidad cuando lo inyectas.
La inyección dinámica de contexto según el estado del usuario es particularmente potente. Si tu usuario está viendo la página de un producto, podrías inyectar información sobre ese producto, productos relacionados y su historial de interacción con esa categoría. Si está en el checkout, podrías incluir el contenido del carrito y sus patrones de compra anteriores. Si está explorando una categoría, podrías agregar los productos que son tendencia en ella y sus preferencias previas. Esta inyección de contexto basada en la relevancia ofrece mejores resultados que incluir siempre toda la información disponible.
Las estrategias de caching equilibran la frescura del contexto con el rendimiento. Parte del contexto cambia poco y puede mantenerse en caché durante más tiempo. Otra parte cambia con frecuencia y debe mantenerse actualizada. Si separas estos elementos en la estructura del prompt, puedes administrar de forma independiente el caching de las partes estables y dinámicas. El prefijo estable se almacena en caché y se reutiliza entre requests, mientras que el contexto dinámico se agrega en cada una.

Qué no funciona y por qué

Comprender los patrones de falla te ayuda a evitar errores que otros equipos ya cometieron. En Caylent observamos los siguientes anti-patterns de manera consistente en proyectos de IA generativa con dificultades.
Los chatbots sin diferenciación fallan porque no aportan un valor único. Si construyes una interfaz de chat genérica sin contexto específico del dominio, workflows especializados ni capacidades únicas, vas a competir con ChatGPT, Anthropic Claude y decenas de herramientas genéricas. Los usuarios van a utilizar esas opciones directamente en lugar de tu versión. No hay una ventaja competitiva defendible. Si tu ventaja competitiva es «nosotros también tenemos un chatbot», deberías prepararte para una decepción. Para que funcione, deberías identificar workflows concretos en los que tu conocimiento del dominio, tus datos propios o tu contexto único creen una diferenciación real.
Ignorar las restricciones de los usuarios finales produce soluciones técnicamente elegantes que fallan en la práctica. Lo vimos muchas veces: interfaces de voz para entornos ruidosos, procesamiento de video de alta resolución para usuarios con poco ancho de banda, workflows complejos de varios pasos para usuarios con poco tiempo y funciones sofisticadas de IA que exigen una capacitación a la que los usuarios no pueden dedicar tiempo. La capacidad técnica no equivale a valor para el usuario. Antes de comprometerte con una arquitectura, deberías validar tus supuestos sobre el entorno, las restricciones y las preferencias de quienes van a utilizarla.
Obsesionarse con la selección del modelo desperdicia tiempo que los equipos deberían invertir en los fundamentos. Vimos equipos dedicar semanas a hacer A/B testing entre Anthropic Claude y ChatGPT para optimizar diferencias menores en la calidad de los outputs, mientras la cobertura de evaluación seguía siendo débil y la especificación de inputs y outputs permanecía vaga. Los modelos evolucionan más rápido de lo que los equipos completan sus ciclos de evaluación. Para cuando termines de compararlos, ya habrán aparecido versiones nuevas que invaliden tus resultados. Te conviene concentrarte en prompt engineering, frameworks de evaluación y gestión del contexto. Esas áreas aportan valor duradero sin importar qué modelo utilices.
Ignorar los costos provoca crisis de presupuesto después del lanzamiento. Si utilizas tu modelo más caro para todas las requests sin importar su complejidad, no llevas un seguimiento de los unit economics ni monitoreas los patrones de uso de tokens, vas a recibir facturas inesperadas que pueden descarrilar el proyecto y destruir el ROI. Para evitarlo, deberías instrumentar el sistema para medir el costo por request desde el principio, implementar routing hacia modelos del tamaño adecuado, usar procesamiento por lotes para cargas que no requieren tiempo real y optimizar los prompts para reducir el consumo de output tokens.
Sobrediseñar el tool calling agrega complejidad sin un beneficio real. Crear esquemas elaborados de tools para operaciones simples, definir tools para cálculos básicos o formateo de datos y construir una orquestación compleja cuando bastaría con prompt engineering desperdicia tiempo de desarrollo y reduce la confiabilidad del sistema. Cada tool call agrega latencia y posibles puntos de falla. Deberías reservar las tools para operaciones que realmente necesiten datos externos que no puedes simplemente inyectar en el prompt, o acciones que el modelo no pueda realizar solo mediante razonamiento.

Conclusión: las ventajas competitivas que realmente importan

Más de 200 implementaciones empresariales de IA generativa consolidaron la  experiencia de Caylent en IA generativa . Ahora comprendemos que el éxito proviene de resolver los problemas correctos, no de tener la arquitectura más sofisticada. Las ventajas competitivas que realmente importan son la especificación de inputs y outputs, la gestión del contexto, la orquestación de la UX, los unit economics y la cobertura de evaluación.
Las trampas habituales de la optimización prematura incluyen intentar elegir el modelo perfecto, construir un tool calling complejo, recurrir al fine-tuning cuando bastaría con prompt engineering y perseguir métricas teóricas de rendimiento que no reflejan el uso real.
El panorama de la IA generativa sigue evolucionando con rapidez, pero estos fundamentos se mantienen estables. Los modelos fundacionales van a mejorar, los costos van a bajar y van a aparecer capacidades nuevas. Si definiste con claridad el problema que resuelves, construiste evaluaciones sólidas, reuniste contexto único, optimizaste tus unit economics y diseñaste una UX que funciona para usuarios reales en entornos reales, tu sistema va a adaptarse a esos cambios en lugar de quedar desplazado por ellos.
La brecha entre una POC y producción no es principalmente técnica. Depende de la disciplina para especificar con claridad, evaluar de forma sistemática, comprender profundamente a tus usuarios y optimizar los unit economics con honestidad. Los equipos que mantienen esa disciplina construyen sistemas exitosos en producción, sin importar qué modelos o tools elijan. Los equipos que omiten estos fundamentos para perseguir cada modelo nuevo terminan preguntándose por qué sus demos impecables nunca logran escalar.


Nota: Este artículo fue escrito originalmente en inglés, como parte de mi trabajo en Caylent. Yo soy el autor y tengo permiso explícito para reproducirlo en español en este medio. Puedes consultar el original aquí:  https://caylent.com/blog/poc-to-prod-hard-lessons-from-200-enterprise-generative-ai-deployments-part-2 
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article