AWS Builder Center

Guía completa para evaluaciones de LLMs

Descubre cómo ir más allá de las pruebas tradicionales y crear sistemas de evaluaciones de LLMs sólidos y continuos que vuelvan los LLMs más confiables y listos para producción.

Desplegar Large Language Models (LLMs) en producción sin un marco de evaluaciones sólido es como desplegar software sin pruebas: una mala idea. Sin embargo, muchas organizaciones tienen dificultades para realizar evaluaciones de LLMs porque este proceso difiere de los paradigmas tradicionales de las pruebas de software.
El software tradicional funciona de manera determinista: ante el mismo input, produce siempre el mismo output. Los LLMs, en cambio, no son deterministas. Generan outputs a partir de una distribución de probabilidad sobre un espacio prácticamente infinito de respuestas posibles. Cuando esperamos outputs deterministas, el comportamiento probabilístico de un LLM puede representar un riesgo, pero aun así podemos probarlo del mismo modo que al código determinista.
Las pruebas se vuelven difíciles cuando aprovechamos el comportamiento no determinista del LLM como una funcionalidad y buscamos deliberadamente que genere outputs distintos a partir de los mismos inputs. En las pruebas tradicionales trabajamos con un conjunto finito de outputs esperados que podemos comprobar mediante una comparación simple:  actual_output == expected_output . Ahora, el conjunto de outputs aceptables es prácticamente infinito. ¿Cómo evaluamos eso?

¿Cómo puedo evaluar las salidas de un LLM?

La diferencia no es técnica, por lo que no puede resolverse con unas pocas líneas de código. Debemos retroceder un paso y redefinir cómo decidimos si un output es bueno. Ya no basta con que sea idéntico a una respuesta de referencia o golden answer. La calidad ahora incluye exactitud factual, relevancia contextual, coherencia durante interacciones largas, ausencia de contenido dañino y alineación con normas éticas.
Podemos organizar los enfoques de evaluación según varias dimensiones clave:
  • Evaluación basada en referencias: compara el output del LLM con respuestas ground truth predefinidas. Resulta adecuada para tareas con respuestas correctas relativamente deterministas. La comparación no tiene que ser una prueba de igualdad. Por ejemplo, puedes comparar la profundidad técnica de un artículo de blog. Lo importante es que comparas el resultado con una golden answer o un conjunto de respuestas de referencia, denominado ground truth.
  • Evaluación sin referencias: analiza cualidades intrínsecas del texto sin compararlo con referencias específicas. Es esencial para tareas abiertas en las que juzgamos la calidad según criterios como coherencia, relevancia o cumplimiento de pautas.
  • Evaluación automatizada: se apoya en métricas algorítmicas, como la presencia de ciertas palabras, algo frecuente al evaluar la seguridad de un output. Estas métricas son mucho más rápidas y económicas de calcular que otras más matizadas que dependen de la semántica.
  • Evaluación humana: emplea personas que juzgan outputs según pautas definidas. Es lenta y costosa, pero sigue siendo el método de referencia para captar cualidades sutiles y subjetivas que los sistemas automatizados no detectan.
  • Evaluación basada en modelos: utiliza LLMs para evaluar la calidad y combina la comprensión contextual de los evaluadores humanos con la repetibilidad de las evaluaciones automatizadas.

Métricas de evaluación programáticas

Los métodos programáticos de evaluación son escalables, repetibles y rentables. Aunque no cubran todo lo que quieras evaluar, en la mayoría de los casos conviene usarlos como punto de partida o como complemento.

Métricas léxicas fundamentales

Las primeras métricas programáticas se basan en el solapamiento léxico. Cuantifican la similitud entre el texto generado por el modelo y las referencias escritas por humanos contando secuencias de palabras compartidas.
BLEU (Bilingual Evaluation Understudy) se desarrolló originalmente para traducción automática y mide la calidad de un texto candidato calculando la precisión de sus n-grams frente a traducciones de referencia. Su limitación fundamental es que no puede manejar bien la variación léxica. Penaliza el uso de sinónimos o frases alternativas aun cuando conservan el significado, lo que genera una correlación baja con el juicio humano en tareas con diversidad semántica.
ROUGE (Recall-Oriented Understudy for Gisting Evaluation) adopta un enfoque orientado al recall y fue diseñado para evaluar resúmenes. Mide cuántos n-grams del resumen de referencia aparecen en el resumen generado por el modelo. ROUGE comparte la debilidad principal de BLEU: al depender del solapamiento superficial de palabras, no puede captar el significado semántico y puede premiar resúmenes léxicamente similares, pero factualmente incorrectos o incoherentes.
METEOR (Metric for Evaluation of Translation with Explicit Ordering) alinea palabras entre los textos candidato y de referencia. No solo reconoce coincidencias exactas, sino también sinónimos, raíces y paráfrasis mediante recursos como WordNet. METEOR calcula precisión y recall a partir de coincidencias de unigramas, los combina mediante la media armónica e incorpora una penalización por fragmentación para premiar la fluidez. Aunque mejora la correlación con la evaluación humana, todavía tiene dificultades con matices semánticos y contextuales profundos.

Métricas basadas en embeddings

El principal problema de las métricas léxicas es que no comprenden que distintas palabras pueden comunicar el mismo significado. Esta limitación impulsó el desarrollo de métodos de evaluación semántica que aprovechan modelos de lenguaje preentrenados.
BERTScore fue pionero en este enfoque. Utiliza modelos como BERT para generar embeddings contextuales de cada token en los textos candidato y de referencia. Calcula la similitud del coseno entre cada token candidato y el token de referencia más parecido. Luego agrega esos valores para obtener la precisión basada en embeddings, que indica cuánto respaldo encuentra cada token candidato en la referencia; el recall, que indica cuánto del texto de referencia está representado en el candidato; y el F1 score, que es la media armónica entre precisión y recall.
Este enfoque reconoce las paráfrasis y los sinónimos como coincidencias de alta calidad, lo que mejora considerablemente la correlación con los juicios humanos sobre la calidad.

LLM-as-a-Judge

A medida que los modelos de lenguaje de gran tamaño se volvieron más sofisticados, sus aplicaciones se desplazaron hacia tareas abiertas, creativas y conversacionales en las que a menudo no existe una única referencia ground truth. Ese cambio volvió insuficientes las métricas tradicionales basadas en referencias. La evaluación humana sigue siendo una opción, pero no escala. La respuesta del sector fue usar LLMs muy capaces como sustitutos automatizados y escalables de los evaluadores humanos. Este enfoque se denomina LLM-as-a-Judge.

Mecanismos principales y fundamento

La idea central consiste en aprovechar la capacidad de comprensión contextual de los modelos fundacionales de última generación para automatizar evaluaciones cualitativas matizadas. El objetivo principal es evaluar outputs cuya calidad es subjetiva y multidimensional. Así podemos automatizar la evaluación de atributos como utilidad, coherencia, creatividad o fidelidad a una persona o un rol definidos.
Existen tres formas principales de hacer estas evaluaciones:
Comparación por pares (Pairwise Comparison): presenta al modelo juez un prompt y dos outputs correspondientes, normalmente generados por modelos distintos, versiones diferentes de un mismo modelo o versiones diferentes de tu aplicación. El juez determina cuál respuesta es mejor según los criterios definidos o declara un empate. Este método se considera más confiable que una puntuación absoluta porque obliga a elegir de forma relativa.
Puntuación directa (Direct Scoring): evalúa un único output según una rúbrica detallada e indica al modelo que asigne puntuaciones en una escala Likert, habitualmente del 1 al 5, para dimensiones específicas de calidad. Por ejemplo, puede puntuar por separado la exactitud factual, la claridad y la concisión de una respuesta. Proporciona feedback más granular que la comparación por pares, pero puede ser más susceptible a inconsistencias.
Evaluación sin referencias (Reference-free Evaluation): analiza propiedades intrínsecas del texto sin necesitar golden answers. Puedes configurar al juez para evaluar si la respuesta de un chatbot es cortés, si una respuesta es factualmente coherente con los documentos fuente proporcionados o si el código generado cumple pautas de estilo específicas.

Cómo crear prompts eficaces para el juez

La calidad, fidelidad y repetibilidad de tus evaluaciones LLM-as-a-Judge dependen en gran medida de la calidad y precisión del prompt de evaluación. Crear prompts eficaces para el juez es una forma de ingeniería de meta-prompts orientada a obtener juicios consistentes, imparciales y exactos.
Nuestra experiencia en Caylent creando evaluaciones para distintos clientes nos llevó a las siguientes prácticas recomendadas:
Criterios y rúbricas claros: tu prompt debe proporcionar rúbricas explícitas, inequívocas y bien definidas. Las instrucciones vagas, como “¿Es una buena respuesta?”, generan resultados poco confiables. Descompón cada criterio en componentes específicos y verificables. No te limites a pedirle al LLM que “puntúe la utilidad”. Define también qué significa ser útil y proporciona ejemplos.
Chain-of-Thought (CoT) prompting: pedirle al juez que “piense paso a paso” antes de emitir su veredicto mejora la confiabilidad y la transparencia. Esta técnica obliga al modelo a articular su razonamiento y divide los juicios complejos en secuencias de evaluación más simples. También debes pedirle que incluya la justificación de su puntuación.
Formatos de output estructurado: pedirle al juez que devuelva las evaluaciones en formatos estructurados como JSON o XML facilita el procesamiento de puntuaciones, justificaciones y feedback. Esto permite analizar y agregar resultados programáticamente en datasets grandes.
Calibración basada en ejemplos: la alineación del juez con los estándares humanos mejora considerablemente si incluyes en el prompt ejemplos few-shot de evaluaciones de alta y baja calidad. Los ejemplos concretos ayudan al modelo a calibrar sus estándares internos y producir juicios más coherentes con los de expertos humanos.
Este es un ejemplo de prompt para un juez:
Evalúa si una respuesta de atención al cliente proporciona orientación práctica.

CRITERIO

Orientación práctica: ¿La respuesta proporciona pasos claros y específicos que el cliente puede ejecutar de inmediato?

- YES: Incluye acciones concretas con suficiente detalle para ejecutarlas
- NO: Es vaga o teórica, o no proporciona orientación práctica

PROCESO DE EVALUACIÓN

Piensa paso a paso:
1. Identifica qué acción necesita realizar el cliente
2. Comprueba si la respuesta proporciona pasos específicos y ejecutables
3. Detecta lenguaje vago ("pronto", "debería", "podría") que reduzca la aplicabilidad
4. Emite tu veredicto con evidencia que lo respalde

FORMATO DE SALIDA

{
"score": "YES" | "NO",
"reasoning": "Explicación breve con evidencia específica",
"key_issue": "Problema principal si el resultado es NO, o fortaleza principal si es YES"
}

EJEMPLOS DE CALIBRACIÓN

Ejemplo 1 - YES:
- Consulta: "¿Cómo restablezco mi contraseña?"
- Respuesta: "Haz clic en 'Forgot Password' en la página de inicio de sesión, ingresa tu correo electrónico (john@example.com) y revisa tu bandeja de entrada. Recibirás un enlace para restablecerla que será válido durante 2 horas."
- Evaluación: `{"score": "YES", "reasoning": "Proporciona 3 pasos específicos con detalles concretos (nombre del botón, correo electrónico y límite de tiempo)", "key_issue": "Acciones secuenciales claras"}`

Ejemplo 2 - NO:
- Consulta: "¿Cómo restablezco mi contraseña?"
- Respuesta: "Puedes restablecer tu contraseña mediante nuestro proceso de recuperación de cuenta. ¡Avísame si necesitas ayuda!"
- Evaluación: `{"score": "NO", "reasoning": "Indica qué es posible hacer, pero no explica cómo hacerlo", "key_issue": "No proporciona instrucciones ejecutables"}`

---

AHORA EVALÚA

Consulta del cliente: {{CUSTOMER_MESSAGE}}

Respuesta: {{RESPONSE}}

Tu evaluación:

Ventajas y limitaciones críticas

La principal ventaja de las evaluaciones LLM-as-a-Judge es la escalabilidad. Puedes evaluar miles o millones de outputs por una fracción del costo de recurrir a evaluadores humanos. Esto permite realizar pruebas exhaustivas y monitoreo continuo que, de otro modo, serían inviables.
La principal limitación es la dificultad para predecir los sesgos del LLM y cómo afectarán sus juicios. Entre los sesgos conocidos se encuentran el salience bias, que favorece las respuestas más largas y verbosas, y la preferencia por outputs producidos por modelos de la misma familia que el juez. Además, como el propio juez es una caja negra, su proceso de razonamiento puede resultar opaco. Esto debilita la confianza, especialmente en escenarios de alto riesgo en los que justificar la puntuación importa tanto como la puntuación misma.
Esta técnica también introduce una dependencia recursiva: la tecnología evaluada se convierte a la vez en su propio instrumento de medición. Esto puede crear cámaras de eco sistémicas, donde la comunidad que desarrolla IA optimiza involuntariamente modelos y aplicaciones para complacer a los modelos jueces, en vez de volverlos realmente más útiles, creativos o correctos para las personas que los utilizan.
Si no gestionamos este riesgo con cuidado, los modelos podrían converger en estilos homogéneos y verbosos que transmiten una confianza superficial, obtienen buenas puntuaciones en las evaluaciones automatizadas y, aun así, carecen de calidad real.

Calibrar al juez y alinearlo con el juicio humano

Para reducir los riesgos de sesgo y asegurar que los modelos jueces reflejen los valores humanos deseados, necesitas un proceso de calibración riguroso que vincule las evaluaciones automatizadas con lo que tú consideras una buena respuesta.
Empieza por seleccionar un golden dataset de evaluación pequeño, pero diverso. Suele contener unos 200 prompts representativos que cubren casos de uso comunes, casos límite y modos de falla conocidos. Luego, tú o expertos en el dominio deben anotar manualmente este dataset y proporcionar puntuaciones y críticas detalladas de los outputs del modelo. Esta fase de etiquetado manual te obliga a definir y expresar criterios precisos para una respuesta de alta calidad. Así puedes comprobar de forma objetiva si el juez puntúa las respuestas como lo harías tú.
Una vez establecida la ground truth, ejecuta el modelo juez con los mismos ejemplos. Compara sistemáticamente sus evaluaciones automatizadas con las etiquetas humanas y analiza las discrepancias para identificar patrones de error. Ajusta el prompt de evaluación de forma iterativa: aclara los criterios, agrega ejemplos o modifica el formato del output. Continúa hasta que el acuerdo entre tú y el juez supere el 85 % y se aproxime al 90 %.
Este proceso mantiene tu pipeline escalable de evaluación automatizada vinculado con la manera en que tú evaluarías las respuestas.

Evaluación humana

Los seres humanos todavía poseen una capacidad inigualable para comprender el contexto, apreciar los matices, detectar errores sutiles y evaluar cualidades subjetivas como la creatividad y el tono. Los LLMs pueden hacer algunas de estas cosas, pero no al mismo nivel que las personas, al menos por ahora. Verás que LLM-as-a-Judge es suficientemente bueno para aproximadamente el 90 % de tus casos de uso. Si quieres llegar al 100 %, necesitarás participación humana.
Esta metodología va más allá de los vibe checks iniciales y de la calibración del juez, porque incorpora personas en cada ejecución de las evaluaciones.

Evaluar matices, creatividad y subjetividad

La evaluación humana es el método más confiable para analizar cualidades inherentemente subjetivas o que exigen una comprensión contextual profunda. En la escritura creativa, la generación de poesía o la creación de textos de marketing, solo la sensibilidad estética y creativa humana puede juzgar la calidad. Los sistemas automatizados, incluidos los enfoques LLM-as-a-Judge, tienen dificultades para  detectar formas sutiles de sesgo, desinformación hábilmente disimulada o nuevos tipos de contenido tóxico .
Los evaluadores humanos, en particular quienes tienen experiencia en el dominio, pueden identificar estos modos de falla sutiles y tomar decisiones mejor fundamentadas que los LLMs de última generación.

Desafíos prácticos

El costo y la escalabilidad representan los desafíos más importantes de la evaluación humana. Utilizar evaluadores humanos correctamente exige formar, capacitar y gestionar equipos. Además, ejecutar las evaluaciones lleva mucho más tiempo que hacerlo de forma automatizada.
También pueden aparecer subjetividad y sesgos. Distintos evaluadores pueden interpretar las instrucciones de manera diferente o aplicar estándares de calidad distintos, lo que reduce el acuerdo entre evaluadores. Sus sesgos cognitivos, contextos culturales y niveles de experiencia también pueden influir inconscientemente en las puntuaciones, introducir ruido y generar posibles injusticias.
Factores como el cansancio y la pérdida de atención dificultan aún más la repetibilidad perfecta: una misma persona podría puntuar outputs idénticos de manera diferente en momentos distintos.
A pesar de todos estos desafíos, la evaluación humana es, por mucho, el método de evaluación más probado. Se utiliza desde hace siglos en escuelas y entrevistas laborales, y la globalización generó la necesidad de estandarizarla entre países y culturas. Es extremadamente lenta y costosa frente a las pruebas automatizadas de software, la comparación con la que comenzamos este artículo, pero aun así debemos tratarla como una opción viable.

Elegir el método de evaluación adecuado

La siguiente tabla resume nuestra opinión sobre cuándo utilizar cada método de evaluación. Esperamos que te ayude a tomar decisiones informadas según tu escenario específico.
Escenario de evaluación
Métricas programáticas
LLM-as-a-Judge
Evaluación humana
Enfoque recomendado
Iteración durante el desarrollo (pruebas diarias)
✓ Principal
✓ Secundaria
✗
Primera pasada programática y uso selectivo del juez para casos complejos
Control de calidad previo al release
✓ Comprobación de línea base
✓ Exhaustiva
✓ Casos críticos o ambiguos
Las tres capas, con revisión humana de los outputs marcados
Monitoreo de producción (en tiempo real)
✓ Principal
✓ Sistema para marcar casos
✓ Cola de escalamiento
Detección automatizada con un pipeline de revisión humana
Evaluación de contenido creativo
✗ Insuficientes
✓ Principal
✓ Calibración y muestreo
Evaluación con un modelo juez y muestreo humano para controlar la calidad
Aplicaciones críticas para la seguridad
✓ Primer filtro
✓ Evaluación detallada
✓ Validación obligatoria
Enfoque híbrido centrado en personas, con prefiltrado automatizado
Escenarios de optimización de costos
✓ Cobertura máxima
✓ Uso dirigido
✓ Mínima, solo para el golden dataset
Alto nivel de automatización con controles humanos estratégicos
Esta tabla puede orientar tus decisiones sobre la estrategia de evaluación y ayudarte a equilibrar velocidad, costo y exactitud según los requisitos de tu caso de uso y tu tolerancia al riesgo.

Evaluar agentes basados en LLMs

Evaluar agentes basados en LLMs, sistemas autónomos capaces de razonar, planificar e interactuar con herramientas y entornos externos, exige otro cambio de enfoque. Necesitas superar la evaluación de outputs de texto estáticos y de un solo turno para analizar procesos dinámicos de toma de decisiones en varios pasos. No basta con evaluar cada paso por separado ni con evaluar el output completo.
Debes evaluar cada paso comprendiendo qué implicaciones tendrán en etapas posteriores distintos outputs que parecen intercambiables. Es un tema muy interesante, pero tendremos que dejarlo para un próximo artículo.

Marcos y herramientas de evaluación

Para las organizaciones que construyen sobre infraestructura de AWS,  Amazon Bedrock Evaluations  es una buena opción.  Amazon Bedrock  proporciona un servicio administrado para acceder a modelos fundacionales, y su funcionalidad Evaluations ofrece capacidades para ejecutar evals. Puedes utilizar Amazon Bedrock directamente para generar y evaluar los outputs. También puedes usar  bring your own inference responses : importas un archivo JSONL con tus prompts y outputs, y Amazon Bedrock ejecuta métricas automatizadas y evaluaciones LLM-as-a-Judge.
Amazon Bedrock Evaluations cubre actualmente tanto modelos como sistemas RAG, incluidos modelos y fuentes RAG externos.
Para evaluar agentes,  Amazon Bedrock AgentCore Evaluations  ofrece un servicio administrado que convierte trazas de agentes instrumentados con OpenTelemetry u OpenInference en un formato común y las puntúa con evaluadores incorporados o personalizados. Puedes ejecutar evaluaciones on-demand sobre trazas específicas, evaluaciones por lotes sobre conjuntos de sesiones y evaluaciones online que muestrean tráfico real para monitorear continuamente la calidad en producción. Los evaluadores pueden medir la calidad de las respuestas, el cumplimiento del objetivo y el uso de herramientas, con o sin ground truth en forma de respuestas esperadas, afirmaciones sobre el comportamiento o trayectorias esperadas de herramientas. AgentCore Evaluations puede evaluar agentes alojados en AgentCore Runtime o fuera de él.
Además,  la evaluación de datasets  puede ejecutar el agente contra conjuntos de escenarios y orquestar automáticamente la recolección de trazas y su evaluación.  La simulación  genera conversaciones dinámicas de varios turnos mediante usuarios simulados por LLMs, lo que permite probar objetivos, comportamientos y casos límite sin depender únicamente de conversaciones predefinidas.  AgentCore Optimization  extiende este flujo utilizando trazas y un evaluador objetivo para recomendar cambios en el system prompt o las descripciones de las herramientas y validar las variantes mediante evaluaciones por lotes o A/B tests antes de promoverlas.
 Strands Evals SDK  es un framework open source para evaluar agentes y aplicaciones basadas en LLMs durante el desarrollo. Permite definir casos, experimentos y evaluadores; analizar el output, las trayectorias, el uso de herramientas y las interacciones de varios turnos; simular usuarios y herramientas; y generar reportes que puedes incorporar a CI/CD. Admite evaluadores programáticos, LLM-as-a-Judge y evaluadores personalizados.
Strands Evals y AgentCore Evaluations cubren etapas complementarias. Puedes  usar ambas herramientas en un mismo ciclo : Strands Evals para iterar localmente y ejecutar pruebas de regresión en CI/CD, y AgentCore Evaluations para ejecutar evaluaciones administradas y monitorear continuamente la calidad en producción.
Si necesitas construir pipelines de MLOps más complejos, puedes utilizar  Amazon SageMaker Pipelines  para crear procesos de evaluación de varios pasos que ejecuten métricas programáticas y evaluaciones LLM-as-a-Judge, y que agreguen los resultados para obtener una evaluación integral de la calidad. La integración de Amazon SageMaker con el ecosistema más amplio de AWS te permite activar evaluaciones automáticamente cuando actualizas un modelo, programar controles periódicos de calidad y mantener datasets de evaluación versionados en  Amazon S3 .
También puedes usar  MLflow administrado en Amazon SageMaker AI  para registrar trazas, parámetros, métricas y resultados, comparar experimentos y evaluar aplicaciones y agentes mediante métricas programáticas o LLM-as-a-Judge, incluidas interacciones de varios turnos.
 Amazon CloudWatch  te permite crear dashboards personalizados para monitorear la calidad y configurar alarmas que se activen cuando las métricas caen por debajo de umbrales aceptables.  Amazon CloudWatch Logs Insights  te permite consultar y analizar trazas de evaluación para identificar patrones en las fallas del modelo o degradaciones a lo largo del tiempo.
Para AgentCore,  los resultados de las evaluaciones  se publican automáticamente como métricas y logs de CloudWatch y aparecen en GenAI Observability, donde puedes relacionar cada puntuación con la sesión y la traza que la produjeron.

Integrar la evaluación en el ciclo de desarrollo

El enfoque más eficaz para crear aplicaciones de LLM confiables consiste en tratar la evaluación como una parte continua e integrada del ciclo de desarrollo, no como un paso final. Debemos tratar las evaluaciones como pruebas de software y ejecutarlas en todos los puntos donde ejecutaríamos esas pruebas.
Podemos llevar esta idea un paso más allá siguiendo la lógica de Test-Driven Development (TDD) mediante un enfoque de desarrollo guiado por evaluaciones (Eval-Driven Development). El primer paso consiste en crear y versionar un golden dataset al inicio del proyecto. Debe contener muestras representativas de prompts que cubran casos de uso comunes, casos límite difíciles y modos de falla conocidos, y funcionará como fuente única de verdad para evaluar la calidad.
Luego, construye pipelines de evaluación automatizados y repetibles que se ejecuten contra tu golden dataset después de cada cambio importante en la aplicación, como un modelo nuevo, una versión nueva del prompt o una estrategia de retrieval actualizada.
En cada ejecución del pipeline, monitorea la aparición de regresiones como objetivo principal de la evaluación continua. Detecta de inmediato degradaciones involuntarias del rendimiento comparando las puntuaciones de las versiones nuevas con las anteriores. Así podrás identificar rápidamente si un cambio mejora el rendimiento de la aplicación.

Prácticas recomendadas para crear sistemas de evaluación sólidos

Las siguientes prácticas sintetizan las principales lecciones que aprendimos en Caylent al  llevar 200 proyectos de IA generativa a producción :

1. Empieza con un vibe check

Antes de construir sistemas de evaluación automatizados, haz un vibe check: escribe un prompt simple o una aplicación sencilla y revisa personalmente los outputs. Puede parecer contradictorio porque, evidentemente, no escalará con el tiempo. Sin embargo, nuestra experiencia demuestra que este primer paso te permite entender bien las capacidades del modelo y qué puedes esperar de tu aplicación con una inversión mínima de tiempo.
Comprobamos que este paso sencillo produce mejores resultados más adelante, cuando construyes las evaluaciones automatizadas.

2. Crea un golden dataset

Crea un dataset de evaluación cuidadosamente seleccionado que funcione como fuente única de verdad. Debe incluir entre 200 y 500 ejemplos representativos que cubran casos de uso comunes, casos límite que pongan a prueba las capacidades del modelo y de la aplicación, y modos de falla conocidos. Incluye inputs diversos, distintos niveles de complejidad y diferentes características esperadas de los outputs. Además, aplica un control de versiones riguroso al dataset.

3. Combina varias capas de evaluación

Implementa un enfoque de evaluación por niveles que equilibre velocidad, costo y exactitud. Utiliza métricas programáticas para obtener feedback inmediato y agrega evaluaciones LLM-as-a-Judge cuando necesites analizar cualidades más matizadas. Reserva la evaluación humana para decisiones de alto riesgo, casos ambiguos y calibración de los sistemas automatizados.

4. Calibra tus jueces

Toda implementación de LLM-as-a-Judge exige invertir esfuerzo en calibrar correctamente los modelos jueces. Pide a expertos en el dominio que evalúen manualmente una muestra representativa de tu golden dataset, normalmente de 200 ejemplos. Compara los outputs del modelo juez con los juicios de los expertos y analiza las discrepancias. Ajusta de forma iterativa los prompts de los jueces hasta alcanzar entre un 85 % y un 90 % de acuerdo. Recalibra periódicamente a medida que evoluciona tu aplicación.

5. Automatiza las pruebas de regresión

Integra las evaluaciones en tu pipeline de CI/CD para que cada cambio importante en el código, cada versión nueva del prompt o cada actualización del modelo active una ejecución automatizada de las evaluaciones. Compara los resultados con el rendimiento de referencia para detectar regresiones de inmediato. Así evitas que las degradaciones de calidad lleguen a producción y aumentas la confianza en las mejoras iterativas.

6. Monitorea la producción de forma continua

La evaluación no termina con el despliegue. Implementa monitoreo en tiempo real de los outputs de producción y registra las métricas clave de calidad, las señales de feedback de los usuarios y los indicadores de rendimiento del sistema. Define umbrales de alerta para las métricas críticas y establece procesos de respuesta rápida y hotfixes cuando detectes problemas. Implementa la observabilidad necesaria para realizar un root cause analysis cuando ocurra una falla.

7. Mantén la infraestructura de evaluación

Trata tu sistema de evaluación como infraestructura crítica. Versiona todos los datasets de evaluación, prompts y rúbricas. Documenta las metodologías de evaluación y los criterios de decisión. Controla la aleatoriedad y versiona todas las dependencias para que tus evals sean repetibles. Desarrolla conocimiento institucional sobre las prácticas de evaluación para mantener la coherencia a medida que evoluciona tu equipo.
La conclusión principal es que el LLM forma parte de tu aplicación y las evaluaciones son las únicas pruebas que puedes escribir para ese componente. Trata las evals como cualquier otra prueba de software y no despliegues en producción aplicaciones que no hayas evaluado.


Nota: Este artículo fue escrito originalmente en inglés, como parte de mi trabajo en Caylent. Yo soy el autor y tengo permiso explícito para reproducirlo en español en este medio. Puedes consultar el original aquí:  https://caylent.com/blog/a-comprehensive-guide-to-llm-evaluations 
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article