
Amazon Bedrock Model Evaluation Jobs: Medindo o Desempenho de LLMs com Datasets Integrados
Aprenda a executar avaliações automatizadas de modelos diretamente pelo console AWS usando datasets curados, sem necessidade de preparação de dados ou código customizado.
Introdução
Escolher o modelo de fundação certo para sua aplicação de IA generativa não se resume a testar alguns prompts em um playground. Você precisa de métricas quantitativas que comparem modelos de forma objetiva em dimensões como precisão, robustez e segurança.
O Amazon Bedrock Model Evaluation oferece uma forma gerenciada de avaliar modelos de fundação usando métricas automáticas, pontuação por LLM-as-a-Judge ou avaliadores humanos. Ele suporta datasets curados integrados para que você possa começar sem precisar preparar nenhum dado.
Neste artigo, você aprenderá o que são jobs de avaliação de modelos, quais tipos de avaliação existem e como executar a avaliação automática mais simples possível usando apenas o Console de Gerenciamento da AWS.
O que é um Job de Avaliação de Modelo?
Um job de avaliação de modelo executa inferência contra um conjunto de prompts e calcula métricas de desempenho para um modelo de fundação. O job compara as respostas do modelo com respostas de referência (ground truth) e produz pontuações quantitativas.
O Amazon Bedrock suporta três abordagens de avaliação:
- Programática (automática) utiliza métricas algorítmicas para pontuar as saídas do modelo. Nenhum segundo modelo ou humano está envolvido. As métricas incluem precisão, robustez e toxicidade.
- LLM-as-a-Judge utiliza um segundo modelo de fundação (o avaliador) para pontuar as respostas do modelo sendo testado (o gerador). O avaliador fornece tanto pontuações quanto explicações escritas. As métricas de qualidade disponíveis incluem utilidade, correção, coerência, relevância e legibilidade. As métricas de IA Responsável incluem nocividade, estereotipagem e recusa.
- Avaliação humana traz uma equipe de pessoas (funcionários ou especialistas no assunto) para classificar e fornecer preferências sobre as respostas do modelo.
Tipos de Tarefa
- Geração de texto geral - Processamento de linguagem natural e geração de texto livre
- Sumarização de texto - Condensar textos mais longos em resumos mais curtos
- Pergunta e resposta - Fornecer respostas com base em prompts
- Classificação de texto - Categorizar texto em classes predefinidas
Datasets Integrados
Para avaliações automáticas, o Amazon Bedrock fornece datasets curados para que você não precise preparar seus próprios dados:
- TREX e WikiText2 - Geração de texto geral (precisão e robustez)
- BOLD e RealToxicityPrompts - Medição de toxicidade
- Gigaword - Sumarização de texto
- BoolQ, NaturalQuestions, TriviaQA - Pergunta e resposta
- Women's Ecommerce Clothing Reviews - Classificação de texto
Métricas Calculadas
A métrica específica calculada depende do tipo de tarefa:
- Precisão em geração de texto geral: Real World Knowledge (RWK) score
- Robustez em geração de texto geral: Word Error Rate
- Precisão em sumarização de texto: BERTScore
- Precisão em pergunta e resposta: NLP-F1
- Precisão em classificação de texto: classification_accuracy_score
- Toxicidade: Toxicity score (quanto menor, melhor)
Tutorial: Executando uma Avaliação Programática de Modelo pelo Console
Esta é a forma mais simples de avaliar um modelo no Amazon Bedrock. Você usará um dataset integrado, portanto não é necessário fazer uploads para o S3 ou preparar dados personalizados. Todo o processo é feito pelo Console de Gerenciamento da AWS.
Nem todos os modelos suportam avaliação de modelo. Por exemplo, o Amazon Nova 2 Lite não suporta esse recurso no momento da escrita. Você pode verificar a compatibilidade na página de card de cada modelo em Capabilities and Features. Neste tutorial, usamos o Amazon Nova Lite (v1), que suporta avaliação de modelo.
Pré-requisitos
- Uma conta AWS com acesso ao Amazon Bedrock
- Um bucket S3 para armazenar os resultados da avaliação
- Permissões IAM suficientes para criar jobs de avaliação
Sobre a IAM Service Role
Todo job de avaliação de modelo requer uma service role que concede ao Amazon Bedrock permissão para invocar modelos e gravar resultados no S3. O console pode criar essa role automaticamente quando você seleciona Create a new role durante a criação do job.
Se você preferir criar a role manualmente, ela precisa de:
- Uma trust policy permitindo que
bedrock.amazonaws.comassuma a role
- Permissões para invocar o modelo selecionado (
bedrock:InvokeModel)
- Permissões para gravar no bucket S3 de saída (
s3:PutObject,s3:GetObject,s3:ListBucket)
Para este tutorial, deixe o console criar a role automaticamente para manter as coisas simples.
Step 1: Preparar o Bucket S3 de Saída
Antes de criar o job de avaliação, você precisa de um bucket S3 com uma pasta para armazenar os resultados. O console do Bedrock exige que você selecione uma pasta existente — ele não permite criar uma durante a configuração do job.
1.1 Criar ou Escolher um Bucket
1.1.2. Crie um novo bucket ou selecione um existente na mesma região onde você executará a avaliação
1.2 Criar a Pasta de Saída
1.2.1. Abra seu bucket e escolha Create folder
1.2.2. Digite o nome da pasta
bedrock-evaluations e escolha Create folderVocê usará este caminho (
s3://<your-bucket-name>/bedrock-evaluations/ ) como local de saída ao configurar o job de avaliação.Step 2: Criar o Job de Avaliação
2.1 Navegar até Model Evaluation
2.1.1. No console do Amazon Bedrock, escolha Evaluations no painel de navegação à esquerda
2.1.2. Em Model evaluations, escolha Create
2.1.3. No menu dropdown, escolha Automatic: Programmatic

2.2 Configurar a Avaliação
2.2.1. No campo Evaluation name, insira um nome descritivo (por exemplo,
nova-lite-qa-accuracy-eval )2.2.2. Opcionalmente, adicione uma descrição
2.2.3. Em Model selector, escolha o modelo que deseja avaliar (por exemplo, Amazon Nova Lite)
2.2.4. Em Task type, selecione Question and answer
2.3 Selecionar Métricas e Dataset
2.3.1. Na seção Metrics and datasets, em Metric escolha Accuracy
2.3.2. Para o dataset, selecione Available built-in datasets e escolha BoolQ
O dataset BoolQ contém perguntas de sim/não com respostas de referência, tornando-o ideal para uma avaliação rápida de precisão.
2.4 Configurar Saída e IAM Role
2.4.1. Em Evaluation results, escolha Browse S3 e selecione a pasta
bedrock-evaluations dentro do seu bucket2.4.2. Em Amazon Bedrock IAM role, escolha Create a new role. O console criará automaticamente uma role com as permissões necessárias para o modelo selecionado e o bucket S3.
2.5 Iniciar o Job
2.5.1. Revise sua configuração e escolha Create
O status do job será exibido como In progress. Em nosso teste usando Amazon Nova Lite com o dataset integrado BoolQ, o job levou cerca de 10 minutos para ser concluído. A duração real pode variar dependendo do modelo, tamanho do dataset e carga do serviço.

Step 3: Revisar os Resultados
3.1 Verificar o Status do Job
3.1.1. Na página Evaluations, localize seu job na lista Model evaluations
3.1.2. Aguarde até que o status mude para Completed
3.2 Visualizar o Report Card
3.2.1. Clique no nome do seu job de avaliação concluído para abrir o relatório
3.2.2. O report card exibe as métricas calculadas. Para uma tarefa de Question and Answer com Accuracy, você verá o NLP-F1 score. Esta pontuação varia de 0 a 1, onde valores mais altos indicam melhor alinhamento entre as respostas do modelo e as respostas de referência.
3.3 Revisar Resultados Detalhados no S3
Os resultados completos também são salvos no bucket S3 que você especificou. A saída segue esta estrutura:
- Um diretório
datasets/contendo um arquivo JSONL para cada métrica
- Cada linha no arquivo inclui a pontuação calculada, o prompt original, a resposta de referência e a resposta completa do modelo
Exemplos de entradas de saída do nosso teste:
{ "automatedEvaluationResult": { "scores": [{"metricName": "Builtin.Accuracy", "result": 1.0}] }, "inputRecord": { "prompt": "Answer the following yes/no question: Is white castle only on the east coast? Please answer \"Yes\" or \"No\" directly without any additional explanation.", "referenceResponse": "No" }, "modelResponses": [{"response": "No", "modelIdentifier": "amazon.nova-lite-v1:0", "stopReason": "end_turn"}]}
{ "automatedEvaluationResult": { "scores": [{"metricName": "Builtin.Accuracy", "result": 1.0}] }, "inputRecord": { "prompt": "Answer the following yes/no question: Can you go to jail for civil contempt of court? Please answer \"Yes\" or \"No\" directly without any additional explanation.", "referenceResponse": "Yes" }, "modelResponses": [{"response": "Yes", "modelIdentifier": "amazon.nova-lite-v1:0", "stopReason": "end_turn"}]}
{ "automatedEvaluationResult": { "scores": [{"metricName": "Builtin.Accuracy", "result": 0.0}] }, "inputRecord": { "prompt": "Answer the following yes/no question: Did england ever win the soccer world cup? Please answer \"Yes\" or \"No\" directly without any additional explanation.", "referenceResponse": "Yes" }, "modelResponses": [{"response": "No", "modelIdentifier": "amazon.nova-lite-v1:0", "stopReason": "end_turn"}]}
Cada entrada mostra a pontuação de precisão (1.0 para correto, 0.0 para incorreto), o prompt original, a resposta de referência esperada e a resposta real do modelo.
Step 4: Limpeza
4.1 Excluir o Job de Avaliação
4.1.1. Na página Evaluations, selecione seu job de avaliação concluído
4.1.2. Escolha Delete para remover o job da sua conta
4.1.3. Opcionalmente, exclua os resultados do seu bucket S3 se não forem mais necessários
Quando Usar Cada Tipo de Avaliação
- Programática (automática) - Melhor para benchmarks rápidos e objetivos ao comparar múltiplos modelos na mesma tarefa. Use datasets integrados para iteração rápida ou datasets personalizados para seu caso de uso específico.
- LLM-as-a-Judge - Melhor quando você precisa de avaliações qualitativas refinadas (utilidade, coerência, tom profissional) que métricas algorítmicas não conseguem capturar. Útil para tarefas de geração de texto onde não existe uma única resposta correta.
- Avaliação humana - Melhor para avaliações subjetivas, alinhamento com voz da marca ou qualidade específica de domínio que requer julgamento especializado.
Conclusão
Os Amazon Bedrock Model Evaluation Jobs fornecem uma forma estruturada e repetível de medir o desempenho de modelos de fundação. A avaliação programática com datasets integrados é o caminho mais rápido para obter métricas quantitativas sem nenhuma preparação de dados.
Principais pontos:
- Você pode avaliar um modelo em minutos usando datasets integrados diretamente pelo console
- O serviço lida com inferência, pontuação e armazenamento de resultados automaticamente
- Métricas como NLP-F1, BERTScore e toxicity scores fornecem dados objetivos para decisões de seleção de modelo
- O console pode criar IAM roles automaticamente, eliminando a necessidade de configuração manual de políticas
Para cenários mais avançados, considere usar datasets de prompts personalizados que reflitam seu caso de uso real, ou combine avaliações programáticas com LLM-as-a-Judge para obter tanto métricas objetivas quanto avaliações qualitativas.
Referências
Mantenha-se Conectado
Se você achou este artigo útil e deseja aprender mais sobre AWS, arquitetura de nuvem, IA, infraestrutura como código e segurança em nuvem, siga o autor para conteúdos e tutoriais futuros:
- LinkedIn: https://www.linkedin.com/in/biagolini
- Medium: https://medium.com/@biagolini
- GitHub: https://github.com/biagolini
- YouTube (PT-BR): https://www.youtube.com/@BiagoliniTech
- AWS Builder Center (PT-BR): https://builder.aws.com/community/@cbiagolini
Fique ligado para mais tutoriais práticos e soluções para desafios de infraestrutura em nuvem e DevOps.
Boas construções na AWS!
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article