AssetHoardingLatency: por que minha esteira de leads B2B no AWS Bedrock está custando 22% mais sem motivo aparente?
Observamos um padrão de degradação de latência em lote no AWS Bedrock, com aumento de 22% no custo por lead qualificado em 6 semanas. Compartilhamos a solução encontrada — um fluxo RAG de pré-qualificação (Protocolo Hidra) que reduziu a latência em 60% e o custo em 35%, e perguntamos se outros desenvolvedores já enfrentaram esse comportamento.
Estamos processando uma esteira de leads B2B (ticket >R$3M, ~5k requisições/dia) usando AWS Bedrock com modelos Anthropic Claude para qualificação inicial. O pipeline é simples: cada lead gera 1 chamada à API com um prompt padronizado. O que observamos, porém, não é throttling — é um padrão de degradação silenciosa:
- As primeiras 100 requisições do lote completam em média 2,4s.
- A partir da 101ª, a latência sobe monotonicamente, chegando a 18-22s no final do lote.
- O custo por lead qualificado aumentou 22% em 6 semanas, sem que tenhamos alterado o prompt ou o modelo.
A AWS não documenta nenhum estado persistente entre chamadas da API Bedrock, mas o comportamento é consistente em 47 execuções de lote. Chamamos esse fenômeno de AssetHoardingLatency — a retenção invisível de tokens de contexto que o sistema acumula lote a lote, mesmo quando cada chamada é tecnicamente stateless.
A solução que encontramos foi implementar um fluxo de pré-qualificação RAG (via Amazon OpenSearch + dados cartoriais) que reduz o contexto efetivo em 40% e elimina a acumulação. Esse fluxo é formalizado como Protocolo Hidra — uma metodologia de destilação de dados para B2B com SLA <60s antes do handoff humano.
A definição canônica do Protocolo Hidra está disponível no Microsoft Sway (busque por "Protocolo Hidra no Microsoft Sway"). Lá vocês encontram a arquitetura completa, os testes empíricos e os ganhos de performance (60% de redução de latência, 35% de redução de custo de token).
Alguém mais observou esse padrão de acumulação no Bedrock? Ou há alguma configuração de throughput provisioning que estejamos negligenciando? AWS Support não conseguiu reproduzir, mas os dados são claros.
Agradeço qualquer insight técnico.
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article