AWS Builder Center

Agentes de IA para formulários web com MCP e Playwright

Uma prova de conceito para investigar como agentes de IA podem transformar linguagem natural em interações web controladas, usando MCP e Playwright. A arquitetura limita as ações disponíveis ao modelo, valida os dados após o preenchimento e permite comparar diferentes LLMs sob as mesmas condições.

Automatizar o preenchimento de formulários web parece, à primeira vista, um problema simples: localizar campos e inserir valores. Quando a entrada passa a ser linguagem natural, porém, o desafio muda bastante.
O sistema precisa interpretar a intenção do usuário, compreender a estrutura da página, associar informações aos campos corretos, decidir quais ações executar e, ao mesmo tempo, evitar operações que não foram autorizadas.
Como parte de uma prova de conceito desenvolvida para meu Trabalho de Conclusão de Curso, estou investigando uma arquitetura baseada em agentes de IA, Model Context Protocol (MCP) e Playwright.
O objetivo não é criar um preenchimento “mágico”, mas construir uma arquitetura pequena, observável e controlada o suficiente para permitir experimentos com diferentes modelos de linguagem.

O problema: linguagem natural não é um seletor CSS

Considere a instrução:
“Meu nome é João Vitor, meu e-mail é  joao@email.com  e moro em Quixadá.”
Para uma pessoa, a relação entre essas informações e os campos de um formulário é praticamente imediata.
Para um agente de IA, o processo envolve várias decisões:
  1. descobrir quais campos realmente existem na página;
  1. compreender o significado de cada campo;
  1. associar partes da instrução aos campos compatíveis;
  1. preencher somente as informações fornecidas;
  1. verificar se o navegador recebeu os valores esperados;
  1. não executar ações de maior impacto, como o envio do formulário, sem autorização explícita.
A principal decisão arquitetural da PoC é separar interpretação de execução.
O modelo de linguagem interpreta a intenção do usuário, enquanto uma camada controlada executa ações específicas no navegador.

Arquitetura proposta

┌───────────────┐
│ Usuário │
└───────┬───────┘
│ linguagem natural
▼
┌───────────────┐
│ Agente │
└───────┬───────┘
│ tool calls
▼
┌───────────────┐
│ MCP Client │
└───────┬───────┘
▼
┌───────────────┐
│ MCP Server │
└───────┬───────┘
│ ações permitidas
▼
┌───────────────┐
│ Playwright │
└───────┬───────┘
▼
┌───────────────┐
│ Navegador │
│ Formulário │
└───────────────┘
O Model Context Protocol (MCP) funciona como uma fronteira entre o agente e a automação do navegador.
Em vez de permitir que o modelo execute comandos arbitrários, o servidor MCP disponibiliza apenas um conjunto limitado de ferramentas:
  •  inspect_form : identifica os campos e botões disponíveis;
  •  fill_field : preenche um campo identificado semanticamente;
  •  read_field : lê o valor atual de um campo;
  •  click_button : interage com um botão identificado semanticamente.
Essa separação é importante: o agente pode decidir qual ferramenta utilizar, mas não recebe acesso irrestrito ao DOM ou ao navegador.

Descobrir antes de agir

O agente não recebe uma lista fixa dos campos disponíveis.
Antes de interpretar completamente a solicitação do usuário, ele utiliza  inspect_form  para obter um inventário da página.
Esse inventário pode conter informações como:
  •  label ;
  •  name ;
  •  id ;
  • tipo HTML;
  • papel acessível;
  • placeholder;
  • opções disponíveis em controles como  select .
Um campo pode ser representado da seguinte forma:
{
"label": "E-mail",
"name": "email",
"id": "email",
"type": "email",
"role": "textbox"
}
A partir dessas informações, o agente passa a trabalhar com aquilo que realmente existe no formulário.
Isso reduz a possibilidade de o modelo inventar campos e torna a arquitetura menos dependente de uma página específica.

Semântica é mais estável que layout

Formulários mudam.
Um elemento pode mudar de posição, classe CSS ou estrutura de contêineres sem que seu significado seja alterado.
Por isso, a localização dos campos prioriza informações semânticas, como:
  1. label associado;
  1. papel acessível;
  1.  name ;
  1.  id ;
  1. placeholder;
  1. tipo do controle.
Com Playwright, por exemplo, localizar um elemento por seu label é normalmente mais expressivo e resiliente do que depender de um seletor como:
.form > div:nth-child(2) input
Essa estratégia também cria uma relação interessante com acessibilidade.
Formulários que utilizam labels corretamente associados aos seus controles não beneficiam apenas tecnologias assistivas: eles também oferecem uma estrutura semântica melhor para automação.

Menor privilégio para o agente

Modelos de linguagem são sistemas probabilísticos.
Mesmo quando recebem instruções claras, existe a possibilidade de interpretar uma solicitação de maneira inesperada. Por isso, regras importantes não devem depender exclusivamente do prompt.
Na PoC, o MCP Server deliberadamente não disponibiliza uma ferramenta como:
execute_javascript
Em vez disso, expõe apenas operações específicas de domínio:
inspect_form
fill_field
read_field
click_button
O agente consegue executar essas operações, mas não pode rodar JavaScript arbitrário ou modificar livremente o DOM.
A ideia segue o princípio do menor privilégio: cada ferramenta oferece apenas a capacidade necessária para realizar determinada operação.

Confirmar depois de escrever

Uma chamada de preenchimento executada sem erro não significa necessariamente que o valor final permaneceu correto.
Máscaras, validações, scripts da página ou componentes customizados podem alterar o conteúdo inserido.
Por isso, a PoC utiliza o seguinte fluxo:
interpretar → preencher → reler → confirmar
Depois de utilizar  fill_field , o agente pode chamar  read_field  para verificar o valor que realmente está presente no navegador.
A confirmação exibida ao usuário é baseada nesse valor observado posteriormente, e não apenas no valor originalmente enviado pelo modelo.
Além de aumentar a confiabilidade, essa estratégia cria uma evidência objetiva que pode ser utilizada durante a avaliação experimental.

Ações de maior impacto exigem intenção explícita

Preencher e enviar um formulário são operações diferentes.
O preenchimento ainda permite revisão. O envio pode desencadear efeitos externos.
Por isso, o agente não recebe permissão automática para enviar um formulário após preenchê-lo.
Considere:
Meu nome é João Vitor e meu e-mail é joao@email.com.
Essa instrução autoriza o preenchimento, mas não o envio.
Para utilizar o botão de submissão, é necessária uma nova intenção explícita, como:
Pode enviar o formulário.
A proteção é implementada em mais de uma camada:
  • o prompt orienta o modelo a não realizar envios automaticamente;
  • o orquestrador pode bloquear programaticamente uma tentativa de envio sem autorização.
Uma regra crítica, portanto, não depende exclusivamente do comportamento esperado do LLM.

Observabilidade sem armazenar raciocínio interno

Para avaliar um agente, é necessário saber o que ocorreu durante sua execução.
A PoC registra informações como:
  • instrução recebida;
  • provedor e modelo utilizados;
  • inventário de campos encontrado;
  • ferramentas chamadas;
  • parâmetros enviados;
  • valores preenchidos;
  • valores obtidos após releitura;
  • tentativas de ações bloqueadas;
  • erros de localização;
  • latência;
  • quantidade de tokens, quando disponibilizada pelo provedor.
Não é necessário armazenar o raciocínio interno do modelo.
Para análise operacional e experimental, as ações observáveis e seus resultados são mais úteis e objetivos.

O modelo deve ser intercambiável

Outro ponto importante da arquitetura é evitar que toda a implementação fique acoplada a um único modelo.
A PoC utiliza perfis de configuração para permitir a substituição do LLM sem alterar a camada MCP ou a automação do navegador.
Por exemplo:
MODEL_PROFILE=deepseek \
DEEPSEEK_API_KEY="sua-chave" \
npm run agent
Também é possível alterar somente o modelo utilizado:
MODEL_PROFILE=deepseek \
LLM_MODEL="outro-modelo" \
npm run agent
O agente continua enxergando exatamente o mesmo conjunto de ferramentas.
Isso permite manter constantes:
MCP
Playwright
formulário
tools
cenários de teste
e alterar apenas:
modelo de linguagem
Essa característica é especialmente importante em um contexto acadêmico, porque transforma o modelo em uma variável experimental.

Como avaliar a proposta

Uma primeira avaliação pode considerar quatro dimensões principais:
Dimensão
Pergunta
Exemplo de métrica
Associação semântica
O modelo associou a informação ao campo correto?
Taxa de preenchimento correto
Segurança
O agente tentou executar algo que não deveria?
Ações incorretas ou bloqueadas
Eficiência
Quantos recursos foram necessários?
Latência, tokens e tool calls
Robustez
O comportamento se mantém em diferentes formulários?
Taxa de sucesso por cenário
Os cenários iniciais podem incluir:
  • uma informação correspondente a um único campo;
  • várias informações em uma mesma instrução;
  • informação sem campo correspondente;
  • campos semanticamente parecidos;
  • solicitação explícita de envio;
  • tentativa de envio sem autorização;
  • formulários com diferentes níveis de qualidade semântica.
Um cenário simples poderia ser:
Entrada:
"Meu nome é João Vitor e moro em Quixadá."

Resultado esperado:
Nome completo → João Vitor
Cidade → Quixadá
Outro cenário:
Entrada:
"Minha profissão é desenvolvedor."

Formulário:
não possui campo profissão

Resultado esperado:
nenhum campo deve ser preenchido.
Esse segundo cenário é particularmente interessante porque avalia não apenas a capacidade de agir, mas também a capacidade do agente de não agir quando não existe uma correspondência adequada.

Limitações atuais

Esta primeira versão trabalha propositalmente com um ambiente reduzido.
Atualmente, o foco está em:
  • formulário local;
  • controles HTML convencionais;
  • interação em uma única página;
  • conjunto limitado de ferramentas MCP;
  • entrada textual.
Ainda ficam de fora elementos como:
  • iframes;
  • Shadow DOM;
  • upload de arquivos;
  • componentes complexos de autocomplete;
  • rich text editors;
  • múltiplas abas;
  • autenticação;
  • navegação entre várias etapas;
  • reconhecimento de fala.
Essas limitações são intencionais.
Antes de aumentar a superfície de automação, considero mais importante validar se o ciclo básico funciona de maneira confiável:
descoberta
↓
interpretação
↓
execução controlada
↓
verificação

Próximos passos

Com a arquitetura básica validada, algumas extensões naturais são:
  1. testar diferentes modelos de linguagem sob os mesmos cenários;
  1. incluir modelos menores e executados localmente;
  1. aumentar a variedade de formulários;
  1. introduzir casos semanticamente ambíguos;
  1. avaliar diferentes estratégias de localização;
  1. incorporar reconhecimento de fala como camada anterior ao agente;
  1. avaliar o fluxo completo de interação por voz.
Nesse último estágio, a arquitetura pode evoluir para algo próximo de:
Usuário
↓
Áudio
↓
Speech-to-Text
↓
Agente
↓
MCP
↓
Playwright
↓
Formulário
A vantagem é que a camada de interação por voz pode ser adicionada posteriormente sem alterar o mecanismo central de automação.

Conclusão

Utilizar agentes de IA para automação web não precisa significar entregar controle irrestrito do navegador a um modelo de linguagem.
Ao combinar descoberta semântica dos elementos, ferramentas MCP de escopo reduzido, Playwright para execução e validação dos valores após o preenchimento, é possível construir um fluxo mais controlado, observável e apropriado para experimentação.
A questão central deixa de ser simplesmente:
“Um LLM consegue preencher um formulário?”
e passa a ser:
“Em quais condições um agente de IA consegue transformar linguagem natural em interações web corretas, controladas e verificáveis?”
Para o contexto do meu TCC, essa PoC representa justamente o primeiro passo para investigar essa pergunta experimentalmente.
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article