Agentes de IA para formulários web com MCP e Playwright
Uma prova de conceito para investigar como agentes de IA podem transformar linguagem natural em interações web controladas, usando MCP e Playwright. A arquitetura limita as ações disponíveis ao modelo, valida os dados após o preenchimento e permite comparar diferentes LLMs sob as mesmas condições.
Automatizar o preenchimento de formulários web parece, à primeira vista, um problema simples: localizar campos e inserir valores. Quando a entrada passa a ser linguagem natural, porém, o desafio muda bastante.
O sistema precisa interpretar a intenção do usuário, compreender a estrutura da página, associar informações aos campos corretos, decidir quais ações executar e, ao mesmo tempo, evitar operações que não foram autorizadas.
Como parte de uma prova de conceito desenvolvida para meu Trabalho de Conclusão de Curso, estou investigando uma arquitetura baseada em agentes de IA, Model Context Protocol (MCP) e Playwright.
O objetivo não é criar um preenchimento “mágico”, mas construir uma arquitetura pequena, observável e controlada o suficiente para permitir experimentos com diferentes modelos de linguagem.
O problema: linguagem natural não é um seletor CSS
Considere a instrução:
Para uma pessoa, a relação entre essas informações e os campos de um formulário é praticamente imediata.
Para um agente de IA, o processo envolve várias decisões:
- descobrir quais campos realmente existem na página;
- compreender o significado de cada campo;
- associar partes da instrução aos campos compatíveis;
- preencher somente as informações fornecidas;
- verificar se o navegador recebeu os valores esperados;
- não executar ações de maior impacto, como o envio do formulário, sem autorização explícita.
A principal decisão arquitetural da PoC é separar interpretação de execução.
O modelo de linguagem interpreta a intenção do usuário, enquanto uma camada controlada executa ações específicas no navegador.
Arquitetura proposta
┌───────────────┐│ Usuário │└───────┬───────┘ │ linguagem natural ▼┌───────────────┐│ Agente │└───────┬───────┘ │ tool calls ▼┌───────────────┐│ MCP Client │└───────┬───────┘ ▼┌───────────────┐│ MCP Server │└───────┬───────┘ │ ações permitidas ▼┌───────────────┐│ Playwright │└───────┬───────┘ ▼┌───────────────┐│ Navegador ││ Formulário │└───────────────┘O Model Context Protocol (MCP) funciona como uma fronteira entre o agente e a automação do navegador.
Em vez de permitir que o modelo execute comandos arbitrários, o servidor MCP disponibiliza apenas um conjunto limitado de ferramentas:
-
inspect_form: identifica os campos e botões disponíveis;
-
fill_field: preenche um campo identificado semanticamente;
-
read_field: lê o valor atual de um campo;
-
click_button: interage com um botão identificado semanticamente.
Essa separação é importante: o agente pode decidir qual ferramenta utilizar, mas não recebe acesso irrestrito ao DOM ou ao navegador.
Descobrir antes de agir
O agente não recebe uma lista fixa dos campos disponíveis.
Antes de interpretar completamente a solicitação do usuário, ele utiliza
inspect_form para obter um inventário da página.Esse inventário pode conter informações como:
-
label;
-
name;
-
id;
- tipo HTML;
- papel acessível;
- placeholder;
- opções disponíveis em controles como
select.
Um campo pode ser representado da seguinte forma:
{ "label": "E-mail", "name": "email", "id": "email", "type": "email", "role": "textbox"}A partir dessas informações, o agente passa a trabalhar com aquilo que realmente existe no formulário.
Isso reduz a possibilidade de o modelo inventar campos e torna a arquitetura menos dependente de uma página específica.
Semântica é mais estável que layout
Formulários mudam.
Um elemento pode mudar de posição, classe CSS ou estrutura de contêineres sem que seu significado seja alterado.
Por isso, a localização dos campos prioriza informações semânticas, como:
- label associado;
- papel acessível;
-
name;
-
id;
- placeholder;
- tipo do controle.
Com Playwright, por exemplo, localizar um elemento por seu label é normalmente mais expressivo e resiliente do que depender de um seletor como:
.form > div:nth-child(2) inputEssa estratégia também cria uma relação interessante com acessibilidade.
Formulários que utilizam labels corretamente associados aos seus controles não beneficiam apenas tecnologias assistivas: eles também oferecem uma estrutura semântica melhor para automação.
Menor privilégio para o agente
Modelos de linguagem são sistemas probabilísticos.
Mesmo quando recebem instruções claras, existe a possibilidade de interpretar uma solicitação de maneira inesperada. Por isso, regras importantes não devem depender exclusivamente do prompt.
Na PoC, o MCP Server deliberadamente não disponibiliza uma ferramenta como:
execute_javascriptEm vez disso, expõe apenas operações específicas de domínio:
inspect_formfill_fieldread_fieldclick_buttonO agente consegue executar essas operações, mas não pode rodar JavaScript arbitrário ou modificar livremente o DOM.
A ideia segue o princípio do menor privilégio: cada ferramenta oferece apenas a capacidade necessária para realizar determinada operação.
Confirmar depois de escrever
Uma chamada de preenchimento executada sem erro não significa necessariamente que o valor final permaneceu correto.
Máscaras, validações, scripts da página ou componentes customizados podem alterar o conteúdo inserido.
Por isso, a PoC utiliza o seguinte fluxo:
interpretar → preencher → reler → confirmarDepois de utilizar
fill_field , o agente pode chamar read_field para verificar o valor que realmente está presente no navegador.A confirmação exibida ao usuário é baseada nesse valor observado posteriormente, e não apenas no valor originalmente enviado pelo modelo.
Além de aumentar a confiabilidade, essa estratégia cria uma evidência objetiva que pode ser utilizada durante a avaliação experimental.
Ações de maior impacto exigem intenção explícita
Preencher e enviar um formulário são operações diferentes.
O preenchimento ainda permite revisão. O envio pode desencadear efeitos externos.
Por isso, o agente não recebe permissão automática para enviar um formulário após preenchê-lo.
Considere:
Meu nome é João Vitor e meu e-mail é joao@email.com.Essa instrução autoriza o preenchimento, mas não o envio.
Para utilizar o botão de submissão, é necessária uma nova intenção explícita, como:
Pode enviar o formulário.A proteção é implementada em mais de uma camada:
- o prompt orienta o modelo a não realizar envios automaticamente;
- o orquestrador pode bloquear programaticamente uma tentativa de envio sem autorização.
Uma regra crítica, portanto, não depende exclusivamente do comportamento esperado do LLM.
Observabilidade sem armazenar raciocínio interno
Para avaliar um agente, é necessário saber o que ocorreu durante sua execução.
A PoC registra informações como:
- instrução recebida;
- provedor e modelo utilizados;
- inventário de campos encontrado;
- ferramentas chamadas;
- parâmetros enviados;
- valores preenchidos;
- valores obtidos após releitura;
- tentativas de ações bloqueadas;
- erros de localização;
- latência;
- quantidade de tokens, quando disponibilizada pelo provedor.
Não é necessário armazenar o raciocínio interno do modelo.
Para análise operacional e experimental, as ações observáveis e seus resultados são mais úteis e objetivos.
O modelo deve ser intercambiável
Outro ponto importante da arquitetura é evitar que toda a implementação fique acoplada a um único modelo.
A PoC utiliza perfis de configuração para permitir a substituição do LLM sem alterar a camada MCP ou a automação do navegador.
Por exemplo:
MODEL_PROFILE=deepseek \DEEPSEEK_API_KEY="sua-chave" \npm run agentTambém é possível alterar somente o modelo utilizado:
MODEL_PROFILE=deepseek \LLM_MODEL="outro-modelo" \npm run agentO agente continua enxergando exatamente o mesmo conjunto de ferramentas.
Isso permite manter constantes:
MCPPlaywrightformuláriotoolscenários de testee alterar apenas:
modelo de linguagemEssa característica é especialmente importante em um contexto acadêmico, porque transforma o modelo em uma variável experimental.
Como avaliar a proposta
Uma primeira avaliação pode considerar quatro dimensões principais:
Dimensão | Pergunta | Exemplo de métrica |
|---|---|---|
Associação semântica | O modelo associou a informação ao campo correto? | Taxa de preenchimento correto |
Segurança | O agente tentou executar algo que não deveria? | Ações incorretas ou bloqueadas |
Eficiência | Quantos recursos foram necessários? | Latência, tokens e tool calls |
Robustez | O comportamento se mantém em diferentes formulários? | Taxa de sucesso por cenário |
Os cenários iniciais podem incluir:
- uma informação correspondente a um único campo;
- várias informações em uma mesma instrução;
- informação sem campo correspondente;
- campos semanticamente parecidos;
- solicitação explícita de envio;
- tentativa de envio sem autorização;
- formulários com diferentes níveis de qualidade semântica.
Um cenário simples poderia ser:
Entrada:"Meu nome é João Vitor e moro em Quixadá."
Resultado esperado:Nome completo → João VitorCidade → QuixadáOutro cenário:
Entrada:"Minha profissão é desenvolvedor."
Formulário:não possui campo profissão
Resultado esperado:nenhum campo deve ser preenchido.Esse segundo cenário é particularmente interessante porque avalia não apenas a capacidade de agir, mas também a capacidade do agente de não agir quando não existe uma correspondência adequada.
Limitações atuais
Esta primeira versão trabalha propositalmente com um ambiente reduzido.
Atualmente, o foco está em:
- formulário local;
- controles HTML convencionais;
- interação em uma única página;
- conjunto limitado de ferramentas MCP;
- entrada textual.
Ainda ficam de fora elementos como:
- iframes;
- Shadow DOM;
- upload de arquivos;
- componentes complexos de autocomplete;
- rich text editors;
- múltiplas abas;
- autenticação;
- navegação entre várias etapas;
- reconhecimento de fala.
Essas limitações são intencionais.
Antes de aumentar a superfície de automação, considero mais importante validar se o ciclo básico funciona de maneira confiável:
descoberta ↓interpretação ↓execução controlada ↓verificaçãoPróximos passos
Com a arquitetura básica validada, algumas extensões naturais são:
- testar diferentes modelos de linguagem sob os mesmos cenários;
- incluir modelos menores e executados localmente;
- aumentar a variedade de formulários;
- introduzir casos semanticamente ambíguos;
- avaliar diferentes estratégias de localização;
- incorporar reconhecimento de fala como camada anterior ao agente;
- avaliar o fluxo completo de interação por voz.
Nesse último estágio, a arquitetura pode evoluir para algo próximo de:
Usuário ↓Áudio ↓Speech-to-Text ↓Agente ↓MCP ↓Playwright ↓FormulárioA vantagem é que a camada de interação por voz pode ser adicionada posteriormente sem alterar o mecanismo central de automação.
Conclusão
Utilizar agentes de IA para automação web não precisa significar entregar controle irrestrito do navegador a um modelo de linguagem.
Ao combinar descoberta semântica dos elementos, ferramentas MCP de escopo reduzido, Playwright para execução e validação dos valores após o preenchimento, é possível construir um fluxo mais controlado, observável e apropriado para experimentação.
A questão central deixa de ser simplesmente:
“Um LLM consegue preencher um formulário?”
e passa a ser:
“Em quais condições um agente de IA consegue transformar linguagem natural em interações web corretas, controladas e verificáveis?”
Para o contexto do meu TCC, essa PoC representa justamente o primeiro passo para investigar essa pergunta experimentalmente.
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article