AWS Builder Center
Do PDF ao RAG: extração robusta, chunking adaptativo e busca híbrida com PostgreSQL/pgvector - e uma rota para AWS

Do PDF ao RAG: extração robusta, chunking adaptativo e busca híbrida com PostgreSQL/pgvector - e uma rota para AWS

Como transformei PDFs, DOCX e imagens em uma base pesquisável para RAG usando Python, OCR, embeddings, PostgreSQL/pgvector, busca híbrida e re-ranking — além dos próximos passos para levar essa arquitetura à AWS.

Series: Projetos de IA (2 articles)

  1. 1
    Do PDF ao RAG: extração robusta, chunking adaptativo e busca híbrida com PostgreSQL/pgvector - e uma rota para AWS This article
Conecto projetos, tecnologia, segurança e nuvem para gerar soluções reais.

O problema não é apenas “ler um PDF”

Quando comecei a trabalhar neste projeto, o objetivo parecia simples: extrair texto de documentos e deixá-lo disponível para uma aplicação de IA.
Na prática, documentos reais tornam o problema muito mais interessante.
Alguns PDFs possuem uma camada de texto perfeita. Outros são documentos digitalizados. Há arquivos parcialmente corrompidos, documentos com diferentes estruturas, imagens, DOCX, páginas com pouco conteúdo útil e documentos grandes o suficiente para causar problemas de memória durante o processamento.
E mesmo depois de obter o texto, ainda restam perguntas importantes:
  • Como dividi-lo sem destruir o contexto?
  • Qual modelo de embedding utilizar?
  • Como trabalhar com modelos que produzem vetores de dimensões diferentes?
  • Como combinar busca semântica com pesquisa textual?
  • Como melhorar a ordem dos resultados recuperados?
  • Como evitar que uma execução em lote consuma toda a RAM ou VRAM disponível?
Foi a partir dessas necessidades que nasceu o projeto Extrair_PDF_Agent_IA.
Apesar do nome do repositório mencionar um “Agent IA”, o núcleo implementado atualmente é, de forma mais precisa, uma pipeline de ingestão, preparação, indexação e recuperação de conhecimento. É justamente essa camada que pode servir como base para aplicações RAG e, posteriormente, para agentes que precisem consultar documentos.
O código é aberto e distribuído sob licença MIT.

Visão geral da arquitetura atual

O fluxo pode ser resumido assim:
PDF / DOCX / Imagem
|
v
Reparo e extração de conteúdo
|
+----> fallback de OCR
|
v
Filtragem e chunking adaptativo
|
v
Geração de embeddings
|
v
PostgreSQL + pgvector
|
+----> Full-Text Search
+----> Busca vetorial
|
v
Busca híbrida
|
v
Re-ranking opcional

A ideia central foi não depender de uma única estratégia.
Em pipelines documentais, “funcionou no meu PDF” não significa necessariamente “funciona em um conjunto real de documentos”.

1. Extração resiliente: não existe um único parser perfeito

A primeira camada do projeto concentra diferentes estratégias de extração.
Entre elas estão PyPDFLoader, PDFMiner, PDFMiner em baixo nível, PDFPlumber, PyMuPDF4LLM, Unstructured para DOCX e Tesseract para OCR.
Para imagens, o processamento pode ir diretamente para OCR.
Para PDFs, o comportamento é mais defensivo.
Antes mesmo da extração, o projeto tenta reparar o documento utilizando ferramentas como  mutool ,  pikepdf  e Ghostscript. Depois disso, executa a estratégia selecionada. Caso o resultado tenha pouco texto, entra em uma sequência de fallbacks.
O objetivo é simples: uma falha em uma biblioteca não deveria significar necessariamente a perda do documento inteiro.
No modo OCR, por exemplo, o código primeiro tenta recuperar a camada textual do PDF. Se o conteúdo encontrado ficar abaixo de um limiar configurável, as páginas são convertidas em imagens e enviadas ao Tesseract.
Esse desenho é especialmente útil quando um diretório contém uma mistura de documentos digitais e digitalizados.

E por que manter múltiplas estratégias?

Porque parsers diferentes se comportam de maneiras diferentes diante de layouts, fontes, objetos incorporados e estruturas internas de PDF.
Em vez de assumir que existe uma biblioteca universalmente superior, o projeto transforma a estratégia de extração em uma decisão configurável.
Essa abordagem também facilita benchmarking: o mesmo documento pode ser testado com diferentes extratores sem alterar todo o pipeline.

2. Chunking não é apenas cortar texto a cada N caracteres

Depois da extração, começa uma das partes mais importantes de qualquer pipeline de RAG: o chunking.
Um chunk muito pequeno pode perder contexto. Um chunk muito grande pode ultrapassar o limite útil do modelo de embedding, além de introduzir informação irrelevante na mesma representação vetorial.
O projeto adota um gerador hierárquico de chunks.
Antes da divisão, alguns conteúdos são filtrados, incluindo trechos excessivamente curtos e padrões associados a sumários e índices.
Em seguida, os parágrafos são agrupados de acordo com o limite de tokens do tokenizer associado ao modelo Sentence Transformer escolhido.
Quando um parágrafo ultrapassa sozinho esse limite, entra um segundo mecanismo: divisão com janela deslizante e overlap configurável.
Outro detalhe importante é que os chunks são produzidos com  yield .
Em vez de construir uma grande lista com todos os fragmentos em memória para só depois processá-los, o pipeline consegue trabalhar de maneira incremental.
Essa decisão tornou-se particularmente relevante durante testes com lotes maiores de arquivos.

3. Embeddings: uma arquitetura que permite experimentar

O projeto suporta mais de uma família de embeddings.
Entre as opções configuradas estão modelos MiniLM, MPNet, um encoder direcionado ao português e um modelo acessado por meio do ecossistema Ollama.
As dimensões atualmente previstas são:
384
768
1024
1536

Em vez de misturar vetores com diferentes dimensionalidades, o banco possui tabelas específicas para cada dimensão.
Essa solução aumenta um pouco a complexidade operacional, mas torna explícito algo que às vezes fica escondido em protótipos de RAG: o modelo de embedding faz parte do contrato dos dados.
Trocar o modelo não é semelhante a trocar apenas uma função Python. O espaço vetorial também muda.
Por isso, em ambientes reais, eu prefiro tratar modelo, versão e dimensão como metadados de primeira classe.

4. PostgreSQL também pode ser um mecanismo de recuperação semântica

A persistência utiliza PostgreSQL com a extensão pgvector.
As tabelas armazenam três elementos principais:
content
metadata
embedding

Além do vetor, o projeto mantém um  TSVECTOR  para pesquisa textual e índices sobre metadados.
Há índices vetoriais HNSW e IVFFlat, índices GIN para full-text search e JSONB e índices trigram para determinados campos de metadata.
Isso abre espaço para algo que considero mais interessante do que uma busca exclusivamente vetorial: busca híbrida.

5. Busca híbrida: semântica e palavras-chave trabalhando juntas

A busca semântica é excelente quando duas frases representam conceitos semelhantes mesmo sem usar exatamente os mesmos termos.
Já a busca lexical continua extremamente útil para códigos, nomes, siglas, identificadores, versões de software e expressões específicas.
Por que escolher apenas uma?
O SQL do projeto implementa funções que combinam uma pontuação vetorial com uma pontuação lexical.
Na função de busca híbrida, os pesos padrão são:
vetorial: 0,6
lexical: 0,4

Esses números não devem ser tratados como universais.
Eles são parâmetros que precisam ser avaliados usando o corpus e as consultas reais da aplicação.
Essa também é uma das razões pelas quais gosto do PostgreSQL nessa arquitetura: informações relacionais, JSONB, full-text search e vetores continuam disponíveis no mesmo mecanismo de armazenamento.
O próprio projeto pgvector documenta a combinação de busca vetorial com o full-text search do PostgreSQL como uma estratégia de hybrid search.

6. Re-ranking como segunda etapa

Recuperar candidatos rapidamente é diferente de classificá-los com a maior precisão possível.
Por isso existe suporte a um  CrossEncoder , utilizando o modelo  cross-encoder/ms-marco-MiniLM-L-6-v2 .
A ideia segue o padrão conhecido como retrieve and re-rank.
Primeiro, um mecanismo mais eficiente encontra os candidatos. Depois, um modelo que recebe simultaneamente a consulta e o documento calcula uma pontuação de relevância mais refinada.
Cross-Encoders tendem a ser mais caros que a simples comparação entre embeddings. Portanto, fazem mais sentido como uma segunda etapa aplicada sobre um conjunto relativamente pequeno de candidatos.
Na implementação atual, o re-ranking é acionado quando existe uma consulta em  metadata.__query .
Essa parte do projeto ainda oferece espaço para evolução, principalmente para aproximar completamente o fluxo de um retrieve-and-rerank de produção.

7. O problema que apareceu em lote: memória

Uma das partes mais úteis deste projeto veio de um problema pouco glamouroso: processos sendo encerrados com  SIGKILL .
Ao processar muitos arquivos, o consumo de memória começou a crescer, especialmente em cenários envolvendo GPU.
Algumas medidas foram então incorporadas:
  • seleção explícita entre CPU, GPU e modo automático;
  • cache dos modelos por dispositivo;
  • uso de  torch.no_grad()  durante inferência;
  • liberação de referências para objetos grandes;
  • coleta de lixo entre documentos;
  • limpeza do cache CUDA;
  • geração incremental de chunks.
Não existe uma única chamada mágica que resolva consumo de memória.
O resultado veio da combinação de decisões menores ao longo de todo o pipeline.
Essa foi provavelmente uma das principais lições práticas do projeto: um pipeline de IA precisa ser pensado também como um sistema de software, e não apenas como uma sequência de chamadas a modelos.

8. Observabilidade desde o protótipo

O projeto também expõe métricas no formato Prometheus.
Atualmente existem contador, histograma e gauge para acompanhar quantidade de execuções, tempo e quantidade de resultados.
Durante a revisão do código, encontrei um detalhe que eu ajustaria: o decorator dessas métricas está aplicado atualmente à rotina  save_to_postgres .
Os nomes das métricas fazem referência a consultas RAG, mas o ponto instrumentado está ligado à etapa de ingestão/persistência.
Em uma próxima versão, eu separaria claramente métricas de ingestão das métricas de retrieval:
document_ingestion_duration_seconds
chunks_created_total
embedding_failures_total

rag_query_duration_seconds
rag_query_result_count
reranking_duration_seconds

Essa distinção ajuda bastante quando chega a hora de descobrir se uma degradação está no processamento de documentos ou na experiência de consulta.

9. Três ajustes que eu faria antes de chamar o pipeline de “produção”

Revisar o próprio código depois de algum tempo é uma parte importante do processo de engenharia.
Há três pontos que eu considero particularmente relevantes.

Vetor zero não deveria esconder uma falha de embedding

Hoje, caso a geração de embedding falhe, existe um fallback que produz um vetor preenchido com zeros.
Isso mantém o processo em execução, mas pode esconder uma falha importante.
Além disso, a documentação do pgvector observa que vetores zero não são indexados para busca por distância cosseno.
Em produção, eu substituiria esse comportamento por uma política de erro explícita, registro do documento com status de falha e uma fila de reprocessamento.
Continuar funcionando não é necessariamente o mesmo que continuar funcionando corretamente.

A dimensão deveria ser validada, não adaptada silenciosamente

A implementação também consegue completar com zeros ou truncar um embedding para fazê-lo caber na dimensão escolhida.
Isso é operacionalmente conveniente, mas semanticamente perigoso.
Se um modelo deveria gerar 768 dimensões e a aplicação está configurada para 1024, eu prefiro que o pipeline falhe imediatamente.
Um vetor não deixa de pertencer ao espaço vetorial original apenas porque ganhou zeros no final.

Produto interno negativo não é distância cosseno

Na função  match_documents_precise , existe outro ponto que merece revisão.
O operador  <#>  do pgvector representa produto interno negativo, enquanto  <=>  representa distância cosseno.
Como a função utiliza nomes e limites associados à similaridade cosseno, eu validaria esse cálculo antes de utilizar essa rotina em produção.
Esse tipo de detalhe é exatamente o motivo pelo qual testes de relevância são tão importantes quanto testes funcionais em sistemas de recuperação.

10. Onde a AWS entra nessa arquitetura?

A versão pública que descrevi até aqui é independente de AWS.
Isso é intencionalmente importante deixar claro.
Mas o desenho possui uma rota bastante natural para a nuvem.

Opção 1 — preservar o pipeline customizado

Se eu quisesse manter as decisões atuais de extração, chunking, embeddings e busca híbrida, uma evolução possível seria:
Amazon S3
|
v
Processamento customizado
|
+--> Amazon Textract, quando OCR gerenciado fizer sentido
|
v
Amazon RDS for PostgreSQL
ou Amazon Aurora PostgreSQL
|
+--> pgvector
|
v
Aplicação RAG / modelo generativo

O Amazon RDS for PostgreSQL oferece suporte à extensão pgvector, permitindo preservar boa parte do modelo atual de dados e consultas.
A AWS também publica orientações específicas para workloads pgvector em RDS e Aurora, incluindo HNSW, dimensionalidade, memória, latência e operação em produção.
Para documentos em que OCR e análise gerenciada façam sentido, o Amazon Textract pode substituir parte da camada local baseada em conversão de páginas e Tesseract.

Opção 2 — reduzir a quantidade de infraestrutura customizada

Existe ainda uma segunda escolha.
O Amazon Bedrock Knowledge Bases oferece um pipeline gerenciado de RAG, cobrindo etapas como ingestão, criação de embeddings, vector store e recuperação.
Nesse cenário, a pergunta arquitetural muda de:
“Como migro exatamente cada componente que construí?”
para:
“Quais componentes personalizados realmente geram diferenciação suficiente para eu continuar operando?”
Para alguns casos, o pipeline customizado continuará fazendo sentido, principalmente quando extração, chunking ou estratégia de ranking precisarem de controle fino.
Para outros, delegar parte do trabalho ao Bedrock pode reduzir bastante a carga operacional.
Não existe uma resposta única.
E essa talvez seja a parte mais interessante da arquitetura.

11. Métricas Prometheus também têm um caminho para AWS

Como o projeto já expõe métricas compatíveis com Prometheus, há outra evolução possível.
O Amazon Managed Service for Prometheus consegue receber métricas Prometheus por mecanismos como  remote_write  e coletores gerenciados pelo cliente.
Assim, uma futura implantação em contêineres ou infraestrutura AWS poderia aproveitar a instrumentação existente em vez de descartá-la.
Novamente, isso é uma evolução proposta — não uma dependência atual do projeto.

O que eu aprendi construindo este projeto

O principal aprendizado não foi qual biblioteca extrai melhor um PDF.
Foi perceber que RAG começa muito antes do LLM.
Qualidade de recuperação depende da qualidade da extração, do chunking, do modelo de embedding, dos índices, das consultas, dos metadados e da observabilidade.
Também aprendi que resiliência pode ter um efeito colateral perigoso.
Fallbacks são úteis, mas um sistema que nunca falha porque transforma qualquer erro em um valor default pode ser mais difícil de confiar do que um sistema que para e informa claramente o que aconteceu.
Por fim, PostgreSQL mostrou-se uma ferramenta interessante para experimentar busca híbrida porque permite combinar texto, JSONB, full-text search e vetores sem transformar cada parte da solução em um serviço independente desde o primeiro dia.

Conclusão

O Extrair_PDF_Agent_IA começou como uma forma de processar documentos e evoluiu para uma base de experimentação sobre vários dos problemas que aparecem em aplicações RAG reais: formatos heterogêneos, OCR, chunking, embeddings, dimensionalidade, pesquisa híbrida, re-ranking, memória e observabilidade.
O próximo passo que considero mais interessante é medir a qualidade da recuperação com um conjunto conhecido de perguntas e respostas.
Depois disso, fica muito mais fácil comparar estratégias: modelos diferentes, HNSW versus IVFFlat, pesos da busca híbrida, chunk sizes e re-ranking.
E, quando chegar o momento de levar essa arquitetura para AWS, também será possível decidir com dados quais partes vale a pena continuar customizando e quais podem ser entregues a serviços gerenciados.
Código-fonte: projeto  aXR6/Extrair_PDF_Agent_IA  no GitHub.



Referências

  • AWS Builder Center — AWS Builder Terms e orientações para publicação
  • AWS — Amazon Bedrock Knowledge Bases
  • AWS — Amazon Textract Developer Guide
  • AWS — Amazon RDS for PostgreSQL: extensões suportadas
  • AWS Database Blog — pgvector em Amazon RDS e Amazon Aurora PostgreSQL
  • pgvector — documentação oficial do projeto
  • Sentence Transformers — documentação de Retrieve & Re-Rank e CrossEncoder
  • Amazon Managed Service for Prometheus — documentação oficial
As opiniões e experiências descritas neste artigo são do autor e não representam necessariamente as opiniões da AWS.

Series: Projetos de IA (2 articles)

  1. 1
    Do PDF ao RAG: extração robusta, chunking adaptativo e busca híbrida com PostgreSQL/pgvector - e uma rota para AWS This article
Any opinions in this article are those of the individual author and may not reflect the opinions of AWS.
Enjoyed reading this content? Let the author know!

Your likes, comments, shares, and saves help creators reach more builders.

Loading recommendations

Loading article