![Data lake serverless na AWS do zero: arquitetura com S3, Glue e Athena [Parte 1]](https://prod-assets.cosmic.aws.dev/a/3LLQI937atnncL5r4h8xVUuVZaa/capa.webp)
Data lake serverless na AWS do zero: arquitetura com S3, Glue e Athena [Parte 1]
Como sair do CSV na planilha para um data lake serverless na AWS, pagando só pelo que usa. Nesta Parte 1, desenho a arquitetura com Amazon S3, AWS Glue e Amazon Athena e explico as decisões que fazem diferença no custo e na performance: camadas raw, processed e curated, CSV vs Parquet, particionamento por data, partition projection, arquivos pequenos e segurança desde o primeiro dia.
Toda empresa chega num ponto em que os dados não cabem mais na planilha e começam a pesar no banco de produção. Alguém pede "o faturamento por categoria dos últimos 6 meses", a query roda no mesmo banco que atende o site, e de repente o checkout fica lento.
Neste artigo eu vou desenhar, do zero, um data lake serverless na AWS para resolver exatamente esse problema. Sem cluster, sem servidor ligado 24h, pagando só pelo que usar. Essa é a Parte 1, focada em arquitetura e nas decisões que fazem esse tipo de projeto dar certo (ou ficar caro). Na Parte 2 a gente coloca tudo de pé, com código e passo a passo.
Estou escrevendo essa série no formato "build in public": estudo, construo e documento. Se você tem experiência com data lakes e enxergar algo que faria diferente, deixa nos comentários que a discussão enriquece o artigo.
O cenário
Vamos usar um caso concreto: uma loja online que todo dia exporta os pedidos do sistema dela em um arquivo
pedidos.csv . Cada linha é um pedido, com colunas como:pedido_id, cliente_id, produto, categoria, quantidade, valor_total, status, criado_emO time quer responder perguntas como:
- Qual o faturamento por categoria no último mês?
- Quais produtos mais vendem por dia da semana?
- Qual a taxa de pedidos cancelados ao longo do tempo?
E tem três restrições:
- Não pode pesar no banco de produção.
- Custo baixo e previsível, porque é uma empresa pequena.
- Ninguém quer administrar servidor, o time é enxuto.
Essas três restrições apontam para o mesmo lugar: separar armazenamento de processamento, e usar serviços que cobram por uso.
Os três serviços (rapidinho)
Se você já conhece, pode pular. Se não, esse é o mínimo pra acompanhar:
- Amazon S3: armazenamento de objetos. É onde os arquivos do data lake vão morar, barato, durável e sem limite prático de tamanho.
- AWS Glue: serviço de integração de dados. Aqui a gente usa duas partes dele: o Glue Job (roda o código que transforma os dados) e o Glue Data Catalog (guarda o "mapa" das tabelas: colunas, tipos e onde os arquivos estão).
- Amazon Athena: roda SQL direto em cima dos arquivos no S3, sem carregar nada em banco. Você paga pelo volume de dados que a consulta lê.
O ponto-chave é esse último: no Athena, o custo é proporcional ao que você lê. Quase todas as decisões de arquitetura a seguir existem para fazer o Athena ler menos.
A arquitetura

O fluxo, de ponta a ponta:
- O sistema da loja envia o
pedidos.csvdo dia para a camada raw/ do S3.
- Um Glue Job lê esse CSV, limpa, corrige os tipos e grava em Parquet na camada processed/, separado por data.
- O Glue Data Catalog registra a tabela
pedidos: colunas, tipos e partições.
- O analista (ou uma ferramenta de BI) consulta com SQL no Athena, que usa o catálogo para saber onde ler.
- Consultas recorrentes e pesadas viram tabelas agregadas na camada curated/, prontas para dashboards.
Parece simples, e é. O que separa um data lake barato e rápido de um pântano de arquivos caro é o que vem agora: as decisões.
Decisão 1: separar em camadas (raw, processed, curated)
A tentação é jogar tudo num bucket só. Não faça isso. Cada camada tem um papel:
Camada | O que guarda | Formato | Quem usa |
|---|---|---|---|
raw/ | O dado exatamente como chegou | CSV | Ninguém consulta direto. É o backup da verdade |
processed/ | Dado limpo, tipado e padronizado | Parquet particionado | Analistas, consultas exploratórias |
curated/ | Tabelas de negócio já agregadas | Parquet | Dashboards e relatórios recorrentes |
Por que manter o
raw/ se ele não é consultado? Porque transformação tem bug. Se um dia você descobrir que o job estava convertendo valor errado, você reprocessa a partir do raw. Sem ele, o dado original se perdeu.A estrutura de pastas (prefixos) no bucket fica assim:
s3://meu-datalake-loja/├── raw/pedidos/2026-10-28/pedidos.csv├── processed/pedidos/dt=2026-10-28/part-0000.snappy.parquet└── curated/faturamento_diario_categoria/...Repara no
dt=2026-10-28 . Esse formato chave=valor não é estético. Ele é a base da próxima decisão.Dica de custo: como oraw/quase nunca é lido, ele é um ótimo candidato a uma regra de ciclo de vida no S3, movendo arquivos antigos para classes de armazenamento mais baratas depois de alguns meses.
Decisão 2: CSV ou Parquet?
O CSV é ótimo para trocar dados entre sistemas e péssimo para consultar. Dois motivos:
- CSV é orientado a linha. Se você pergunta só o
valor_totale acategoria, o Athena precisa ler a linha inteira, todas as colunas.
- Parquet é colunar e comprimido. O Athena lê só as colunas que a consulta usa, e os arquivos ficam bem menores.
Na prática, a diferença no bolso é grande. Segundo um levantamento de custos do Athena, combinar Parquet com compressão pode reduzir o custo de leitura em até cerca de 96% em comparação com CSV sem compressão. E só comprimir o CSV (com GZIP, por exemplo) ajuda menos do que parece, porque o Athena continua lendo o arquivo inteiro.
Por isso a regra da arquitetura é: CSV entra no raw, mas ninguém consulta CSV. A conversão para Parquet é responsabilidade do Glue Job.
Decisão 3: particionar por data
Particionar é organizar os arquivos em pastas por algum campo, para que a consulta pule o que não interessa.
Como quase toda pergunta do negócio tem um recorte de tempo ("último mês", "ontem", "esse trimestre"), a partição natural aqui é a data do pedido. Quando alguém roda:
SELECT categoria, SUM(valor_total) AS faturamentoFROM pedidosWHERE dt BETWEEN '2026-10-01' AND '2026-10-31'GROUP BY categoriaORDER BY faturamento DESC;O Athena lê só as 31 pastas de outubro, e não o histórico inteiro.
Dois cuidados que pegam muita gente:
- O filtro precisa ser na coluna de partição. Filtrar por
criado_em(que está dentro do arquivo) não pula pasta nenhuma. É por isso que a consulta acima filtra pordt.
- Não exagere na granularidade. Particionar por hora, ou por
cliente_id, gera milhares de pastas com arquivos minúsculos. Para esse volume, uma partição por dia é suficiente.
Eu optei por uma partição única
dt=AAAA-MM-DD em vez de ano=/mes=/dia= . As duas funcionam, mas com uma coluna só os filtros por intervalo ficam bem mais simples de escrever.Decisão 4: como o catálogo descobre as partições
Todo dia nasce uma pasta nova em
processed/ . O Athena só enxerga essa partição se o Glue Data Catalog souber que ela existe. Existem três caminhos:Opção | Como funciona | Quando usar |
|---|---|---|
Glue Crawler | Varre o S3 e atualiza schema e partições sozinho | Quando o schema muda com frequência ou você está explorando |
MSCK REPAIR / ALTER TABLE ADD PARTITION | Você manda o Athena registrar as partições | Casos pontuais. Fica lento com muitas partições |
Partition projection | Você descreve o padrão das partições na tabela e o Athena calcula sozinho | Quando o padrão é previsível, como datas |
Como nossas partições seguem um padrão de data totalmente previsível, a escolha é partition projection: zero crawler rodando todo dia, zero custo extra e nenhuma partição "esquecida". A tabela fica assim:
CREATE EXTERNAL TABLE pedidos ( pedido_id string, cliente_id string, produto string, categoria string, quantidade int, valor_total decimal(10,2), status string, criado_em timestamp)PARTITIONED BY (dt string)STORED AS PARQUETLOCATION 's3://meu-datalake-loja/processed/pedidos/'TBLPROPERTIES ( 'projection.enabled' = 'true', 'projection.dt.type' = 'date', 'projection.dt.format' = 'yyyy-MM-dd', 'projection.dt.range' = '2026-01-01,NOW', 'projection.dt.interval' = '1', 'projection.dt.interval.unit' = 'DAYS', 'storage.location.template' = 's3://meu-datalake-loja/processed/pedidos/dt=${dt}/');O crawler continua útil em outro momento: na primeira vez, para descobrir o schema de um CSV que você ainda não conhece bem. Na Parte 2 eu mostro esse uso.
Decisão 5: cuidado com arquivos pequenos
Esse é o custo escondido que pouca gente comenta. Além do valor por TB lido no Athena, cada arquivo lido gera requisições no S3, que são cobradas à parte. Milhares de arquivos de poucos KB deixam a consulta mais lenta e mais cara, mesmo com Parquet.
A recomendação comum é trabalhar com arquivos na casa de centenas de MB. No nosso cenário, o Glue Job grava poucos arquivos por dia (o volume diário de uma loja pequena cabe tranquilo em um ou dois arquivos), e isso já resolve.
Quanto custa? Uma conta de guardanapo
O Athena cobra US$ 5 por TB lido (com mínimo de 10 MB por consulta). Vamos imaginar que a loja gera cerca de 1 GB de CSV por dia e que, depois de um ano, alguém roda a consulta de faturamento do último mês:
- Tudo em CSV, sem partição: o Athena lê o histórico inteiro, uns 365 GB. Isso dá em torno de US$ 1,80 por consulta.
- Parquet particionado por dia: o Athena lê só 30 dias, só 2 das 8 colunas, e em arquivos comprimidos. O volume lido cai para a ordem de poucos GB, e a consulta custa centavos de dólar.
São valores ilustrativos, porque a taxa de compressão depende dos seus dados. Mas a ordem de grandeza é essa: a mesma pergunta pode custar 100 vezes menos só pelas decisões de formato e particionamento. Agora multiplica isso por um dashboard que atualiza várias vezes por dia.
Os preços variam por região e mudam com o tempo. Antes de colocar em produção, simule na AWS Pricing Calculator .
Segurança e governança desde o dia 1
Data lake costuma virar "o lugar onde todo dado da empresa está", então não dá pra deixar isso pra depois. O mínimo:
- Bucket privado: mantenha o S3 Block Public Access ativado (já é o padrão em buckets novos).
- Criptografia: buckets novos já criptografam objetos por padrão (SSE-S3). Se a empresa exige controle das chaves, use SSE-KMS.
- Menor privilégio: o Glue Job só lê
raw/e escreve emprocessed/. O analista só lêprocessed/ecurated/. Ninguém além do pipeline escreve no raw.
- Workgroup no Athena: crie um workgroup com bucket próprio para os resultados das consultas e configure um limite de dados lidos por consulta. Assim, um
SELECT *sem filtro esquecido não vira uma surpresa na fatura.
Resumo das decisões
- Três camadas (raw, processed, curated): raw é a fonte da verdade, ninguém consulta direto.
- Parquet para tudo que é consultado. CSV só na entrada.
- Partição por data, e filtros sempre na coluna de partição.
- Partition projection no lugar de crawler diário, porque o padrão é previsível.
- Poucos arquivos grandes em vez de muitos pequenos.
- Segurança e limite de custo configurados antes do primeiro dado chegar.
Na Parte 2
Na próxima parte a gente sai do papel:
- Criar o bucket e a estrutura de camadas
- Usar o Glue Crawler para descobrir o schema do CSV
- Escrever o Glue Job em PySpark que converte para Parquet particionado
- Criar a tabela com partition projection e rodar as primeiras consultas no Athena
- Comparar, na prática, o volume lido em CSV e em Parquet
A Parte 2 sai na sexta-feira (30/10). Me segue aqui no Builder Center pra não perder.
Se esse conteúdo te ajudou, comenta aqui o que você quer ver aprofundado. E se você está estudando para a certificação AWS Cloud Practitioner, todo dia eu posto um quiz rápido nos stories do Instagram (@foxflavio). Bora estudar junto! 🚀
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article