Databricks Lakehouse Engenheiro(a) de Dados | Sênior (Remote)
Empresa: Compass UOL
Local: Remoto
Tipo de Vaga: Efetivo (CLT) | Remoto
| Tipo de Contrato | Efetivo (CLT) |
|---|---|
| Modalidade | Remoto |
| Localização | Remoto |
| Publicada em | 30/07/2026 |
Descrição da Vaga
Confira os detalhes desta oportunidade profissional. .
Principais
Responsabilidades Colaborar na construção da plataforma Enterprise Lakehouse em Databricks, estruturada em domínios de dados conforme os princípios de Data Mesh. Implementar e administrar o Unity Catalog como camada de governança central e o compartilhamento de dados entre domínios via Delta Sharing. Desenvolver padrões de ingestão de dados (streaming e batch) e o template de arquitetura medalhão (bronze/silver/gold) para uso dos domínios. Desenvolver o framework de contrato de dados e o framework de Data Quality da plataforma. Estruturar esteiras de CI/CD para a plataforma Databricks e automação de infraestrutura. Integrar a plataforma Databricks ao produto Data Mesh existente na AWS, garantindo interoperabilidade de catálogos e aderência ao modelo de contrato de dados. Contribuir com decisões de arquitetura, documentação técnica e mentoria do time.
Requisitos para a Vaga Databricks: experiência sólida com a plataforma — administração de workspaces, clusters, jobs e workflows;
Unity Catalog: governança de dados, modelo de permissões, lineage, external locations e integração com storage;
Delta Lake e arquitetura medalhão (bronze, silver, gold) em ambientes produtivos;
Padrões de ingestão de dados: streaming e batch em escala;
CI/CD para Databricks (Databricks Asset Bundles, Repos, integração com esteiras como GitHub Actions, Azure DevOps ou similares);
Ecossistema AWS: S3, Glue, Lake Formation, EMR (EC2 e Serverless), Athena, Lambda, IAM, DMS, Kinesis, Step Functions, SNS, SQS e EventBridge;
IaC (Terraform, incluindo o provider do Databricks);
Python e PySpark avançados para desenvolvimento de pipelines e automações de plataforma;
SQL avançado;
Data Contracts e ferramentas de metadados como OpenMetadata;
DataDog : para controles e monitoramentos de observabilidade;
Desejáveis: Vivência em projetos de Data Mesh (domínios, data products, governança federada) —
diferencial importante;
Experiência no mercado financeiro ou de crédito —
diferencial importante;
Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados);
FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute);
Delta Sharing em cenários cross-company, cross-cloud ou cross-region;
Certificações AWS (ex.: Data Engineer Associate, Solutions Architect);
Certificações Databricks (Data Engineer Associate, Data Engineer Professional, Platform Administrator);
Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).
Como se Candidatar
- Acesse o link: Clique no botão “Candidatar-se” acima para acessar a vaga na plataforma Gupy.
- Crie seu Perfil: Se for seu primeiro acesso, crie uma conta com seus dados.
- Preencha as Informações: Complete as etapas solicitadas (currículo, testes, experiências).
- Acompanhe: Após finalizar, acompanhe o processo no seu painel de candidato.
Dica: Mantenha seu currículo sempre atualizado para aumentar suas chances!
Gostou desse conteúdo?
Entre no VAGAS E CURSOS - PORTAL VAGAS no WhatsApp e receba tudo em primeira mão!
Entrar no Grupo
Entre no VAGAS E CURSOS - PORTAL VAGAS no WhatsApp e receba tudo em primeira mão!