ENGENHEIRO DADOS PL

Empresa: Stefanini Group

Local: Remoto

Tipo de Vaga: Efetivo (CLT) | Remoto

Descrição da Vaga

Confira os detalhes desta oportunidade profissional. Estamos em busca de um(a) Engenheiro(a) de Dados Pleno para atuar em um projeto estratégico de migração de dados, realizando a transição de tabelas, pipelines e processos do ambiente Cloudera Hadoop para a AWS. O profissional atuará de ponta a ponta no projeto, desde o levantamento do ambiente atual até a implantação e estabilização das soluções em produção.

Principais

ResponsabilidadesRealizar o levantamento e análise do ambiente atual em Cloudera Hadoop, identificando tabelas, pipelines, jobs e queries em HQL.Mapear e documentar rotinas de orquestração desenvolvidas em Shell Script.Migrar queries HQL para serviços AWS, utilizando Amazon Athena, AWS Glue ou Amazon EMR, conforme critérios de custo, performance e necessidade do negócio.Redesenhar processos de orquestração baseados em Shell Script para serviços gerenciados da AWS, como AWS Step Functions, AWS Lambda, Amazon EventBridge e Amazon MWAA (Airflow).Projetar e implementar a arquitetura do Data Lake em Amazon S3, estruturando as camadas Raw, Trusted e Refined.Modelar e implementar estruturas analíticas em Amazon Redshift, quando necessário.Desenvolver, testar e validar pipelines de dados, garantindo integridade, qualidade e performance.Atuar na implantação, homologação e estabilização das soluções em produção.Trabalhar em conjunto com equipes de arquitetura, infraestrutura e negócios para garantir uma migração eficiente e segura.Documentar processos, arquiteturas e fluxos desenvolvidos durante o projeto.

Requisitos para a VagaO que precisamos que você tenha de conhecimento:Experiência como Engenheiro(a) de Dados.Vivência em projetos de migração de ambientes de dados.Conhecimento em Cloudera Hadoop e desenvolvimento de queries em HQL (Hive Query Language).Experiência com desenvolvimento e manutenção de Shell Script.Conhecimento sólido dos serviços AWS voltados para engenharia de dados, especialmente:Amazon Athena;
AWS Glue;
Amazon EMR;
Amazon S3;
Amazon Redshift;
AWS Step Functions;
AWS Lambda;
Amazon EventBridge;
Amazon MWAA (Airflow).Experiência com modelagem de Data Lake e pipelines de dados.Conhecimento em SQL e boas práticas de modelagem de dados.Experiência com processos de ETL/ELT.

Diferenciais:Certificações AWS.Conhecimento em Python para desenvolvimento de pipelines e automações.Experiência com CI/CD aplicado à engenharia de dados.Vivência em projetos de modernização de plataformas de dados e migração para Cloud.

Informações Complementares
🍛 Vale-alimentação ou vale-refeição;
👨
🏼
‍
🎓 Desconto em cursos, universidades e instituições de idiomas;
📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;
🗣 Mentoring;
💉 Clube de vantagens para consultas e exames;
🏥 Assistência médica;
🦷 Assistência odontológica;
💰 Clube de vantagens e descontos nos melhores estabelecimentos;
🛫 Clube de viagens;
🐶 Convênio para pets.

Como se Candidatar

1. Acesse o link: Clique no botão “Candidatar-se” acima para acessar a vaga na plataforma Gupy.
2. Crie seu Perfil: Se for seu primeiro acesso, crie uma conta com seus dados.
3. Preencha as Informações: Complete as etapas solicitadas (currículo, testes, experiências).
4. Acompanhe: Após finalizar, acompanhe o processo no seu painel de candidato.

Dica: Mantenha seu currículo sempre atualizado para aumentar suas chances!