Engenheiro(a) de Dados Pleno - SP

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno com experiência em Databricks e Apache Spark para atuar no desenvolvimento e evolução de pipelines de dados, trabalhando com grandes volumes de informações e ambientes distribuídos.

Principais responsabilidades

1. Desenvolver e manter pipelines de dados utilizando Databricks e Spark;

2. Realizar ingestão, transformação e processamento de dados;

3. Trabalhar com diferentes fontes e formatos de arquivos;

4. Aplicar boas práticas de modelagem e manipulação de dados;

5. Contribuir para a otimização de processos e performance dos workloads de dados.

Requisitos obrigatórios

1. Experiência prática com Databricks e Apache Spark ;

2. Sólidos conhecimentos de SQL , incluindo Window Functions;

3. Conhecimento de modelagem e manipulação de dados ;

4. Experiência com processamento distribuído e Cluster Computing ;

5. Conhecimento de conceitos de performance do Spark, como Shuffle, Narrow/Wide Transformations, Column Pruning e Predicate Pushdown ;

6. Experiência com Delta Lake , incluindo versionamento e Time Travel ;

7. Conhecimento dos formatos Parquet e Avro ;

8. Experiência com leitura e gravação de dados em diferentes formatos.

Diferenciais

1. Experiência com Azure Data Factory ;

2. Vivência em ambientes Lakehouse e Azure Data Lake ;

3. Conhecimento em otimização de workloads Spark;

4. Experiência com grandes volumes de dados;

5. Conhecimento em streaming de dados ;

6. Experiência com CI/CD para pipelines de dados . 

Tem interesse?

Candidate-se a nossa vaga que teremos o grande prazer de dividir essa experiência com você.

“Grandes coisas em termos de negócios nunca são feitas por uma pessoa. São feitas por uma equipe de pessoas"

Formação Acadêmica:

Não informado

Salário:

10000

Cargo:

Outros

Empresa:

Innolevels

Atua como reparação e manutenção de computadores e de equipamentos periféricos.

Ramo:

Informática/ Tecnologia