Engenheiro de Dados Sênior

Descrição

Estamos à procura de um(a) Engenheiro de Dados Sênior em Cloudera. Se você deseja ser nosso Especialista construindo e gerenciando soluções robustas de Big Data essa vaga é para você!

Responsabilidades e atribuições

Implementar e gerenciar arquiteturas de Big Data na plataforma Cloudera. Configurar pipelines de dados utilizando Apache Spark, Livy e NiFi. Garantir a governança de dados por meio do Apache Ranger e Cloudera Navigator. Estruturar e organizar Data Lakes em camadas para otimizar o processamento e consumo de dados. Definir, criar e manter um catálogo de dados centralizado, assegurando a documentação completa dos ativos de dados, rastreabilidade, e compliance com políticas de governança; Colaborar com equipes de Data Science e Engenharia para integração de soluções de IA e Machine Learning.

Requisitos e qualificações

Experiência avançada na Cloudera Data Platform (CDP), Cloudera Manager e Cloudera Navigator, em ambientes de nuvem e on-premises. Domínio na criação de Data Lakes estruturados em camadas (Bronze, Prata e Ouro). Experiência em Python e Apache Spark para processamento de dados em larga escala. Conhecimento em Apache Ranger para gestão de permissões e governança. Uso do Hive e HUE para consultas e interação com dados. Experiência com Apache NiFi para automação e integração de fluxos de dados. Conhecimento em Livy para gerenciamento e envio de trabalhos Spark em ambientes distribuídos. Experiência em realizar treinamentos e apresentações técnicas. Habilidades de levantamento negocial e de dados, facilitando o entendimento das necessidades do cliente e a definição de soluções técnicas.