Engenheiro de Dados

Atividades Básicas* Projetar e implementar Pipeline de Dados que coletam, armazenam eorganizam dados brutos de várias fontes;* Manter os pipelines de dados para que executem seguindo programações, prazos e qualidade dos dados;* Identificar gargalos, otimizar o desempenho e garantir que os dados estejam disponíveis quando necessário, capturados de maneira eficiente e segura;* Integrar diversas fontes de dados em camada analítica disponível para consumo;* Transformador e limpar os dados antes de disponibilizá-los para uso;* Projetar a arquitetura de sistemas distribuídos que suportam a coleta, armazenamento e análise de dados.* Escolher em conjunto com o gestor técnico, tecnologias adequadas e definir padrões para garantir escalabilidade e confiabilidade, para construir soluções eficazes;* Realizar levantamento e detalhamento das fontes de dados fonte e alvo do pipeline de dados;
Cargo: Engenheiro de Dados
Tipo de Contrato: CLT (Efetivo)
Carga-horária: 8h as 17h

Requisitos: É requisito ao candidato possuir:

* Curso superior completo, preferencialmente na área de informática ou em área afim (tecnologia da informação);
* Tecnologias e ferramentas associadas a bancos de dados relacionais (Ex.: IBM DB2/SQL Server);
* Desenvolvimento de processos ETL, para ingestão, transformação e consumo de dados em ambientes big data;
* Sistemas de processamento distribuído com paralelismo e tolerância a falhas (Ex.: Apache Spark) de alta performance, disponibilidade e escalabilidade;
* Framework de armazenamento e processamento distribuídos para grandes conjuntos de dados em cluster (Ex.: Apache Hadoop);
* Ferramentas de Integração de Dados (ex.: IBM DataStage, Pentaho Data Integration, entre outras.);
* Modelagem de dados Entidade e Relacionamento, Esquema Estrela ou Multidimensional;
* Análise de dados estruturados e semiestruturados;
* Linguagens Python, Scala, Java ou Pyspark;
* Trabalho em times ágeis utilizando metodologia Scrum ou Kanban.