Engenheiro de dados sr - pipeline

O que precisamos que você tenha de conhecimento:

• Formação de nível superior na área de Tecnologia da Informação ou formação superior com curso de pós-graduação na área de informática;
• Conhecimento prático em bancos de dados e linguagem SQL;
• Conhecimentos práticos em bancos de dados multidimensionais;
• Conhecimentos sobre ETL Extract, Transform, Load;
• Familiaridade com estruturas de dados e com o conteúdo de fontes de dados analíticos, como data warehouse e data mart;
• Conhecimentos gerais em Business Intelligence;
• Capacidade analítica;
• Domínio das ferramentas Microsoft Power BI.

Requisitos desejáveis:

• Experiência em modelar e viabilizar fluxos de dados, incluindo processos de ETL Extract, Transform, Load , ELT Extract, Load, Transform e streaming de dados;
• Experiência no desenvolvimento e na manutenção de pipelines de dados que garantam a movimentação eficiente e confiável das informações entre sistemas;
• Vivência na realização de testes e na implementação de ferramentas para automatizar e otimizar o processamento de dados em tempo real e em lote, assegurando a integridade e a qualidade das informações ao longo de todo o ciclo de vida;
• Conhecimento avançado de Python para dados, especialmente das bibliotecas Pandas, NumPy, PySpark, PySpak, Polars, DuckDB e SQLAlchemy, ou similares;
• Conhecimento avançado em projetos de Machine Learning, especialmente com ferramentas como Airflow, Spark, Flink, Kafka e Parquet, entre outras similares.

O que esperamos que você realize:

• Modelar e viabilizar fluxos de dados, incluindo processos de ETL Extract, Transform, Load , ELT Extract, Load, Transform e streaming de dados;
• Desenvolver e manter pipelines de dados que garantam a movimentação eficiente e confiável das informações entre sistemas;
• Realizar testes e implementar ferramentas para automatizar e otimizar o processamento de dados em tempo real e em lote, assegurando a integridade e a qualidade das informações ao longo de todo o ciclo de vida;
• Utilizar Python para manipulação de dados, especialmente com as bibliotecas Pandas, NumPy, PySpark, PySpak, Polars, DuckDB e SQLAlchemy, ou similares;
• Trabalhar em projetos de Machine Learning, especialmente com ferramentas como Airflow, Spark, Flink, Kafka e Parquet, entre outras similares.