Coordenador de engenharia de dados

Formação:

• Graduação em Ciência da Computação, Engenharia ou áreas afins;

Experiência Técnica:

• Experiência no desenvolvimento e uso do Airflow (preferencialmente Cloud Composer no GCP);
• Experiência comprovada em desenvolvimento de software, preferencialmente com projetos públicos no GitHub ou similar;
• Conhecimento sólido em SQL e Python para desenvolvimento de ETLs;
• Experiência com serviços GCP: BigQuery, Dataflow, Dataproc, Cloud Storage;
• Experiência comprovada em análise de dados, preferencialmente em ambiente corporativo;
• Experiência com integração de APIs e processamento de arquivos em múltiplos formatos;

Inteligência Artificial:

• Familiaridade com conceitos de ML/IA aplicados a dados (feature engineering, pipelines de treinamento, inferência);
• Experiência ou conhecimento em Vertex AI ou plataformas equivalentes de ML em cloud;
• Capacidade de utilizar ferramentas de IA generativa (LLMs, agentes, copilots) para aumentar produtividade no dia a dia;

Diferenciais:

• Certificações GCP (Associate Cloud Engineer, Professional Data Engineer);
• Experiência com Java para desenvolvimento no Dataflow;
• Contribuições em projetos open source relacionados a dados ou IA;

Habilidades Comunicativas:

• Excelentes habilidades de comunicação verbal e escrita;
• Capacidade de facilitar discussões entre diferentes áreas e desbloquear temas críticos;

Stack & Ambiente:

• Ambiente 100% em Google Cloud Platform (GCP): BigQuery, Dataflow, Dataproc, Cloud Storage, Pub/Sub, Vertex AI;
• Orquestração com Cloud Composer (Airflow gerenciado no GCP);

Desenvolvimento de Software:

• Desenvolvimento de DAGs em Airflow (Cloud Composer) para ETL de dados usando Python;
• Desenvolvimento de scripts para ETL de dados em Dataflow (Java), Dataproc (Python) e BigQuery (SQL);
• Desenvolvimento de software para suportar processos de ETL, primariamente com Python;
• Desenvolvimento e integração de pipelines de dados com APIs externas e processamento de arquivos em diferentes formatos (JSON, CSV, Parquet, Avro, etc.);
• Desenvolvimento e manutenção de pipelines de dados para treinamento e inferência de modelos de Machine Learning e IA no Vertex AI;

Análise e Manipulação de Dados:

• Capacidade de efetuar análises de dados para identificação e resolução de bugs nos processos de ETL;
• Experiência com feature engineering e preparação de datasets para modelos de ML/IA;
• Avaliação crítica de outputs de ferramentas de IA generativa aplicadas a dados (LLMs, agentes de dados, etc.);

Inteligência Artificial e Automação:

• Conhecimento em orquestração de workflows com agentes de IA para automação de processos de dados;
• Experiência ou interesse em integração de LLMs em pipelines de dados (ex: enriquecimento, classificação, extração de entidades);
• Capacidade de avaliar, adotar e adaptar ferramentas de IA para aumentar a produtividade da engenharia de dados;

Comunicação Eficaz:

• Desenvolver e manter comunicação eficaz, facilitando a interação entre as áreas de Engenharia, Dados e Negócios da Dotz;