Engenheiro de Plataforma de Dados Sênior - SP

Atuação híbrida em São Paulo / SP. Resumo da posição: Atuar na implantação, operação e sustentação de produtos de dados em ambiente produtivo, garantindo execuções confiáveis, estabilidade operacional, observabilidade, automação de deploy e suporte a incidentes em pipelines de ingestão, transformação, consolidação e cálculo de indicadores. Requisitos obrigatórios: * Formação acadêmica em Computação ou áreas relacionadas. * Conhecimento em Python para automação, troubleshooting e execução de pipelines. * Experiência com Apache Airflow, incluindo DAGs, operators, macros, Variables, Connections, logs, scheduling, retries, parametrização e execução manual. * Conhecimento em Linux/Shell, Git, Conda e gestão de ambientes de desenvolvimento. * Experiência com YAML, contratos declarativos e validação de configurações. * Conhecimento em Parquet, particionamento, snapshots, Arquitetura Medalhão e idempotência. * Experiência com PostgreSQL, incluindo DDL básico, queries de diagnóstico, conexões, inserts, deletes controlados e validação de tabelas. * Conhecimento em testes e qualidade utilizando pytest, ruff, py_compile, pre-commit e análise de falhas em pipelines. * Conhecimento em segurança operacional, incluindo gestão de secrets fora do repositório, permissões, princípio do menor privilégio, validação de paths e proteção de credenciais. Diferenciais: Experiência com cloud storage, service accounts e integração com APIs externas. Conhecimento em Dask, Pandas, PyArrow e processamento de grandes volumes de dados. Experiência com GitHub Actions, Sonar, Bandit, mypy e práticas de CI/CD. Conhecimento em observabilidade de dados e pipelines, incluindo métricas, alertas, logs estruturados e SLOs. Vivência com DataOps, FinOps e sustentação de plataformas de dados governadas. Experiência em ambientes relacionados a segurança, risco, compliance ou auditoria. Principais responsabilidades: Implantar e manter DAGs no Apache Airflow. Configurar ambientes Python, dependências e ferramentas de desenvolvimento. Administrar variáveis de ambiente, conexões, credenciais e parâmetros operacionais. Garantir disponibilidade e integridade de dados nas camadas RAW, Silver, Golden Record e Gold. Sustentar persistência de dados em Parquet e PostgreSQL. Monitorar execuções, analisar logs e atuar na resolução de incidentes. Realizar validações operacionais antes de releases e implantações. Apoiar processos de versionamento, releases e rollback. Criar e manter runbooks de operação e recuperação. Trabalhar em conjunto com a liderança técnica na implementação de soluções de dados. Propor melhorias contínuas em confiabilidade, observabilidade, automação, segurança e eficiência operacional.

Formação Acadêmica:

Não informado

Salário:

A combinar

Cargo:

Outros

Empresa:

Capitani group

Consultoria em tecnologia da informação e telecomunicações.

Ramo:

Informática/ Tecnologia