Engenheiro de Dados Sênior

A FCamara está em busca de uma pessoa Engenheira de Dados Sênior, responsável por projetar, implementar e otimizar pipelines de dados para coleta, ingestão, transformação e armazenamento de grandes volumes de dados, garantindo a excelência técnica em ambientes Cloud Native, com foco total em otimização de custos (FinOps), alta disponibilidade e governança de dados no ecossistema Google Cloud Platform. Atua na construção de uma infraestrutura robusta para suportar análises complexas e decisões baseadas em dados

Responsabilidades:

· Integração e Coleta de Dados: Agrega dados estruturados, semiestruturados e não estruturados de diversas fontes (bancos de dados, APIs, arquivos);

· Ingestão de Dados em Tempo Real e Lote: Desenvolve arquiteturas de ingestão escaláveis utilizando Pub/Sub para streaming e Cloud Storage/Dataflow para processamento batch, garantindo a integridade dos dados no Big Query;

· Processamento e Transformação de Dados: Constrói pipelines para transformar dados brutos com processos de padronização, deduplicação, filtragem e enriquecimento;

· Governança e Operação: Gerencia a orquestração via Cloud Composer com foco em idempotência e resiliência, implementa monitoramento proativo (logs/alertas) e documentação técnica para garantir a continuidade e manutebilidade das soluções;

· Otimização de Performance: Lidera iniciativas de FinOps, otimizando o consumo de slots no BigQuery, custos de storage e eficiência de Jobs no Dataflow/Dataproc para reduzir o TCO (Total Cost of Ownership);

REQUISITOS:

 Superior Completo nas áreas de Tecnologia da Informação, tais como, Sistemas de Informação, Ciências da Computação, Engenharia da Computação.

 EXPERIÊNCIA:

· Entre 5 a 8 anos de experiência em Engenharia de Dados ou funções semelhantes;

· Domínio avançado de SQL e Python (foco em manipulação de grandes volumes e atuomação), experiência com Java será considerada um diferencial para pipelines customizados em Dataflow;

· Sólida experiência em arquiteturas modern ETL/ELT, domínio de Cloud Composer (Airflow) para orquestração e Dataflow (Apache Beam) ou dbt para transformação;

· Expertise no ecossistema GCP: BigQuery (Partitioning/Clustering), Dataproc, Cloud Functions e IAM para segurança de dados;

· Experiência com arquitetura de Data Lakes e Data Warehouses, incluindo modelagem de dados e otimização de pipelines de dados;

· Proficiência em Terraform (Iac) e Azure Pipelines (CI/CD), para gestão de versionamento no Azure Repos e artegatos

· Habilidade comprovada em monitoramento e troubleshooting de processos complexos em abientes de produção.

COMPETÊNCIAS PROFISSIONAIS INSTITUCIONAIS EXIGIDAS:

Proatividade : Antecipar-se para alcançar resultados;

Flexibilidade : Adaptar-se rapidamente a novas tecnologias e processos;

Trabalho em Equipe : Colaborar eficazmente com equipes multidisciplinares;

Comprometimento : Assumir responsabilidade e compromisso com as atividades.

COMPETÊNCIAS ESPECÍFICAS EXIGIDAS – COMPORTAMENTAIS

Pensamento Analítico: Pensamento analítico para solução de problemas complexos e busca constante por aprendizado e aprimoramento técnico.

COMPETÊNCIAS ESPECÍFICAS EXIGIDAS –TÉCNICAS

Arquitetura e Soluções de Dados – Capacidade de desenhar e implementar fluxos complexos de dados, equilibrando performance técnica e viabilidade financeira (FinOps).

RESPONSABILIDADE POR RESULTADO

Garante a disponibilidade, integridade e o custo-benefício da arquitetura de dados, assegurando que o Lakehouse acompanhe o crescimento da empresa. É responsável pela evolução técnica contínua e pela redução de débitos técnicos nos pipelines de dados.

AUTONOMIA

Atua com autonomia técnica total para propor melhorias e novas arquiteturas, reportando progresso e alinhando decisões estratégicas com a liderança de Dados e Analytics.