Engenheiro(a) de Plataforma de Dados Sênior - Afya - Home Office

Engenheiro(a) de Plataforma de Dados Sênior – Afya – Home Office

Responsabilidades e atribuições
COMO VOCÊ VAI TRANSFORMAR A SAÚDE NO DIA A DIA:

Alterar ou criar recursos em clouds (AWS e Azure);
Alterar ou criar novos recursos no Databricks;
Alterar ou criar novos recursos de aplicações em Kubernetes;
Propor e implementar melhorias de arquitetura;
Implementar controles relacionados a LGPD no data lake;
Implementar dashboards e análises de metadados do Databricks para controle e compliance;
Realizar auditorias em conjunto com o time de governança para adequar o data lake as regras de segurança da empresa;
Atuar no monitoramento e análise de custos para identificar gargalos e oportunidades de redução de custos;
Atuar em conjunto com os times de análise de dados e AI para otimizar jobs e recursos;
Atuar em conjunto com outros engenheiros de plataforma para auxiliar no desenvolvimento de habilidades;
Atuar como ponto de referência para questões técnicas da plataforma, tanto para stakeholders de dados quanto de negócio e produto.

Requisitos e qualificações
O QUE BUSCAMOS (mas não esperamos que uma única pessoa atenda a todos os requisitos):

Ensino superior completo;
Conhecimento sólidos de bancos de dados relacionais e não relacionais, padrões, modelagem e casos de uso;
Experiência em linguagem de programação para manutenção de pipeline de dados (Python, shell/bash) e manipulação de arquivos para esse propósito, por exemplo: JSONs, Parquet, CSV;
Experiência com consumo de APIs, limpeza, tratamento, deduplicação, enriquecimento e normalização de dados;
Experiência em infraestrutura para messageria utlizando Kafka + Debezium;
Experiência em infraestrutura de cluster Kubernetes, tais como EKS e AKS;
Conhecimento sólido de linguagem SQL e conhecimento básico em DBT;
Experiência em projetos em cloud computing (principalmente AWS e/ou Azure);
Experiência de Gitflow e versionamento;
Experiência em IaC (Terraform)
Experiência em processamento distribuído (Databricks/Spark);
Experiência em Docker;
Experiência em ferramentas de orquestração, como Apache Airflow, Databricks Workflows;
Conhecimento sobre arquitetura de dados;
Experiência em criação de pipelines de CI/CD;
Experiência de ferramentas de observabilidade (Grafana/Cloudwatch)

Candidate-se, clicando no botão “Candidatar-se à vaga” abaixo