Engenheiro de Dados

O Data Engineer focado em AI é responsável por construir a infraestrutura que viabiliza Machine Learning e aplicações de Generative AI. Ele garante que dados estejam organizados, confiáveis, acessíveis e escaláveis para treinamento e inferência.

É um perfil orientado a arquitetura, escalabilidade e performance.

Responsabilidades:

• Construir pipelines de ingestão batch e streaming
• Estruturar data lakes e data warehouses
• Criar datasets otimizados para ML
• Implementar pipelines de embeddings
• Construir indexação vetorial para RAG
• Garantir qualidade, governança e segurança de dados
• Otimizar custo de armazenamento e processamento
• Trabalhar com AI Engineers para estruturar feature stores

Requisitos:

Linguagens:

• Python
• SQL avançado
• Scala (opcional)

Orquestração & Transformação

• Apache Airflow
• dbt
• Prefect

Processamento de Dados

• Spark
• Pandas
• PySpark

Armazenamento

• Data Lakes (S3, GCS, Azure Blob)
• Data Warehouses (BigQuery, Snowflake, Redshift)
• Bancos NoSQL
• Bancos vetoriais (Pinecone, Weaviate, FAISS)

Streaming

• Kafka
• Pub/Sub

Infraestrutura

• Docker
• Kubernetes
• Cloud (AWS, GCP ou Azure)

Hard Skills

• Modelagem de dados
• ETL / ELT
• Processamento distribuído
• SQL avançado
• Arquitetura de dados escalável
• Experiência com dados não estruturados (texto, logs, PDF)
• Conceitos de DataOps
• Versionamento e qualidade de dados

 

 

Benefícios

Vale-refeição e/ou vale-alimentação de R$950,00 por mês no cartão Ifood;

Convênio Médico SulAmérica (100% custeado pela empresa);

Plano Odontológico MetLife;

Plano de saúde Pet;

Seguro de vida;

‍♂️ Totalpass e Wellhub para manter as atividades físicas a qualquer hora e lugar;

Birthday Day Off para curtir no seu aniversário como quiser;

Parceria com o Sesc;

✈️ Parceria com a OnHappy (descontos em hotéis e passagens);

Parceria com instituições de ensino;

Reembolso creche;

Equipamentos de trabalho (Pode parecer óbvio, mas achamos importante reforçar);

Cultura de feedback e desenvolvimento;

Ambiente dinâmico e com grandes oportunidades de crescimento;

Empréstimo consignado com as menores taxas de juros;

Remuneração variável em reconhecimento de desempenho, performance e alinhamento de cultura.