Sênior Data Engineer

Sênior Data Engineer - Detalhes da Vaga. ● Somos uma empresa tech-first e estamos em fase de rápida expansão, com grandes desafios de dados e automação pela frente. ● Estamos em busca de uma pessoa Sênior Data Engineer para fazer parte do nosso time de dados. ● Você será responsável por projetar, construir e manter pipelines robustas e escaláveis de coleta de dados do mercado de real estate, bem como garantir uma infraestrutura de dados eficiente, escalável e com pensamento em minimização de custos. ● Responsabilidades Dominar Coleta e Transformação de Dados (Scraping & ETL): Liderar nossa estratégia de Web Scraping para capturar dados no mercado imobiliário em larga escala. ● Você será responsável por todo o ciclo de vida do dado, desde a construção dos scrapers resilientes e éticos, passando pela orquestração das pipelines de ETL com ferramentas como o Airflow, até a modelagem e disponibilização no Data Warehouse Otimização Ponta a Ponta: Mergulhar fundo em nossos códigos em Python e SQL para identificar e eliminar possíveis gargalos. ● Você irá otimizar queries complexas em PostgresSQL, refatorar lógicas de negócio para serem mais perfomáticas e reduzir a latência de APIs críticas. ● Construir Fundações Escaláveis: Projetar e implementar a fundação da nossa inteligência de mercado. ● Isso vai desde a construção, manutenção e orquestração dos scrapers, otimização no Data Warehouse em BigQuery, a performance do Cloud SQL e o desenho de APIs de dados robustas. ● Elevar a Barra de Engenharia: Implementar e disseminar uma cultura de excelência. ● Isso significa automação de testes (como testes de carga), CI/CD, monitoramento proativo (observabilidade) e criação de padrões de código que garantam qualidade e performance Referência Técnica: Documentar boas práticas e mentorar outros membros do time Requisitos obrigatórios Histórico sólido (5+ anos) resolvendo problemas de escalabilidade e performance em sistemas de dados complexos Experiência em Otimização em SQL e Python e em construção de Scrapers Experiência Sólida em Arquitetura em Nuvem (GCP/AWS): App Engine, Cloud Run, Pub/Sub, Cloud SQL, BigQuery, Storage Paixão por construir sistemas robustos e bem documentados. ● Você pensa em como suas soluções serão usadas por outros desenvolvedores e como elas se comportarão sob estresse. ● Habilidade de analisar código legado, entender as necessidades do negócio e propor soluções pragmáticas que entreguem valor rapidamente, sem medo de assumir a responsabilidade de ponta a ponta. ● Diferenciais: Experiência com modelos de LLM em produção (LLM Agents) Scrapers no mercado imobiliário (dados e notícias) Experiência com deployment de AI Agents ou outros modelos de AI Se você é apaixonado por dados, curte resolver problemas complexos com soluções elegantes e escaláveis, e quer participar da transformação do mercado imobiliário com tecnologia vem com a gente. Requisitos para participar do processo. ● . O que oferecemos.