Senior Software Engineer - Crawler
Efetivo
ZoomInfo
Responsibilities
- Design and implement scalable, fault-tolerant web crawling and extraction pipeline components.
- Write clean, production-grade Java and Python code.
- Build and operate large-scale ETL/ELT pipelines for data extraction and transformation.
- Work with GCP and AWS cloud infrastructure, primarily on GKE.
- Improve observability, reliability, and operational excellence across contributed systems.
- Partner with product and data science teams to deliver solutions.
- Contribute to code reviews, documentation, and knowledge sharing.
- Keep current with web technologies, anti-crawling mechanisms, and AI-powered extraction approaches.
Requirements
- At least 5 years of professional software engineering experience building production systems.
- Strong knowledge of algorithms, data structures, concurrency, and distributed systems.
- Proficiency in Java and/or Python.
- Experience owning features end-to-end from design through deployment and operation.
- Experience making component-level architectural decisions.
- Hands-on experience with cloud data warehouses such as BigQuery or Snowflake.
- Experience designing and operating large-scale ETL/ELT pipelines.
- Experience with orchestration tools such as Apache Airflow.
- Experience with streaming or event-driven systems such as Apache Kafka.
- Production experience on GCP or AWS, with GCP preferred.
- Hands-on experience with Kubernetes, including GKE or EKS, for distributed workloads.
- Familiarity with infrastructure-as-code tools such as Terraform.
- Strong communication, pragmatic problem-solving, adaptability, and self-direction.
- Web crawling at scale, Scrapy, proxy infrastructure, anti-bot evasion, SERP extraction, AI/LLM-based extraction, or B2B data-company experience is preferred.
Benefits
- Remote work arrangement is indicated by the LI-REMOTE designation.
- Comprehensive benefits are offered, along with holistic mind, body, and lifestyle well-being programs.
Vaga publicada há 8 horas atrás
Empregos semelhantes que podem ser interessantes para vocêCom base na vaga Senior Software Engineer - Crawler em Home office
- ...; PRINCE2; Kanban Management Professional (KMP); certificações Microsoft; certificações relacionadas a arquitetura de software, segurança da informação, DevOps, computação em nuvem, automação de processos, inteligência artificial e demais tecnologias...Trabalho remoto
- ...aprovações e demais registros sejam mantidos atualizados nas ferramentas disponibilizadas pelo Sebrae/RJ, especialmente no SAOS e no software de gestão da sustentação. A atuação deverá abranger serviços de sustentação, suporte técnico, correções em produção e...Trabalho remoto
- ...; ;Esse profissional será responsável por definir, analisar e validar arquiteturas e soluções técnicas, elaborar projetos de software, estabelecer padrões de integração, orientar as equipes de desenvolvimento e assegurar a coerência arquitetural das soluções. Deverá...Trabalho remoto
- ...código, solucionar falhas de maior complexidade e orientar profissionais de menor senioridade. Sua atuação deverá observar as práticas do framework Scrum, os princípios de engenharia de software do SWEBOK, os padrões de qualidade, segurança, documentação, versionamento e...Trabalho remoto
- Responsável pelo desenvolvimento e evolução de aplicações mobile utilizando Flutter, garantindo performance, estabilidade e excelente experiência do usuário. Atua integrado a APIs backend em ambiente de microserviços, consumindo serviços via CAAPI. É esperado experiência...Trabalho remoto
- Descrição da Vaga ; ; ; Antes de se candidatar, queremos te contar um pouco sobre nós ; Na ;Qualificar TI, somos especialistas em ;Governança de Dados, ;Gerenciamento de Projetos, ;Transformação Digital ;e ;Outsourcing. ;Há mais de 24 anos, entregamos ;soluções...Trabalho remoto
- Com senso de dono e colaboração, unimos forças para remover barreiras e impulsionar negócios. Não oferecemos apenas soluções digitais; nós construímos o ecossistema que impulsiona o empreendedorismo no Brasil. O sempre foi assim não nos define: questionamos, aprendemos...
- ...vendas consultivas e negociação. Será um diferencial se você tiver: Experiência com vendas via Meet e demonstrações remotas de software; Vivência prévia nos segmentos de Food ou Varejo; Experiência no modelo de negócio SaaS. Benefícios para a sua jornada:...
- ...Certificações oficiais da GCP, especialmente Associate Cloud Engineer ou Professional Cloud Architect. Conhecimento ou certificação... ...componentes distribuídos. Experiência anterior em engenharia de software, infraestrutura ou DevOps. Familiaridade com práticas de...
- ...facilitation, negotiation, and stakeholder management skills across different functions and seniority levels. Experience communicating complex findings clearly and strategically to senior audiences. Comfort working in ambiguous environments and making decisions without...
- Sobre a oportunidade Buscamos uma pessoa desenvolvedora para integrar um time de tecnologia especializado em Delivery Center, com atuação em projetos de grande porte e soluções na vanguarda da inovação. O papel tem impacto direto na entrega de soluções Salesforce para...
- ...boas práticas de versionamento de código utilizando Git; Participar de revisões de código, testes e processos de qualidade de software; Trabalhar em conjunto com equipes multidisciplinares para levantamento e implementação de requisitos. Requisitos Experiência...
- Be yourself, be your best! Combinamos nossa experiência global em indústrias-chave e as últimas tecnologias para ajudar empresas em rápido crescimento e estabelecidas a transformar e acelerar seus modelos de negócios, desenvolver soluções digitais inovadoras, escalar...
- ...Posição - Consultor(a) SAP SD Sênior (Remoto) - 196792-1 Você conhece a Icon? Apaixonados por pessoas e especialistas em tecnologia. Nosso trabalho é encontrar talentos e soluções sob medida para os nossos clientes. Vem encontrar o seu projeto ideal conosco e participar...
- ...ou Similar Projetar, implementar e manter APIs RESTful seguras, padronizadas e de alta performance. Analisar requisitos de software estruturados (Histórias de Usuário e critérios de aceitação) e traduzi-los em soluções técnicas e código funcional Implementar...
- ...Sua missão na Gobrax: Estamos formando uma frente em Chaos Engineering dentro da engenharia da Gobrax. O objetivo desta posição é simples... ...). Experiência anterior em posições de SRE, Platform Engineer ou Infra. Contribuições open-source em ferramentas de chaos...
- A primeira coisa que você precisa saber é que aqui você não vai cair na rotina. A Radix desenvolve soluções para empresas de diferentes setores e indústrias. Cada projeto tem suas tecnologias, soluções e prazos e você terá oportunidade de atuar e experimentar diferentes...
- ...Estamos em busca de um(a) Consultor(a) SAP ABAP Sênior com foco em Fiori para atuar no desenvolvimento de aplicações modernas, intuitivas e de alta performance, contribuindo para a evolução das soluções SAP em ambientes complexos e desafiadores. Se você possui sólida...
- ...versionamento de código (Git); Publicação e manutenção de apps nas lojas (Google Play e App Store); Boas práticas de desenvolvimento de software (Clean Architecture, SOLID, Clean Code, revisão de código por PR); Experiência em automação de publicações de aplicativo mobile...
- ...global. Quer fazer parte dessa história e transformar ideias e sonhos em realidade? Como Profissional de Desenvolvimento de Software você vai: Desenvolver e manter componentes de software, aplicando boas práticas de codificação, testes e segurança....
- ...Estamos em busca de um(a) Consultor(a) SAP ABAP Sênior com especialização em Workflow para atuar no desenho, desenvolvimento e sustentação de fluxos de aprovação e automação de processos utilizando tecnologias SAP de última geração, incluindo SAP S/4HANA e Flexible Workflow...
- We are looking for an IT Service Manager to lead service delivery across all business units, ensuring IT operations are aligned with business objectives and industry best practices. You ll act as a bridge between IT and stakeholders using automation, data analytics, and...
- ...sonhos em realidade? Sobre a vaga Buscamos um Product Owner Sênior para atuar em squads de dados e inteligência artificial,... ...baseada em LLMs Colaborar na definição de estratégias de prompt engineering e avaliação de outputs de modelos de linguagem, garantindo...
- ...comprometido com a qualidade do código e que goste de trabalhar em ambientes de inovação. Como Profissional de Desenvolvimento de Software você vai: Desenvolver e manter componentes de software, aplicando boas práticas de codificação, testes e segurança....
- A primeira coisa que você precisa saber é que aqui você não vai cair na rotina. A Radix desenvolve soluções para empresas de diferentes setores e indústrias. Cada projeto tem suas tecnologias, soluções e prazos e você terá oportunidade de atuar e experimentar diferentes...
- ...de aprendizado contínuo. Seria muito legal se tivesse: Cultura e Práticas: Vivência com práticas de SRE (Site Reliability Engineering). Observabilidade Avançada: Conhecimento em OpenTelemetry. Sustentação de Aplicações: Conhecimento em servidores de aplicação...
- Se você quer contribuir com a transformação digital de uma empresa de porte médio e com crescimento acelerado, esta pode ser a sua oportunidade. A Quick Soft tem como propósito desenvolver o mercado de crédito através de tecnologia superior. Oferecemos um suíte de soluções...
R$ 2.000
...autonomia para propor, testar e escalar soluções que impactam milhares de clientes. Sobre a vaga Buscamos uma pessoa Front-end Engineer com visão crítica, senso de produto e paixão por construir experiências digitais intuitivas e de alta qualidade. Valorizamos...- ...correlatas. Experiência: Experiência sólida como Arquiteto de Software, Tech Lead ou função equivalente. Experiência na definição... ...governamentais/judiciário. Experiência com Platform Engineering, SRE ou práticas de engenharia de plataforma. Inglês avançado...
CRP Tech
Home officehá 2 horas atrás - ...with customers and subject-matter experts, and take ownership of product outcomes. Requirements Four or more years of software engineering experience, most of it in frontend work, at companies with strong engineering practices. Strong frontend capability in either...
Deseja receber mais vagas?
Assine e receba vagas semelhantes a Senior Software Engineer - Crawler. Seja o primeiro a se candidatar!
