ENGENHEIRO(A) DE DADOS PLENO – BIG DATA / SPARK

Engenheiro(a) de Dados Pleno – Big Data / Spark Sobre a oportunidade Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution . O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia. Responsabilidades • Desenvolver, manter e otimizar soluções de processamento de dados; • Projetar e desenvolver processos de ETL e transformação de dados; • Implementar e manter pipelines utilizando Apache Spark ; • Apoiar iniciativas de integração de dados entre diferentes sistemas; • Analisar e solucionar incidentes relacionados a dados; • Garantir a qualidade, performance e confiabilidade das soluções de dados; • Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile . Requisitos obrigatórios • Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento; • Conhecimento sólido em SQL , incluindo: • ANSI SQL; • Hive SQL; • Spark SQL; • Experiência com Apache Spark ; • Conhecimento em pelo menos uma das seguintes linguagens: • Scala ; • Python ; • Java ; • Experiência com plataformas Big Data , como: • Azure Databricks ; • Amazon EMR ; • Hive ; • Cloudera ; • ou outro ambiente baseado em Spark; • Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards; • Vivência em ambientes de Integração Contínua (CI) , DevOps e metodologias ágeis; • Conhecimento em ferramentas como: • Git ; • GitHub ; • SonarQube ; • Nexus ; • Capacidade de análise de requisitos e trabalho colaborativo; • Inglês nível B2 ou superior . • Espanhol nível B2 ou superior. Diferenciais • Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados; • Conhecimento em automação de processos utilizando IA; • Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas. Condições da posição • Atuação 100% remota ; • É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha , caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais; • Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto; • Os currículos deverão ser apresentados em inglês .