Senior Data Engineer

  • Região de Campinas
  • Neo Bi Solution
Estamos expandindo nossa equipe e procuramos Data Engineer sênior, para se juntar a nós!
RESPONSABILIDADES E ATRIBUIÇÕES
Desenvolvimento de pipelines de dados reutilizáveis que garantam escalabilidade, rastreabilidade e baixa latência.Design avançado, construção e aprimoramento de estruturas/bibliotecas focadas em eficiência de custos e desempenho.Aplicação de metodologia de modelagem de dados para melhor ingestão e fornecimento de dados.Documentação e transferência de conhecimento para usuários finais técnicos da plataforma e operações.Implementação das melhores práticas em integração de sistemas, segurança, desempenho e gerenciamento de dados.Orientação das equipes técnicas de produto na evolução da plataforma.
REQUISITOS E QUALIFICAÇÕES
Experiência comprovada com os serviços de dados da plataforma Azure - Azure SQL DB, Cosmos DB, Azure Data Factory, Azure Synapse Analytics, Azure Databricks, Azure Functions, Azure Logic Apps, Azure Stream Analytics.Proficiência em processamento de grandes volumes de dados usando computação em cluster, como Spark, Kubernetes.Habilidades avançadas de programação focadas em programação orientada a objetos.Otimização de pipelines de dados e consultas para desempenho e escalabilidade.Experiência no tratamento de dados estruturados e não estruturados com processamento de dados em lote e em fluxo.Conhecimento em conceitos de modelagem de dados normalizados e desnormalizados, envolvendo esquema estrela e floco de neve.Conhecimento em ferramentas de orquestração como o Airflow.Experiência em linguagens Spark, Python, SQL, NodeJs, React.Experiência com extração de múltiplos sistemas de origem, como APIs, RDBMS, SAP, MongoDB, Oracle, onde são necessárias lógicas incrementais diferentes (completa, incremental, cdc).Conhecimento em arquiteturas de dados lakehouse, kappa, lambda, data warehouse.Conhecimento em arquiteturas de software de micro serviços, modular monolítico.
O QUE VOCÊ CONTRIBUIRÁ (What You'll Bring)
Habilidade comprovada para liderar uma equipe.Mentoria para juniores, ajudando-os na solução de problemas e fornecendo revisões de código.Capacidade de assumir tarefas desde a concepção até a implementação.Autodidata e motivado.Boas habilidades de interação com pessoas.Aprendizagem rápida.Compreensão de fluxos de dados e arquitetura de sistemas.Boas habilidades em inglês (OBRIGATÓRIO).Bom entendimento do ciclo de vida do desenvolvimento de produtos.5-7 anos de experiência trabalhando com desenvolvimento orientado a objetos.
Tipo de Contratação: (PJ)Início: ImediatoDuração: IndeterminadaLocal: Disponibilidade para trabalhar em modo híbrido, no escritório localizado em Campinas.