Data Engineer - Sênior

Descrição do cargo


VOCÊ DESEJA FAZER PARTE DE UM TIME SUPER INOVADOR E CONHECER MELHOR A LETT?


SOBRE A LETT:

Somos uma empresa de Trade Marketing Digital, que tem a missão de descomplicar a gestão de canais digitais com tecnologia e insights que maximizam o resultado dos nossos clientes. Nossas soluções se enquadram para todas as categorias que comercializam produtos através de e-commerce. Atualmente, temos em nosso portfólio de clientes grandes indústrias como a Nestlé, Mondelez e Ambev, estamos em 14 países e temos parcerias com mais de 300 varejistas como o Pão de Açúcar, Magazine Luiza, Super Nosso e Araújo.



O QUE BUSCAMOS?

Buscamos Data Engineers que se motivem com tecnologia de ponta e um ambiente com com muita autonomia para testar coisas novas. Somos um time que está sempre se reinventando para arquitetar soluções para processar, armazenar e prover dados cada vez mais relevantes para todos os nossos produtos e também para nossos clientes.

Arquitetar e implementar sistemas distribuídos, pipelines escaláveis e confiáveis de processamento, conexão com múltiplas fontes de dados e otimização de recursos serão atividades do seu dia a dia aqui na Lett.


PRINCIPAIS RESPONSABILIDADES:

  • Conhecer e interagir com as diferentes áreas da Lett com o objetivo de ter um conhecimento amplo do negócio e das bases de dados;
  • Desenvolver e implantar arquiteturas e processos que suportem as soluções das demais equipes de forma escalável;
  • Governar, documentar e prover acesso a metadados a todas as equipes;
  • Modelar Data Lakes e Data Warehouse;
  • Pesquisar e trazer abordagens e tecnologias modernas para as soluções de Big Data da empresa;
  • Criar e gerenciar data flows, clusters de processamento e armazenamento de dados em nossa cloud;
  • Propor melhorias, otimizações de baixo nível e novas arquiteturas para os outros times;
  • Democratizar o acesso a dados utilizando ferramentas e desenvolvimento de interfaces (como APIs, ETLs, SQL); e trabalhar diretamente com equipes de produto;


DETALHES:
40 horas semanais;
Contratação CLT;
Vale Alimentação / Refeição;
Benefícios de saúde e bem-estar;
Plano de saúde Bradesco;
Plano Odontológico Bradesco;
Horários flexíveis;
Trabalho Remoto;

Requisitos


O QUE UM DATA ENGINEER FAZ BEM:

  • Programação em Python
  • Conhecimentos de Docker e docker-compose
  • Estar muito confortável com ambiente Spark (Pyspark no serviço EMR da AWS ou em Kubernetes)
  • Experiência trabalhando com AWS (Elastic Beanstalk, SQS, RDS, Lambda Functions, EC2, EMR, S3, SNS)
  • Vasta experiência com Data Lakes em storage de objetos (AWS S3)
  • Vasta experiência com Google Big Query (modelagem de dados, ELTs, manutenção e governança)
  • Experiência com o conceito de ELT
  • Experiência com governança e catalogação de dados
  • Conhecimento em Apache Airflow (Implementação de DAGs e deploys do Airflow em formato de workers distribuídos)
  • Experiência com Data warehouses, data lakes, suas interfaces (engines SQL, processos de ETL, acesso direto a objetos) e sua organização ( particionamento, formas de orientar dados, custo e performance);
  • Estar confortável com SQL, bancos de dados relacionais, bancos orientados a documento e armazenamento de arquivo;
  • Arquiteturas diversas de processamento (filas, jobs, workers, functions... etc);
  • Ferramentas de deploy, versionamento de código e infraestrutura na núvem;
  • Ser capaz de criar fluxos de execução paralela ou concorrente de processamento, assim como execução distribuída quando aplicável;
  • Saber interagir de forma técnica e não-técnica com outros membros da equipe e com pessoas de outras áreas;


COMO VOCÊ GANHA PONTOS EXTRAS:

  • ⭐⭐⭐⭐⭐ Dremio/Athena/AWS Glue Catalog
  • ⭐⭐⭐⭐⭐ Ferramenta DBT (Data Build Tool da Fishtown Analytics)
  • ⭐⭐⭐⭐⭐ Amundsen
  • ⭐⭐⭐⭐⭐ Processos de dados envolvendo CDC (Change Data Capture)
  • ⭐⭐⭐⭐ Terraform
  • ⭐⭐⭐⭐ Prometheus/Grafana
  • ⭐⭐⭐⭐ Kubernetes/AWS ECS/AWS EKS
  • ⭐⭐⭐ PostgreSQL, MongoDB, ElasticSearch, DynamoDB
  • ⭐⭐⭐ Java/Scala
  • ⭐⭐ Jenkins

Outras ferramentas são sempre bem vindas!

"Nós na Lett, acreditamos na força da diversidade para gerar #Inovação e atingir #Resultados incríveis, por isso, não fazemos distinção para candidatos com deficiência, gênero, orientação sexual, raça/etnia, idade, origem, constituição familiar e estética. Temos um Comitê de Diversidade composto por colaboradores voluntários, onde falamos sobre Raça, Gênero, LGBTQI+ e PcD, queremos ser a empresa onde pessoas escolham como lugar onde vão se desenvolver e contribuir para a realização de sonhos, #AllTogether."