Engenheiro(a) de Dados (Data Engineer)

Descrição do cargo

A Lett atua no setor de Trade Marketing Digital, fornecendo soluções para aproximar e integrar grandes marcas e varejistas para criar uma jornada de compras perfeita.

Nossas soluções se enquadram para todas as categorias que comercializam produtos através de e-commerce. Atualmente, temos no nosso portfólio de clientes grandes indústrias de 7 países da América Latina, como a Nestlé, Mondelez, Ambev e Whirlpool, além de parcerias com mais de 300 varejistas, como Pão de Açúcar, Magazine Luiza, Super Nosso e Araújo.

Temos em nossa stack as tecnologias mais modernas para o desenvolvimento de sistemas escaláveis e distribuídos, dentre elas, infraestrutura em nuvem na AWS, Docker, microsserviços e arquitetura serverless, integração contínua utilizando Jenkins CI, sistemas desenvolvidos em Python, Go, Java, Node.JS, Vue.JS e muito mais.


Alguns dos desafios do nosso Squad de Engenharia de Dados são:

  • Manter, evoluir, modelar e governar o nosso Data Lake e Data Warehouse, tendo em vista as várias necessidades e casos de uso;
  • Implementar ETLs em Python, Java ou Scala usando os serviços de processamento da AWS, principalmente o EMR com Apache Spark, Funções Lambda e Workers no AWS Beanstalk;
  • Criar e manter frameworks de gerência de ETLs
  • Usar ferramentas como o DBT (Data Build Tool) para transformações em Data Warehouse (ELT);
  • Propor novas tecnologias e mecanismos para exploração de dados em Data Lakes;
  • Auxiliar em modelagens de banco relacional (PosgtreSQL) e NoSQL (MongoDB, ElasticSearch, DynamoDB);
  • Dar suporte constante à equipe de Ciência dos dados e B.I com preparações de dados e criação de Sandboxes on demand.

Requisitos

O que nós esperamos de você?

  • Muita vontade e facilidade para aprender
  • Escrever código claro, simples, otimizado e organizado
  • Experiência comprovada de criação e desenvolvimento de arquiteturas de dados e processamentos usando serviços da AWS
  • Experiência comprovada com Data Lake no serviço S3 da AWS e Data Warehouse
  • Experiência com bancos de dados relacionais (PostgreSQL) e não-relacionais (MongoDB)
  • Experiência com desenvolvimento de ETLs usando Spark e manutenção de clusters usando EMR

Você ganha pontos extras se tiver:

  • Experiência com o Data Warehouse BigQuery da Google
  • Experiência com a ferramenta DBT da Fishtown
  • Experiência com orquestração de processamento usando AWS Step Functions
  • Experiência com ferramentas de streaming como Kinesis ou Apache Kafka

O que nós oferecemos:

  • Salário compatível com o Mercado
  • Vale refeição/alimentação
  • Vale transporte
  • Plano de saúde
  • Horários flexíveis
  • Um ambiente desafiador e que incentiva o aprendizado constante e muita interação entre nossos colaboradores
  • Acesso a mais de 7000 cursos online através do Pluralsight
  • Podemos considerar trabalho 100% remoto