Engenheiro(a) de Dados (Data Engineer)
Descrição do cargo
A Lett atua no setor de Trade Marketing Digital, fornecendo soluções para aproximar e integrar grandes marcas e varejistas para criar uma jornada de compras perfeita.
Nossas soluções se enquadram para todas as categorias que comercializam produtos através de e-commerce. Atualmente, temos no nosso portfólio de clientes grandes indústrias de 7 países da América Latina, como a Nestlé, Mondelez, Ambev e Whirlpool, além de parcerias com mais de 300 varejistas, como Pão de Açúcar, Magazine Luiza, Super Nosso e Araújo.
Temos em nossa stack as tecnologias mais modernas para o desenvolvimento de sistemas escaláveis e distribuídos, dentre elas, infraestrutura em nuvem na AWS, Docker, microsserviços e arquitetura serverless, integração contínua utilizando Jenkins CI, sistemas desenvolvidos em Python, Go, Java, Node.JS, Vue.JS e muito mais.
Alguns dos desafios do nosso Squad de Engenharia de Dados são:
- Manter, evoluir, modelar e governar o nosso Data Lake e Data Warehouse, tendo em vista as várias necessidades e casos de uso;
- Implementar ETLs em Python, Java ou Scala usando os serviços de processamento da AWS, principalmente o EMR com Apache Spark, Funções Lambda e Workers no AWS Beanstalk;
- Criar e manter frameworks de gerência de ETLs
- Usar ferramentas como o DBT (Data Build Tool) para transformações em Data Warehouse (ELT);
- Propor novas tecnologias e mecanismos para exploração de dados em Data Lakes;
- Auxiliar em modelagens de banco relacional (PosgtreSQL) e NoSQL (MongoDB, ElasticSearch, DynamoDB);
- Dar suporte constante à equipe de Ciência dos dados e B.I com preparações de dados e criação de Sandboxes on demand.
Requisitos
O que nós esperamos de você?
- Muita vontade e facilidade para aprender
- Escrever código claro, simples, otimizado e organizado
- Experiência comprovada de criação e desenvolvimento de arquiteturas de dados e processamentos usando serviços da AWS
- Experiência comprovada com Data Lake no serviço S3 da AWS e Data Warehouse
- Experiência com bancos de dados relacionais (PostgreSQL) e não-relacionais (MongoDB)
- Experiência com desenvolvimento de ETLs usando Spark e manutenção de clusters usando EMR
Você ganha pontos extras se tiver:
- Experiência com o Data Warehouse BigQuery da Google
- Experiência com a ferramenta DBT da Fishtown
- Experiência com orquestração de processamento usando AWS Step Functions
- Experiência com ferramentas de streaming como Kinesis ou Apache Kafka
O que nós oferecemos:
- Salário compatível com o Mercado
- Vale refeição/alimentação
- Vale transporte
- Plano de saúde
- Horários flexíveis
- Um ambiente desafiador e que incentiva o aprendizado constante e muita interação entre nossos colaboradores
- Acesso a mais de 7000 cursos online através do Pluralsight
- Podemos considerar trabalho 100% remoto