Data Engineer - Sênior

Descrição do cargo

Você deseja fazer parte e conhecer melhor a Lett?


Somos a Lett, startup de base tecnológica criada em BH. Somos hoje referência em trade marketing digital no Brasil e na América Latina. Você pode não conhecer nossos produtos, mas com certeza já foi impactado pelo trabalho que desenvolvemos aqui.Com muita tecnologia de dados e analytics, ajudamos as principais marcas de bens de consumo - como Nestlé, Ambev, P&G, Seara, Mondelez, Colgate, L'óreal e diversas outras - a ter mais relevância no meio digital. Estamos conectados com centenas de e-commerces espalhados pelo mundo, trazendo informação relevante para toda a cadeia. Portanto, somos uma plataforma que auxilia indústria e varejos a entregar uma experiência cada vez melhor para nós, os shoppers.Nosso time técnico {Produto, Dados, Analytics} cuida de uma stack de tecnologia que garante coleta de milhões de registros diariamente. Nossa organização é totalmente voltada ao produto e entrega de valor para o usuário final.A Lett será o ambiente ideal para você se você gostar de trabalhar em um ambiente colaborativo, que te dá muita autonomia mas também é muito focado em resultados! Somos apaixonados por inovação, por experimentar novas abordagens em tecnologia e produto e se você tiver a mesma mentalidade você fará parte de um time fora da curva!

Descrição da vaga

Buscamos Data Engineers que se motivem com tecnologia de ponta e um ambiente com com muita autonomia para testar coisas novas. Somos um time que está sempre se reiventando para arquitetar soluções para para processar, armazenar e prover dados cada vez mais relevantes para todos os nossos produtos e também para nossos clientes.

Arquitetar e implementar sistemas distribuídos, pipelines escaláveis e confiáveis de processamento, conexão com múltiplas fontes de dados e otimização de recursos serão atividades do seu dia a dia aqui na Lett.

Suas responsabilidades

  • Conhecer e interagir com as diferentes áreas da Lett com o objetivo de ter um conhecimento amplo do negócio e das bases de dados;
  • Desenvolver e implantar arquiteturas e processos que suportem as soluções das demais equipes de forma escalável;
  • Governar, documentar e prover acesso a metadados a todas as equipes;
  • Modelar Data Lakes e Data Warehouse;
  • Pesquisar e trazer abordagens e tecnologias modernas para as soluções de Big Data da empresa;
  • Criar e gerenciar data flows, clusters de processamento e armazenamento de dados em nossa cloud;
  • Propor melhorias, otimizações de baixo nível e novas arquiteturas para os outros times;
  • Democratizar o acesso a dados utilizando ferramentas e desenvolvimento de interfaces (como APIs, ETLs, SQL); e trabalhar diretamente com equipes de produto;
DETALHES:
40 horas semanais;
Contratação CLT;
Vale Alimentação / Refeição;
Benefícios de saúde e bem-estar;
Plano de saúde Bradesco;
Plano Odontológico Bradesco;
Horários flexíveis;
Trabalho Remoto;


Requisitos

O que um Data Engineer faz bem?

  • Programação em Python
  • Conhecimentos de Docker e docker-compose
  • Estar muito confortável com ambiente Spark (Pyspark no serviço EMR da AWS ou em Kubernetes)
  • Experiência trabalhando com AWS (Elastic Beanstalk, SQS, RDS, Lambda Functions, EC2, EMR, S3, SNS)
  • Vasta experiência com Data Lakes em storage de objetos (AWS S3)
  • Vasta experiência com Google Big Query (modelagem de dados, ELTs, manutenção e governança)
  • Experiência com o conceito de ELT
  • Experiência com governança e catalogação de dados
  • Conhecimento em Apache Airflow (Implementação de DAGs e deploys do Airflow em formato de workers distribuídos)
  • Experiência com Data warehouses, data lakes, suas interfaces (engines SQL, processos de ETL, acesso direto a objetos) e sua organização ( particionamento, formas de orientar dados, custo e performance);
  • Estar confortável com SQL, bancos de dados relacionais, bancos orientados a documento e armazenamento de arquivo;
  • Arquiteturas diversas de processamento (filas, jobs, workers, functions... etc);
  • Ferramentas de deploy, versionamento de código e infraestrutura na núvem;
  • Ser capaz de criar fluxos de execução paralela ou concorrente de processamento, assim como execução distribuída quando aplicável;
  • Saber interagir de forma técnica e não-técnica com outros membros da equipe e com pessoas de outras áreas;

Como você ganha pontos extras?

  • ⭐⭐⭐⭐⭐ Dremio/Athena/AWS Glue Catalog
  • ⭐⭐⭐⭐⭐ Ferramenta DBT (Data Build Tool da Fishtown Analytics)
  • ⭐⭐⭐⭐⭐ Amundsen
  • ⭐⭐⭐⭐⭐ Processos de dados envolvendo CDC (Change Data Capture)
  • ⭐⭐⭐⭐ Terraform
  • ⭐⭐⭐⭐ Prometheus/Grafana
  • ⭐⭐⭐⭐ Kubernetes/AWS ECS/AWS EKS
  • ⭐⭐⭐ PostgreSQL, MongoDB, ElasticSearch, DynamoDB
  • ⭐⭐⭐ Java/Scala
  • ⭐⭐ Jenkins

Outras ferramentas são sempre bem vindas!

"Nós na Lett, acreditamos na força da diversidade para gerar #Inovação e atingir #Resultados incríveis, por isso, não fazemos distinção para candidatos com deficiência, gênero, orientação sexual, raça/etnia, idade, origem, constituição familiar e estética. Temos um Comitê de Diversidade composto por colaboradores voluntários, onde falamos sobre Raça, Gênero, LGBTQI+ e PcD, queremos ser a empresa onde pessoas escolham como lugar onde vão se desenvolver e contribuir para a realização de sonhos, #AllTogether."