Data Engineer

Чем предстоит заниматься:

• разрабатывать механизмы интеграции внешних систем с нашим datalake;
• разрабатывать транспорт для данных, дорабатывать существующий;
• улучшать и реорганизовывать хранилище данных для поддержки интеграционных сервисов;
• участвовать в разработке базы знаний о процессах интеграции, проектировании self-service решений для бизнеса, обработке метаданных процессов.

Требования:

• опыт работы с Java или Scala от 3-х лет и более;
• опыт написания data integration сервисов, опыт работы с AirFlow, Luigi, Argo или похожим инструментом;
• умение получать и загружать данные из разных форматов, в том числе с помощью REST API;
• понимание подходов к организации разработки (Ci/CD, DevOps);

Будет плюсом:

• опыт Python и Spark от 1 года и более;
• знание стека Hadoop (Spark,Kafka, Hbase, Cassandra, Hive, Flink и т.д.);
• опыт работы с Clickhouse и confluent kafka connect;

Условия:

• Сильная команда, с которой можно расти
• Петабайты данных и огромные мощности для их переваривания
• Сложные, нетривиальные задачи для маркетплейса с миллионами пользователей
• Возможность влиять на процесс и результат
• ДМС со стоматологией
• Гибкий график работы, гибридный и удаленный тоже рассматривается
• Достойная зарплата
• Комфортный офис в Cити
• MacBook or Windows ноутбук