Data Engineer (команда Big Data Infrastructure)

Вам предстоит:

• развивать платформу хранения и обработки больших данных;
• внедрять новые инструменты для анализа данных и машинного обучения;
• строить новые и оптимизировать существующие глобальные ETL-процессы, преимущественно на Spark + Java и Python;
• разрабатывать сервисы, облегчающие работу специалистов Data Science;
• решать различные задачи, связанные с производительностью и отказоустойчивостью инфраструктуры Big Data.

У нас интересно:

• вас ждет тотальный хайлоад — петабайты данных, десятки миллионов пользователей, множество разных продуктов;
• впереди много новых вызовов — мы используем Open Source по максимуму, иногда дорабатывая его, чтобы расширить возможности;
• поддерживаем культуру стартапа, сохраняя преимущества устоявшегося продукта.

Мы ожидаем, что вы:

• имеете опыт работы со свежими версиями продуктов фонда Apache — Hadoop, Kafka, Spark, Zeppelin, Airflow;
• знаете принципы работы баз данных и распределенных систем хранения и обработки данных;
• знаете Bash/Python для автоматизации процессов и Java/Scala для поддержки ETL и внедрения новых сервисов;
• имеете опыт построения и развития инфраструктуры Big Data.