Data Engineer (Big Data) Scala

Что у нас есть:

• Много данных: каждый 3-й чек, пробиваемый в России, находится на наших серверах. Мы принимаем до 60 млн чеков в день, имеем 5 млрд уникальных названий товаров в базе.
• Развитая инфраструктура: есть несколько кластеров Hadoop, у DS есть несколько мощных машин, GPU делают бр-бр
• Команда DE и сильная экспертиза
• 80% кода мы пишем на Scala
• Оформление только по ТК РФ, белая зп
• ДМС с госпитализацией, скорой и стоматологией
• Удобная кухня, релакс-зона с тренажером, массажным креслом, приставкой и караоке
• Пицца-пати и корпоративные праздники за счет компании

Чем предстоит заниматься:

• Разрабатывать ETL-процессы с использованием библиотеки Apache Spark на Scala
• Анализировать, проектировать и создавать витрины данных в соответствии с требованиями конкретного проекта
• Развивать инфраструктуру для обработки больших данных и кодовой базы Scala
• Работать с DS для внедрения математических алгоритмов и ML-моделей в промышленные процессы

Откликайся, если ты:

• От 1 года решаешь задачи в области сбора, хранения и анализа данных
• Пишешь код на Scala
• Отлично знаешь SQL
• Применяешь в работе инструменты BigData: Airflow, Hadoop, Spark, Hive, Zeppelin
• Будет плюсом опыт работы с Docker и k8s