Data Engineer/MLOps

Описание:

Mindbox ищет Data Engineer/MLOps на Python с опытом проектирования хранилищ данных.

Задача

Предстоит работать с высоконагруженной инфраструктурой, повышать надежность, производительность и расширяемость пайплайнов данных, проектировать и разрабатывать модели данных и отчетность для внешних и внутренних заказчиков.

Важное: 

• remote-first, офисы в Москве и Ереване
• вилка до 450net (готовы обсуждать)
• уровень: senior (от 6 лет релевантного опыта работы)

У нас

• 200+ TB данных в DeltaLake, 3+ TB рекомендаций в C*, нагруженный 40k+ rps CDC через Kafka, Apache Spark (pyspark) на K8S, оркестрация на Airflow.
• Ежедневно дообучаем для клиентов 2к+ ML-моделей (batch + online) и сервим рекомендации на сайты и в письма клиентов.
• Аналитический код на Python 3.7, основной продукт на .Net 7.
• Все сервисы деплоим в продакшен кубер в ЯО/AWS/Azure несколько раз в день.
• Выделяем существенный ресурс (>30% времени) на уменьшение техдолга и поддержки.
• 140+ человек в разработке, есть с кем поговорить: докладчики DotNext, Yandex.Scale, AgileDays (больше об инженерных командах: https://jobs.mindbox.ru/dev/).
• Особенная культура: открытые финансы и зарплаты, право принять любое решение у каждого. А значит — прямая обратная связь от клиентов, возможность выбирать технологии и влиять на бэклог.