Lead Data Engineer (Remote / Serbia / Cyprus / Armenia / Kazakhstan)

О компании:

• Playrix – является крупнейшей игровой компанией в Европе и входит в топ-3 самых успешных мобильных разработчиков в мире. Мы создали такие хиты, как Gardenscapes, Fishdom, Manor Matters, Homescapes, Wildscapes и Township, которые скачали более 2 миллиарда игроков. В игры Playrix каждый месяц играют более 120 миллионов человек.

Задачи:

• Готовить источники данных для заказчика - маркетинг и игровая аналитика;
• Разрабатывать конвейера поставки данных в виде DAG процессов для Airflow/Luigi;
• Внедрять моделей прогнозирования и ML в продакшен;
• Проводить интеграцию с сервисами партнеров для получения данных от них;
• Строить процессы data quality для новых и имеющихся источников.
• Стек: 
• Наш основной язык программирования — Python. Для доступа к данным используем SQL;
• Datalake построен на S3, Parquet и Hive. В качестве DWH используем Redshift/PostgreSQL;
• Работаем в облачной инфраструктуре AWS. Используем решения мейнстримовых вендоров (Databricks, MonteCarlo, DBT);
• Практикуем serverless подход работы с ресурсами и горизонтальное масштабирование, используем предиктивные модели;
• Уделяем внимание рефакторингу и кода, и архитектуры. Для CI/CD процесса используем TeamCity.

Требования:

• Технический бэкграунд в Python от 5 лет: навык проектирования фреймворков и библиотек, умение читать и анализировать код, опыт профилирования и оптимизации производительности/масштабируемости;
• Опыт разработки data-driven приложений, выбора технического стека и субд; 
• Навыки работы с популярными DE/ML фреймворками: airflow, pandas, sqlalchemy, tensorflow, mlflow;
• Навыки написания и оптимизации SQL запросов, умение работать с планами запросов, опыт работы с хранилищами разных архитектур: mpp, columnar, relation, hadoop, in-memory;
• Опыт разработки в распределённых средах.
• Мы предлагаем комфортные условия: помогаем с релокацией, предоставляем ДМС, компенсируем занятия спортом и затраты на развитие.