Data Engineer

Клиентский опыт:

• Обобщаем все клиентские взаимодействия с компанией в одну историю, под одним универсальным идентификатором;
• Прогнозируем и корректируем общую выручку от клиента на всем периоде жизни с компанией;
• Боремся с фродом на стороне клиентских устройств сотовой связи;
• Предсказываем отток и next-best-action для клиентов.

Управление оборудованием и качеством услуг связи:

• Собираем и анализируем метрики качества предоставления связи;
• Выполняем интеллектуальное планирование постройки базовых станций;
• Осуществляем предиктивное обслуживание оборудования.

Для продуктовых команд:

• Создаем для себя фреймворки и утилиты;
• Развиваем сервис мониторинга как единую точку сбора и просмотра метрик.

Итак, что нужно будет делать:

• Анализировать требования к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
• Искать и исследовать источники данных для последующей интеграции;
• Оценивать пригодность и качество исходных данных;
• Разрабатывать ETL процессы на Spark;
• Осуществлять оркестрацию ETL процессов в Airflow;
• Проектировать базы данных;
• Создавать конвейеры данных NiFi.

Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:

• Опыт работы Data Engineer от 2 лет.
• Отличное владение Scala или Python.
• Знание SQL на уровне написания сложных запросов.
• Понимание архитектуры Apache Spark, опыт по анализу и оптимизации обработки данных на Spark.
• Опыт работы с Hadoop от 1 года
• Готовность общаться с бизнесом и отвечать end-to-end за задачу.

Будет плюсом, если вы:

• Работали с потоковой обработкой данных
• Знакомы с инструментом NiFi

Наш стек:

• Scala / Python
• Hadoop (hdfs, hive)
• Apache Spark
• Airflow.

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию;
• Сильную команду специалистов, с которой можно расти;
• Свободу в принятии решений, возможность влиять на процесс и результат;
• Развитое внутреннее DE комьюнити (chapter из 150+ человек) с регулярными митапами и встречами по обмену опытом;
• Ежегодный процесс ревью;
• Десятки Пбайт разнообразных данных - от классических табличных до гео, графов, кликстримов, текстов и картинок;
• Внешнее и внутреннее обучение, участие в митапах и конференциях;
• Гибкий график работы;
• Полис добровольного медицинского страхования, обслуживаемый в лучших клиниках;
• Корпоративные скидки на фитнес, обучение.