Data Engineer

Итак, основные задачи:

• Анализ требований к витринам данных (взаимодействие с владельцем продукта, BI-разработчиками, data scientist-ами);
• Поиск и исследование источников данных для последующей интеграции;
• Оценка пригодности, качества исходных данных;
• Разработка ETL процессов на Spark;
• Оркестрация ETL процессов в Airflow;
• Проектирование баз данных;
• Создание конвейеров данных NiFi.

Для нас идеально, если кандидат:

• Проработал от 1 года и более в таких областях как: коммуникационные технологии, безопасность, маркетинг и продажи, финансы;
• Знает язык запросов SQL (в т. ч. DDL, табличные выражения, оконные функции);
• Работал с Hive, PostgreSQL или MS SQL;
• Умеет разрабатывать ETL процессы Spark на Scala (потоковая обработка как преимущество);
• Пользовался AirFlow или другими оркестраторами – Oozie, Luigi, ну или cron;
• Может что-то написать на Python – в объеме чтобы пользоваться AirFlow;
• Умеет проектировать базы данных (знает Data Vault 2.0 например);
• Понимает принципы работы реляционных СУБД и HDFS;
• Имеет представление о колоночных и NoSQL СУБД;
• Понимает подходы к работе с качеством данных;
• Применяет системный подход к работе, думает о конечной бизнес-задаче, мыслит логически, уделяет внимание деталям.

Что мы предлагаем:

• Трудоустройство в аккредитованную ИТ-компанию;
• сплоченную команду профессионалов, в которой можно не только успешно реализовывать проекты, но и перенимать опыт и развиваться;
• обучение, участие в интересных проектах и расширение профессиональной экспертизы: мы участвуем в конференциях, митапах, публикуемся на Хабр и т.д.;
• конструктивную и открытую рабочую атмосферу;
• возможность работать дистанционно на территории РФ;
• свободу в принятии решений, возможность влиять на процесс и результат;
• 30 дней оплачиваемого отпуска;
• полис добровольного медицинского страхования, обслуживаемый в лучших клиниках.
• Корпоративные скидки на товары и услуги от партнеров компании.
• Компенсацию ваших затрат на занятия спортом (бег, футбол, волейбол, плавание и йога) в размере 30% от их стоимости.
• служебную сотовую связь.