Middle Data Engineer

Задачи:

• Развитие пайплайнов данных в продукте: работа с различными источниками и типами данных (S3, Kafka, Postgres, Redis, parquet);
• Оптимизация пайплайнов;
• Разработка мониторингов на качество данных и их автоматизация;
• Настройка интеграции с новыми источниками данных, работа в команде с поставщиками данных, адаптируя их решения под потребности проекта;
• Участие в проектировании системы и процессов обработки, валидации данных;
• Изучение бизнес-процессов, которые стоят за данными. Исходя из них, необходимо выстраивать логику обработки данных.

Пожелания к кандидату:

• Уверенное знание Python;
• Пайплайны и стримы со Spark, Kafka, Airflow;
• Опыт работы с разнообразными источниками данных (FTP/SFTP, S3, Kafka, API);
• Знание базовых различий СУБД (Oracle, Postgres, Vertica, Redis);
• Понимание, как работает parquet, avro;
• Уверенное знание SQL (умение написать сложный запрос и его оптимизировать);
• Опыт работы с K8S, опыт развертывания приложений в Kubernetes (Желательно - OpenShift);
• Знание Git/GitLab;
• Понимание, зачем нужен DQ и как его настраивать;
• Опыт оптимизации кода по времени и памяти приветствуется.
• Развитие пайплайнов данных в продукте: работа с различными источниками и типами данных (S3, Kafka, Postgres, Redis, parquet);
• Оптимизация пайплайнов;
• Разработка мониторингов на качество данных и их автоматизация;
• Настройка интеграции с новыми источниками данных, работа в команде с поставщиками данных, адаптируя их решения под потребности проекта;
• Участие в проектировании системы и процессов обработки, валидации данных;
• Изучение бизнес-процессов, которые стоят за данными. Исходя из них, необходимо выстраивать логику обработки данных.

Что мы предлагаем:

• ДМС со стоматологией;
• Корпоративную жизнь, насыщенную разнообразными коллективными событиями;
• Подарки для детей к первому классу и на Новый год;
• Профессиональное развитие: проходить обучение в компаниях-партнерах, участие и выступление в конференциях;
• Возможность путешествовать по специальным корпоративным тарифам для вас и вашей семьи. Например, туда-обратно: Сочи - 3 200 рублей.
• Корпоративные скидки в PrimeZone: скидки в рестораны, на обучающие курсы, товары и тд.;
• Программа комплексной поддержки «Понимаю» (бесплатные консультации юристов, психологов, нутрициологов, финансистов);
• Команда распределенная, удаленка на территории РФ, либо у нас есть 3 уютных офиса: г. Москва Петровка 7, г. Краснодар или г. Иннополис :)
• ИТ аккредитованная компания;
• Полное соблюдение Законодательства Российской Федерации.