Senior Data Engineer (Streaming)

Наш технологический стек:

• Стриминг и инфраструктура: Flink, Kubernetes (k8s)
• Работа с данными и оркестрация: ScyllaDB кластер, Apache Spark, Apache Airflow
• Основной стек: Python, Java
• Инструменты DWH / Дополнительный стек: Golang, Scala

Чем предстоит заниматься:

• Проектировать архитектуру: участвовать в формировании архитектурного облика наших продуктов и платформы Feature Store.
• Разрабатывать и внедрять: реализовывать сложные задачи по потоковой обработке данных, интеграции со ScyllaDB/Spark и DWH-инструментам.
• Оценивать и планировать: декомпозировать задачи, участвовать в планировании спринтов и оценивать трудозатраты.
• Отвечать за качество: писать юнит- и интеграционные тесты, проводить перекрестное code review.
• Поддерживать решения: осуществлять саппорт разработанных инструментов при возникновении инцидентов (3-я линия).

Ближайшие цели и ключевые задачи сотрудника :

• Проектирование и запуск NRT-пайплайнов: разработать и вывести в прод серию отказоустойчивых потоковых пайплайнов Near Real Time для обеспечения работы кредитного конвейера и систем антифрода.
• Обеспечение данными ML и витрин: выстроить эффективную поставку потоковых данных (фичей) для real-time обучения и инференса ML-моделей.
• Интеграция с клиентскими сервисами: настроить быструю отдачу агрегированных данных для мобильного приложения банка и смежных внутренних платформ.
• Участие в развитии Feature Store: внести вклад в проектирование архитектуры нашей целевой стриминг-платформы на базе Apache Flink и ScyllaDB.

Мы ожидаем:

• Опыт работы со Streaming-технологиями: уверенные знания и коммерческий опыт работы с Apache Flink.
• Профессиональное владение стеком: глубокие знания Python и/или Java.
• Опыт работы с Big Data экосистемой: опыт работы с Apache Spark, понимание принципов оркестрации процессов в Apache Airflow.
• Инфраструктурный опыт: понимание принципов работы Kubernetes и построения CI/CD пайплайнов.
• Инженерная зрелость: опыт проектирования архитектуры распределенных систем, любовь к тестам и качественному коду.

Будет плюсом:

• Опыт работы с высоконагруженными NoSQL базами данных (желательно ScyllaDB или Apache Cassandra).
• Интерес к backend-разработке и готовность/желание писать или кодить на Golang и Scala для задач DWH.

Мы предлагаем:

• Амбициозные задачи и возможность влиять на ключевые бизнес-процессы;
• Сильная техническая команда, которая всегда готова делиться опытом;
• Крутая продуктовая культура. Опираемся на исследования и метрики, фокусируемся на результате;
• Свобода действий и возможность напрямую влиять на развитие бизнеса;
• Гибкий график. Гибридный или удаленный формат работы на выбор главное — результат;
• Официальное оформление по ТК УЗ; Три дополнительных оплачиваемых дня к отпуску;
• Мы резидент IT-парка, наши специалисты могут получить IT-визу, которая приравнивается к ВНЖ;
• Развитие личного бренда на конференциях, митапах и внутренних событиях.