Senior Data Engineer

Команда Rusprofile — это 40+ человек:

• основатель Дмитрий Стрелков, который когда-то заканчивал факультет вычислительной математики и кибернетики МГУ. Спустя 8 лет активного развития Rusprofile, все также управляет бизнесом;
• наша команда разработки состоит из 27 человек: двух инженеров по инфраструктуре, 17 разработчиков, а также 6 тестировщиков и двух дата-инженеров;
• бизнес-ориентированная команда продукта: продакт-менеджеры, продуктовый аналитик и дизайнеры продукта.

Команда Data Engineering:

• обеспечивает единый источник правды по данным в компании для аналитики;
• строит и развивает платформу данных (хранилище, витрины, ingestion, трансформации);
• проектирует и поддерживает архитектуру обработки и хранения данных для анали;
• отвечает за стабильность, воспроизводимость и масштабируемость пайплайнов;
• выстраивает системный контроль качества данных.

1. Развитие аналитического слоя DWH

• Загрузка и обработка событий (Snowplow) и биллинга;
• Формирование детального слоя хранилища данных;
• Построение витрин для: продаж, воронки, регистраций, MRR, экспериментов;
• продаж,
• воронки,
• регистраций,
• MRR,
• экспериментов;
• Написание кода формирования аналитических витрин.

Построение витрин для:

• продаж,
• воронки,
• регистраций,
• MRR,
• экспериментов;

2. Развитие dbt-проекта

• Переписывание существующих DAG в dbt;
• Развитие структуры и логики dbt-проекта;
• Оптимизация моделей;
• Обеспечение воспроизводимости и прозрачности трансформаций.

3. Качество и устойчивость данных

• Контроль качества данных;
• Поддержка и развитие проверок;
• Обеспечение корректности и консистентности аналитических моделей;
• Поддержка Superset-дашбордов со стороны данных.

4. Взаимодействие с продуктовой аналитикой

• Помощь продуктовым аналитикам в работе с витринами;
• Погружение в процессы формирования метрик;
• Развитие моделей данных под потребности аналитики и продукта.

Как понять что ты подойдешь

• Опыт работы от 3 лет в роли Analytics Engineer / Product Data Engineer;
• Глубокое знание SQL и практический опыт оптимизации запросов;
• Уверенное владение Python;
• Опыт построения ETL / ELT-пайплайнов и их сопровождения;
• Опыт data modeling (проектирование детального слоя DWH и аналитических витрин);
• Понимание принципов data quality, обеспечения надежности данных и data lineage;
• Опыт работы с аналитическими СУБД (желательно ClickHouse или аналогами);
• Понимание устройства реляционных и нереляционных баз данных;
• Навыки мониторинга и отладки пайплайнов обработки данных;
• Умение проектировать архитектуру данных (индексы, партиционирование, шардирование, оптимизация производительности);
• Опыт работы с Airflow или другими инструментами оркестрации;
• Опыт работы с Superset или другими BI-инструментами со стороны данных;
• Опыт работы с Docker и контейнеризацией;
• Базовые навыки Linux и понимание DevOps-практик;
• Опыт работы с Git и CI/CD;
• Системное мышление и способность видеть архитектуру данных целиком;
• Опыт работы с legacy-решениями и проведения рефакторинга.

Будет плюсом:

• Опыт работы с dbt и Dagster;
• Умение самостоятельно разворачивать и поддерживать сервисы обработки данных.

Мы предлагаем

• Работу в продукте с доказанной ценностью и понятной стратегией развития. Мы работаем спринтами, но с понятным горизонтом планирования — есть гибкость в задачах и при этом стратегическое направление не теряется;
• Среду, где данные — ядро бизнеса. От качества, скорости и надёжности работы с ними напрямую зависит результат компании, поэтому Data Engineering здесь — стратегически важное направление;
• Осознанное движение к зрелой архитектуре: оркестрация, воспроизводимость, контроль качества, прозрачность процессов и снижение технологического долга;
• Высокий уровень ответственности и доверия. Мы ценим самостоятельность, системное мышление и инженерный подход к решению задач;
• Гибкий график и возможность удаленной работы (можно также работать в нашем офисе в Москва-Сити с потрясающим видом на столицу);
• Работу в аккредитованной ИТ компании с полным соблюдением ТК РФ;
• ДМС, 7 Day Off, оплату обучения, семинаров и конференций.