Сравни.ру
Data Engineer
В архиве c 1 августа 2024
Москва
151 000 - 208 000 ₽
Сейчас у нас:
- 18 млн уникальных пользователей в месяц
- 8 000 предложений от банков и страховых компаний
- 140 000 отзывов о банках и страховых компаниях
- более 3000 оформленных страховок в день
В чем ценность вакансии:
- Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов
- Возможность самостоятельно реализовать сервисы “под ключ” от r&d до выпуска в прод
- Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.
- При необходимости, нас будут консультировать лучшие специалисты и архитекторы на рынке
Основной стек технологий на наших проектах:
- ELT фреймворк на Python
- Оркестратор - argo workflows;
- Kubernetes, Team City, OpenSearch, Grafana, Victoria Metrics, Amixr, Github actions, Terraform, Argo CD;
- Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных;
- Более 150 активных пользователей DWH и динамические окружения для разработки;
- 50+ источников данных в виде MSSQL, MySql, Postgres, MongoDB, разнообразными сторонними API и тд;
- Streaming через kafka, с помощью source/sink kafka коннекторов;
- На mvp нового dwh: Greenplum, ClickHouse, Spark, Data lake на базе yandex cloud object storage, dbt для формирования витрин данных
Что предстоит делать:
- Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.;
- Разработка elt пайплайнов;
- Интеграция с системами источниками, настройка kafka коннекторов;
- Разработка spark заданий для непрерывной поставки данных в dwh/data lake;
- Разработка python фреймворка для управления всеми аспектами работы платформы данных;
- Разработка/внедрение фреймворка моделирования данных dds слоя в dwh;
- Реализация архитектуры обработки данных lambda/kappa;
- Разработка ci/cd пайплайнов, автотестов;
- Развитие процессов обработки данных в компании;
Требования:
- Уже работал на позиции Data Engineer не менее 3-х лет;
- Уверенный опыт программирования на Python;
- Опыт работы с Greenplum, СlickHouse, Spark, Kafka;
- Уверенные знания SQL, оптимизация запросов;
- Понимание концепций построения DWH/Data lake;
- Понимание процессов Data Governance: data quality, data lineage, etc.;
- Понимание контейнеризации и CI/CD;
Будет плюсом:
- Понимание ключевых принципов архитектуры высоконагруженных приложений;
- K8s, helm;
- Опыт работы с java/scala.
Что мы предлагаем:
- Конкурентную зарплату;
- Развитую бонусную систему;
- ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,
- Оплату посещения профильных конференций;
- Оплату профильных курсов;
- Холодильник с едой в офисе;
- Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;
- Компенсацию спортзала;
- Современную технику;
- Покупку профильной литературы;
- Социальная ответственность: материальная помощь, при рождении ребёнка;
- Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);
- Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);
- Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).

Настя из careerspace
Поможем устроиться на эту работу или лучше!
Вакансия в архиве
Посмотрите похожие вакансии