Top.Mail.Ru
Сравни.ру

Data Engineer

В архиве c 1 августа 2024
Москва
151 000 - 208 000 ₽

Сейчас у нас:

  • 18 млн уникальных пользователей в месяц
  • 8 000 предложений от банков и страховых компаний
  • 140 000 отзывов о банках и страховых компаниях
  • более 3000 оформленных страховок в день

В чем ценность вакансии:

  • Построение нового DWH с нуля с полноценным R&D и использованием лучших инструментов и лучших архитектурных подходов
  • Возможность самостоятельно реализовать сервисы “под ключ” от r&d до выпуска в прод
  • Горизонтальная команда, где мнение и опыта каждого участника влияет на реализацию всего проекта.
  • При необходимости, нас будут консультировать лучшие специалисты и архитекторы на рынке

Основной стек технологий на наших проектах:

  • ELT фреймворк на Python
  • Оркестратор - argo workflows;
  • Kubernetes, Team City, OpenSearch, Grafana, Victoria Metrics, Amixr, Github actions, Terraform, Argo CD;
  • Хранилище на базе Snowflake с 11 ТБ поколоночно сжатых данных;
  • Более 150 активных пользователей DWH и динамические окружения для разработки;
  • 50+ источников данных в виде MSSQL, MySql, Postgres, MongoDB, разнообразными сторонними API и тд;
  • Streaming через kafka, с помощью source/sink kafka коннекторов;
  • На mvp нового dwh: Greenplum, ClickHouse, Spark, Data lake на базе yandex cloud object storage, dbt для формирования витрин данных

Что предстоит делать:

  • Проведение R&D по различным направлениям проектирования платформы данных: data quality, real-time, data marts, data lake, etc.;
  • Разработка elt пайплайнов;
  • Интеграция с системами источниками, настройка kafka коннекторов;
  • Разработка spark заданий для непрерывной поставки данных в dwh/data lake;
  • Разработка python фреймворка для управления всеми аспектами работы платформы данных;
  • Разработка/внедрение фреймворка моделирования данных dds слоя в dwh;
  • Реализация архитектуры обработки данных lambda/kappa;
  • Разработка ci/cd пайплайнов, автотестов;
  • Развитие процессов обработки данных в компании;

Требования:

  • Уже работал на позиции Data Engineer не менее 3-х лет;
  • Уверенный опыт программирования на Python;
  • Опыт работы с Greenplum, СlickHouse, Spark, Kafka;
  • Уверенные знания SQL, оптимизация запросов;
  • Понимание концепций построения DWH/Data lake;
  • Понимание процессов Data Governance: data quality, data lineage, etc.;
  • Понимание контейнеризации и CI/CD;

Будет плюсом:

  • Понимание ключевых принципов архитектуры высоконагруженных приложений;
  • K8s, helm;
  • Опыт работы с java/scala.

Что мы предлагаем:

  • Конкурентную зарплату;
  • Развитую бонусную систему;
  • ДМС, включая стоматологию (в лучших клиниках Москвы) и страхование жизни,
  • Оплату посещения профильных конференций;
  • Оплату профильных курсов;
  • Холодильник с едой в офисе;
  • Пицца/пироги/суши каждую пятницу, вечера национальных кухонь;
  • Компенсацию спортзала;
  • Современную технику;
  • Покупку профильной литературы;
  • Социальная ответственность: материальная помощь, при рождении ребёнка;
  • Корпоративные мероприятия и тимбилдинги (картинг, пейнтбол, лазертег и др.);
  • Помощь с переездом для кандидатов из других городов (оплата билетов и первого месяц квартиры);
  • Современный офис с видом на всю Москву (прямо у метро Римская/Площадь Ильича); (2 минуты пешком от метро).
Настя из careerspace
Настя из careerspace
Поможем устроиться на эту работу или лучше!

Вакансия в архиве

Посмотрите похожие вакансии

© 2021—2025 ООО «Карьерное пространство»
Карьерная поддержка
Поиск работы
Медиа
Информация
© 2021—2025 ООО «Карьерное пространство»