Senior Data Engineer

Описание:

• В первую очередь мы ищем коллегу с бэкграундом в разработке. Нам важнее твое знание инженерных практик, опыт и системное мышление, чем количество лет в дата инженерии

Задачи:

• Разработка инфраструктуры и инструментов для self-serve data platform:
  • разработка ELT/ETL-инструмента
  • CI/CD для пайплайнов
  • интеграция данных платформы с другими системам
  • автоматизация lineage, data quality
  • подготовка платформы к Data Mesh подходу
  • развертывание и обслуживание data сервисов: Superset, Kafka Connect и т.д.
• Проектирование модели данных детального слоя под бизнес требования с оптимальным хранением данных
• Помощь другим командам в работе с данными, с интеграциями, с нашими инструментами, с оптимизациями (центр экспертизы по работе с аналитическими данными)
• MLOps: CI/CD для ML проектов, создание тулинга для вывода ML-моделей в production
• Доработка Spark коннекторов к Azure ресурсам, доработка Superset’а, написание платформенных библиотек
• Наш стек технологий
• Python, Spark (Batch и Structured Streaming на платформе Databricks), DeltaLake, Azure Data Explorer, Azure EventHubs (Kafka API), Kafka Connect (Debezium), GitHub Actions, MLFlow, Superset

Требования:

• Уверенное владение одним из языков программирования: Python, Scala, Java
• Построение пайплайнов данных с мониторингом и логированием; опыт в оптимизации/изменении существующих пайплайнов
• Spark, Spark Streaming (у нас Structured Streaming)
• System design
• Дизайн DWH
• Хорошие навыки в моделировании данных как для классических реляционных моделей, так и для DWH
• Будет плюсом:
• Apache Kafka и/или RabbitMQ
• MPP/Cloud data warehouse решения (Snowflake, Redshift, BigQuery, Vertica, Teradata, Greenplum, Azure DWH, ClickHouse и т.д.)
• Как писать и оптимизировать сложные SQL запросы
• Дизайн распределенных систем
• Опыт MLOps
• Опыт работы с Hudi или Iceberg или Delta Lake
• Умеете балансировать между MVP и собственным перфекционизмом

Мы предлагаем:

• Удаленку или работу в офисе в Москве, в Омега Плазе на метро Автозаводская
• Расширенная ДМС с первого рабочего дня
• Оплата профильных конференций, курсов, профессиональной литературы
• Партнерские программы (скидки на изучение английского языка Skyeng, компенсация психологической помощи на платформе Alter)
• Митапы, лекции, воркшопы и интенсивы
• Прокачка навыков публичных выступлений (сделаем из вас крутого спикера)
• Помощь в написании профессиональных статей и раскрутку вас, как автора, на профильных ресурсах (Хабр, VC)