Senior Data Engineer

Нам нужно чтобы ты:

• Подключил OLTP- и API-источники и настроил инкрементальные загрузки данных в Iceberg (S3);
• Провёл proof of concept для CDC (с использованием Debezium и Kafka → lakehouse) и выбрал оптимальный паттерн доставки данных в S3/Iceberg;
• Реализовал трансформации по слоям Bronze → Silver → Gold через dbt на Spark и выпустил первые ключевые витрины;
• определил стратегию serving: где использовать Trino для ad-hoc-запросов, а где — ClickHouse для BI, и решил, какие данные читать напрямую, а какие материализовать;
• Автоматизировал backfill’ы и перезапуски, а также настроил базовый мониторинг свежести данных и ошибок в Airflow;
• Взял ownership над ingestion, lakehouse и data pipelines (Airflow/Spark/dbt);
• Сделал так, чтобы платформа работала стабильно и максимально автоматизировано;

Требования:

• Сильный SQL и опыт витрин/инкрементов
• Python для ETL/интеграций
• Опыт со Spark (PySpark) и понимание оптимизации вычислений
• Airflow в проде (зависимости/ретраи/backfill, datasets)
• Понимание Iceberg/Delta/Hudi (schema evolution/maintenance)Будет плюсом:
• Kafka/Debezium/CDC, Trino/Presto, ClickHouse perf, OpenMetadataЧто мы предлагаем:
• Прозрачная и конкурентная ЗП, трудоустройство по ТК РФ;
• Гибридный или Удаленный формат работы;
• Техника для работы;
• ДМС после испытательного срока;
• Поддержка в трудных ситуациях – мы не просто компания, мы – сообщество;
• Корпоративные скидки BestBenefits – спорт, путешествия, рестораны, курсы, даже косметика;
• Команда, где все на “ты” – нет дресс-кода, нет иерархии, есть доверие.