Data Engineer

Обязанности:

• ​​​​​​Анализ текущего решения на базе Oracle
• Миграция текущего аналитического хранилища на новую аналитическую платформу
• Реинжиниринг и оптимизация потоков ETL/ELT
• Интеграция новых источников данных
• Активное взаимодействие со смежными командами

Требования:

• Опыт в разработке DWH/ETL, Data Lake/ELT от 2-ух лет
• Опыт разработки на Python от 2-ух лет
• Опыт работы с Apache Spark от 2-ух лет
• Опыт в разработке на Oracle PL/SQL от года (или миграции)
• Опыт в настройке/отладке процессов CI/CD
• Опыт оптимизации процессов ETL/ELT и запросов SQL
• Опыт работы с форматами хранения данных – Parquet, ORC, Iceberg, DeltaLake
• Опыт работы с S3-совместимыми Object Storage (AWS S3, Apache Ozone, MinIO или др.)
• Опыт работы с инструментами/фреймворками DQ
• Опыт тестирования потоков ETL/ELT
• Понимание различных моделей хранилищ данных (Кимбалл, Инмон, Data Vault и др.)
• Знакомство с концепцией Lakehouse