Middle Data Engineer (Almaty)

Нужно уметь и любить:

• Участвовать в создании среды интеграции данных и пайплайн (конвейеров данных) с помощью инструментов, которые обеспечивают федеративный доступ и объединяют данные из разных источников;
• Участвовать в разработке ETL/ELT пакетов для автоматизации миграции данных между учетными системами и DWH (Data Lake);
• Подготавливать данные для публикации в витринах/информационных панелях (дэшбордах)/отчетах;
• Оптимизировать процессы/процедуры сбора и подготовки данных в связи с непрерывным ростом объемов обрабатываемых данных;
• Участвовать в подготовке и сборе данных для внешних потребителей (системы скоринга/верификации);
• Отвечать за обеспечение непрерывности процесса подготовки и загрузки данных, своевременное устранение ошибок, восстановление аварийно прерванных процессов;
• Обеспечивать синхронность и корректность последовательности исполнения процессов загрузки данных в корпоративных хранилищах данных (Oracle&ClickHouse);
• Участвовать в организации процессов тестирования (нагрузочного/модульного) потоков данных;
• Поддерживать документацию по источникам и потокам данных в актуальном состоянии

Нас интересует:

• Опыт работы с промышленными клиент - серверными РСУБД/NoSQL (Oracle, Clickhouse, PostgreSQL, Redis, MongoDB и др.);
• Опыт работы с промышленными ETL/ELT - инструментами (Power Centre Informatica / Oracle Data Integrator / Talend и др.);
• Опыт и навыки использования SQL, PL/SQL на продвинутом уровне;
• Опыт построения хранилищ данных и многомерных кубов (OLAP технологии);
• Знания моделей данных Data Vault, Star scheme, Snowflake scheme;
• Опыт использования Business Intelligence платформ (Oracle BI, Power BI, QlikView, Tableau);
• Понимание работы: протоколы – HTTP(S), LDAP, SMTP, (S)FTP, SOAP; Архитектура: REST, SOA, API; Структура данных: JSON, XML, WSDL, XSD;
• Опыт работы с системами управления версиями (SVN, Git); Jira / KM – Confluence.

Будет плюсом:

• Опыт работы с технологиями обработки больших данных: Hadoop, Spark, Kafka;
• Опыт работы с Apache Hive, Impala;
• Опыт построения распределенных систем хранения и обработки данных;
• Опыт работы с Airflow, NiFi.

Зарплата - это еще не всё:

• Гибридный формат работы и гибкое начало рабочего дня;
• Профессиональное развитие: участие в митапах, тренингах, конференциях, демо-днях и хакатонах;
• Дополнительные 4 дня отпуска — итого 28 календарных дней за год;
• Годовой бонус по результатам достижения KPI;
• Корпоративная сотовая связь;
• Добровольная медицинская страховка со стоматологией и лекарствами с возможностью бесплатно добавить двух близких родственников;
• Фитнес-абонементы со скидкой и в рассрочку;
• Денежная компенсация за использование личного ноутбука;
• Онлайн-платформа бесплатной психологической помощи;
• Доступ к корпоративной онлайн-библиотеке MyBook.