Data Engineer (на Кипр)

Стек команды:

• Greenplum/Hadoop/Clickhouse в качестве ядра обработки данных и множество дополнительных БД (Redis, Cassandra, PostgreSQL, MySQL);
• собственные решения на базе Apache Airflow и Apache Flink в качестве инструментов трансформации данных для аналитиков.

Будущие задачи:

• интеграция новых источников;
• написание витрин совместно с аналитиками;
• реакция на инциденты совместно с Data Quality инженерами.

Наши ожидания от кандидата (общий опыт работы с большинством технологий от 1-го года):

• Airflow;
• DBT;
• Clickhouse;
• PostgreSQL;
• Kafka;
• Ansible;
• опыт работы с терминалом;
• Shell programming;
• Linux knowledge;
• Python;
• SQL (PL/pgSQL);
• Git;
• понимание теории СУБД и ETL-процессов (ACID transactions, Normalization, CAP theorem, OLTP vs OLAP, Horizontal vs Vertical scaling, Dimensional modeling);
• понимание принципов работы и применимость разных структур данных и алгоритмов.

Будет преимуществом:

• GitLab CI/CD;
• Tableau;
• Grafana;
• HDFS;
• Apache Flink;
• Apache Spark.