Data engineer в Финтех

Какие задачи вас ждут

• работать с базами данных SQL и NoSQL, масштабировать и шардировать их;
• обрабатывать массивы данных с учётом eventual consistency и других аспектов ACID;
• проектировать модели данных;
• продумывать отказоустойчивость системы: хранилище должно пережить всё, включая падение дата-центра и вторжение инопланетян;
• развивать собственный data quality фреймворк
• вместе с лидом команды проектировать архитектуру хранилища.

Мы ждём, что вы

• пишете код на Python;
• работали с базами данных SQL и NoSQL;
• знакомы с брокерами сообщений (Kafka, RabbitMQ или что-то подобное);
• работали с инструментами Hadoop.

Будет плюсом, если вы

• работали со Spark или Spark SQL;
• работали с Greenplum;
• умеете разрабатывать DAG для Airflow.