Data Engineer (Relocation to Phuket)

Задачи:

• основная задача группы инфраструктуры аналитики — поддерживать ее работоспособность.
• в это входит много разных задач:
• подключение новых данных; мониторинг актуальности;
• исследование производительности отдельных запросов и базы в целом;
• разработка инструментов для запуска агрегатов разных форматов и так далее;
• есть пара хранилищ, которые оптимизированы для каких-то специальных целей;
• например для команды саппорта. Там основная задача в том, чтобы данные не расходились с основным хранилищем;
• поддерживаем open source продукты, которые связаны с аналитикой;
• superset и Redash для отчетов. Snowplow для сбора клиентских событий;
• основной код, с которым надо работать — это репозиторий для софта, который выполняет доставку данных в кластер и последующую оркестрацию задач.
• текучка бывает разная:
• там порядка 40 тысяч строк на Python 3.8 и 3 тысячи на TypeScript (это админка);
• критическая функциональность покрыта тестами, и юнит и приемочными. 80% кода покрыто тестами. тестирование и сборка производятся на CI сервере (Jenkins);
• деплой в Kubernetes. Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры;
• поступающие задачи можно поделить на две группы: текучка и развитие платформы.
• нужно подключить новые данные или изменить формат уже подключенных;
• нужно помочь разобраться, почему не работает SQL-запрос или BI-система;
• произошел какой-то инцидент и нужно найти корень проблемы и починить или донести до тех, кто может починить;
• как правило такие штуки появляются как запросы через Slack, которые мы регистрируем в JIRA и выполняем обычно в течение одного-двух дней.

Требования:

• опыт работы инженером данных от 3 лет;
• отличное знание Python и SQL;
• опыт с AWS или опыт с Apache Impala.

Мы предлагаем:

• сильную команду и возможность влиять как на технологические, так и на продуктовые решения;
• возможность выбрать, где работать — удаленно или в одном из наших офисов (Пхукет, Москва или Петербург);
• заботу о здоровье: компенсацию индивидуальной психотерапии, медицинскую страховку для тебя и твоей семьи;
• поддержку твоих увлечений: компенсацию занятий спортом и изучения иностранных языков.