Python Developer (Big Data)

Задачи

• Разработка и поддержка сервисов сбора и обработки данных о состоянии кластеров Hadoop/GreenPlum (метаданные, fsimage, логи).
• Интеграция с внутренними системами: Service Manager, SDP Control, СФД, Kafka (тракты данных).
• Реализация механизмов автоматического запуска проверок по триггерам (например, при изменении статуса в SDP Control).
• Оптимизация производительности обработки больших объёмов данных (логи, метрики, очереди Yarn, утилизация HDFS).
• Построение и доработка дашбордов (аналитика, визуализация трендов).
• Разработка ETL-процессов для наполнения отчётной БД.

Общие требования

• Высшее образование.
• Опыт коммерческой разработки от 4 лет.
• Опыт работы с Linux и Bash.
• Готовность к гибриду (офис на Кутузовском проспекте).

Технические требования

• Python 3.9+ (уверенное знание языка, типизация, асинхронность).
• SQL (сложные запросы, агрегации, работа с большими таблицами).
• Опыт обработки и парсинга больших объёмов данных (логи, fsimage, метрики).
• Работа с форматами данных: JSON, Avro, Parquet, CSV.
• Умение проектировать ETL-процессы.

Базы данных

• Опыт работы с реляционными БД (PostgreSQL / GreenPlum).
• Понимание устройства отчётных БД (OLAP-нагрузки).
• Опыт работы с Redis.

Интеграции и инструменты

• Опыт работы с Kafka (или другими брокерами сообщений) для работы с трактами данных.
• Опыт написания интеграций через REST API.
• Системы контроля версий: Git (GitLab).

Навыки и компетенции

• Умение проектировать архитектуру модулей сбора и обработки данных.
• Понимание принципов работы распределённых систем (Hadoop / GreenPlum будет плюсом).
• Опыт оптимизации запросов и обработки данных для сокращения времени выполнения.
• Умение работать с большими объёмами информации (Big Data).

Мы предлагаем

• Работу в стабильной, надежной компании;
• Полностью «белую» заработную плату и оформление по ТК РФ с первого рабочего дня;
• Расширенный социальный пакет: ДМС (включая стоматологию), Корпоративные скидки на фитнес, Внутренние спортивные секции (футбол, волейбол);
• ДМС (включая стоматологию),
• Корпоративные скидки на фитнес,
• Внутренние спортивные секции (футбол, волейбол);
• Возможности для профессионального развития: обучение, внутренние и внешние курсы;
• Активную корпоративную культуру: мероприятия, клубы по интересам и многое другое;
• Современную технику: мощный ноутбук выдается в первый рабочий день — ничего не нужно ждать;
• Формат работы: гибрид в Москве (Кутузовский проспект, 32).

Расширенный социальный пакет:

• ДМС (включая стоматологию),
• Корпоративные скидки на фитнес,
• Внутренние спортивные секции (футбол, волейбол);