Lead ML QA (команда Поиска)

Описание:

Ищу человека, который с нуля придумает и создаст ML-специфичное тестирование в ранжировании поиска. Взаимодействовать предстоит с DS/ML-инженерами, аналитиками, бэкенд-разработчиками.

Что надо делать

• Создавать культуру тестирования в команде data scientist-ов / ML-инженеров.
• Разбираться в процессах жизненного цикла ML моделей: сбор данных, обучение, применение, оценивание.
• Проектировать и автоматизировать их тестирование, например, проверять:
  • что модель работает ожидаемо (если у товара вырастет рейтинг - он не станет ранжироваться ниже).
  • совпадают ли фичи, которые применяются моделью с теми, которые были посчитаны DS и мастер-данными.
  • что данные для обучения правильно логируются с девайсов пользователей.
• Стек
  • Python.
  • Стек, который будет релевантен задачам, можно и нужно выбирать самостоятельно. Вероятно, например, что pytest и seleinum случатся.
  • Для работы с данными: pandas, Hadoop/Spark ⇒ pyspark.
  • Для автоматизации: gitlab CI, airflow, grafana.

Что ожидаем

• Героическую степень самостоятельности.
• Опыт работы с python в коммерческой разработке.
• Опыт работы с данными (БД, data lake).
• Опыт написания тестов.
• Понимание базовых принципов машинного обучения
• Желательно
  • Опыт работы с ML.
  • Опыт работы с python data-стеком (pandas, numpy).
  • Опыт работы с hadoop-стеком (spark, pySpark).

Что предлагаем:

• Полная удаленка, возможность работать за границей
• Но есть и прекрасные офисы в Москве, Санкт-Петербурге итп
• Гибкий график
• ДМС со стоматологией
• Скидки от партнеров/ жилищная программа/ корпоративное обучение
• Оформление: базово Казахстан, Россия; есть еще опции
• Формат: офис / гибрид / полная удаленка
• Вилка: 200-350к net + премии 2 раза в год + возможный пересмотр зп на ревью