Лид аналитик экспертности в Поиск

Вы будете работать в роли «играющего тренера» (50 % — руководство командой аналитиков‑разработчиков, 50 % — решение прикладных задач):

• Создавать метрики качества модели: формулировать критерии, экспериментировать с подходами (бенчмарки, LLM‑as‑a‑judge, краудсорсинг, AI‑тренеры), внедрять стабильные метрики.
• Анализировать проблемные срезы: находить слабые места модели, совместно с разработкой планировать решения, готовить данные для обучения, оценивать эффективность изменений.
• Собирать и контролировать данные: искать качественные источники инстрактов, выявлять проблемы в данных, формулировать и отслеживать критерии эталонных ответов.
• Взаимодействовать с командами разработки и продукта.
• Участвовать в обсуждении тактических и стратегических целей направления.

Мы ждём, что вы

• Руководили аналитиками или выступали ментором.
• Работали над метриками в ML‑проектах.
• Уверенно владеете SQL и Python.
• Умеете анализировать текстовые данные и выстраивать процессы их обработки.
• Знаете теорию вероятностей и математическую статистику.
• Самостоятельны и готовы решать нестандартные задачи.
• Интересуетесь развитием LLM и хотите в этом развиваться.

Будет плюсом

• Опыт работы с LLM.
• Опыт работы с Толокой или другими краудсорс‑платформами.