Senior MLops

Обязанности:

• сбор и спецификация функциональных и нефункциональных требований к промышленным решениям с использованием AI-моделей
• оценка нагрузки и выбор систем хранения
• формирование технических требований для обеспечения масштабируемости, надежности и низкой задержки работы микросервисов
• разработка и актуализация микросервисной архитектуры с учетом одобренного тех. стека
• определение архитектурного data-ландшафта всего продукта
• реализация скриптов предобработки и загрузки данных в БД (Python, стандартные библиотеки для работы с данными)
• подготовка Python-скриптов к использованию в серверном окружении в рамках микросервисной архитектуры
• реализация логики обработки данных в БД Postgres (PL/pgSQL) и Greenplum
• организация интеграций с Централизованным ХД (Greenplum) в рамках ETL-пайплайнов

Требования:

• контейнеризация: Docker, OpenShift, K8s
• инструменты DevOps (MLOps): Bitbucket, Nexus, Jenkins
• брокеры сообщений: Kafka, RabbitMQ
• ML System Design (от этапа scope refinement до модульного дизайна с выделением подсистем хранения и аналитики)
• сбор и спецификация требований к произвольному элементу data-ландшафта: pipeline, DB, DWH (dim/lkp/fact/table, DDS/ODS, data mart)
• OLTP vs OLAP
• продвинутый уровень SQL (DDL, DML, DCL, TCL + диалекты T-SQL, PL/SQL, PL/pgSQL)
• SMP СУБД: MS SQL Server, MySQL, Oracle, PostgreSQL и др.
• MPP СУБД: Teradata, Greenplum и др.
• опыт обработки больших объемов данных и распараллеливания вычислений
• ER-моделирование: инфологическая, даталогическая модели
• нормализация БД (3 НФ)
• знание ETL/ELT + ETL-инструменты: Apache NiFi/Airflow, Ab Initio, Informatica и др.
• знание ЯП Python: функциональный подход, ООП, библиотеки для анализа данных, WEB-фреймворки (Flask, Django и др.)
• ключевые архитектурные парадигмы построения детального слоя хранилищ данных (DDS DWH), а именно Star/Snowflake Schema, Data Vault 1.0/2.0, Anchor Modelling
• логирование основных событий в БД, в том числе для выстраивания мониторинга и обеспечения контроля качества данных, а также управления модельным риском
• понимание фундаментальных различий основных видов NoSQL-решений: key-value, column-oriented, document-oriented, graph
• опыт работы с NoSQL-решениями: MongoDB, Elasticsearch, Firebase, Redis, Cassandra, Vertica, ClickHouse, Neo4j и др.
• файловые системы и объектные хранилища: HDFS, S3

Условия:

• возможность работать в офисе или, по результатам прохождения испытательного срока – в рамках смешанного графика
• свободное взаимодействие в команде, отсутствие излишнего формализма. Наша цель –
• выполнение задачи с учетом заданных требований, а не соответствие формальной картинке
• команда молодых профессионалов, готовых поддержать твои инициативы и поделиться опытом
• конференции и обучение на корпоративных курсах за наш счёт
• отличная ДМС, включая несчастные случаи и тяжелые заболевания
• возможность сменить команду или проект при желании
• программы лояльности для сотрудников: скидки на продукты банка и компаний-партнеров, льготные условия кредитования
• материальная помощь и социальная поддержка
• корпоративная пенсионная программа