Описание
Мы в поиске Senior специалиста на позицию ML Platform Engineer (MLOps) в разработку Data Science платформы в РУСАЛ. Требуемый опыт работы: от 6 лет.
ML Platform (MOps) engineer будет заниматься разработкой и эксплуатацией DSML (Data Science and Machine Learning) платформы. Наша DSML платформа не просто позволяет создавать и эксплуатировать модели, она позволяет превращать инсайты и экспертизу Data Scientist-а в работающий код, легко передавать ее между Data Scientist-ами и сохранять ее в компании.
Задачи
•Разрабатывать и эксплуатировать инфраструктуру вычислительных мощностей ML платформы: вычислительное облако + облако данных
•Эксплуатировать VMWare сервера (CPU, GPU, RAM, Disks) платформы, сеть. Эксплуатацией собственно серверного/сетевого hardware и VMWare ESXI серверов мы не занимаемся
•Разрабатывать и эксплуатировать набор взаимосвязанных K8s кластеров для вычислительного облака ML платформы: K8s кластер вычислительного облака для интерактивной разработки на базе Jupyter Lab, K8s кластер для бэкграунд задач (запуск ML pipelines по расписанию, Model Serving), K8s кластер для анализа больших данных на базе Apache Spark
•Разрабатывать и эксплуатировать масштабируемое облако данных платформы на базе Apache Ozone, HDFS, S3
•Разрабатывать и эксплуатировать инструменты для мониторинга и диагностики работы моделей, на базе Spark, Kafka. Эксплуатацией собственно Kafka кластеров мы не занимаемся
•Участие в разработке и применении типовых DataFlow продуктов для мониторинга моделей (Model Services)
•Разрабатывать, эксплуатировать и поддерживать экземпляры RUSAL DSML платформы на базе SinaraML на языке Python, включающей: инструменты разработки ML pipelines, инструменты версионирования и прослеживаемости данных, инструменты управления Data Science экспериментами (воспроизводимость и передаваемость кода), инструменты масштабирования вычислительных ресурсов для интерактивной разработки и бэкграунд задач, инструменты Model Serving, инструменты визуализации, публикации интерактивных отчетов и взаимодействия с бизнесом
•Разрабатывать, эксплуатировать и поддерживать типовые среды разработки моделей для Classic ML, Computer Vision, Natural Language Processing
•Разрабатывать, эксплуатировать и поддерживать инструменты безопасности: интеграция вычислительного облака и облака данных с Active Directory для аутентификации и авторизации с использованием PAM, Kerberos и др.; модели доступа данных, сетевые инструменты безопасности
•Интегрировать компоненты платформы между собой и c корпоративной инфраструктурой, включая GitLab, Nexus, Kafka и др.
•Обеспечение бесперебойной работы платформы
•Создание и поддержка процессов провижнинга пользователей, продуктов, подрядчиков на платформу
•Развивать и продвигать в компании cloud-native архитектуру и другие современные инструменты и подходы к разработке
•Вести разработку на языке Python. Читать, отлаживать и вносить изменения в код на других языках: Java, C/C++, JavaScript и т.д.
Требования
•Опыт администрирования linux, работающих сервисов на базе Open Source
•Опыт настройки, отладки, мониторинга и оптимизации производительности систем, начиная с уровня hardware, продолжая уровнем сети, виртуализации, оркестрации и заканчивая конечными сервисами
•Опыт разработки современных распределенных software system, основы Web, микро сервисная архитектура и т.д.
•Опыт развертывания и эксплуатации разработанных software system
•Опыт работы с DevOps инструментами, Git, CI/CD и т.д.
•Опыт разработки в команде по SCRUM Kanban методологиям
•Умение сочетать гибкие принципы Agile, с дисциплиной для эксплуатации, обеспечение SLA
•Опыт разработки на языках: python, bash; опыт отладки кода на java, а также желательно С/С++, JavaScript, scala и др.
•Опыт развертывания, эксплуатации и применения K8s инфраструктуры (кластеров)
•Опыт настройки и эксплуатации сетевых сервисов, nginx или других балансировщиков
•Опыт работы со spark и распределенными хранилищами S3/HDFS
•Опыт безопасной разработки: аутентификация, авторизация, шифрование и т.д.
•Быть сторонником принципов DevOps/SRE, Cloud Native архитектуры
•Понимание MLOps практик: ML pipeline, Model Serving, Experiment Management, версионирования данных, моделей, экспериментов, воспроизводимость
•Готовность, разрабатывая код, отвечать за его эксплуатацию в продуктовой среде
•Готовность, как инженер и разработчик, отстаивать интересы Data Scientist-ов
•Уметь следовать и культивировать в компании стандарты вокруг разработки, готовность документировать результаты своего труда
Будет плюсом
•Опыт работы с Cloud платформами типа Amazon, Azure, Google, Yandex
•Опыт настройки CI на базе Gitlab
•Опыт работы с hadoop
•Опыт эксплуатации сервисных шин (MQ, Kafka)
•Опыт работы с Windows Servers, Active Directory, Kubernetes
Условия
•Возможность присоединиться к команде, работающей над цифровизацией реального сектора экономики
•Полностью удаленный режим работы
•Возможность участвовать в интересных и сложных проектах с ведущими специалистами индустрии
•Пятидневная рабочая неделя (5/2) с 9:00 до 18:00
•Работа в крупной международной компании (69 тыс. сотрудников, 1-е место по объему производства алюминия в мире), официальное трудоустройство (белая ЗП, отпуск, больничный)
•Оформление, оплата отпусков и больничных в соответствии с ТК РФ
