О компании
CreateFuture — AI-native консалтинговый партнёр. Среди клиентов — PayPal, adidas, NatWest, FanDuel и Money Saving Expert. Компания выросла до более чем 600 человек за несколько лет, сертифицирована как Great Place to Work и неоднократно побеждала в номинации Best Workplaces UK. Офисы расположены в Эдинбурге, Лидсе, Манчестере, Лондоне и Болгарии, с периодическими поездками к клиентам или в офисы CreateFuture.
Ищут Senior Data Engineer с фокусом на machine learning для data-команды — человека, который возьмёт на себя ответственность за data- и feature-пайплайны, на которых держатся продуктовые ML-системы, подготовку тренировочных данных, feature engineering и путь модели от прототипа в ноутбуке до работающей и поддерживаемой продакшен-системы. Работа предполагает высокую степень автономии при решении сложных и неоднозначных задач в рамках клиентских проектов, в партнёрстве с data scientists и ML-инженерами, а также менторство младших инженеров и повышение инженерной планки в команде.
Задачи
•Проектирование, построение и поддержка продакшен data- и feature-пайплайнов, на которые опираются ML-системы: подготовка тренировочных данных, feature engineering и построение воспроизводимых, точных по времени (point-in-time-correct) датасетов — с минимальным контролем со стороны
•Перевод моделей из прототипа в продакшен и поддержание их там: упаковка и деплой совместно с коллегами из data science, версионирование моделей, автоматизированное переобучение и мониторинг, который выявляет дрифт и деградацию раньше, чем это заметит клиент
•Построение и поддержка batch и ELT пайплайнов, на которых держится ML-работа, с использованием Python, PySpark и облачных сервисов данных (например, AWS Glue, EMR, S3, Redshift, Athena или эквиваленты Databricks / Snowflake), принятие обоснованных решений по архитектуре, моделированию данных и инструментам, взвешивание компромиссов между производительностью, стоимостью и поддерживаемостью
•Владение и постоянное улучшение CI/CD для data и ML воркфлоу, обеспечение надёжных и повторяемых деплоев как пайплайнов, так и моделей
•Менторство и поддержка junior и mid-level data-инженеров, код-ревью и обмен знаниями для повышения стандарта поставки в команде
•Решение сложных проблем в живых data-пайплайнах и задеплоенных моделях, выступление точкой эскалации для более широкой команды
•Партнёрство с data scientists, кросс-функциональными командами и клиентскими стейкхолдерами для понимания требований к данным и ML и превращения их в технические решения
Требования
•Практический опыт построения data- и feature-пайплайнов, лежащих в основе продакшен ML: подготовка тренировочных данных, feature engineering и feature stores; понимание, почему воспроизводимость и point-in-time correctness важнее, чем кажется на первый взгляд
•Практический (а не только теоретический) опыт работы с MLOps: версионирование моделей и реестры, трекинг экспериментов, автоматизированное переобучение и мониторинг дрифта и деградации моделей (MLflow, SageMaker, Databricks ML, Vertex AI или аналоги)
•Уверенное владение ML-фреймворками, такими как scikit-learn, PySpark MLlib или PyTorch / TensorFlow — достаточное, чтобы вывести работу data scientist в продакшен, понимать, что модели нужно от данных, и замечать, где пайплайны обучения и инференса незаметно разошлись. Не обязательно самому проектировать модели
•Опыт проектирования и эксплуатации продакшен data-пайплайнов на современной облачной платформе данных: AWS (Glue, EMR, Redshift, S3/Lake Formation), Databricks, Snowflake или аналоги; умение рассуждать, какие из этих решений переносимы на другую платформу, а какие нет
•Глубокие знания SQL и практический опыт моделирования данных (например, Kimball, medallion/lakehouse паттерны или domain-driven моделирование) — это базовый, независимый от провайдера навык, лежащий почти под всей пайплайн-работой
•Сильный Python и PySpark для batch-обработки, с продакшен-качественным, хорошо протестированным кодом. Основная часть работы — batch и ELT, но требуется опыт работы с событийно-ориентированными или микро-batch пайплайнами и понимание, где перестают работать проектные допущения
•Опыт владения оркестрацией в продакшене: проектирование зависимостей, retries, SLA и наблюдаемость, которая сообщает о падении пайплайна раньше клиента
•Опыт поставки data engineering работы с ограниченным контролем, включая управление CI/CD и поддержку
•Опыт менторства или поддержки развития менее опытных инженеров
•Готовность напрямую работать со стейкхолдерами, превращая неоднозначные требования в технические решения, представлять свою работу, оценки, обсуждать компромиссы и риски
Условия
•Удалённый формат работы, гибкий и гибридный форматы также доступны
•Доверие к сотрудникам в управлении своим временем, баланс между коллаборацией с клиентами и сфокусированной работой; важен результат, а не занятость
•Поддерживающая и дружелюбная культура, окружение любознательных профессионалов
•Офисные хабы в Эдинбурге, Лидсе, Манчестере, Лондоне и Болгарии, с периодическими поездками к клиентам или в офисы CreateFuture при необходимости
•Инвестиции в профессиональный и личностный рост
Процесс найма
•Звонок с командой по подбору персонала
•Интервью по роли на оценку компетенций
•В зависимости от роли — короткая презентация, практическое/техническое задание или разговор о ценностях (детали сообщаются заранее)
