О команде
Мы — команда платформы данных в направлении Trust & Safety. Делаем данные и признаки для моделей машинного обучения, которые используются в антифроде, модерации контента и других продуктах. У нас есть как потоковая платформа (Databus/Kafka + Flink + Redis/Cassandra), так и "озеро" данных на S3/Apache Iceberg с доступом через Trino.
Мы ищем дата-инженера, который обеспечит расчёт и поставку признаков для ML-моделей — от чтения сырых событий до записи финальных значений в онлайн- и офлайн-хранилища.
Вам предстоит:
•Проектировать и разрабатывать потоковые процессы, которые читают события из Databus/Kafka и считают онлайн-признаки, записывая их в Redis и Cassandra;
•Проектировать и разрабатывать пакетные процессы, которые читают данные из S3/Iceberg через Trino, считают офлайн-признаки и пишут результаты обратно в S3/Iceberg и/или ClickHouse;
•Следить за тем, чтобы один и тот же признак был согласован между обучением и продакшеном (одна логика расчёта, единый контракт);
•Настраивать расписания, пересчёты и бэки, чтобы признаки обновлялись вовремя и выдерживали SLA по свежести;
•Работать с качеством данных: добавлять проверки, мониторить аномалии, разбирать инциденты, когда "признак поехал";
•Совместно с DS и аналитиками придумывать новые признаки и помогать перевести их из экспериментальных скриптов в стабильные пайплайны.
Вы нам подходите, если есть:
•4–5+ лет опыта в роли Data Engineer / Backend+Data;
•Уверенный опыт работы с Kafka-подобными очередями (Databus/Kafka): продюсеры/консьюмеры, партиционирование, ключи, обработка ошибок;
•Практический опыт со streaming-движком (желательно Flink; Spark Structured Streaming подойдёт, если есть реальный прод-опыт);
•Опыт работы с Redis или Cassandra как онлайновым хранилищем данных/признаков;
•Опыт работы с S3-подобным хранилищем и табличным форматом (Iceberg/Delta/Hudi) и доступа к ним через SQL-движок (Trino/Presto/Spark SQL);
•Отличное знание SQL и опыт работы с ClickHouse;
•Python на уровне уверенной разработки data-скриптов и сервисной логики;
•Опыт настройки и сопровождения пайплайнов в Airflow;
•Понимание задач ML-пайплайнов: train/serve skew, пересчёты признаков, влияние задержек и потерь событий.
Стек технологий
•Потоковая обработка и очереди: Databus(Redpanda)/Kafka, Apache Flink (или Spark Structured Streaming при готовности переучиться на Flink (java));
•Онлайновое хранение признаков: Redis, Cassandra;
•Хранение и офлайн-фичи: S3 + Apache Iceberg, доступ через Trino;
•Аналитическое хранилище: ClickHouse;
•Оркестрация и обработка: Airflow, Python, dbt (для batch-части и моделирования в DWH);
•Плюсом будет опыт с одним из feature-store решений (Feast или аналоги).
Условия для сотрудников:
•Забота о семьях: создаем условия, в которых легко сочетать карьеру и заботу о близких — от гибкого подхода до масштабных проектов для детей сотрудников;
•Обучение и развитие: языковые клубы, собственный корпоративный университет, программы развития управленческих навыков и др.;
•Множество сообществ: книжный клуб, сообщества спикеров и амбассадоров, а также множество спортивных команд;
•Благополучие сотрудников: корпоративный пакет ДМС со стоматологией, корпоративный спорт и дополнительные возможности аккредитованной IT-компании;
•Скидки и партнерские программы: мобильная связь, скидки на обучение, страхование, покупки и многое другое;
•Комфортная рабочая среда: питание в офисе, современные офисы рядом с метро, корпоративная техника и сервисы для сотрудников.
