Описание
Объединённая компания Wildberries и Russ — международная технологическая компания, образованная в результате слияния Wildberries и оператора наружной рекламы Russ. Команда развивает платформу данных в направлении TNS, которая собирает, обрабатывает и передаёт данные из разных доменов в потоковом и пакетном режимах. Данные используются в регуляторных сценариях, где важно обеспечивать их полноту, свежесть и воспроизводимость.
Задачи
•Разрабатывать и сопровождать потоковые приложения на Apache Flink: подключать новые домены и типы событий, реализовывать дедупликацию, идемпотентную обработку, обогащение через Redis и маршрутизацию невалидных событий в DLQ
•Обеспечивать полноту и качество потоков: контролировать задержки, пропуски, дубли, объёмы, свежесть и расхождения между источником и целевым хранилищем; участвовать в восстановлении и дозагрузке данных
•Развивать пакетные конвейеры в Apache Airflow: выполнять регуляторные выгрузки день в день и массовые загрузки в Cassandra, проверять полноту, свежесть и результаты загрузки
•Подключать новые источники: разбираться в семантике событий, идентификаторах, ключах партиционирования, формате данных, сроках хранения, владельцах и ограничениях источника
•Документировать Cassandra и потоки данных, вести инструкции по эксплуатации и разборы инцидентов
•Участвовать в дежурствах по регламенту: локализовать инциденты, эскалировать их, объяснять простои и фиксировать пробелы в сборе данных
Требования
•От 2 до 4 лет опыта в инженерии данных или бэкенд-разработке с практическим переходом в направление данных
•Уверенное знание SQL и понимание работы с большими объёмами данных: партиционирование, шардирование, распределённые вычисления, оценка стоимости запросов и поиск узких мест
•Опыт построения корпоративных хранилищ данных и понимание их слоёв
•Практический опыт работы с Kafka: производители и потребители, группы потребителей, ключи и партиционирование, смещения, сроки хранения, повторное чтение и обработка ошибок, DLQ
•Владение Python для задач с данными и Airflow: разработка и сопровождение DAG, идемпотентные задачи, повторные запуски и дозагрузка данных
•Опыт работы с кодом Java во Flink: чтение, доработка и отладка кода, разбор причин перезапусков, контрольных точек и обратного давления
•Практический опыт хотя бы с одной технологией: Cassandra или ClickHouse
•Для Cassandra: понимание моделирования по шаблонам доступа, ключей разделения, срока жизни данных, согласованности и особенностей записи
•Для ClickHouse: оптимизация запросов, работа с кластером и шардами, моделирование таблиц, срок жизни данных и особенности семантики обновления и слияния
•Опыт сопровождения конвейеров Airflow в промышленной среде
•Опыт инженерного цикла: тестирование, CI/CD, контроль качества, мониторинг, оповещения, анализ причин инцидентов и профилактические меры
•Внимательность к SLA и регуляторным ограничениям: система должна обнаруживать, объяснять и помогать восстанавливать данные, которые нельзя терять
•Будет плюсом: самостоятельная разработка конвейеров Flink с состоянием
Условия
•Языковые клубы, корпоративный университет и программы развития управленческих навыков
•ДМС со стоматологией, корпоративный спорт и консультации психолога
•Сообщества по интересам: выступления, футбол, йога и шахматы
•Гибкий подход, помогающий сочетать карьеру и заботу о близких, а также проекты для детей сотрудников
•Скидки и партнёрские программы на обучение, страхование и покупки
•Бесплатное питание в офисе, современные офисы рядом с метро, корпоративная техника и портал для сотрудников
