Инженер данных в DWH Лавки — RT/NRT и AI‑агенты
Команда DWH Лавки работает над хранилищем, которое поддерживает аналитику и ключевые операционные процессы бизнеса. Сейчас мы развиваем направление RT/NRT‑данных для AI‑систем Лавки.
Мы работаем со следующим стеком технологий:
•Python, SQL и YQL
•Внутренний Code Driven фреймворк DMP Suite
•YT, Greenplum и ClickHouse
•Apache Flink / Flink Flow и LogBroker для потоковой обработки
•Встроенные инструменты Data Quality, мониторинга и управления ETL‑процессами
Какие задачи вас ждут:
Развитие поставок данных
Проектировать и развивать RT/NRT‑поставки данных для разных сценариев работы продуктовых команд — например, для жизненного цикла заказа, работы сотрудников, складских операций и отслеживания доступности товаров.
Проектирование RT‑данных
Помогать системным аналитикам и продуктовым командам проектировать RT‑данные: подбирать источники и способы обработки, определять модель событий, контракты, требования к свежести и качеству данных.
Поиск возможностей по RT‑данным
Искать новые способы работы с RT‑данными, разрабатывать универсальные подходы и помогать внутренним заказчикам разобраться, какие задачи можно решить с их помощью.
Инженерные задачи и развитие DWH
Вести инженерные задачи: исследование процессов и источников данных, запуск решений в промышленную эксплуатацию, контролирование их работы и безопасное развитие DWH, который имеет большой граф зависимостей.
Мы ждём, что вы
•Проектировали и поддерживали промышленные RT/NRT‑пайплайны
•Занимались разработкой в крупном DWH или распределённой платформе
•Умеете проектировать надёжную обработку событийных данных
•Уверенно владеете Python и SQL
Почему у нас хорошо:
Мы предоставляем полный набор, который поможет уберечься от тревожности и выгорания: ежегодные медицинские чекапы, йога и психотерапия.
