Описание
Компания формирует отдельное направление мастер-данных и развивает его технический контур: операционные хранилища, интеграционные потоки, историю изменений, правила обработки и контроль согласованности данных. Melon Fashion Group работает на рынке модного бизнеса России и организует полный цикл fashion-бизнеса: моделирование, производство, закупку, распределение, продажу и продвижение женской одежды.
Задачи
•Проектировать структуры операционных хранилищ и модели мастер-данных
•Разрабатывать процессы загрузки, обработки, хранения и передачи данных
•Создавать пакетные и потоковые интеграции между информационными системами
•Настраивать получение изменений из систем-источников, включая механизмы CDC
•Реализовывать правила нормализации, сопоставления, дедупликации и консолидации данных
•Обеспечивать хранение истории изменений мастер-данных
•Готовить данные для передачи в DWH и другие системы-потребители
•Разрабатывать проверки качества данных, технические и бизнес-сверки
•Настраивать мониторинг, журналирование и обработку ошибок
•Анализировать причины расхождений, задержек и сбоев в интеграционных процессах
•Участвовать в выборе архитектурных и технологических решений
•Сопровождать и развивать разработанные решения в промышленной эксплуатации
Требования
•Уверенно владеть SQL
•Иметь опыт разработки на Python
•Иметь опыт проектирования структур и моделей хранения данных
•Иметь опыт создания ETL- или ELT-процессов
•Понимать принципы пакетной и потоковой обработки данных
•Понимать интеграционные паттерны и способы передачи данных между системами
•Уметь работать с реляционными СУБД
•Понимать механизмы обеспечения целостности и согласованности данных
•Иметь опыт настройки журналирования, мониторинга и обработки ошибок
•Уметь самостоятельно прорабатывать техническое решение и доводить его до промышленной эксплуатации
Будет плюсом
•Опыт работы с Kafka, Flink, Debezium, Apache Airflow, ClickHouse, Git и CI/CD
•Практический опыт реализации CDC-процессов
•Опыт разработки MDM-решений и систем контроля качества данных
•Опыт построения автоматизированных сверок
•Опыт интеграции с API, брокерами сообщений и внешними информационными системами
•Опыт контейнеризации
•Понимание событийно-ориентированной архитектуры
Условия
Условий в вакансии нет
