Описание
На крупный проект требуются специалисты. Удалёнка!
Требования:
•Уверенное понимание принципов построения дата-платформ (DWH, OLAP, Data Lake, Lakehouse)
•Знание методологий проектирования модели данных (Kimball, Data Vault), реальный опыт применения их на практике для проектирования моделей данных
•Навыки работы с большими объемами данных (миллиарды записей, ТБ данных)
•Экспертное знание SQL
•Знание РСУБД (PostgreSQL, Oracle, MS SQL)
•Понимание принципов и опыт работы с MPP-системами (GreenPlum, Clickhouse, Trino)
•Умение анализировать существующие потоки данных, их зависимости (ETL/ELT, Airflow)
•Умение систематизировать слабоструктурированные требования в формате описания витрин данных
•Сильные навыки коммуникации для общения на одном языке с: бизнес-заказчиками, разработчиками, админами
•Опыт оптимизации сложных запросов
•Навыки планирования и управления рабочим временем
•Навыки постановки задач в смежные подразделения
•Опыт работы с распределенными хранилищами (Hadoop, S3)
•Грамотная устная и письменная речь
Обязанности:
•Анализ потребностей бизнеса в подготовленных данных
•Подготовка требований в части методологии расчета показателей
•Проектирование модели данных презентационных и детальных слоев данных
•Поиск релевантных источников данных, профилирование данных в источниках, а также в контуре платформы данных
•Разработка алгоритмов построения витрин данных и объектов детального слоя
•Разработка прототипов витрин и согласование их с потребителем
•Сопровождение разработки витрин на всех этапах рабочего процесса: разработка потоков, тестирование, UAT, передача на поддержку, решение инцидентов на 3-ей линии поддержки
•Оценка вычислительных ресурсов, необходимых для решения задачи (сайзинг стораджа и компьюта)
•Оценка трудозатрат на выполнение доработок
•Определение логики проверки качества данных и имплементация ее для создаваемых витрин
