Описание
Команда подготовила инфраструктуру на базе Hadoop и GreenPlum для загрузки, обработки и построения витрин данных. Она уже подключила данные нескольких продуктов холдинга и планирует масштабировать инфраструктуру, запускать потоковое получение данных, подключать новые источники и развивать качество данных, Data Catalog и Data Lineage.
Задачи
•Разрабатывать и дорабатывать ETL-процессы в Airflow
•Подключать новые источники данных
•Создавать и дорабатывать витрины
•Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
•Работать с большими объёмами данных
•Развивать процессы контроля качества данных
•Влиять на технические решения и повышать качество сбора, хранения и поставки данных
Требования
•От 1 года опыта работы с данными
•Отличное знание SQL, включая JOIN, оконные функции и процедуры
•Умение профилировать и оптимизировать запросы, понимание плана выполнения
•Понимание принципов работы реляционных баз данных и архитектуры DWH: ODS, DDS, DM
•Практический опыт работы с Airflow и ETL-процессами
•Базовое знание Python
•Знание Linux и умение работать с командной строкой
•Опыт работы с Git
•Понимание принципов работы Docker
Будет плюсом: опыт работы с большими данными (>100 GB) и DataHub
Условия
•Белая, своевременная и конкурентоспособная заработная плата
•ДМС, включая стоматологию
•Удобное место для работы и современное оборудование
•Гибкий график, начало работы с 8 до 11
•Профессиональный рост, внутреннее обучение, посещение конференций и митапов за счёт компании
