Описание
KION — это часть цифровой экосистемы МТС. Мы создаем оригинальный развлекательный контент, развиваем сервисы для просмотра фильмов и сериалов на любом устройстве. Наш флагманский проект — современный онлайн-кинотеатр KION, который предлагает более 200 телеканалов, тысячи фильмов, сериалов, мультфильмов и документальных проектов. Наша команда занимается внедрением lakehouse нового поколения, в котором мы разделяем compute от storage. Есть текущий проект с DWH в виде Greenplum и Hadoop, который планируется перевести в поддержку.
Задачи
•Разрабатывать и проводить рефакторинг ETL/ELT пайплайнов на pyspark
•Разрабатывать и поддерживать OLAP движки Starrocks/Clickhouse
•Поддерживать текущие пайплайны на Greenplum и Hadoop
•Осуществлять миграцию с HDFS на S3
•Проводить оптимизацию Spark-приложений
Требования
•Опыт работы с Python от 3 лет
•Глубокое знание SQL и опыт работы с большими данными
•Опыт работы с Apache Airflow
•Опыт проектирования и разработки ETL/ELT процессов
•Опыт работы с колоночными БД (ClickHouse)
•Знание принципов построения Data Warehouse и Data Lake
•Понимание разницы между OLTP/OLAP системами
•Уверенная работа c linux и git
•Понимание процессов ci/cd
Условия
•Оклад + годовой бонус при выполнении KPI
•ДМС с первого месяца работы и страховка для поездок за границу
•Возможность участия в волонтерских программах: благотворительные ярмарки, образовательные проекты для детей, экологические проекты
•Корпоративная программа «ON Медиа Спорт»: оплачиваем внешние спортивные забеги, марафоны, турниры по разным видам спорта
