Чем предстоит заниматься:
•Изучение сырых данных, как на источнике, так и в Storage
•Тесное взаимодействие с командами Data Science и ML
•Разбор и устранение сложных инцидентов производительности в ClickHouse, PySpark
•Проектирование и построение витрин данных в ClickHouse
•Разработка и модификация ETL/ELT-процессов для Data Mart
•Проведение код-ревью
Вам потребуется:
•Опыт работы от 3 лет (на аналогичной позиции или схожей)
•Практический опыт построения платформ данных с использованием Apache Iceberg на S3-совместимых хранилищах или Hadoop
•Уверенное владение Python (включая PySpark)
•Продвинутый опыт работы со PySpark (batch) с большими объемами данных
•Опыт проектирования таблиц в ClickHouse
•Опыт работы с ClickHouse
•Отличное знание SQL и опыт оптимизации под большие объёмы данных
•Разработка, оптимизация и масштабирование ETL/ELT-процессов
•Разработка и поддержка витрин данных для аналитики и бизнес-отчетности
•Взаимодействие с аналитиками, специалистами Data Science и ML
•Понимание принципов Data Lake / Data Lakehouse
Будет плюсом:
•Опыт работы с Hive
•Опыт работы Apache Airflow
•Понимание принципов MLOps
•Опыт работы с Kafka
•Опыт работы со Spark (streaming)
•Понимание принципов Lakehouse
•Опыт работы с кластером ClickHouse
•Участие в проектировании и развитии архитектуры хранилищ данных (DWH) и озёр данных (Data Lake)
•Понимание различных моделей данных (Star/Snowflake, Data Vault, Anchor Modeling)
Мы предлагаем:
•Профессиональное развитие в крупной MedTech компании
•Оформление по ТК РФ с первого дня в дочернюю аккредитованную ИТ компанию
•Удаленный/гибридный формат работы
•Здоровье и поддержка: полис ДМС с телемедициной, консультациями узких специалистов и психотерапевта. Корпоративные скидки до 50% на все виды медицинских услуг для вас и ваших близких
•+ 3 дня оплачиваемых выходных
•Подарок на День рождения и для детей к Новому году и Дню знаний
•Внутреннее и внешнее обучение, семинары, тренинги
•Корпоративные скидки и эксклюзивные специальные предложения от 800+ партнеров (товары, обучение, спорт, здоровье, рестораны, отдых)
•Вознаграждение за рекомендацию друзей в команду ИНВИТРО
Насыщенная жизнь в компании: корпоративные и спортивные мероприятия, профессиональные соревнования, конкурсы для сотрудников и членов семьи, возможности для профессионального и карьерного роста.
