Описание
X5 Tech разрабатывает платформу больших данных и фреймворк инженерии данных — набор инструментов для интеграции источников и создания витрин данных.
Задачи
•Участвовать в разработке фреймворка инженерии данных на платформе больших данных
•Писать эффективные скрипты на Python для обработки и преобразования данных
•Разрабатывать и поддерживать конвейеры извлечения, преобразования и загрузки данных с помощью библиотек Python
•Интегрировать источники данных и создавать витрины данных
Требования
•Учиться в магистратуре по направлению, связанному с IT, прикладной математикой или анализом данных
•Уверенно владеть Python 3, понимать объектно-ориентированное программирование, декораторы, генераторы и контекстные менеджеры
•Иметь опыт работы с Pandas и NumPy
•Понимать принципы работы FastAPI
•Знать принципы чистого и поддерживаемого кода, быть знакомым с PEP 8 и типизацией
•Хорошо знать SQL, уметь писать базовые запросы, использовать объединения таблиц и агрегации
•Понимать оконные функции и основы оптимизации SQL-запросов
•Иметь опыт работы с PostgreSQL или MySQL
•Владеть базовыми навыками работы с Git
•Иметь общее представление об архитектуре Lakehouse и понимать её отличия от классического хранилища данных
•Знать основы Linux
Будет плюсом:
•Базовое понимание асинхронного программирования на Python
•Знакомство с Apache Spark (PySpark) или Dask
•Опыт работы с Apache Airflow
•Понимание форматов Parquet и ORC и табличного формата Iceberg
•Опыт работы с хранилищами S3, MinIO, AWS S3 или VK Cloud
•Знакомство с Trino или Presto
•Опыт работы с dbt или Cosmos
•Базовые знания контейнеризации и Docker
Условия
•Официальное оформление на 6 месяцев с белой заработной платой
•Гибкий график
•Добровольное медицинское страхование с первого дня перехода со стажировки в штат
•Возможность учиться и развиваться за счёт компании: программы развития цифровых и управленческих навыков, мастер-классы, корпоративный университет и школа наставников
•Обмен опытом в 12 технических сообществах
•Внутренние встречи, демо-дни, открытые микрофоны, день IT-специалиста, программы волонтёрства и корпоративного предпринимательства
•Семь спортивных сообществ и ежегодная Неделя здоровья
•Скидки в экосистеме бизнесов X5 и предложения от компаний-партнёров
