Локация
Удалённая работа, офис или гибридный формат
Компания
Yandex развивает городские сервисы и аналитическую инфраструктуру для райдтех-направлений.
Что делать
•Проектировать, реализовывать и оптимизировать сложные ETL- и ELT-процессы.
•Развивать DWH и строить пайплайны обработки данных от источников до витрин и отчётов.
•Поддерживать стабильность и качество существующей функциональности, устранять технический долг и автоматизировать процессы.
•Исследовать и пилотировать Flink, Spark, инкрементальное построение и инструменты Data Quality.
•Развивать собственный ETL-фреймворк и интеграции с аналитическими инструментами.
Требования
•От 3 лет опыта.
•Уверенное программирование на Python.
•Знание классических алгоритмов и структур данных.
•Хорошее знание SQL и понимание современных баз данных и фреймворков обработки данных.
•Понимание назначения CI/CD, преимуществ Git и code review.
Хорошо, если есть
•Опыт работы по методологии Agile и участия в проектировании хранилищ данных.
•Знание Hadoop, Spark, Hive, Luigi или Airflow.
•Опыт создания высоконагруженных ETL/ELT-процессов и обработки событий в режиме, близком к реальному времени.
•Опыт работы с Kafka Streams, Flink, Greenplum, Vertica, ClickHouse или Teradata.
•Знание Jupyter, Pandas, SciPy, Matplotlib или Bokeh; публикация кода или статей с примерами работ.
Культура и преимущества
•Можно выбрать удалённый, офисный или гибридный формат работы.
•Работа с большим объёмом данных и инфраструктурой, которой пользуются сотни бизнес-пользователей.
•Возможность участвовать в исследовании, переосмыслении и внедрении новых инструментов.
