Задачи
•Разрабатывать функциональность сервиса на Python
•Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне
•Реализовывать обработку, преобразование и агрегацию связей между объектами данных
•Работать с большими объёмами данных с использованием PySpark, pandas и SQL
•Работать с Hadoop-стеком: HDFS, Spark и Hive
•Дорабатывать существующий фреймворк автоматизированного тестирования
•Разрабатывать и поддерживать автотесты для создаваемой функциональности
•Участвовать в анализе и устранении дефектов
Требования
•Опыт разработки на Python от 2 лет
•Практический опыт работы с PySpark и pandas
•Отличное знание SQL
•Опыт работы со стеком Hadoop: HDFS, Spark и Hive
•Понимание принципов обработки больших объёмов данных
•Опыт написания автоматизированных тестов на Python
•Готовность отвечать за качество разработанной функциональности и её автоматизированную проверку
•Умение разбираться в существующем коде и самостоятельно решать технические задачи
Будет плюсом
•Опыт работы с Data Lineage, Data Governance или Metadata Management
•Oracle, PostgreSQL и Greenplum
•Понимание принципов построения DWH и витрин данных
•Опыт работы с графовыми структурами данных
•Использование pytest или аналогичных инструментов тестирования
Условия
•График 5/2
•Формат: гибрид, Москва
