Мы развиваем направление аналитики и работы с данными транзакционного бизнеса. Ищем в команду инженера по данным, который будет помогать строить дата-продукты с основным фокусом на разработку в Hadoop-экосистеме.
Обязанности
•анализировать требования бизнеса по получению новых данных, оценивать наличие данных, сложности и риски
•искать зависимости в данных различных источников с учетом бизнес-специфики их хранения
•проектировать и разрабатывать аналитические витрины и ETL/ELT-пайплайны в Hadoop-экосистеме
•разрабатывать и оптимизировать Hive/Spark SQL, SQL-запросы и прототипы
•работать с HDFS, Hive, Spark, форматами хранения Parquet, партиционированием и бакетированием
•тестировать ETL и выявлять баги при построении дата-продуктов
•участвовать совместно с владельцем продукта в процессе приемки витрин данных заказчиками
•развивать экспертизу по вопросам работы с данными внутри команды
•обеспечивать доступность, контроль качества и целостность данных
Требования
•опыт работы в роли DE/DA/ETL Developer не менее 1 года
•практический опыт разработки на Hadoop: Hive, Spark, HDFS, понимание принципов MapReduce/Spark
•отличное знание SQL: вложенные запросы, оконные функции, регулярные выражения, CTE
•понимание MPP СУБД. Опыт Greenplum — будет преимуществом
•знание основных понятий и концепций из области DWH
•знание инструментов DevOps: Git, Nexus, Jenkins, SonarQube; любые IDE
•как плюс — опыт работы с языками программирования: Scala, Java, Python
•умение работать с большим количеством источников данных
Стек
Hadoop, Hive, Spark, SQL, ETL, Git, Jira, IntelliJ IDEA, Jupyter Notebook.
Условия
•комфортный современный офис рядом с м. Кутузовская
•формат работы – офис
•ежегодный пересмотр зарплаты, годовая премия
•корпоративный спортзал и зоны отдыха
•более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
•программа адаптации и помощь руководителя на старте
•расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
•гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
•подписка Прайм с возможностью совместного использования на трёх близких
•вознаграждение за рекомендацию друзей в команду Сбера
