О проекте
В связи с расширением, в команду разработки платформ BigData ищем Старшего Разработчика.
Предстоит заниматься техническими задачами с командой дата-инженеров, реализовывать с ними различные витрины данных и ETL процессы доставки данных в стеке BigData, совместно с лидом команды и проджект-менеджерами формировать бэклог работ.
Наш стек
•В процессе миграция с: Hadoop (Oozie, Hive, YARN), данные в Parquet и ORC, Spark, Scala и Python
•Мигрируем в: MinIO + Apache Iceberg, Spark, Airflow с внутренним управляющим механизмом, Kubernetes, данные в Parquet
•Также работаем с: Kafka, различные API, Tarantool, Oracle, Greenplum
•Git, Confluence, Jira, CI/CD
Чем предстоит заниматься
•Главный проект – миграция Datalake с Hadoop-Hive-Oozie на MinIO-Iceberg-Spark-Airflow
•Совместно с проджект-менеджером и техлидом составлять работы команды
•Совместно с техлидом направлять команду по техническим и процессным аспектам, обеспечивать наставничество, участвовать в проработке стандартов разработки, связанных с ней методологий и документирования
•Обеспечивать по необходимости технические консультации по работе ПО для: сопровождения системы, смежных подразделений, заказчикам
•Обеспечивать по необходимости помощь сопровождению в стабилизации работы ПО в проде
•Вместе с командой разрабатывать решения и документацию для них, принимать участие в тестировании
Что мы ждем от вас
•Опыт работы в разработке ПО: от 6 лет
•Опыт работы в стеке BigData: от 3х лет
•Отличные знания Apache Spark и опыт работы с ним
•Отличные знания Apache Hive или Apache Iceberg и опыт работы с ними
•Хорошие знания Apache Airflow и опыт работы с ним
•Хорошее владение SQL (вложенные запросы, pivot-ы) и опыт работы с данными на нём
•Хорошее владение Python или Scala и опыт работы с ними
•Умение работать с командной строкой ОС семейства Linux
•Хорошие знания различных форматов данных и опыт работы с: XML, JSON, Parquet, ORC
•Знания на начальном уровне других языков программирования (Scala, Python, C, Java и т.п.)
•Опыт формализации требований, проектирования сложных ETL процессов витрин данных
•Умение применять на практике основные UML диаграммы
•Хорошее понимание работы РСУБД
•Хорошее знание способов интеграций систем
•Знания на базовом уровне технологий: Kafka/RabbitMQ, Greenplum, REST API, Docker / Kubernetes
•Навыки декомпозиции крупных задач на более мелкие, понимания их приоритета, делегирования
•Умение объяснять сложное простыми словами, кратко и ёмко общаться с коллегами
•Уметь не только слушать, но и слышать
•Уметь писать понятную документацию
Что мы предлагаем взамен
•Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования + квартальная премия по результатам KPI
•Гибридный формат работы (2/3 дня офис), либо удаленка, а также уютный ИТ-хаб в Москве
•Сложные и интересные задачи, современный стек технологий
•Заботу о вашем здоровье: программа ДМС с первых дней работы, куда входит стоматология, обслуживание в лучших клиниках города, страхование и компенсация 10-ти дней больничного
•Возможность вертикального и горизонтального карьерного роста: регулярно проходят тренинги, вебинары, митапы и демо-дни
•Оплату посещения профильных конференций и курсов, помогаем с подготовкой к публичным выступлениям и написанием статей на Хабр
•Доступ к бесплатным корпоративным библиотекам Alpina Digital, MyBook и бизнес-изданий
•Предложения от Банка только для сотрудников: собственные спортзалы (Москва, Санкт-Петербург, Екатеринбург), а также скидки на услуги туристических агентств, продукты питания, в рестораны, бары, магазины
