Neoflex

Data Engineer Spark

Коротко

Data Engineer в команду Центра компетенций BDS компании Neoflex, занимающуюся проектом миграции данных из 87 источников на единую платформу. В работе — построение хранилищ на Hadoop, GreenPlum, PostgreSQL, разработка ETL процессов и витрин в Hive с помощью внутреннего фреймворка. Требуется уверенный SQL и базовые представления о Java/Python, желателен опыт с Hive, Spark, Oozie, Airflow. Формат работы — гибрид или удалённо, подходит для специалистов из филиалов компании.

О компании
Neoflex — аккредитованная IT компания. За 20 лет работы создали 12+ готовых решений для бизнеса, также занимаются заказной разработкой программного обеспечения.
Команда расширяется в рамках проекта по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.
Проект
Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работа с витринами и разработка ETL процессов.
Стек
Spark, Hadoop, Hive, Hue, Jupyter.
Что нужно делать
•Заниматься определением источников, выявлением проблем с качеством данных в источниках
•Разработка схем данных конечных витрин в Hive по утвержденному проекту
•Маппинги атрибутов источников на приёмник
•Разработка ETL-процессов с помощью внутреннего фреймворка
•Реконсиляция данных, написание базовых тестов на качество данных
Что мы хотели бы видеть
•Уверенный уровень SQL (в пределах стандарта, без привязки к СУБД)
•Представления о Java / Python
Желательно
•Опыт работы с Hive, Spark
•Опыт работы с Оozie, Airflow
•Умение работать с Confluence
•Представление о работе с Jira, Git
Ждём людей из городов наших филиалов: Санкт-Петербург, Нижний Новгород, Саратов, Воронеж, Пенза.
Что ты приобретёшь, присоединившись к нам
•Достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе
•Работа в команде профессионалов, готовых делиться экспертизой
•Официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет:
•Страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, телемедицина, полис ВЗР)
•Сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни
•Обучение детей сотрудников ИТ специальностям
•Компенсация затрат на фитнес и занятия английским языком
•Обеспечение техникой для работы (ноутбук, наушники, мышь)
•Профессиональное развитие в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах)
•Возможность пройти проф.сертификацию
•Прозрачную систему карьерного развития Performance Review
•Персонального наставника с первого дня работы
•Насыщенную корпоративную жизнь: корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения
•Комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте