Neoflex

Data Engineer Spark

Коротко

Data Engineer в команду Центра компетенций BDS компании Neoflex, занимающуюся проектом миграции данных из 87 источников на единую платформу и построением хранилищ на Hadoop, GreenPlum, PostgreSQL. Основные задачи: определение источников, разработка схем данных витрин в Hive, маппинги атрибутов, разработка ETL-процессов на внутреннем фреймворке, реконсиляция и тестирование качества данных. Требуется уверенный SQL и базовые представления о Java/Python, желателен опыт с Hive, Spark, Oozie, Airflow, Confluence, Jira, Git. Работа гибридная или удалённая, подходит кандидатам из городов присутствия компании: Санкт-Петербург, Нижний Новгород, Саратов, Воронеж, Пенза.

О проекте
Мы – Neoflex. Аккредитованная IT компания. За 20 лет работы мы создали 12+ готовых решений для бизнеса, так же занимаемся заказной разработкой программного обеспечения.
Сейчас мы расширяем команду, занимающуюся проектом по миграции данных из 87 источников на единую платформу. Команда входит в Центр компетенций BDS - одно из сильнейших подразделений нашей Компании, экспертов в области работы с большими данными, построения DWH и использующих в работе современный стек BigData: Greenplum, Hadoop, NiFi, Hive, Spark/Scala, PostgreSQL, Informatica, Kafka, Apache Airflow, Apache Griffin.
Проект: Суть проектов связана с построением хранилищ, которые построены на различных базах данных Hadoop, GreenPlum, PosgreSQL. Работаем с витринами и занимаемся разработкой ETL процессов.
Стек: Spark, Hadoop, Hive, Hue, Jupyter.
Что нужно делать
•заниматься определением источников, выявлением проблем с качеством данных в источниках;
•разработкой схем данных конечных витрин в Hive по утвержденному проекту;
•маппингами атрибутов источников на приёмник;
•разработкой ETL-процессов с помощью внутреннего фреймворка;
•реконсиляцией данных, написанием базовых тестов на качество данных.
Что мы хотели бы видеть
•уверенный уровень sql (в пределах стандарта, без привязки к СУБД);
•представления о java / python;
Желательно
•опыт работы с Hive, Spark;
•опыт работы с Оozie, Airflow;
•умение работать с Confluence;
•есть представление о работе с Jira, Git.
Ждём людей из городов наших филиалов Санкт-Петербург, Нижний Новгород, Саратов, Воронеж, Пенза.
Что ты приобретёшь, присоединившись к нам
•достойную оплату труда + компенсационные, стимулирующие и мотивационные выплаты, бонусы за участие в реферальной программе;
•работа в команде профессионалов готовых делиться экспертизой;
•официальное трудоустройство по ТК РФ, аккредитация IT, расширенный социальный пакет: страховка ДМС (с 3-го месяца работы, стоматология, возможность подключения родственников, теле медицина, полис ВЗР), сотрудникам со стажем в Neoflex более 3 месяцев при предоставлении листка нетрудоспособности устанавливается доплата до полного заработка за период болезни, обучение детей сотрудников ИТ специальностям, компенсация затрат на фитнес и занятия английским языком;
•обеспечиваем техникой для работы (ноутбук, наушники, мышь);
•профессиональное развитие - в Учебном Центре (курсы по работе с большими данными, видео лекции, тренажеры, карьерный коучинг, лекции, тренинги, конференции, участие в митапах);
•возможность пройти проф.сертификацию;
•прозрачную систему карьерного развития Performance Review;
•персонального наставника с первого дня работы;
•насыщенную корпоративную жизнь: яркие корпоративы, праздники для детей сотрудников, корпоративные спортивные мероприятия, мотивационные награждения;
•комфортную атмосферу в филиалах компании в городах: Москва, Санкт-Петербург, Нижний Новгород, Пенза, Воронеж, Саратов, Самара, Краснодар.

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте