WILIX

Data Engineer (Hadoop)

Коротко

Дата-инженер для проектирования и разработки потоков данных, хранилищ и витрин для внешних проектов в ритейле, EdTech и банковской сфере — работа в IT-компании, развивающей аутстаффинг. Требуется опыт 3–6 лет с Hadoop/HDFS/Hive, Spark, Kafka, Greenplum, PostgreSQL, уверенное знание SQL и Java или Python. Нужно развивать архитектуру DWH, оптимизировать запросы и администрировать Hadoop/Linux с пониманием CI/CD. Формат — удалённая работа на проектной основе (контракт/фриланс).

Локация
Москва, Россия; удалённая работа
Зарплата
180 000–240 000 ₽ в месяц до вычета налогов
Компания
Аккредитованная IT-компания, создающая корпоративные системы и развивающая направление аутстаффинга для проектов в ритейле, EdTech, банкинге и других отраслях.
Что делать
•Проектировать и разрабатывать потоки данных на ETL/ELT-инструментах.
•Создавать кастомные трансформации, прототипы и витрины данных.
•Анализировать производительность, масштабировать системы и оптимизировать SQL-запросы и структуры баз данных.
•Разрабатывать процедуры на PL/pgSQL и программный код, проводить тестирование.
•Развивать архитектуру DWH, участвовать в выборе технологий, методологий и инструментов.
•Создавать базу знаний для пользователей DWH и взаимодействовать с проектными командами.
Требования
•Опыт работы от 3 до 6 лет и знание принципов построения хранилищ данных.
•Опыт с Hadoop/HDFS/Hive, включая YARN, Spark, Kafka, NiFi, Sqoop или Flume.
•Уверенное знание SQL, включая DDL и DML, а также опыт оптимизации запросов.
•Опыт работы с Greenplum и PostgreSQL.
•Знание Java или Python с NumPy и Pandas; Scala будет преимуществом.
•Опыт администрирования Hadoop/Linux, сопровождения и мониторинга информационных систем, понимание CI/CD и работы с Jenkins или GitLab.
Хорошо, если есть
•Опыт работы с Airflow и dbt.
•Опыт работы с ClickHouse.
•Опыт в консалтинге или на проектах с несколькими заказчиками.
•Умение документировать решения и напрямую взаимодействовать с бизнес-заказчиком.
Культура и преимущества
•Разнообразные проекты ведущих компаний из разных отраслей.
•Возможность профессионального развития и освоения новых технологий.
•Работа в команде профессионалов.

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте