Яндекс

дата инженер райдтех-направлений

Коротко

Дата-инженер в команде DWH райдтех-направлений Яндекса — проектирование, реализация и оптимизация ETL-процессов, поддержка стабильности решений и развитие собственного ETL-фреймворка. Компания — крупный IT-бизнес с сотнями внутренних пользователей хранилища данных. Требуется уверенное владение Python, знание классических алгоритмов и структур данных, хороший уровень SQL и понимание CI/CD и Git. Формат работы удалённый, полная занятость.

Описание
Команда DWH снабжает менеджеров и аналитиков данными, которые помогают развиваться новым райдтех-направлениям. Хранилищем пользуются сотни бизнес-пользователей.
Задачи
•Проектировать, реализовывать и оптимизировать сложные ETL-процессы
•Обеспечивать стабильность и качество существующих решений
•Улучшать и автоматизировать процессы, исправлять их и отключать ненужные или устаревшие компоненты
•Исследовать, сравнивать и пилотировать новые технологии и подходы
•Развивать инструменты для обработки данных, включая собственный ETL-фреймворк
Требования
•Уверенно программировать на Python
•Разбираться в классических алгоритмах и структурах данных
•Хорошо знать SQL и понимать устройство современных баз данных и фреймворков обработки данных
•Понимать назначение CI/CD, преимущества Git и проверки кода
Будет плюсом:
•Опыт работы по методологии Agile
•Участие в проектировании хранилищ данных
•Знакомство с Hadoop, Spark и Hive
•Создание сложных высоконагруженных процессов ETL и ELT
•Знание Luigi и Airflow
•Разработка процессов обработки сложных событий в реальном времени с Kafka Streams, Spark или Flink
•Опыт работы с аналитическими базами данных Greenplum, Vertica, ClickHouse или Teradata
•Опыт с аналитическими инструментами Python Jupyter, Pandas, SciPy, Matplotlib или Bokeh
•Публикация кода или статей с примерами работ в открытых репозиториях
Условия
•Расширенная медицинская страховка с первого месяца работы
•Страховка включает плановую и неотложную помощь за рубежом, страхование от несчастных случаев, лечение критических заболеваний, стоматологию и коррекцию зрения после года работы
•Доступны онлайн-консультации с психологами, психотерапия в офисах с соответствующим кабинетом, ежегодные чекапы и вакцинация
•Оплачиваются 30 дней больничного в году с сохранением полной зарплаты
•Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, работающих в компании более двух лет
•ДМС для детей и супругов по системе 80/20: компания оплачивает 80% стоимости, сотрудник — 20%

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте

Ещё в Яндекс