Описание
Команда превращает большие объёмы данных в полезные инсайты для аналитиков и сервиса, помогающего людям путешествовать. Продукт быстро растёт; команда развивает собственное хранилище данных. Оно построено на YTsaurus и ClickHouse, а для ETL-процессов используется внутренний фреймворк.
Задачи
•Разрабатывать, сопровождать и проверять ETL-процессы поставки данных
•Создавать конвейеры для извлечения, преобразования и загрузки данных из разных источников, настраивать расписание и мониторинг
•Проверять и улучшать существующий код, исправлять ошибки и документировать преобразования и потоки данных
•Проектировать структуру хранения данных на разных уровнях хранилища
•Определять схемы организации данных, разрабатывать модели, настраивать партиционирование, индексацию и сжатие
•Согласовывать структуры с командами аналитики и разработки, адаптировать схемы при изменении бизнес-процессов
•Выявлять и оптимизировать неэффективные участки процессов поставки данных
•Анализировать время выполнения ETL-задач, профилировать данные, обнаруживать аномалии и избыточность
•Пересматривать алгоритмы преобразования данных, чтобы снизить нагрузку на систему
•Изучать бизнес-процессы и ключевые метрики, разбираться в расчёте показателей и источниках данных
Требования
•Опыт проектирования DWH, включая слои, модели хранения данных и ETL-процессы
•Опыт разработки ETL-процессов на Apache Airflow или аналогах
•Опыт настройки поставок данных через API
•Экспертное знание SQL
•Владение одним из языков высокого уровня: Python, Go, Java или другим
•Понимание устройства и архитектуры реляционных баз данных
•Знание основных алгоритмов и структур данных, особенно применяемых для работы с большими данными
•Будет плюсом опыт работы хотя бы с одной MPP-СУБД и понимание принципов распределённой обработки данных
Условия
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•ДМС включает медицинскую помощь, страхование от несчастных случаев, лечение критических заболеваний, стоматологию и коррекцию зрения
•Онлайн-консультации с психологами, психотерапия в офисах с соответствующим кабинетом
•Ежегодные чекапы и вакцинация по ДМС
•30 дней больничного в году оплачиваются в размере полной зарплаты
•Ведение беременности и роды оплачиваются сотрудницам и жёнам сотрудников со стажем более двух лет
•Для детей и супругов доступна страховка по системе 80/20: компания оплачивает 80% стоимости ДМС
