Локация
Санкт-Петербург; формат работы — удалённо или гибридно.
Компания
VK развивает команду DWH Одноклассников, работающую с 30 PiB данных и более чем 1000 ежедневных расчётов.
Что делать
•Строить новые и рефакторить существующие ETL-процессы на базе стека YTsaurus.
•Решать ad hoc-задачи по выгрузке и подготовке данных, автоматизируя повторяющиеся операции.
•Участвовать в развитии платформы и фреймворка расчётов.
•Разрабатывать отчёты в Superset.
•Автоматизировать процессы с использованием LLM.
Требования
•От 1 года до 3 лет опыта работы.
•Опыт работы с SQL и большими объёмами данных.
•Опыт построения сложных ETL-процессов.
•Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем.
•Готовность работать без чётких технических заданий и плотно взаимодействовать с заказчиками.
Хорошо, если есть
•Опыт работы с ClickHouse, Spark, Hadoop-стеком, Java и Airflow.
•Опыт работы с YTsaurus, YQL и LLM.
Культура и преимущества
•Работа с платформой хранения и анализа больших данных Одноклассников.
•Возможность влиять на развитие технологий и переводить расчёты на новые решения.
•Удалённый или гибридный формат работы.
