Локация: Москва. Формат работы: офисный, дистанционный или комбинированный.
Компания
OK — социальная платформа VK с командой разработки, дизайна, маркетинга, машинного обучения и поддержки пользователей.
Что делать
•Строить новые и рефакторить существующие ETL-процессы на базе стека YTsaurus.
•Выполнять и автоматизировать ad hoc-выгрузки и подготовку данных.
•Участвовать в развитии платформы и фреймворка расчётов.
•Разрабатывать отчёты в Superset.
•Автоматизировать процессы с использованием LLM.
Требования
•Опыт работы с SQL и большими объёмами данных.
•Опыт построения сложных ETL-процессов.
•Знание базовых алгоритмов и структур хранения данных.
•Понимание принципов работы распределённых систем.
•Уровень: middle.
Хорошо, если есть
•Опыт работы с ClickHouse, Spark, Hadoop-стеком, Java и Airflow.
•Опыт работы с YTsaurus, YQL и LLM.
Культура и преимущества
•Работа с хранилищем объёмом 30 PiB и более чем 1000 ежедневных расчётов.
•Взаимодействие с заказчиками и бизнес-юнитами.
•Возможность влиять на то, каким OK увидят миллионы пользователей.
