дата-инженер в ОК

Коротко

Дата-инженер в команду DWH Одноклассников, работающую с 30 PiB данных и более чем 1000 ежедневных расчётов: разработка и рефакторинг ETL-процессов, подготовка данных, отчёты в Superset и автоматизация с LLM. Требуется опыт работы с SQL и большими объёмами данных, построения сложных ETL-процессов, знание алгоритмов и структур хранения данных, понимание распределённых систем. Формат — удалённо по РФ, уровень middle.

Описание

Команда DWH Одноклассников работает с 30 PiB данных и более чем 1000 ежедневных расчётов: строит витрины и отчёты, готовит данные для A/B-тестов, передаёт данные другим бизнес-юнитам и переводит расчёты на новые технологии.

Задачи

•Строить новые и рефакторить старые ETL-процессы

•Выполнять разовые задачи по выгрузке и подготовке данных, при необходимости автоматизировать их

•Участвовать в доработке платформы и фреймворка расчётов

•Разрабатывать отчёты в Superset

•Автоматизировать процессы с использованием LLM

Требования

•Опыт работы с SQL и большими объёмами данных

•Опыт построения сложных ETL-процессов

•Знание базовых алгоритмов и структур хранения данных, понимание принципов работы распределённых систем

Будет плюсом: опыт работы с ClickHouse, Spark, Hadoop-стеком, Java, Airflow, YTsaurus, YQL и LLM

Условия

•Гибкий график работы

•Офис в центре города

•ДМС

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Хватит откликаться.Получите рекомендацию.

Похожие вакансии

Хватит откликаться.
Получите рекомендацию.