Описание
Мы проектируем и внедряем ключевые элементы архитектуры российского сегмента сети Интернет. Являемся разработчиком передовых программно-аппаратных комплексов для управления телеком-инфраструктурой. Входим в контур группы компаний ПАО «Ростелеком» и являемся стратегическим активом АО «Градиент». Наши аппаратные платформы развернуты на сетях передачи данных ведущих федеральных операторов связи.
О проекте
Мы развиваем систему постанализа сетевого трафика, работающую с высоконагруженными потоками данных.
Задачи
•Проектирование и реализация сложных batch и streaming пайплайнов в новом Lakehouse-стеке
•Участие в построении новой data-платформы с нуля
•Проектирование схем хранения и оптимизация Iceberg-таблиц
•Оптимизация Spark и Trino под highload и near-real-time требования
•Проектирование решений с учётом роста объёмов данных и нагрузки
•Разбор и устранение сложных инцидентов производительности
•Внедрение и развитие практик Data Quality
•Проведение код-ревью
•Менторинг старших инженеров и инженеров данных
•Принятие технических решений в рамках архитектуры платформы
Требования
•5+ лет опыта в Data Engineering
•Продвинутый опыт работы со Spark (batch и streaming)
•Практический опыт построения потоковой обработки на Flink
•Отличное знание SQL и опыт оптимизации под большие объёмы данных
•Уверенное понимание брокеров сообщений: гарантии доставки, порядок, дубли, поведение при переполнении. Не привязано к продукту — у нас Kafka, но важен принцип
•Уверенное владение Python, включая PySpark
•Уверенное владение Java: потоковые джобы пишутся на ней
•Опыт работы с Trino
•Опыт работы с distributed storage (S3 или аналоги)
•Понимание принципов Data Lake / Lakehouse
•Опыт проектирования таблиц под большие объёмы данных (partitioning, compaction, storage layout)
•Опыт работы с Iceberg / Delta Lake или глубокое понимание их принципов
•Понимание принципов построения отказоустойчивых и горизонтально масштабируемых data-систем
•Опыт проектирования и построения data-платформ или крупных подсистем с нуля
•Понимание принципов построения Lakehouse-архитектуры
•Опыт выбора и обоснования технических решений на уровне отдельных компонентов и пайплайнов
•Понимание подходов к масштабированию платформы при росте объёмов данных и нагрузки
•Опыт проектирования решений с учётом отказоустойчивости, производительности и эксплуатационных требований
•Опыт оптимизации Spark-job'ов
•Понимание причин деградации производительности в distributed-среде
•Опыт работы с highload-потоками
•Опыт внедрения и поддержки Data Quality механизмов
•Понимание SLA витрин и требований к near-real-time обработке
•Опыт работы с потоками, где задержка от источника до хранилища нормирована
•Опыт инструментирования пайплайнов метриками и построения по ним оповещений
Будет плюсом
•Опыт работы с различными типами СУБД и хранилищ данных: RDBMS, column-oriented, Graph DB, Search / Full-text engines
•Опыт работы с Kubernetes
•Понимание практик Infrastructure as Code
•Опыт работы с GitOps
•Опыт работы с protobuf и Parquet
•Опыт работы с ClickHouse
•Опыт работы с каталогом данных: описания, происхождение данных, проверки качества
•Опыт работы с BI-системами, в частности Apache Superset
•Понимание различных моделей данных (Star / Snowflake, Data Vault, Anchor Modeling)
•Понимание предметной области: сетевой трафик, потоки и сессии, SNI / IP
Условия
•Работа в аккредитованной IT компании
•Трудоустройство в соответствии с ТК РФ
•Белая заработная плата (оклад обсуждаем с успешным кандидатом после прохождения технического интервью)
•График работы: 5/2
•Возможность работать удаленно
