Локация
Москва, м. Кутузовская; гибридный или офисный формат
Компания
Сбер развивает команду Gigadata, которая собирает качественные данные для обучения передовых моделей ИИ.
Что делать
•Определять техническую стратегию и целевую архитектуру системы.
•Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая шардирование и геораспределение.
•Создавать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
•Разрабатывать критичные компоненты краулера, проводить профилирование и нагрузочное тестирование, устранять узкие места.
•Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость облачной инфраструктуры; исследовать HTTP/3, QUIC, eBPF и io_uring.
•Руководить командой из 3–6 инженеров: планировать работу, проводить код-ревью и 1-1, менторить разработчиков и взаимодействовать со смежными командами.
Требования
•Знание Python и Go; коммерческий опыт разработки на обоих языках от 7 лет.
•Опыт работы не менее 2 лет в роли техлида или тимлида.
•Экспертиза в проектировании распределённых высоконагруженных систем, рассчитанных на миллионы RPS и петабайты данных.
•Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC, а также асинхронного и параллельного программирования.
•Опыт построения систем краулинга или аналогичных data acquisition систем, микросервисной и event-driven архитектуры.
•Практический опыт с Kafka, Redis, PostgreSQL, ClickHouse, Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами tcpdump, strace, perf и eBPF.
Хорошо, если есть
•Знание Rust или C++ для разработки высокопроизводительных компонентов.
•Опыт масштабного краулинга, геораспределённых систем, io_uring, eBPF и zero-copy networking.
•Опыт применения ML для оптимизации crawl-стратегий.
•Публичные выступления и публикации.
Культура и преимущества
•Участие в DS&AI community с более чем 600 специалистами.
•Возможность быть соавтором НИРов и статей для международных конференций.
•Ежегодный пересмотр зарплаты и годовая премия.
•Более 400 образовательных программ СберУниверситета.
•Расширенный ДМС, страхование семьи, корпоративная пенсионная программа и корпоративный спортзал.
•СберПрайм, скидки у компаний-партнёров и вознаграждение за рекомендации.
