Локация
Москва; доступен гибридный формат или работа в офисе работодателя.
Компания
Сбер развивает команду по сбору качественных данных для обучения передовых моделей искусственного интеллекта.
Что делать
•Определять техническую стратегию и целевую архитектуру системы.
•Проектировать распределённые системы, масштабируемые от миллионов до миллиардов сущностей, включая шардирование и геораспределение.
•Создавать end-to-end пайплайны сбора данных: обнаружение URL, загрузка, парсинг, дедупликация, хранение и доставка.
•Разрабатывать критичные компоненты краулера и выполнять performance engineering: профилирование, нагрузочное тестирование и устранение узких мест.
•Оптимизировать прокси-инфраструктуру, маршрутизацию трафика и стоимость инфраструктуры; внедрять HTTP/3, QUIC, eBPF и io_uring.
•Руководить командой из 3–6 инженеров, развивать технические стандарты, проводить code review, 1-1 и менторинг.
Требования
•Коммерческий опыт разработки на Go и Python от 7 лет, включая не менее 2 лет в роли техлида или тимлида.
•Опыт проектирования распределённых высоконагруженных систем с миллионами RPS и петабайтами данных.
•Глубокое понимание TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC.
•Практический опыт создания масштабных систем краулинга или аналогичных систем сбора данных.
•Опыт с асинхронным и параллельным программированием, микросервисной и event-driven архитектурой, Kafka, Redis, PostgreSQL и ClickHouse.
•Уверенное владение Kubernetes, Docker, Terraform, CI/CD, облачными платформами и инструментами troubleshooting: tcpdump, strace, perf и eBPF.
Хорошо, если есть
•Знание Rust или C++ для разработки высокопроизводительных компонентов.
•Опыт работы в поисковых системах, data aggregator-компаниях или проектах с масштабным краулингом.
•Опыт с io_uring, eBPF, zero-copy networking и геораспределёнными системами.
•Опыт применения ML для оптимизации crawl-стратегий.
•Публичные выступления и технические публикации.
Культура и преимущества
•Участие в DS&AI community, объединяющем более 600 специалистов банка.
•Доступ к дайджестам о разработках в DS&AI и материалам международных конференций.
•Возможность быть соавтором научно-исследовательских работ и статей для международных конференций.
•Ежегодный пересмотр зарплаты и годовая премия.
•Расширенный ДМС, страхование семьи, корпоративная пенсионная программа, спортзал и зоны отдыха.
•Более 400 образовательных программ СберУниверситета, подписка СберПрайм и скидки у компаний-партнёров.
