Описание
Сбер создает поисковый сервис, который отвечает на запросы пользователей на естественном языке и предоставляет GigaChat доступ к актуальной информации, включая свежие новости и события.
Задачи
•Определять техническую стратегию и целевую архитектуру системы
•Проектировать масштабируемые системы от миллионов до миллиардов сущностей, включая горизонтальное масштабирование, шардирование и геораспределение
•Принимать ключевые технологические решения по выбору стека, стратегий хранения и архитектурных паттернов
•Проектировать сквозные конвейеры: обнаружение URL, загрузка, разбор, устранение дубликатов, хранение и доставка
•Писать код сложных и критичных компонентов: планировщика обхода, URL-фронтира и системы устранения дубликатов
•Проводить оптимизацию производительности: профилирование, нагрузочное тестирование и устранение узких мест
•Оптимизировать прокси-инфраструктуру и глобальную маршрутизацию трафика
•Исследовать и внедрять HTTP/3, QUIC, eBPF и io_uring для увеличения пропускной способности
•Разрабатывать стратегии оптимизации стоимости инфраструктуры
•Руководить командой из 3–6 инженеров: планировать, декомпозировать и приоритизировать работу
•Формировать и поддерживать технические стандарты, включая Code Review, правила написания кода и архитектурные ADR
•Наставлять разработчиков, проводить встречи один на один и помогать в профессиональном развитии
•Взаимодействовать с потребителями данных и смежными командами при планировании дорожной карты
Требования
•Коммерческий опыт разработки на Python и Go от 7 лет, включая не менее 2 лет в роли технического руководителя или тимлида
•Экспертиза в проектировании распределённых высоконагруженных систем с миллионами RPS и петабайтами данных
•Глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS и QUIC
•Практический опыт построения масштабных систем краулинга или аналогичных систем сбора данных
•Экспертиза в асинхронном и параллельном программировании
•Опыт проектирования микросервисной и событийно-ориентированной архитектуры
•Опыт работы с Kafka, Redis, PostgreSQL, ClickHouse или аналогами
•Уверенное владение Kubernetes, Docker, Terraform и CI/CD
•Опыт работы с облачными платформами
•Навыки глубокого поиска и устранения проблем с использованием tcpdump, strace, perf и инструментов eBPF
•Опыт управления командой: планирование, Code Review, наставничество, встречи один на один и найм
Будет плюсом: знание Rust или C++, опыт работы в компаниях с масштабным краулингом, опыт работы с io_uring, eBPF и zero-copy networking, опыт построения геораспределённых систем, опыт применения ML для оптимизации стратегий краулинга, публичные выступления и статьи.
Условия
•Гибридный формат работы
•Комфортный современный офис рядом с метро «Кутузовская»
•Ежегодный пересмотр зарплаты
•Годовая премия
•Корпоративный спортзал и зоны отдыха
•Система обучения для профессионального и карьерного развития
•Расширенный полис ДМС с первого дня работы
•Страхование для семьи
•Программа ипотеки для сотрудников
•Вознаграждение за рекомендацию друзей в команду Сбер
