Описание
Команда сбора данных ищет источники, занимается веб-краулингом, загрузкой и лицензированием разнообразных высококачественных датасетов для обучения языковых моделей. Системы команды поставляют петабайты текстов в обучающие пайплайны.
Задачи
•Проектировать, развивать и поддерживать масштабируемую инфраструктуру веб-краулинга для обработки миллиардов страниц на разных языках и из разных доменов
•Развивать пайплайны загрузки данных, преобразующие сырой контент в структурированные, дедуплицированные и обогащённые метаданными датасеты
•Разрабатывать алгоритмы планирования и приоритизации краулинга для повышения актуальности, покрытия и разнообразия данных с учётом ограничений вычислительных ресурсов и пропускной способности
•Создавать и поддерживать системы поиска и индексирования, чтобы исследователи и инженеры могли находить, запрашивать и отбирать данные из полного корпуса
•Определять вместе с командой обработки данных схемы, сигналы качества и интерфейсы передачи данных между этапами сбора и подготовки
•Обеспечивать наблюдаемость систем: настраивать метрики, логирование, оповещения и инструменты для быстрого реагирования на инциденты
•Оценивать и подключать внешние источники данных, согласовывать технические требования к форматам поставки и API
•Помогать команде выбирать технические решения, проводить архитектурные обсуждения и участвовать в проверке кода
•Повышать инженерную зрелость направления
•Наставлять инженеров команды и распространять лучшие практики проектирования, эксплуатации и развития систем сбора данных
Требования
•Высшее образование в области информатики, математики или смежной области
•Не менее 6 лет опыта в разработке ПО, из них не менее 3 лет — в создании масштабных распределённых систем
•Глубокая экспертиза в веб-краулинге, скрейпинге или информационном поиске в масштабе миллиардов документов
•Уверенное владение Python, Go или C++
•Опыт работы с Kubernetes или аналогичными системами оркестрации контейнеров
•Практический опыт работы с распределёнными системами хранения данных и базами данных типа «ключ — значение» или документоориентированными базами
•Хорошее понимание сетевых протоколов и веб-стандартов, важных для краулинга
•Опыт ведения сложных технических инициатив от архитектурного замысла до эксплуатации в рабочей среде
•Способность быть техническим лидером команды, аргументированно принимать решения, согласовывать архитектурный подход с инженерами и развивать экспертизу коллег
•Сильные письменные и устные коммуникативные навыки, умение влиять на технические решения при взаимодействии с разными командами
•Будет плюсом: опыт работы с YTSaurus, эксплуатации веб-краулеров петабайтного масштаба, работа в области NLP, извлечения текста или определения языка для многоязычных корпусов, наставничества инженеров и неформального лидерства в сильной технической команде
Условия
•Кластеры YTSaurus с большим количеством ресурсов: десятки петабайт и десятки тысяч ядер
•Сильная команда выпускников МФТИ, ВШЭ и МГУ, многие имеют опыт работы в профильном бигтехе
•Комфортный современный офис рядом с метро «Кутузовская»
•Гибридный график: 2 дня в офисе, 3 дня на удалёнке
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Обучение для профессионального и карьерного развития
•Расширенный полис ДМС с первого дня работы и страхование для семьи
•Льготная программа ипотеки для сотрудников
•Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров
•Вознаграждение за рекомендацию друзей в команду Сбера
