Локация
Москва, гибридный формат с работой из офиса
Компания
Яндекс развивает Поиск, поисковые индексы и сервисы обработки веб-данных на масштабах десятков тысяч вычислительных ядер и десятков петабайт данных.
Что делать
•Проектировать архитектуру и разрабатывать сервисы потокового построения основной базы Поиска.
•Переводить построение базы объёмом в сотни миллиардов документов с пакетной MapReduce-обработки на event-driven-архитектуру.
•Развивать поисковые индексы и внедрять доставку новых данных совместно с командами качества и рантайма Поиска.
•Улучшать сервисы предоставления фавиконок, определения зеркал и дублей веб-страниц, а также обработки пользовательских факторов ранжирования.
•Повышать отказоустойчивость сервисов, оптимизировать потребление памяти и внедрять новые форматы сжатия и алгоритмы определения дублей.
Требования
•От 3 лет опыта разработки.
•Хорошее знание базовых алгоритмов и структур данных.
•Хорошее знание C++ и паттернов построения программного обеспечения.
•Умение писать надёжный и читабельный многопоточный код.
•Готовность работать в гибридном формате в московском офисе.
Хорошо, если есть
•Опыт работы с большими данными.
•Опыт построения распределённых систем потоковой обработки данных.
•Знакомство с Python.
Культура и преимущества
•Работа с поисковыми индексами и сервисами, обрабатывающими большие объёмы данных.
•Использование потоковых фреймворков, распределённых персистентных очередей, KV-хранилищ и MapReduce-системы YT.
•Возможность влиять на скорость доставки данных в Яндекс Поиск и эффективность вычислительной инфраструктуры.
