Описание
Поиск с Алисой помогает отвечать на вопросы в чате и Поиске. Агентский Поиск ищет сведения для решения конкретных задач, проверяет источники и собирает информацию для ответа. Yandex Search API развивается для внешних AI-продуктов.
Задачи
•Выстраивать аналитическое направление Агентского Поиска
•Определять систему оценки качества
•Выбирать приоритеты исследований
•Совместно с ML-командами внедрять подтверждённые улучшения в релиз
•Создавать метрики качества Агентского Поиска
•Проверять метрики на экспертных бенчмарках
•Налаживать регулярную оценку качества в продакшене
•Разбирать сложные запросы и цепочки поисковых действий агента
•Выяснять причины, по которым нужная информация не попала в ответ
•Предлагать эксперименты и помогать другим командам определять приоритеты
•Изучать новые способы отбора документов для AI-агентов
•Создавать прототипы и сравнивать варианты поиска и ранжирования
•Доводить перспективные решения до релиза совместно с командой
•Оценивать фрагменты документов, которые получает языковая модель
•Искать способы сохранять нужные факты, сокращать объём текста и не искажать смысл
•Сравнивать Yandex Search API с другими поисковыми API на открытых бенчмарках и сценариях команды
•Выяснять причины различий в качестве и формулировать проверяемые гипотезы
•Оценивать возможности улучшения внешних AI-продуктов с учётом моделей, доступного контекста, количества поисковых вызовов и времени ответа
Требования
•Самостоятельно выстраивали оценку качества ML-системы или продукта
•Уверенно пишете на Python и умеете самостоятельно собирать эксперименты, обрабатывать результаты и делать расчёты воспроизводимыми
•Владеете SQL для получения и анализа данных
•Знаете теорию вероятностей и математическую статистику
•Умеете планировать эксперименты, оценивать неопределённость результата и интерпретировать результаты A/B-тестов
•Понимаете основы оценки ML-моделей, разделение данных и утечки, а также причины, по которым улучшение на тестовой выборке может не повториться в продукте
•Умеете разбираться в задачах без готовой постановки, выделять проблему, формулировать проверяемые гипотезы, выбирать метрики и проводить проверку
•Умеете объяснять команде выводы и ограничения исследования, предлагать следующие шаги и доводить работу до решения, даже если первая гипотеза не подтвердилась
Будет плюсом:
•Опыт работы с информационным поиском, ранжированием, семантическим поиском или RAG-системами
•Создание бенчмарков и разметки
•Анализ действий AI-агентов
•Использование языковых моделей для оценки качества с проверкой по человеческим оценкам
•Работа с большими данными и превращение исследовательских прототипов в регулярно используемые командой инструменты
•Знание агентных бенчмарков, например BrowseComp или NEEDLE, либо методов оценки полноты и достоверности контекста
Условия
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•Медицинская страховка включает плановую и неотложную помощь за рубежом, страхование от несчастных случаев и лечение критических заболеваний
•Доступны консультации врачей в клиниках и онлайн-консультации психологов, а также психотерапия в офисах с соответствующим кабинетом
•По медицинской страховке доступны ежегодные чекапы, вакцинация, стоматология и экстренная помощь за рубежом
•После года работы медицинская страховка покрывает коррекцию зрения и хирургическое лечение косоглазия
•30 дней больничного в году оплачиваются в размере полной зарплаты
•Оплачиваются ведение беременности и роды для сотрудниц и жён сотрудников, работающих в компании более двух лет
•Медицинская страховка для детей и супругов: компания оплачивает 80% стоимости, сотрудник — 20%
