Описание
Привет! Меня зовут Кирилл, я руковожу группой аналитики качества ответов в Поиске. Наша команда занимается разработкой и анализом сигнала, который помогает оценивать качество ответов Поиска, в том числе генеративных, привносить в него новые полезные свойства, задавать вектор его развития и непосредственно влиять на работу этого сервиса, которым ежедневно пользуются миллионы людей. У нас сильная, целеустремлённая и дружная команда. Будем рады новым коллегам — присоединяйтесь!
Задачи
•Разработка критериев внедрения ML-разметки. Вы будете формулировать количественные и качественные критерии, по которым мы будем определять возможность перехода от ручной разметки к моделям в действующем проекте. В тех случаях, когда полностью отказаться от краудсорсинга не получится, нужно будет разрабатывать принципы и условия частичного перехода на модели.
•Внедрение LLM-разметки в пайплайны для обучения продакшен-моделей. Вам предстоит не только анализировать ML-разметку качества ответов, но и внедрять эту разметку в процессы обучения продакшен-моделей Поиска и Алисы в Поиске — для улучшения качества итогового продукта.
•Улучшение качества разметки ответов Поиска с помощью ML-разметки. Нужно будет искать точки роста в разметке и искать способы улучшить её, например за счёт более продвинутого использования внешней информации (RAG) или привлечения экспертов для разбора сложных случаев.
Требования
•Обладаете аналитическим складом ума и опытом работы с данными
•Хорошо знаете Python и SQL для анализа и обработки данных
•Понимаете принципы работы современных языковых моделей (LLM)
•Умеете оценивать качество моделей машинного обучения и интерпретировать метрики
•Способны ясно формулировать требования к инструментам и системам
•Можете общаться в команде, ясно излагать мысли, понимать и убеждать коллег
Будет плюсом
•Имеете опыт работы с крауд-платформами: Яндекс Заданиями, Толокой, MTurk или аналогами
•Участвовали в разработке или настройке языковых моделей
•Знакомы с промпт-инжинирингом для генеративных моделей
•Работали в проектах по оптимизации процессов или сокращению расходов
•Понимаете специфику разметки данных для поисковых систем
Условия
Условий в вакансии нет
