Описание
Alice AI — большая языковая модель, которая помогает миллионам людей решать повседневные задачи. Команда отвечает за безопасность и ответственное поведение LLM: готовит данные и обучает модели, разрабатывает автоматизированные системы оценки, исследует риски и принимает релиз-кандидаты.
Задачи
•Исследовать большие объёмы данных и выделять сложные срезы
•Находить потенциально проблемные паттерны
•Формулировать гипотезы о новых классах рисков и проектировать сценарии для red teaming
•Разрабатывать критерии и рубрики оценки
•Собирать evaluation-пайплайны
•Проверять автоматические оценки на человеческой разметке
•Исследовать устойчивость, согласованность и смещения автоматических оценок, а также их precision и recall
•Собирать и проверять обучающие выборки для этапов SFT и RL
•Анализировать ошибки моделей и определять направления улучшения
•Встраивать требования к ответственному поведению в цикл разработки LLM
•Разрабатывать наборы тестов и офлайн-метрики
•Сравнивать релиз-кандидаты с текущей моделью, анализировать регрессии и статистическую значимость изменений
•Оценивать готовность модели к запуску
Требования
•Уверенно владеть Python и SQL
•Самостоятельно работать с данными, исследовать логи и формулировать гипотезы
•Знать математическую статистику и теорию вероятностей, уметь строить эксперименты и интерпретировать результаты
•Ясно излагать мысли, обсуждать решения и аргументированно отстаивать позицию
•Иметь опыт работы с ML-моделями и понимать основные этапы их обучения и оценки
•Создавать LLM-джаджей и автоматизированные оценочные пайплайны или проводить red teaming
•Знать SFT, RLHF/RLAIF и современные подходы к оценке LLM
•Понимать типовые сценарии использования и уязвимости генеративных моделей
Условия
Условий в вакансии нет
