Описание
ИИ-помощник отвечает на вопросы, пользуется инструментами и выполняет задачи.
Задачи
•Исследовать, как помощник справляется с реальными задачами пользователей, где ошибается и какие улучшения дадут эффект
•Создавать наборы для оценки и бенчмарки, чтобы проверять новые модели, промпты, навыки и работу с инструментами
•Развивать SBS и LLM-as-judge, обучать автоматическую оценку замечать существенные различия и проверять её на человеческой разметке
•Превращать найденные проблемы в гипотезы, данные для дообучения и понятные критерии приёмки
•Связывать качество модели с качеством продукта и выяснять, какие изменения помогают пользователю решить задачу
•Строить инструменты для исследования качества и выявления регрессий
Требования
•Интерес к поиску причин ошибок и разработке экспериментов для их проверки
•Умение работать с неопределённостью, учитывать ограничения данных и объяснять выводы
•Сильная база в статистике и анализе данных
•Уверенная работа с Python и SQL, умение читать, проверять и исправлять код, созданный ИИ
•Понимание принципов работы LLM и интерес к оценке моделей и агентов
•Использование кодинговых агентов в работе
•Умение показать, как с помощью ИИ решена исследовательская задача, автоматизирован процесс или создан инструмент, и объяснить подход и результат
Условия
•Ежегодный пересмотр зарплаты и годовая премия
•Корпоративный спортзал и зоны отдыха
•Система обучения для профессионального и карьерного развития
•Расширенный полис ДМС с первого дня работы и страхование для семьи
•Программа ипотеки для сотрудников
•Вознаграждение за рекомендацию друзей в команду
