Описание
Команда улучшает качество претрейна Alice AI LLM, исследует способы повышения качества моделей, проводит вычислительные эксперименты, обрабатывает и синтезирует данные. Результат её работы — модели семейства Alice AI, доступные в одноимённом сервисе.
Задачи
•Ставить и анализировать вычислительно тяжёлые эксперименты с претрейн-моделями
•Проверять гипотезы об источниках прироста способностей к рассуждению в разных срезах умности
•Строить пайплайны сбора, синтеза, обработки и фильтрации обучающих данных в новых доменах
•Масштабировать и повышать эффективность пайплайнов данных
•Модифицировать процесс обучения модели для улучшения способностей к рассуждению
•Внедрять изменения в обучающий пайплайн и оценивать их влияние на качество
•Обучать модели-верификаторы для проверки качества данных и ответов
•Обучать модели для генерации обучающих данных, передовые в своих узких доменах
•Обучать модели-фильтры для отсева некачественных данных
•Исследовать законы масштабирования качества модели с точки зрения данных и вычислений
•Определять, как масштабирование влияет на рост способностей к рассуждению в разных доменах
Требования
•Глубокое понимание NLP
•Опыт разработки на Python
Будет плюсом:
•обучение претрейн-моделей в любой модальности (NLP, CV, звук, рекомендации)
•построение эффективных CPU/GPU-пайплайнов
•погружение хотя бы в одну область исследования языковых моделей (RL, архитектуры или данные для LLM)
Условия
Условий в вакансии нет
