Обязанности
•Создание и развитие собственных базовых языковых моделей Авито
•Проверка гипотез в области претрейна, continual pre-training, post-training, RL и синтетических данных
•Масштабирование обучения и оптимизация инференса (квантование, speculative decoding)
•Построение процедур оценки качества моделей
•Написание продакшен-кода на Python и PyTorch
Требования
•3+ года опыта разработки и эксплуатации ML-решений
•Глубокое понимание Transformer и принципов обучения LLM
•Практический опыт обучения и внедрения NLP-моделей
•Уверенный Python и PyTorch
•Понимание компромиссов между качеством, latency и стоимостью
Будет плюсом
•Continual pre-training
•SFT/LoRA/RL
•DeepSpeed, vLLM, TensorRT-LLM
•MLOps-инструменты
