Описание
Описания нет
Задачи
•Поэтапно переводить систему с графа сценариев и навыков на управляемый диалог на базе LLM
•Отлаживать голосовой конвейер: находить причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графа
•Оперативно принимать архитектурные решения и самостоятельно реализовывать их в коде
•Поддерживать и быстро отлаживать классификацию сценариев на основе few-shot с использованием Qwen и классификаторов на BERT
•Учитывать краевые случаи и исправлять ошибочные срабатывания интентов
•При необходимости дообучать локальные LLM для извлечения сущностей и соблюдения инструкций
•Интегрировать и поддерживать ASR на базе GigaAMv2, отлаживать качество распознавания, работу VAD и передачу текста по конвейеру
•Дообучать и настраивать инференс собственных и открытых TTS-систем и систем клонирования голоса для достижения нужного качества звучания и скорости работы
Требования
•Уверенный опыт работы с LLM/SLM, few-shot learning, prompt engineering и BERT для классификации сценариев и интентов
•Практический опыт дообучения LLM с помощью PEFT и LoRA/QLoRA под узкие прикладные задачи
•Умение быстро выявлять причины некорректных ответов LLM и исправлять их с помощью промптов, гиперпараметров или дообучения
•Опыт дообучения и оптимизации TTS-моделей
•Опыт работы и интеграции современных ASR-систем, в частности GigaAMv2
•Опыт работы с графовыми и сценарными диалоговыми движками, а также LLM-агентами
•Умение быстро диагностировать проблемы инференса, находить ошибки и принимать инженерные решения
•Уверенное владение Python, PyTorch, Hugging Face и фреймворками инференса, а также Go
•Опыт оптимизации инференса для низкой задержки с использованием vLLM, TensorRT-LLM, Triton Inference Server или ONNX Runtime
•Практический опыт потоковой обработки аудио в реальном времени, streaming ASR/TTS и gRPC-контрактов
•Базовое понимание проектирования сервисов по принципам SOLID, DRY и KISS
•Знание типов данных Go: строк, чисел, слайсов и мап
•Знание примитивов синхронизации и конкурентности в Go: горутин и каналов
•Знание указателей и работы с ними, observability
Будет плюсом: опыт работы с gRPC, настройка инфраструктуры с использованием k8s/inventory, знание TCP
Условия
Условий в вакансии нет
