Описание
Проект посвящён разработке и развитию голосового диалогового ассистента. Систему поэтапно переводят с жёстких графов сценариев на гибкий диалог под управлением LLM с минимальной задержкой.
Задачи
•Переводить систему с графа сценариев на диалог под управлением LLM
•Находить причины высокой задержки, галлюцинаций LLM, проблем с передачей аудио и ошибок графов в голосовом конвейере
•Принимать архитектурные решения и самостоятельно реализовывать их в коде
•Поддерживать и отлаживать классификацию сценариев с использованием Qwen и BERT, исправлять ошибочные срабатывания интентов
•Дообучать локальные LLM для извлечения сущностей и следования инструкциям
•Интегрировать и поддерживать ASR, дообучать и настраивать инференс TTS и систем клонирования голоса
Требования
•Уверенно работать с LLM/SLM, методами few-shot learning и проектированием промптов, применять BERT для классификации сценариев и интентов
•Иметь практический опыт дообучения LLM с помощью PEFT, LoRA или QLoRA
•Уметь отлаживать LLM и устранять причины некорректных ответов с помощью промптов, гиперпараметров или дообучения
•Иметь опыт дообучения и оптимизации моделей TTS
•Иметь опыт работы с современными системами ASR, понимать принципы работы VAD
•Иметь опыт потоковой обработки аудио в реальном времени с помощью ASR/TTS
•Уверенно владеть Python, PyTorch, HuggingFace и фреймворками инференса
•Иметь опыт оптимизации инференса для минимальной задержки с использованием vLLM, TensorRT-LLM, Triton Inference Server или ONNX Runtime
•Понимать проектирование сервисов, принципы SOLID, DRY и KISS
•Знать типы Go: строки, числа, слайсы и мапы
•Понимать примитивы синхронизации и конкурентность в Go, включая работу с горутинами и каналами
•Понимать указатели и принципы Observability
•Иметь оформленный военный билет или приписное свидетельство
•Рассматриваются кандидаты с релевантностью опыта от 85%
Будет плюсом: опыт работы с gRPC-контрактами, настройка инфраструктуры, знания k8s и inventory, глубокое понимание сетевого стека TCP
Условия
Условий в вакансии нет
