Описание
Мы делаем голосовой AI для бизнеса. Наши модели каждый день разговаривают с абонентами в реальном времени. Мы резиденты «Сколково» и никогда не останавливаемся на достигнутом. Мы трансформируемся в AI-native компанию. AI для нас не только продукт, но и способ работать: исследования, разработку и операционку мы постепенно отдаём агентам, а люди занимаются тем, что агентам пока не под силу. Поэтому мы ждём, что каждый в команде строит такую автоматизацию вокруг своей работы. Ищем исследователя уровня Senior, который хорошо разбирается в речи и LLM и умеет доводить идеи до продакшн.
Задачи
•Искать и внедрять SOTA-подходы в ASR, TTS и LLM. Например: лучше распознавать речь в узком телефонном канале, снижать задержку в стриминге, поддерживать low-resource языки, делать синтез естественнее.
•Воспроизводить свежие статьи: реализовывать методы, обучать модели и проверять, как они работают на наших данных.
•Собирать голосовых агентов на связке ASR → LLM → TTS с минимальной задержкой и исследовать end-to-end и speech-to-speech подходы.
•Делать стриминговый ASR на современных архитектурах (Conformer, transducer-модели, Whisper, доработанный под стриминг) с шумоподавлением и адаптацией под телефонный канал.
•Развивать нейросетевой синтез речи: интонацию, эмоции, клонирование голоса, стриминговый TTS.
•Обучать модели ASR и TTS для русского и low-resource языков.
•Применять LLM в виртуальных ассистентах и антиспаме: дообучать (в том числе через RLHF и DPO), строить RAG и tool calling, оценивать качество и безопасность ответов.
•Ускорять инференс: квантизация, дистилляция, KV-cache и батчинг для LLM, оптимизация под GPU и CPU, перенос критичных частей с Python на C++.
•Автоматизировать свою работу: строить агентов и пайплайны между ними для экспериментов, анализа данных, оценки моделей и рутины.
•Влиять на архитектуру AI-решений и выбор технологий.
•Тестировать модели под нагрузкой, интегрировать и масштабировать их в продуктах.
Требования
•Вы уже строите AI-инфраструктуру вокруг своей работы. Используете агентов, связываете их в пайплайны и автоматизируете то, что раньше делали руками. У нас так работает каждый, поэтому на это мы смотрим в первую очередь.
•От 5 лет коммерческого опыта в ML/AI, от 3 лет в речевых технологиях (ASR и/или TTS).
•Вы работали с современными архитектурами для речи: трансформеры, Conformer, Whisper, нейросетевой TTS (VITS, FastSpeech, диффузионные и flow-matching модели, нейрокодеки).
•У вас есть практический опыт с LLM: fine-tuning (LoRA/PEFT), пайплайны на базе LLM (RAG, агенты), развёртывание и оптимизация инференса (vLLM, TensorRT-LLM или аналоги).
•Вы понимаете, как устроены внимание и KV-cache, стратегии декодирования (sampling, beam search, speculative decoding) и архитектура Mixture of Experts (MoE), включая её обучение и инференс.
•Вы дообучали LLM методами RLHF и DPO.
•У вас есть исследовательский опыт: вы ставили эксперименты, разбирали научные статьи, обучали модели с нуля.
•Вы выводили модели в продакшен в высоконагруженных системах, где важна задержка.
•Вы глубоко знаете Python и ML-стек: PyTorch, ONNX, OpenVINO, Triton Inference Server, pytest.
•Уверенно пишете на C++, когда нужно ускорить критичные компоненты.
•Знаете аудиобиблиотеки (librosa, torchaudio) и speech-фреймворки (Kaldi, NVIDIA NeMo, ESPnet и др.).
•Понимаете теорию обработки речи и физику звука: динамическое программирование (Viterbi, DTW, CTC/RNN-T), beam search, в том числе с внешней языковой моделью, WFST, цифровую обработку сигналов (STFT, мел-спектрограммы, фильтрация).
•Вам интересно работать в неопределённости, когда задача приходит в виде проблемы, а не пошаговой инструкции. Вы сами решаете, что делать дальше: формулируете гипотезы, предлагаете решения и доводите их до результата, не дожидаясь, пока вам распишут план.
•Вам важно, чтобы модель заработала у оператора на живых звонках, а не только показала хорошую метрику в ноутбуке.
•Рутину вам хочется автоматизировать, а не терпеть.
•Вы спокойно относитесь к смене приоритетов и быстро переключаетесь.
Будет плюсом:
•Опыт с мультимодальными и audio-LLM, speech-to-speech моделями.
•Публикации, доклады, open-source или соревнования по speech/NLP/GenAI.
•Опыт в телекоме.
Условия
•Фиксированную зарплату и годовую премию по результатам. Уровень дохода обсуждаем с финальным кандидатом.
•Удалённую работу или офис у м. Динамо, как вам удобнее.
•Гибкий график: время начала дня вы согласуете с руководителем.
•Оформление по ТК РФ.
•ДМС после испытательного срока (3 месяца).
