О проекте
NWIRE разрабатывает систему автоматизированного документооборота для крупной компании. Языковая модель проверяет и исправляет документы по корпоративным шаблонам (текст, таблицы, рисунки, формулы), сверяет данные между главами и собирает итоговый пакет. Интерфейс - плагин для Яндекс Трекера, серверная часть на Go, модель работает на GPU-сервере в контуре заказчика.
Обязанности
•Выбор открытой языковой модели (Qwen, DeepSeek, GLM и др.) и бенчмарк на контрольном наборе реальных документов.
•Развертывание и оптимизация инференса on-prem: vLLM / SGLang, квантизация (FP8/INT4), длинный контекст, настройка под нагрузку.
•Проектирование агентного пайплайна: промпты, tool calling, разбиение задач между моделью и детерминированными скриптами.
•Работа с DOCX: разбор и правка структуры документа, связка с рендерингом (LibreOffice) для контроля верстки.
•Метрики качества и регрессионные тесты: доля найденных ошибок, отсутствие ложных исправлений.
•Сопровождение опытно-промышленной эксплуатации, доработка по обратной связи пользователей.
Оборудование
•Целевая платформа: on-prem сервер Huawei Atlas 650E - 8× Ascend 950DT, 1 152 ГБ памяти HBM. Окончательный выбор будет сделан позже. Этот сервер проще всего привезти.
•На старте: разработка и подбор модели на арендованных GPU NVIDIA в Яндекс Облаке, затем перенос на собственный сервер заказчика.
•Стек на Ascend: CANN, MindIE / vLLM-Ascend. Нужна готовность разбираться с его особенностями: поддержка моделей, квантизация, производительность.
Требования
•От 3 лет в ML/NLP, из них от 1 года - практическая работа с LLM в продакшене.
•Опыт self-hosted инференса открытых моделей (vLLM, SGLang, TGI или аналоги); понимание влияния памяти GPU, KV-кэша и контекста на производительность.
•Опыт построения LLM-агентов или пайплайнов с tool calling.
•Уверенный Python, Linux, Docker.
•Умение выстроить оценку качества модели на собственных данных.
Условия
•Проект на 6 месяцев с возможностью продолжения (поддержка, развитие, тиражирование).
•Удаленный формат работы.
•Оформление: ИП или самозанятость по ставке в час.
•Вознаграждение - ежемесячно по факту затраченного времени.
