Описание
Команда создаёт решения для инфраструктуры инференса LLM, чтобы сбои оборудования и сетевые задержки минимально влияли на доступность и скорость сервиса.
Задачи
•Повышать эффективность и снижать задержки при выполнении LLM-инференса на GPU
•Создавать и улучшать инструменты для быстрого выявления и устранения инфраструктурных проблем, влияющих на стабильность и скорость инференса
•Работать с методами оптимизации инференса, включая квантование и прореживание, и современными подходами к параллелизации
Требования
•Уверенно владеть C++ и Python, иметь навыки низкоуровневого программирования и оптимизации
•Иметь опыт работы с GPU NVIDIA и CUDA, понимать архитектуру GPU, разрабатывать или оптимизировать алгоритмы под CUDA
•Глубоко понимать архитектуру Transformer и её механизмы: attention, FFN, нормализацию и их реализации
•Знать подходы к параллелизации Data Parallel, Tensor Parallel и Pipeline Parallel для распределённого инференса или обучения
•Понимать задачи и сложности эксплуатации больших моделей в продакшне
•Уметь эффективно работать в команде и делиться знаниями
Будет плюсом: опыт работы с vLLM, TensorRT-LLM (TRT-LLM) или sglang
Условия
•Компенсация от 100М токенов для экспериментов и оптимизации рутины
•Доступ к передовым моделям для ежедневной работы
•Расширенная медицинская страховка с первого месяца работы
•Плановая и неотложная медицинская помощь за рубежом, страхование от несчастных случаев и лечение критических заболеваний
•ДМС включает врачей в клиниках, онлайн-консультации с психологами, психотерапию в некоторых офисах, ежегодные чекапы, вакцинацию, стоматологическую помощь и коррекцию зрения после года работы
•30 дней больничного в году оплачиваются с сохранением полной зарплаты
•В офисах есть кабинеты врачей-терапевтов
•Ведение беременности и роды оплачиваются для сотрудниц и жён сотрудников, проработавших в компании более двух лет
•Для родственников доступна страховка по системе 80/20: компания оплачивает 80% стоимости ДМС детей и супругов, сотрудник — остальные 20%
