# Старший инженер по инференсу искусственного интеллекта (x/f/m)
Задайте новый ритм здравоохранению!
Мы ищем старшего инженера по инференсу для присоединения к команде ML Platform (TIGER) в отделе ИИ и машинного обучения.
Ваша миссия — обеспечивать работу продуктов Doctolib на базе ИИ в сфере здравоохранения — от Консультационного помощника до Телефонного помощника и Здорового компаньона — управляя собственной платформой обслуживания LLM, которая хранит самые чувствительные данные пациентов в инфраструктуре, контролируемой Doctolib. Вы будете создавать и эксплуатировать общие основы, на которые опирается каждая команда, работающая с ИИ: развертывать, настраивать и масштабировать модели с открытыми весами на нашем парке GPU, внося прямой вклад в более быстрый, безопасный и экономичный ИИ для команд ухода и пациентов по всей Европе.
Работа в технической команде Doctolib означает создание инновационных продуктов и функций для улучшения повседневной жизни команд ухода и пациентов.
Что вы будете делать
Ваши обязанности включают, но не ограничиваются:
•Создавать общие основы обслуживания LLM вместе с инженерами MLOps — определять стек обслуживания, планирование мощности GPU и автоматизацию развертывания моделей с открытыми весами (Gemma, Mistral, Llama, Qwen и их доработанные варианты) на Ray Serve / Anyscale, одновременно формируя эволюцию в сторону оркестрации на базе Kubernetes
•Отвечать за реестр моделей и путь их продвижения — устанавливать четкие процессы версионирования, валидации и продвижения моделей в продакшн, проводить бенчмарки производительности и качества вывода под реалистичными нагрузками, а также поддерживать курируемый каталог моделей совместно с командой Agents Platform
•Оптимизировать производительность и эффективность инференса — эксплуатировать и настраивать движки обслуживания (vLLM, Triton Inference Server, TensorRT-LLM) для сокращения времени до первого токена, задержки между токенами и стоимости за токен с помощью стратегий пакетирования, кэширования, квантизации и параллелизма на нашем парке GPU (L4 до H200)
•Отвечать за надежность продакшна и восстановление после сбоев — определять SLO, проводить нагрузочные тесты перед запуском, реализовывать безопасные развертывания, откаты и автоскейлинг, а также участвовать в дежурствах и реагировании на инциденты
•Делать производительность обслуживания и затраты измеримыми — создавать дашборды Datadog, системы оповещений и отчеты по затратам для отслеживания задержек, загрузки GPU и расходов на инференс, а также выявлять возможности для повышения эффективности использования ресурсов
•Поддерживать стек инференса в безопасности, соответствии требованиям и развитии — работать с отделами безопасности и конфиденциальности по вопросам сетевой изоляции, локализации данных и аудируемости, одновременно постоянно оценивая новые модели, движки обслуживания (например, SGLang) и поколения GPU
Кто вы
Прежде чем продолжить: если у вас нет точного профиля, описанного ниже, но вы считаете, что это описание работы соответствует вашим навыкам, мы все равно призываем вас подать заявку.
Вы отлично подойдете, если:
•У вас есть более 5 лет опыта в области программного обеспечения или компьютерной инженерии, включая практический опыт работы в продакшне с как минимум одним движком обслуживания LLM (vLLM, SGLang, TensorRT-LLM, TGI или Triton) — желательно, если вы выбирали, внедряли, настраивали или масштабировали его в продакшне, а не просто запускали с настройками по умолчанию
•Вы владеете Python и Terraform, хорошо понимаете механику инференса трансформеров: prefill vs. decode, KV-кэш, стратегии пакетирования и почему модель ограничена вычислительной мощностью или памятью на конкретном GPU
•У вас есть значительный опыт запуска GPU-нагрузок на Kubernetes или управляемой платформе Ray / Anyscale, а также инженерный подход к производительности — вы проектируете воспроизводимые бенчмарки, читаете вывод профайлера и принимаете решения на основе данных
•Вы уверенно берете на себя ответственность за надежность продакшна: наблюдаемость, реагирование на инциденты и дежурства — естественная часть вашей роли
•У вас отличные коммуникативные и коллаборативные навыки, высокая инициативность, прагматичный подход к выбору между разработкой и покупкой, и вы комфортно работаете в условиях, когда область деятельности еще формируется
•Вы свободно владеете английским языком
Было бы замечательно, если бы вы:
•Имеете опыт работы с распределенными фреймворками обслуживания (KServe, llm-d, NVIDIA Dynamo), включая раздельный prefill/decode или маршрутизацию с учетом KV-кэша, либо с обслуживанием Mixture-of-Experts, мультимодальных моделей или множества LoRA-адаптеров на общих базовых моделях
•Обладаете опытом работы с ядрами GPU или глубокими навыками профилирования (CUDA, Triton, Nsight), либо вносили вклад в проекты с открытым исходным кодом по инференсу
•Имеете опыт работы в регулируемых средах (здравоохранение, финансы, государственный сектор) и с фреймворками, такими как GDPR, HDS, ISO 27001 или SOC 2
Наш стек
•Языки программирования: Python, а также умение читать и отлаживать системные языки (C++, Rust или Go)
•Облачные провайдеры: GCP / AWS / Azure
•Оркестрация обслуживания: Ray Serve / Anyscale (GCP), с Kubernetes (GKE) + планированием GPU как развивающейся параллельной целью
•Движки обслуживания LLM (в продакшне): vLLM, Triton Inference Server, TensorRT-LLM (также оцениваем SGLang и другие новые движки)
•Модели: Самостоятельно размещаемые LLM с открытыми весами (Gemma, Mistral, Llama, Qwen), дообученные внутри компании
•Отслеживание экспериментов и реестр моделей: MLflow
•GenAI шлюз: LiteLLM
•Оценка и наблюдаемость LLM: Braintrust
•GPU: NVIDIA L4, A10G, L40S, RTX 6000 Pro, A100 (40GB/80GB), H200
•Контейнеры / инфраструктура как код: Docker, Terraform, Helm, Kustomize
•Наблюдаемость: Datadog
•Хранилище данных / склад данных: GCP BigQuery / GCS / AWS S3
•И любые другие инструменты, которые вы считаете релевантными!
Жизнь в Doctolib Tech
•Наши решения построены на единой полностью облачной платформе, которая поддерживает веб- и мобильные интерфейсы, несколько языков и адаптирована к требованиям стран и медицинских специальностей.
•Наш стек состоит из Rails, TypeScript, Java, Python, Kotlin, Swift и React Native.
•Мы этично используем ИИ во всех наших продуктах, чтобы расширить возможности пациентов и медицинских специалистов.
Что мы предлагаем
•Бесплатное комплексное медицинское страхование (базовый пакет) для вас и ваших детей
•25 оплачиваемых дней отпуска в год, плюс до 14 дней RTT
•Бесплатные услуги по психическому здоровью и коучингу через нашего партнера Moka.care
•Возможность работать из-за границы до 10 дней в году благодаря политике гибких дней
•Ланч-вокеры (карта Swile) стоимостью 8,50 € за рабочий день, из которых 4,50 € оплачивает Doctolib
•Субсидия от производственного совета на частичное возмещение членства в спортивном клубе или творческом классе
•50% возмещение стоимости проездного на общественный транспорт
•Программа ParentCare: полное покрытие зарплаты (100%) в первый месяц отпуска по рождению ребенка и 75% во второй месяц, оплачиваемое Doctolib
•Участие в долгосрочной программе распределения стоимости компании для сотрудников DoctoGrowth
•Для сотрудников с обязанностями по уходу и работников с инвалидностью — пакет, включающий адаптацию политики удаленной работы, дополнительные выходные по медицинским причинам и психологическую поддержку
•Поддержка при переезде в случае международной мобильности
•Доступ к лучшим инструментам ИИ для кодирования, разработки и специализированного обучения
Наш процесс собеседования
•Собеседование с HR по телефону (45 минут)
•Собеседование с руководителем отдела (1 час)
•Техническое кейс-задание (1 час)
•Поведенческое собеседование (1 час 30 минут)
•Минимум одна проверка рекомендаций
Детали вакансии
•Постоянная позиция
•Технический стек: Python, vLLM, TensorRT-LLM, Triton, Ray Serve
•Полная занятость
•Париж, Франция
•Гибридный режим работы (до 2 дней удаленно в неделю)
•Дата начала: как можно скорее
