Обзор
В качестве ведущего инженера по инфраструктуре, производительности и валидации AI-кластеров, вы будете ключевым членом команды операций AI-инфраструктуры, отвечающим за обеспечение приемлемости, производительности и масштабируемости передовых AI и высокопроизводительных вычислительных (HPC) сред. Используя принципы программной инженерии и тестирования, вы сосредоточитесь на создании и поддержке управляющей плоскости, инструментов и автоматизации, которые поддерживают тестирование производительности и валидацию крупномасштабных AI-кластеров. Ваша работа напрямую приведет к повышению доступности системы, оптимизации вычислений и снижению операционных затрат.
Основные обязанности
•Отвечать за техническое определение "здоровья в масштабе". Устанавливать архитектуру, дорожную карту и критерии приемки, по которым многотысячные GPU-кластеры объявляются готовыми к производству, а также устанавливать планку производительности (совокупная пропускная способность, эффективность выполнения задач, использование FLOPs модели), которую должен преодолеть каждый кластер до и после передачи клиенту. Определять технологическое и продуктовое направление в сотрудничестве с другими техническими лидерами, менеджерами и старшим руководством.
•Запускать и инструментировать реальные AI-нагрузки в качестве диагностического инструмента. Запускать и выполнять распределённые задачи обучения и инференса — открытые и клиентские модели — на тысячах ускорителей для проверки поведения кластера под реальной нагрузкой, а не только под синтетическими прокси, и переводить полученные результаты в исправления для всего парка.
•Вести глубокую диагностику сбоев и регрессий производительности крупномасштабных кластеров, выявляя корневые причины по всему стеку: прошивка GPU и NIC, топология PCIe/NVLink и размещение NUMA, состояние сети InfiniBand/RoCE, управление перегрузками и маршрутизация, пропускная способность хранилища и загрузчика данных, размещение в планировщике, поведение фреймворков и библиотек коммуникаций. Быть конечной точкой эскалации для самых сложных расследований медленных и зависших задач.
•Проектировать и создавать системы валидации и прогрева, которые квалифицируют узлы, стойки и полные поды в масштабе — NCCL/RCCL коллективные проверки, HPL/HPCG и бенчмарки в стиле MLPerf, тепловые и энергопотребляющие тесты, обнаружение отстающих и нестабильных ссылок — и автоматизировать их, чтобы квалификация стала повторяемым конвейером, а не ручной кампанией.
•Вести оптимизацию кластера от начала до конца, настраивая конфигурацию сети (адаптивная маршрутизация, QoS и управление перегрузками, SHARP in-network reduction, размещение с учётом рельсов и топологии), библиотеки коллективных коммуникаций и выбор алгоритмов, пути GPUDirect RDMA и хранилища, а также настройки на уровне хоста (huge pages, IRQ affinity, CPU governors, конфигурация MIG и драйверов) для преобразования сырого оборудования в доставленную пропускную способность.
•Сотрудничать с командами инфраструктуры, платформы, SRE и клиентскими командами для преобразования операционных и клиентских требований к производительности в долговечные инженерные решения и для передачи диагностических сигналов обратно в процессы обеспечения, устранения неполадок и управления ёмкостью.
•Создавать производственные системы и инструменты производительности на Python для автоматизированной триажи, корреляции телеметрии и обнаружения регрессий, используя AI-инструменты для ускорения доставки. Оценивать влияние новых аппаратных продуктов на программный и валидационный стек команды и исследовать возможности улучшения процессов и автоматизации с помощью AI.
•Устанавливать инженерные стандарты для надежности, наблюдаемости, методологии бенчмаркинга и операционного совершенства во всех сервисах, а также повышать диагностические возможности всей организации через наставничество, руководства по эксплуатации и технические отчёты после инцидентов.
Требуемые квалификации
•Образование: Степень бакалавра или выше в области компьютерных наук, компьютерной инженерии, соответствующей технической области или эквивалентный практический опыт.
•Опыт: Более 10 лет релевантного опыта в создании, эксплуатации или отладке крупномасштабной вычислительной инфраструктуры, включая значительное время на уровне ведущего или главного специалиста с ответственностью за техническое направление между командами.
•Экспертиза в AI-нагрузках: Практический опыт запуска реальных AI-вычислительных задач в масштабе — предварительное обучение, дообучение или крупномасштабный инференс открытых или проприетарных моделей — включая практическое знакомство с распределёнными стратегиями обучения (параллелизм данных, тензоров, конвейера и экспертов) и фреймворками, такими как PyTorch, Megatron-LM, DeepSpeed или эквивалентными.
•Валидация кластеров: Подтверждённый опыт валидации и приемки крупных кластеров (тысячи GPU) по производительности и надежности, с практическим знанием методологии бенчмаркинга и умением обосновать показатели как инженерам, так и клиентам.
•Отладка производительности: Доказанная способность диагностировать распределённые проблемы производительности — отстающие задачи, коллективные зависания, нестабильные ссылки, тепловое троттлинг, скрытая порча данных, ошибки ECC и Xid, проблемы с соседями и узкие места в хранилище — с использованием инструментов, таких как NCCL debug tracing, Nsight Systems/Compute, PyTorch Profiler, perf и телеметрия сети.
•Сетевые технологии: Глубокое понимание высокопроизводительных сетей — InfiniBand и/или RoCEv2, RDMA, GPUDirect, адаптивная маршрутизация, управление перегрузками и оптимизированные топологии — а также основ сетевых протоколов (TCP/IP, BGP).
•Системы и программирование: Глубокие знания Linux-систем (настройки ядра, NUMA, PCIe, IRQ и поведение памяти) и сильные навыки программирования на Python для продакшена, а также опыт с C/C++ или Go и инструментами управления конфигурациями (например, Ansible, Terraform).
•Планировщики задач: Опыт эксплуатации и отладки AI-нагрузок под SLURM и/или Kubernetes в масштабе.
Желательные квалификации
•Степень магистра или доктора наук в области инженерии, компьютерных наук или смежной технической области.
•Опыт запуска и квалификации нового GPU-суперкластера с нуля до производственного трафика, включая стандартизацию прошивок, драйверов и топологии в гетерогенном парке.
•Прямой опыт работы с платформами NVIDIA GPU (классы H200/GB200/GB300), доменами NVLink и NVSwitch, DCGM, SHARP, UFM и стеком программного обеспечения NVIDIA; или эквивалентная глубина знаний по AMD Instinct и ROCm/RCCL.
•Публикации или презентации по бенчмаркам, масштабированию или послесмертному анализу — заявки MLPerf, исследования масштабирования или публичные технические отчёты о поведении крупных кластеров.
•Опыт работы с продвинутыми системами наблюдаемости и мониторинга (Prometheus, Grafana, OpenTelemetry), применяемыми к телеметрии GPU и сети с высокой кардинальностью, включая автоматическое обнаружение аномалий и регрессий.
•Опыт работы с высокопроизводительными параллельными системами хранения (Lustre, GPFS, WEKA, VAST) и диагностикой задач обучения, ограниченных пропускной способностью конвейера данных.
•Знакомство с облачными технологиями (Kubernetes, Docker), принципами инфраструктуры как кода и интеграцией с инструментами инфраструктуры, такими как DCIM, NetBox и API для bare metal (MAAS, Ironic, IPMI, Redfish).
•Доказанная способность интегрировать AI-инструменты для оптимизации/переработки рабочих процессов и достижения измеримого эффекта (например, повышение эффективности, улучшение качества).
•Знакомство с измерением SLO/метрик и интеграцией логов/телеметрии/метрик с инструментами для улучшения опыта операторов.
