О компании и продукте
Компания создаёт платформу клинического AI, которая объединяет LLM-оркестрацию, медицинские данные, клинические возможности и механизмы AI safety для предоставления персонализированного медицинского опыта. Команда Data Science разрабатывает и оценивает интеллектуальную часть платформы.
Задачи
•Отвечать за аналитическую сторону оценки и мониторинга ML/AI, включая пороги дрифта, дистрибуционный анализ и метрики качества
•Разрабатывать статистические методы для safety-weighted оценки качества и калибровки доверия
•Сравнивать выходы AI и моделей с клинической эталонной истиной и оценивать производительность по популяциям и сценариям
•Выполнять анализ популяционных перцентилей, распределений и выбросов для поддержки возможностей health scoring
•Оценивать качество ретривала, эмбеддингов и производительность векторного поиска по мере развития RAG-возможностей
•Анализировать паттерны использования, перекрытия, сигналы дедупликации и точность классификации для клинических AI-возможностей
•Сотрудничать с Data Scientists и ML Platform Engineers для превращения аналитических методов в повторяемые production-процессы оценки
•Исследовать неожиданное поведение модели или системы и выявлять статистически значимые изменения или деградацию
•Использовать Python и AI-ассистированные инструменты разработки для ускорения анализа при сохранении технической валидации и качества инженерии
•Документировать методологию оценки, предположения, результаты и рекомендации
Требования
•Сильная база в статистике и Machine Learning, включая распределения, вероятность, поведение моделей и методологию оценки
•Сильные навыки Python и умение писать чистый, поддерживаемый аналитический и production-код
•Практический опыт проектирования и проведения статистических анализов на реальных датасетах
•Твёрдое понимание оценки моделей, калибровки доверия, статистического тестирования и метрик производительности
•Опыт анализа распределений данных, выявления выбросов, определения порогов и индикаторов качества
•Понимание дрифта данных, деградации моделей и дистрибуционного мониторинга
•Способность разрабатывать подходы к оценке, когда эталонная истина неполная, шумная или специфична для домена
•Хорошее понимание ML-процессов и взаимосвязи между данными, моделями, оценкой и production-системами
•Способность понимать логику приложения, поведение системы и поток данных за пределами изолированных аналитических ноутбуков
•Сильные аналитические навыки и навыки решения проблем, включая самостоятельное определение рамок неоднозначных задач и структурирование анализов
•Умение сообщать методологию, предположения, выводы и ограничения техническим и нетехническим заинтересованным сторонам
•Сильное чувство ответственности и способность эффективно сотрудничать в небольшой кросс-функциональной команде
•Профессиональный уровень владения английским языком
Будет плюсом
•Generative AI, LLM evaluation или оценка AI safety/качества
•Эмбеддинги, векторный поиск, системы ретривала или RAG-пайплайны
•Databricks, Spark или другие технологии крупномасштабной/пакетной обработки данных
•AI coding agents или ассистенты, с критической валидацией их вывода
•Клинические или медицинские данные
•FHIR или HL7
•Опыт в здравоохранении, Digital Health или другой регулируемой отрасли
•Production-инфраструктура мониторинга, экспериментов или оценки ML
Условия
Условий в вакансии нет
