О компании
Binance — ведущая глобальная блокчейн-экосистема, стоящая за крупнейшей в мире криптовалютной биржей по объему торгов и количеству зарегистрированных пользователей. Нам доверяют более 300 миллионов человек в более чем 100 странах благодаря нашей передовой в отрасли безопасности, прозрачности средств пользователей, скорости торгового движка, глубокой ликвидности и непревзойденному портфелю продуктов с цифровыми активами. Предложения Binance охватывают торговлю и финансы, образование, исследования, платежи, институциональные услуги и многое другое. Наша миссия — увеличить свободу денег и финансовый доступ для людей по всему миру.
О роли
В эпоху ИИ крупные языковые модели меняют ключевые бизнес-сценарии, такие как диалог и торговля. Итерация возможностей модели зависит от научной и надежной системы оценки — «линейки», которая измеряет качество модели и направляет направление исследований и разработок. Мы ищем эксперта по оценке с алгоритмическим опытом для создания возможностей оценки LLM, охватывающих диалог, финансовую торговлю и другие сценарии, используя профессиональные методы оценки для количественной оценки производительности модели, выявления проблем и стимулирования непрерывного улучшения модели.
Обязанности
•Разрабатывать комплексные планы оценки LLM для бизнес-сценариев, таких как диалог и финансовая торговля. Создавать системы метрик оценки и рубрики, преобразуя субъективные суждения о производительности модели в количественные, воспроизводимые и объяснимые выводы оценки.
•Возглавлять разработку и создание наборов данных для оценки. Определять измерения оценки и охват сценариев, устанавливать высококачественные руководства по аннотированию данных и процессы контроля качества, а также создавать эталонные тесты, которые достоверно отражают бизнес-потребности и обладают дискриминационной способностью.
•Анализировать границы возможностей модели и режимы сбоев на основе результатов оценки. Формулировать практические рекомендации по улучшению и сотрудничать с командами алгоритмов и продуктов для стимулирования итерации модели, делая оценку критически важной частью цикла исследований и разработок.
•Продвигать автоматизацию и масштабирование рабочих процессов оценки. Создавать устойчивые платформы и инструментарий для оценки, поддерживающие высокочастотные и стабильные потребности оценки в условиях быстрой итерации моделей.
•Сотрудничать с командами алгоритмов, продуктов и данных для перевода бизнес- и модельных целей в четкие стандарты оценки и превращать результаты оценки в конкретные направления исследований и разработок, а также обеспечивать их реализацию.
Требования
•Степень магистра или выше в области компьютерных наук, искусственного интеллекта, математики, статистики или смежных областях, с прочной алгоритмической базой и пониманием принципов LLM, процессов обучения и дообучения.
•Практический опыт оценки LLM в крупной технологической компании, участие в оценке коммерческого развертывания (не только академическое или офлайн-бенчмаркинг). Знакомство с полным циклом от подготовки данных для оценки и разработки рубрик до оценки, ориентированной на исследования и разработки.
•Знание основных методов оценки (человеческая оценка, автоматическая оценка на основе моделей / LLM в роли судьи, вычисление метрик) и их применимых границ. Способность определять подходящие измерения оценки для различных бизнес-сценариев и писать четкие, практичные и дискриминационные рубрики.
•Систематический контроль за репрезентативностью данных оценки, согласованностью аннотирования и надежностью результатов, обеспечивающий научные и надежные выводы оценки.
•Свободное владение Python, опыт автоматизации рабочих процессов оценки, создания эталонов или разработки платформ оценки. Способность самостоятельно обрабатывать данные, писать скрипты оценки и анализировать результаты.
•Сильное понимание бизнеса и коммуникативные навыки, способность переводить результаты оценки в четкие направления улучшения и эффективно стимулировать межкомандное сотрудничество.
Дополнительные преимущества
•Опыт оценки диалоговых систем, AI-агентов или финансовых/торговых LLM.
•Опыт создания высококачественных данных для обучения/оценки ИИ или систем аннотирования данных.
•Знакомство с RLHF, моделями вознаграждения или работой с данными предпочтений.
Почему Binance
•Формировать будущее финансов
•Сотрудничать с талантами мирового класса в ориентированной на пользователя глобальной организации с плоской структурой
•Решать сложные задачи в динамичной и инновационной среде с автономией
•Добиваться успеха в ориентированной на результат рабочей среде с возможностями карьерного роста и непрерывного обучения
•Конкурентоспособная зарплата и корпоративные льготы
•Удаленный формат работы с возможностью работы из дома (может варьироваться в зависимости от характера роли и команды)
