О компании SOFICO Intelligence
SOFICO Intelligence применяет передовые методы искусственного интеллекта и интеллектуального анализа для преобразования и извлечения ценности из глубоких бизнес-контролей, встроенных в бэк-офисные системы. Мы создаём агентный ИИ, который анализирует сложные финансовые, лизинговые, автопарковые и мобильные данные, управляющие предприятием, выявляя мошенничество, ошибки в выставлении счетов, скрытые риски и ценность, которые традиционные инструменты не замечают. Нас поддерживает SOFICO — мировой лидер в ERP-программном обеспечении для автомобильного финансирования, лизинга, управления автопарком и мобильностью, что даёт нам глубокую отраслевую и бэк-офисную экспертизу для развития. Удалённая работа является частью нашего подхода, а наша команда состоит из любознательных, самостоятельных людей, которые любят создавать и выпускать продукты.
Наш флагманский ИИ-платформа, Velona, представляет собой мультиагентную систему, которая превращает многолетние бизнес- и операционные данные в финансовую аналитику. Она самостоятельно обнаруживает мошенничество, фиктивные активы, ошибки в выставлении счетов и риски, и сообщает о каждом обнаружении в виде конкретного актива, суммы в долларах и рекомендованного действия. Вместо того чтобы выступать в роли чатбота или панели управления, она выполняет настоящие аналитические рассуждения, проводит расследования в ночное время без надзора и отвечает простым языком.
О чём эта работа
Эта роль отвечает за то, чтобы наш автономный ИИ был надёжным. В качестве SDET в команде ИИ вы отвечаете за качество недетерминированных мультиагентных систем, что ставит вопросы, с которыми большинство тестировщиков не сталкиваются. Как доказать, что ИИ пришёл к правильному ответу по правильной причине? Как поймать галлюцинацию до того, как её увидит клиент? Как гарантировать, что один клиент никогда не увидит данные другого, что агент не выйдет за рамки своих ограничений, и что качество не ухудшается незаметно при изменении модели или запроса?
Вы поможете определить, как SOFICO Intelligence оценивает агентный ИИ, разрабатывая и создавая систему оценки, которая лежит в основе управления ИИ и нашей уверенности в выпуске продукта. Это настоящая инженерная работа с производственной ИИ-системой в масштабе, а не запуск скриптов против статического приложения. Вы пишете код для тестирования кода и код для оценки качества самого ИИ. Это одна из самых интересных задач тестирования программного обеспечения сегодня, и вы будете её владельцем.
Что вы будете делать (около 85% роли)
•Проектировать и создавать систему оценки SOFICO Intelligence для агентного ИИ: золотые наборы данных, автоматическое оценивание, проверки достоверности и обоснованности, а также обнаружение регрессий при изменениях запросов, моделей и агентов.
•Проверять обоснованность и достоверность, подтверждая, что каждое понимание и каждое число прослеживаются до реальных данных, и создавать автоматические проверки, которые предотвращают попадание галлюцинаций в продакшн.
•Тестировать мультиагентную оркестрацию от начала до конца: циклы вызова инструментов агентами, конвейеры руководитель-специалист, автономные фоновые задачи и синтез результатов в надёжные отчёты.
•Проводить red-team тестирование системы на предмет инъекций запросов, jailbreak-атак и неправильного использования инструментов, а также строго доказывать изоляцию данных между арендаторами, чтобы одна организация никогда не могла получить доступ к данным другой.
•Проверять, что защитные ограничения ИИ выдерживают нагрузку: лимиты итераций, глубина рекурсии агентов и ограничения по токенам/стоимости корректно работают на предельных значениях.
•Проводить стресс-тестирование производительности и масштабируемости: потоковая передача в реальном времени, высококонкурентные разговоры, задержки и стоимость при реалистичной и враждебной нагрузке.
•Создавать автоматические тесты для микросервисов на Go, инструментов работы с данными/SQL и API, которые поддерживают платформу, и интегрировать их в CI/CD для непрерывной оценки.
•Сотрудничать с инженерами ИИ и данных для определения критериев качества и приёмки, а также помогать развивать цикл проверки и повторной попытки руководителем, который поддерживает честность системы.
Оставшиеся ~15%, охват по всей платформе
•Укреплять автоматизированное тестирование в более широкой платформе SOFICO Intelligence и, где это пересекается, в более широкой инженерной среде SOFICO, внедряя современные практики тестирования в устоявшиеся системы и инструменты.
•Помогать повышать стандарты инженерии качества последовательно по всей объединённой группе.
Почему эта роль важна
•Сложная, важная работа. Оценка автономного, рассуждающего ИИ — одна из самых сложных открытых задач в программном обеспечении сегодня, и вы поможете определить, как мы к ней подходим.
•Реальная ответственность. Вы не унаследуете зрелый набор тестов для поддержки. Вы построите основу оценки с нуля и увидите, как она станет ключевой частью нашего процесса выпуска.
•Реальное влияние. Ваша работа решает, смогут ли клиенты доверять ИИ свои деньги. Ставки и видимость очень высоки.
•Современные технологии. Современные сервисы на Go, оркестрация LLM, многолетний проприетарный набор данных и команда, которая выпускает продукты в масштабе уже много лет.
Ваши навыки и интересы
Вам комфортна неоднозначность тестирования систем, которые не дают одинакового ответа дважды. Вы гордитесь тем, что выпускаете программное обеспечение, которому можно доверять, и хотите видеть, как продукты, над которыми вы работаете, добиваются успеха в реальном мире. Вы хорошо работаете в среде совместного решения проблем, предпочитаете программировать и сотрудничать, а не сидеть на совещаниях, и умеете самостоятельно расставлять приоритеты в работе, тесно взаимодействуя с командой. Вы хорошо принимаете и даёте конструктивную критику и подходите к построению масштабируемых систем оценки структурированно и аналитически.
Что ещё ожидается
Обязательные навыки:
•Подтверждённый опыт как в разработке программного обеспечения, так и в обеспечении качества / инженерии качества.
•Сильные навыки программирования, уверенное владение хотя бы одним языком (мы в основном работаем на Go и Python).
•Практический опыт работы с открытыми инструментами и фреймворками автоматизированного тестирования.
•Хорошее понимание RESTful API и умение выполнять HTTP-запросы из командной строки или с помощью инструментов, таких как Postman.
•Уверенная работа с командной строкой и понимание распределённых, конкурентных систем.
•Практический опыт тестирования, оценки или разработки с системами на базе LLM или агентными системами, а не просто интерес. Вы работали напрямую с API моделей, вызовом инструментов или мультиагентными рабочими процессами и понимаете, как они могут давать сбои.
•Доказанная способность оценивать недетерминированный вывод ИИ по измеримым критериям качества. Например, создание или запуск систем оценки, оценка обоснованности и достоверности, обнаружение регрессий качества или red-team тестирование на инъекции запросов и jailbreak-атаки.
•Рабочие знания концепций LLM, влияющих на качество: формулировка запросов, контекстные окна и лимиты токенов, галлюцинации и обоснованность, а также источники недетерминированности в выводе моделей.
•Чувство гордости и сильное желание обеспечивать выпуск надёжного, безошибочного программного обеспечения каждый день.
•Свободное владение английским языком, так как роль предполагает взаимодействие с международными командами.
Плюсами будут:
•Глубокие знания методологии оценки ИИ, такие как проектирование золотых наборов данных, оценивание LLM в роли судьи, паттерны руководитель/критик или автоматическое обнаружение регрессий для агентных конвейеров.
•Опыт работы с Go, хранилищами данных / SQL-аналитикой (например, Databricks), событийно-ориентированными системами или потоковой передачей в реальном времени.
•Знакомство с корпоративными бэк-офисными или ERP-средами, включая Java-бэкенды и реляционные базы данных (Oracle, MSSQL, Postgres), будет плюсом для кроссплатформенной работы.
•Опыт работы в области автомобильного финансирования, лизинга, управления автопарком или мобильности.
С чем вы будете работать
•Платформа ИИ и данных: производственная мультиагентная ИИ-система, построенная на современных микросервисах Go, оркестрации LLM и многолетнем проприетарном наборе данных автопарка.
•Оценка и тестирование: системы оценки ИИ, золотые наборы данных, Playwright, REST Assured, PyTest, JMeter и аналогичные открытые фреймворки.
•Языки: в основном Go и Python, с JavaScript по всему стеку.
•Данные и инфраструктура: PostgreSQL, Redis, RabbitMQ, Databricks, Docker и Kubernetes.
•API: RESTful и интерфейсы реального времени WebSocket / потоковой передачи, тестируемые через Postman, REST Assured и командную строку.
•Организационные инструменты: Jira, TestRail и Git, с интеграцией тестов в CI/CD-пайплайны.
Преимущества и как мы работаем
Мы уже много лет работаем как команда с приоритетом на удалёнку и имеем долгую историю продуктивной и профессиональной удалённой работы. Мы предлагаем конкурентоспособные преимущества, включая медицинское страхование (медицинское, стоматологическое и офтальмологическое) для сотрудников из США и гибкую политику оплачиваемого отпуска, а также поддерживаем ваше развитие через конференции, продвинутые тренинги и сертификации.
