О роли
OneBullEx ищет высокоответственного, самостоятельного старшего инженера по пакетной обработке данных, который возьмёт на себя полную ответственность за наше корпоративное пакетное хранилище данных на Alibaba Cloud. В этой роли вы будете проектировать, поддерживать и оптимизировать пакетные конвейеры (T-1), поддерживающие исполнительные панели, бизнес-аналитику и AI/ML сервисы — используя современные методы инженерии с поддержкой ИИ для быстрого создания слоёв данных (ODS, DWD, DWS, ADS) и обеспечивая строгий контроль качества данных, автоматическую валидацию и проактивный мониторинг по всей платформе.
Ключевые обязанности
Архитектура конвейеров и моделирование хранилища данных
•Проектировать, создавать и поддерживать масштабируемые пакетные ETL/ELT конвейеры с использованием Alibaba Cloud DataWorks и MaxCompute.
•Быстро проектировать и создавать корпоративные слои хранилища данных (ODS, DWD, DWS, ADS) с помощью модульных SQL/Python скриптов и инструментов генерации на базе ИИ.
•Разрабатывать и оптимизировать процессы загрузки данных, трансформации и пакетной обработки в архитектурах Lakehouse и Data Warehouse (MaxCompute, Hologres, DataWorks, DTS).
•Обеспечивать надёжность данных, высокую производительность запросов, стабильность схемы и экономичное использование облачных ресурсов.
Инженерия и тестирование с ускорением ИИ
•Интегрировать современные инструменты и методы ИИ (например, Claude, GitHub Copilot, prompt engineering) в ежедневный рабочий процесс для ускорения генерации кода, рефакторинга SQL и валидации данных.
•Применять новые методологии тестирования с помощью ИИ для быстрого написания модульных тестов, моделирования сценариев данных и аудита точности данных перед выпуском в продакшен.
Качество данных, мониторинг и оповещения
•Реализовывать строгие правила качества данных, автоматические скрипты сверки и проверки валидации непосредственно внутри заданий DataWorks.
•Создавать проактивные рабочие процессы оповещений и мониторинга (интегрированные с Lark) для обнаружения сдвигов данных, нарушений схемы или сбоев конвейеров до возникновения влияния на бизнес.
•Поддерживать аналитические, BI-отчётные и AI/LLM сервисы чистыми, надёжными наборами данных.
Полная ответственность и сотрудничество
•Брать полную ответственность за стабильность ежедневных пакетных конвейеров T-1, планирование заданий, исторические заполнения и устранение наследственных проблем.
•Выступать в роли двуязычного технического моста, свободно сотрудничая на английском и китайском языках с межфункциональными техническими руководителями, менеджерами продуктов и разработчиками.
Требуемые квалификации
•Более 5 лет практического опыта работы с сервисами данных Alibaba Cloud: DataWorks, MaxCompute, DTS, Hologres, FC Functions, Data Agents и архитектурами MaxCompute Lakehouse.
•Продвинутые навыки SQL и Python для инженерии данных, настройки производительности и оптимизации баз данных.
•Подтверждённый опыт моделирования многоуровневых корпоративных структур данных (ODS, DWD, DWS, ADS) и управления пакетными архитектурами Lakehouse.
•Свободное владение английским и китайским языками, устно и письменно, для беспрепятственного технического сотрудничества с региональными командами.
•Сильное чувство ответственности, высокая скорость работы, проактивное общение и установка «быстро доставлять, непрерывно улучшать».
Желательно
•Активный опыт использования помощников по кодированию на базе ИИ (Copilot, LLM) для ускорения разработки ETL, обзоров кода и оптимизации запросов.
•Опыт создания интеграций оповещений и мониторинга с Lark или аналогичной платформой для совместной работы.
•Опыт применения методологий тестирования с использованием ИИ перед выпуском в продакшен.
