О компании
Experian — глобальная компания в области данных и технологий, работающая в различных секторах: от финансовых услуг до здравоохранения, автомобилестроения, агробизнеса, страхования и многих других. Команда из 25 200 человек в 32 странах.
Преимущества и бонусы
•Гибридный режим работы: дома и в офисе
•Инклюзивный оплачиваемый отпуск
•Рабочее место, ориентированное на людей и инклюзивность
•Оплачиваемая стажировка
Краткое описание роли
Мы ищем талантливого и целеустремленного инженера для присоединения к команде Ascend Sandbox — облачной аналитической платформе Experian, которая позволяет клиентам и дата-сайентистам исследовать, моделировать и получать инсайты из данных в безопасной и управляемой среде. Вы сыграете ключевую роль в создании, поддержке и масштабировании платформы, которая обслуживает как внутренние команды, так и внешних клиентов в регионе APAC.
Чем вы будете заниматься
•Проектировать, создавать, тестировать, развёртывать и эксплуатировать масштабируемые пакетные и, где применимо, потоковые конвейеры данных для аналитической платформы Ascend Sandbox.
•Разрабатывать высококачественные решения на Python, PySpark и SQL для загрузки, трансформации и обработки больших наборов данных с точностью, надёжностью и эффективностью.
•Проектировать модели данных и повторно используемые, надёжные наборы данных/продукты данных для аналитики, науки о данных и последующих приложений.
•Разрабатывать и оптимизировать решения на базе AWS, используя соответствующие сервисы, такие как Amazon S3, AWS Glue, Amazon Athena, Amazon Redshift и Amazon EMR, в соответствии с архитектурой платформы.
•Применять практики инженерии озера данных и lakehouse, включая эффективные форматы хранения, разбиение на разделы, эволюцию схем и оптимизацию хранения/запросов.
•Проектировать надёжные шаблоны ETL/ELT, включая инкрементальную обработку, управление зависимостями, идемпотентность, повторные попытки, обратную загрузку и восстановление после сбоев.
•Реализовывать оркестрацию рабочих процессов и планирование для конвейеров данных с использованием одобренных инструментов платформы, таких как Airflow/MWAA, AWS Step Functions или AWS Glue Workflows.
•Создавать автоматизированные проверки качества данных и мониторинг полноты, валидности, сверки, соответствия схемам, актуальности, состояния конвейеров и SLA/SLO обработки.
•Оптимизировать нагрузки Spark и распределённую обработку данных для повышения производительности, масштабируемости и снижения затрат, включая разбиение на разделы, объединения, перестановки, перекос данных и использование ресурсов.
•Реализовывать практические требования к управлению данными, метаданными, происхождением, каталогизацией, безопасностью и контролем доступа в конвейерах данных и наборах данных.
•Сотрудничать с клиентами, бизнес-пользователями, дата-сайентистами и техническими командами для преобразования бизнес- и данных требований в масштабируемые решения обработки данных и интеграции.
•Исследовать и устранять проблемы с данными и конвейерами в производственной среде, проводить анализ первопричин и внедрять превентивные улучшения для повышения надёжности и операционной эффективности.
•Обеспечивать соответствие решений по инженерии данных установленным стандартам архитектуры, кодирования, тестирования, безопасности и качества, а также участвовать в обзорах кода, CI/CD и автоматизированных практиках развертывания.
Требования
•Обязательно наличие степени / продвинутого диплома в области компьютерных наук, инженерии данных, программной инженерии или эквивалентной области. Уровень старшинства будет соответствовать релевантному опыту и квалификациям.
•Минимум 6 лет опыта в инженерии данных или разработке систем с интенсивной обработкой данных, включая проектирование, создание и поддержку конвейеров данных в производстве.
•Сильные практические навыки работы с Python и PySpark для масштабной и распределённой обработки данных.
•Отличные навыки SQL, включая сложные трансформации, объединения, оконные функции, оптимизацию запросов и настройку производительности.
•Практический опыт проектирования и эксплуатации масштабируемых ETL/ELT конвейеров данных, включая инкрементальные загрузки, повторные попытки, обратную загрузку, управление зависимостями и восстановление после сбоев.
•Опыт моделирования данных для аналитических задач, включая размерное моделирование, факты/измерения, нормализацию/денормализацию и работу с историческими данными.
•Практический опыт работы с AWS-сервисами для инженерии данных, такими как Amazon S3, AWS Glue, Amazon Athena, Amazon Redshift и Amazon EMR; знание Lambda, Kinesis/MSK, DMS или Lake Formation будет преимуществом при необходимости.
•Опыт работы с концепциями озера данных/lakehouse, структурой хранения, разбиением на разделы, эволюцией схем и эффективными форматами данных, такими как Parquet; полезны знания JSON, CSV и Avro.
•Глубокое понимание оптимизации производительности Spark, включая разбиение на разделы, перестановки, объединения, перекос данных, параллелизм, оптимизацию памяти и ресурсов, а также устранение неполадок.
•Опыт оркестрации конвейеров и планирования рабочих процессов с использованием инструментов, таких как Airflow/MWAA, AWS Step Functions, AWS Glue Workflows или аналогичных.
•Опыт внедрения автоматизированных проверок качества данных и наблюдаемости данных, включая мониторинг состояния конвейеров, актуальности данных, объёмов, сбоев и аномалий качества.
•Практические знания управления данными, метаданными, каталогизацией данных, происхождением и управлением схемами.
•Практическое понимание безопасности данных в AWS, включая IAM/принцип наименьших привилегий, шифрование/KMS, управление секретами, безопасность S3 и контроль доступа к данным.
•Знакомство с инфраструктурой как кодом, такой как Terraform, AWS CloudFormation или AWS CDK, будет преимуществом.
•Понимание оптимизации затрат и производительности в облаке для хранения, вычислений, нагрузок Spark и шаблонов запросов.
•Опыт работы с Git-ориентированными рабочими процессами, стратегиями ветвления, обзорами кода, CI/CD конвейерами и автоматизированным развертыванием. Знание Jira, Bitbucket, Jenkins и Checkmarx будет плюсом.
•Опыт написания автоматизированных юнит-, интеграционных и тестов конвейеров данных для трансформаций Python/PySpark и качества данных.
•Сильные навыки тестирования, отладки, устранения неполадок и анализа первопричин в производственных средах данных.
•Хорошее понимание Agile, SCRUM, SDLC и практик программной инженерии.
•Сильные коммуникативные навыки и умение управлять заинтересованными сторонами с возможностью взаимодействия с клиентами, бизнес-пользователями, дата-сайентистами и техническими командами.
•Сильное аналитическое мышление, решение проблем, командная работа и желание учиться, способность работать самостоятельно при необходимости и выполнять задачи в сжатые сроки.
•Знакомство с инструментами ИИ для помощи в кодировании, документации или автоматизации будет плюсом.
