Описание
Aristek Systems разрабатывает ИТ-решения для рынков США и Европы. Клиент проекта предоставляет технологичные решения и сервисы для высших учебных заведений и некоммерческих организаций, помогая им оптимизировать набор студентов и сбор пожертвований.
Задачи
•Проектировать, разрабатывать и поддерживать data pipelines и ETL/ELT процессы для структурированных и неструктурированных данных, обеспечивая качество и целостность данных
•Создавать и поддерживать масштабируемые архитектуры данных для частых трансформаций и манипуляций в сложных, многоисточниковых средах
•Взаимодействовать с data scientists, аналитиками и стейкхолдерами для соответствия pipeline бизнес-требованиям
•Мониторить, диагностировать и оптимизировать pipeline для больших наборов данных, включая обработку в реальном времени и пакетную обработку
•Обеспечивать соответствие стандартам управления данными, безопасности и приватности, включая data lineage, контроль доступа и аудируемость
•Следить за новыми технологиями data engineering, AI-фреймворками и лучшими практиками для улучшения инфраструктуры и рабочих процессов
Требования
•Минимум 2 года опыта
•Опыт построения масштабируемых автоматизированных data pipelines с использованием методологий ETL/ELT, работы со сложными трансформациями и частыми манипуляциями данных
•Хороший опыт работы с Databricks
•Опыт работы с реляционными базами данных, NoSQL, API, потоковыми данными (например, Apache Kafka) и неструктурированными форматами данных
•Сильные навыки Python (pySpark, SparkSQL) и SQL
•Практический опыт работы с Apache Spark и облачными платформами (IBM Cloud, AWS, Azure или Google Cloud)
•Знание Apache Airflow или Dagster для оркестрации workflow, планирования, управления зависимостями и восстановления после сбоев
•Сильный фокус на качестве данных, data lineage, соответствии GDPR и CCPA, а также лучших практиках безопасности, включая шифрование и ролевой контроль доступа
•Умение решать проблемы в крупномасштабных, гетерогенных экосистемах данных и обеспечивать надёжность и производительность pipeline
