О проекте
Присоединяйтесь к интересному проекту Data Engineering в авиационной индустрии, где используются современные облачные технологии и Big Data для поддержки решений по прогнозному обслуживанию авиационных двигателей. Проект сфокусирован на разработке и улучшении масштабируемой платформы данных, обрабатывающей большие объёмы операционных и технических данных. Преобразуя сложные наборы данных в надёжную и доступную информацию, платформа обеспечивает продвинутую аналитику, связанную с производительностью двигателей, потребностями в обслуживании и операционной эффективностью.
Задачи
•Проектирование, разработка и поддержка масштабируемых data pipelines с использованием Azure Databricks, Apache Spark, Python и SQL
•Обработка и трансформация больших объёмов операционных и технических данных для поддержки предиктивного обслуживания и аналитических задач
•Разработка и оптимизация ETL/ELT процессов для эффективной загрузки, трансформации и хранения данных
•Проектирование и реализация CI/CD процессов для приложений Databricks с использованием Azure-инструментов, включая Terraform и Databricks Asset Bundles (DABs)
•Работа с сервисами обработки и хранения данных Azure для создания надёжных и масштабируемых решений
•Оптимизация нагрузок Spark и улучшение общей производительности обработки данных
•Внедрение проверок валидации и качества данных для обеспечения консистентности, точности и надёжности наборов данных
•Сотрудничество с Data Engineers и заинтересованными сторонами проекта для перевода бизнес- и data-требований в технические решения
•Вклад в непрерывное развитие, поддержку и улучшение существующей платформы данных
•Устранение проблем обработки данных и улучшение стабильности и производительности data pipelines
•Подготовка и поддержка технической документации для реализованных решений и рабочих процессов с данными
Требования
•Коммерческий опыт в Data Engineering
•Практический опыт работы с Databricks
•Опыт внедрения CI/CD для приложений Databricks
•Практический опыт работы с сервисами обработки и хранения данных Microsoft Azure
•Сильный опыт работы с Apache Spark
•Хорошее знание SQL
•Практический опыт разработки на Python
•Хорошее понимание концепций, стандартов и инструментов обработки Big Data
•Опыт работы с крупномасштабными пайплайнами обработки данных и ETL/ELT процессами
Будет плюсом
•Степень бакалавра или магистра в области Computer Science, Data Engineering, Mathematics или связанной технической области
Условия
•Система "кафетерий", позволяющая сотрудникам персонализировать льготы, выбирая из множества вариантов
•Щедрые реферальные бонусы, до 6000 злотых за рекомендацию специалистов
•Дополнительные возможности дохода за инициирование партнёрств с новыми клиентами
•Постоянное сопровождение от выделенного Team Manager для каждого сотрудника
•Индивидуальное техническое наставничество от назначенного технического лидера, в зависимости от экспертизы и потребностей проекта
•Выделенный бюджет на тимбилдинг для онлайн и офлайн командных мероприятий
•Возможности участия в благотворительных инициативах и местных спортивных программах
•Поддерживающая и инклюзивная культура с акцентом на разнообразие и взаимное уважение
