# Старший инженер данных (AWS/Databricks)
Опыт: 5+ лет
Местоположение: Пуне
Процесс собеседования: Один обязательный очный раунд собеседования в офисе клиента в Пуне
Краткое описание работы
Мы ищем высококвалифицированного и опытного старшего инженера данных (AWS/Databricks) с опытом работы более 5 лет в проектировании, разработке и оптимизации масштабируемых решений по обработке данных.
Идеальный кандидат должен обладать глубокими знаниями в области Python, SQL, PySpark, AWS, Databricks, ETL/ELT конвейеров и облачных платформ данных. Роль требует сильных технических навыков в распределённой обработке данных, моделировании данных, оптимизации производительности и создании корпоративных решений для данных.
Кандидат должен быть способен самостоятельно реализовывать сложные решения по обработке данных, сотрудничать с межфункциональными командами и внедрять лучшие инженерные практики.
Основные обязанности
•Проектировать, разрабатывать и поддерживать масштабируемые, надёжные и высокопроизводительные конвейеры данных с использованием Python, PySpark, SQL и Databricks.
•Создавать и оптимизировать ETL/ELT конвейеры для масштабного сбора, трансформации и интеграции данных.
•Разрабатывать и управлять облачными решениями по обработке данных с использованием сервисов AWS и Databricks.
•Писать сложные SQL-запросы, выполнять моделирование данных, внедрять оптимизацию запросов и методы повышения производительности.
•Проектировать и реализовывать распределённые решения для обработки данных с использованием Apache Spark и PySpark.
•Работать с озёрами данных, облачными хранилищами и корпоративными платформами данных.
•Внедрять CI/CD конвейеры, автоматизированные развертывания и лучшие практики DevOps для задач обработки данных.
•Обеспечивать качество данных, управление, безопасность, соответствие требованиям и надёжность конвейеров данных.
•Устранять сбои в работе конвейеров, выявлять узкие места в производительности и внедрять стратегии оптимизации.
•Сотрудничать с архитекторами данных, дата-сайентистами, бизнес-аналитиками и инженерными командами для поставки комплексных решений по данным.
•Участвовать в Agile/Scrum мероприятиях, технических обсуждениях, обзорах дизайна и кода.
•Вносить вклад в внедрение современных облачных практик обработки данных и новых технологий.
Требуемые технические навыки
1. Python
•Глубокие практические навыки программирования на Python.
•Опыт разработки производственных приложений для обработки данных, автоматизационных скриптов и переиспользуемых компонентов.
•Умение писать чистый, эффективный, поддерживаемый и масштабируемый код.
2. SQL и моделирование данных
•Экспертные навыки SQL, включая сложные объединения, оконные функции, CTE и продвинутые преобразования данных.
•Сильный опыт в моделировании данных, оптимизации запросов и повышении производительности.
•Умение проектировать эффективные структуры данных для масштабных аналитических нагрузок.
3. PySpark и распределённая обработка данных
•Глубокий практический опыт работы с PySpark и Apache Spark.
•Экспертиза в распределённой обработке данных, трансформациях Spark, партиционировании, кэшировании и оптимизации производительности.
•Опыт обработки больших наборов данных в распределённых вычислительных средах.
4. AWS и Databricks
•Практический опыт работы с облачными решениями обработки данных на AWS.
•Опыт работы с Databricks для масштабной обработки и трансформации данных.
•Понимание облачных платформ данных, озёр данных и современных архитектур данных.
•Знание соответствующих сервисов AWS, таких как S3, Glue, Lambda, EMR и Redshift, будет преимуществом.
5. ETL/ELT и интеграция данных
•Сильный опыт проектирования, разработки, поддержки и оптимизации масштабируемых ETL/ELT конвейеров.
•Опыт интеграции данных из множества структурированных и полуструктурированных источников.
•Понимание процессов сбора, трансформации, оркестрации и мониторинга конвейеров данных.
6. CI/CD и DevOps
•Опыт внедрения CI/CD конвейеров для приложений обработки данных.
•Понимание систем контроля версий, автоматизированного тестирования, автоматизации развертывания и лучших практик DevOps.
•Знания контейнеризации, оркестрации и облачных архитектур.
7. Управление данными, качество и безопасность
•Глубокое понимание управления данными, фреймворков качества данных и принципов безопасности данных.
•Опыт внедрения валидации данных, мониторинга и контроля соответствия требованиям.
•Умение создавать надёжные и поддерживаемые корпоративные решения для данных.
Желательные навыки
•Опыт работы с облачными платформами Azure или GCP.
•Знакомство с концепциями машинного обучения, практиками MLOps и платформами данных с поддержкой AI/ML.
•Опыт работы с генеративным ИИ, крупными языковыми моделями (LLMs), Retrieval-Augmented Generation (RAG), AI-агентами и современными технологиями ИИ.
•Знания Docker, Kubernetes и паттернов облачного развертывания.
•Опыт работы с современными архитектурами data lakehouse и расширенными возможностями Databricks.
Требуемый опыт и квалификация
•Минимум 5+ лет релевантного опыта в области инженерии данных.
•Сильный практический опыт в Python, продвинутом SQL, PySpark и разработке ETL/ELT.
•Практический опыт работы с AWS и/или другими облачными платформами, предпочтительно с Databricks.
•Подтверждённый опыт работы с масштабными платформами данных и распределёнными фреймворками обработки данных.
•Сильные аналитические, отладочные, проблемно-решающие и коммуникативные навыки.
•Опыт работы в Agile/Scrum средах.
•Умение эффективно сотрудничать с межфункциональными техническими и бизнес-стейкхолдерами.
•Степень бакалавра или магистра в области компьютерных наук, информационных технологий.
