Чем предстоит заниматься
— Data Platform Engineering: проектировать и поддерживать надёжную, масштабируемую и безопасную инфраструктуру данных на Databricks, покрывающую как потоковые, так и пакетные нагрузки.
— Data Pipeline Development: проектировать, разрабатывать и поддерживать пайплайны данных, преимущественно на Python и Spark, для автоматизации загрузки и трансформации данных из внутренних систем, внешних провайдеров и on-chain источников.
— Data Modelling: проектировать и поддерживать дименсиональные модели данных и слои трансформации в dbt, с тестами и документированными контрактами, чтобы метрики были согласованы и переиспользуемы в компании.
— Data Lake Management: отвечать за data lake и lakehouse слои, обеспечивая эффективное хранение, эффективное партиционирование, высокое качество данных, а также мониторинг и алертинг, выявляющий проблемы на ранней стадии.
— Integration and Customisation: интегрировать Databricks с широким спектром источников данных, включая change data capture из операционных баз данных, сторонние API и блокчейн-данные, адаптируя потоки данных под конкретные бизнес-задачи.
— Performance, Scalability and Cost: оптимизировать пайплайны и хранилища по производительности, надёжности и затратам при масштабировании.
— Data Governance and Security: применять лучшие практики по governance, безопасности и соответствию требованиям в облачных средах и Databricks, включая контроль доступа, шифрование и мониторинг.
— Collaboration and Documentation: тесно сотрудничать с платформенными инженерами, аналитиками данных и другими стейкхолдерами для понимания требований к данным, документировать инфраструктуру, модели и лучшие практики.
Наши пожелания к кандидатам
— Опыт в Data Engineering: 3+ года в роли Data Engineer, с опытом владения продакшн-пайплайнами и архитектурой lakehouse или хранилища данных.
— Databricks и Spark: сильный практический опыт с Databricks, Delta Lake и Spark, включая потоковую и пакетную обработку, и умение выбирать между ними.
— Data Modelling: уверенное понимание дименсионального моделирования, slowly changing dimensions и проектирования хранилищ данных, с умением определять и обосновывать гранулярность создаваемых моделей.
— Transformation Frameworks: опыт работы с dbt или аналогичным фреймворком для управления трансформациями, тестированием и lineage.
— Облачная компетентность: сильные базовые знания облачных технологий, включая identity and access management, объектное хранилище, сети и infrastructure as code. Работают на AWS; глубокий опыт с Azure или GCP хорошо переносится.
— Владение Python и SQL: уверенное написание продакшн-трансформаций, а также сервисов и коннекторов.
— Data Quality and Governance: опыт внедрения практик тестирования, мониторинга и governance в облачных средах данных.
— Будет плюсом:
— Опыт с change data capture и репликацией из операционных баз данных
— Знакомство с блокчейн или on-chain данными
— Infrastructure as code, желательно Terraform, и CI/CD для data workloads
— Опыт с BI и семантическими слоями, такими как Holistics, Looker или аналогичные
— Контейнеризация и оркестрация (Docker, Kubernetes)
