О компании
Gemini — глобальная криптовалютная и Web3-платформа, основанная Кэмероном и Тайлером Уинклвоссами в 2014 году; компания предоставляет криптопродукты и сервисы частным лицам и организациям более чем в 70 странах. Команда данных проектирует и эксплуатирует инфраструктуру данных, которая обеспечивает аналитику, отчётность, аналитические решения и машинное обучение во всём бизнесе.
☑️ Чем предстоит заниматься
•Проектировать, создавать и поддерживать инфраструктуру данных и пайплайны для пакетной обработки и потоковых / real-time нагрузок, участвуя в архитектурных решениях
•Строить и поддерживать масштабируемые, эффективные и надёжные ETL/ELT-пайплайны с использованием Python, SQL, Spark, Flink, Beam или аналогов
•Работать над решениями для данных в реальном или почти реальном времени (например, CDC, стриминг, micro-batch) для сценариев, где важна своевременность данных
•Сотрудничать с data scientists, ML-инженерами, аналитиками и продуктовыми командами: уточнять требования к данным, определять SLA и поставлять согласованные data products, которыми другие смогут пользоваться самостоятельно
•Выстраивать фреймворки качества данных, валидации, наблюдаемости и мониторинга (аудит данных, алертинг, обнаружение аномалий, lineage данных)
•Разбираться и устранять сложные проблемы в production: root cause analysis, узкие места по производительности, целостность данных, отказоустойчивость
•Документировать потоки данных, словари данных, архитектурные паттерны и операционные runbook'и
☑️ Наши пожелания к кандидатам
•5+ лет опыта в data engineering (или смежных ролях)
•Уверенный опыт проектирования, реализации и оптимизации ETL/ELT-пайплайнов
•Глубокая экспертиза в Python и SQL, умение писать production-код: поддерживаемый и тестируемый
•Опыт работы с крупномасштабными хранилищами данных (например, Databricks, BigQuery, Snowflake)
•Твёрдые основы software engineering, структур данных и системного мышления
•Практический опыт моделирования данных (dimensional modeling, нормализация, проектирование схем)
•Опыт построения систем с данными в реальном времени или стримингом (например, Kafka, Kinesis, Flink, Spark Streaming), знакомство с CDC-фреймворками
•Опыт с оркестрацией / workflow-фреймворками (например, Airflow)
•Знакомство с data governance, lineage, метаданными, каталогизацией и практиками качества данных
