Описание
Вы будете владеть и развивать наши дата-пайплайны на GCP — создавать новые, укреплять существующие, улучшать качество данных и делать чистые, надёжные данные доступными во всей организации. Вы будете работать сквозным образом со стриминговыми и батчевыми пайплайнами, от CDC и приёма событий до трансформации, сервинга и слоя фичей, который питает наши ML и AI продукты.
Задачи
•Проектировать и строить батчевые и стриминговые пайплайны на Dataflow, Pub/Sub и Kafka, питающие BigQuery, Bigtable и ClickHouse
•Помогать проводить миграцию со Snowflake на наш GCP-native стек — и выводить из эксплуатации shadow-пайплайны по пути
•Владеть слоем оркестрации в Airflow, включая SLA, retries и data quality gates
•Моделировать данные для аналитики и для ML — включая feature-пайплайны, обслуживающие как обучение, так и low-latency онлайн-инференс
•Сотрудничать с ML-инженерами по feature stores, мониторингу drift и retraining workflows
•Собирать требования от стейкхолдеров и переводить их в прагматичные, чётко очерченные дата-продукты
•Непрерывно улучшать качество данных, надёжность, observability и эффективность затрат
•Выявлять новые источники данных, достойные приобретения, и интегрировать их аккуратно
Требования
•Сильные навыки моделирования данных и архитектуры хранилищ (dimensional modelling, event-driven, lakehouse patterns)
•Практический опыт с GCP data services — BigQuery обязателен; Pub/Sub, Dataflow, Bigtable, Cloud Composer — сильные плюсы
•Продакшн-опыт со стриминговыми пайплайнами на Dataflow/Beam, Flink или Spark Structured Streaming, с приёмом данных из Kafka и/или Pub/Sub
•Уверенный SQL и сильный Python — вы пишете продакшн-качественный код, а не только ноутбуки
•Опыт с ClickHouse или другим columnar OLAP engine в продакшне
•Опыт оркестрации workflow с Airflow (или Prefect/Dagster)
•Уверенное владение dbt или аналогичными фреймворками трансформации
•Рабочие знания ML в продакшне — feature engineering, feature stores, model deployment, мониторинг drift, retraining
•Опыт с Docker и Kubernetes
•CI/CD mindset, чувство infrastructure-as-code и склонность к простым, наблюдаемым системам
Будет плюсом
•Опыт миграции с legacy warehouses (Snowflake, Redshift, Synapse) на cloud-native стеки
•Bonus: CDC tooling (Datastream, Debezium), Vertex AI / Feature Store
Условия
•Возможность внести вклад в продукт, высоко оценённый пользователями и сообществом кибербезопасности
•Поддерживающая и заботливая среда, способствующая росту, гибкости и автономии
•Непрерывное обучение и решение задач, рост вместе с ростом организации
•Частное медицинское страхование
•Оплачиваемый отпуск по уходу за ребёнком (для отцов)
•25 дней ежегодного отпуска
•Бесплатный обед и снэки в офисе
•120€ Ticket Restaurant от Edenred
•Выделенный бюджет на обучение и профессиональное развитие, участие в конференциях
•Полный доступ к лабораториям Hack The Box
•Современное оборудование (mac, iPhone и мобильный план)
