Описание
Proxify связывает технических специалистов с долгосрочными удалёнными возможностями в компаниях по всему миру. С момента запуска платформа связала более 5000 разработчиков с более чем 1200 компаниями.
Задачи
•Разрабатывать и реализовывать эффективные ETL/ELT конвейеры данных, интегрирующие данные из разных источников
•Разрабатывать масштабируемые модели данных и архитектуры, включая data lakes и data warehouses
•Оптимизировать запросы и рабочие процессы для высокой производительности и надёжности данных
•Сотрудничать с аналитиками, инженерами и бизнес-стейкхолдерами для получения data-driven инсайтов
•Устанавливать и внедрять лучшие практики по управлению данными, безопасности и качеству, используя современные фреймворки и инструменты, такие как Great Expectations, Monte Carlo и Collibra
•Внедрять автоматизацию и мониторинг для сокращения ручных процессов и повышения надёжности, используя такие инструменты, как Prometheus и Grafana
Требования
•5+ лет профессионального опыта в data engineering
•Знание инструментов оркестрации, таких как Airflow, DBT и Prefect
•Сильное владение Python и SQL
•Практический опыт работы с фреймворками для big data, такими как Spark и PySpark
•Опыт работы с платформами data warehouse, такими как Snowflake, BigQuery или Redshift
•Уверенное знание облачных сред, таких как AWS, GCP или Azure
•Сильное понимание принципов моделирования данных и проектирования баз данных
Будет плюсом
•Знакомство с концепциями data lakehouse (Delta Lake, Apache Iceberg или Hudi)
•Опыт работы со стриминговыми инструментами (Kafka, Kinesis)
•Облачные сертификации (AWS, GCP, Azure)
•Опыт работы с ML-процессами или продвинутой аналитикой
Условия
•Локация: EMEA
•Контрактная занятость
•Все роли на 100% удалённые
•Доступ к долгосрочным удалённым позициям в продуктовых компаниях и персонально подобранным возможностям
