Описание
Мы — международная компания с головным офисом в Дубае (ОАЭ), разрабатывающая AI-решения для автоматизации клиентских коммуникаций, управления знаниями и оптимизации бизнес-процессов. Сейчас мы ищем Data Engineer, который поможет выстроить надежную инфраструктуру данных, стабилизировать существующие интеграции и развивать архитектуру данных для аналитики и AI-продуктов. Это hands-on роль для специалиста, который любит разбираться в сложных системах, самостоятельно принимать технические решения и видеть результат своей работы в реальных бизнес-процессах.
Задачи
•Проектировать и поддерживать хранилище, стабилизировать CDC на базе Debezium и Kafka, обеспечивать надежность передачи данных.
•Интегрировать данные из CRM, API, веб-аналитики, платежных систем и других источников, обеспечивать инкрементальную загрузку, дедупликацию и идемпотентность.
•Выстраивать слои raw → staging → marts, стандартизировать структуры и обеспечивать качество данных.
•Объединять данные от первого контакта клиента до оплаты, обеспечивать корректную маркетинговую атрибуцию (UTM, gclid, коллтрекинг, мессенджеры).
•Логирование диалогов, отслеживание использования моделей и стоимости токенов, подготовка eval-датасетов, контроль актуальности данных.
•Создавать витрины и API для аналитики, внутренних продуктов и AI-агентов.
•Настраивать проверки полноты, свежести и согласованности данных, алерты и SLA.
•Разграничение доступов, маскирование персональной информации и соблюдение политик хранения.
•Документировать архитектуру, модели данных и интеграции.
Требования
•Опыт работы в Data Engineering или смежных направлениях от 3 лет.
•Уверенный SQL: сложные запросы, оконные функции, оптимизация производительности.
•Глубокое понимание PostgreSQL: индексы, планы выполнения запросов, базовые принципы репликации и резервного копирования.
•Практический опыт интеграции с REST API: пагинация, лимиты, ретраи, вебхуки, инкрементальные загрузки.
•Python для разработки коннекторов, автоматизации и обработки данных.
•Уверенная работа с Linux, Bash, SSH и Git.
•Опыт работы с Docker и базовое понимание Kubernetes.
•Понимание принципов построения надежных ETL/ELT-пайплайнов и моделирования данных.
Будет плюсом:
•Опыт с dbt, Airflow, Prefect или Dagster.
•Практическая работа с Kafka, Debezium и CDC.
•Интеграции с Bitrix24 или другими CRM-системами.
•Опыт использования Airbyte, Meltano, Fivetran или аналогичных инструментов.
•Понимание веб-аналитики, маркетинговой атрибуции и сквозной аналитики.
•Опыт подготовки данных для ML/LLM-продуктов, работы с pgvector, embeddings и eval-пайплайнами.
•Знакомство с AWS, GCP, Yandex Cloud, Terraform, Ansible.
•Опыт работы с Prometheus, Grafana и n8n.
Условия
•Возможность самостоятельно предлагать и внедрять технические решения.
•Сложные интеграции, нестабильные API, большие объемы данных и развитие инфраструктуры.
•Данные используются не только для отчетности, но и напрямую влияют на работу LLM-решений.
•Быстрые решения, самостоятельность и ориентация на результат.
•Работа с разными рынками, сервисами и бизнес-процессами.
•Полностью удаленная работа.
•График 5/2, с 10:00 до 19:00 по времени ОАЭ (Dubai Time).
•Контракт удаленного сотрудника.
•Выплаты в валюте на зарубежный банковский счет или другими способами по согласованию с сотрудником.
