Локация
Астана, улица Динмухамеда Кунаева, 10; работа на месте работодателя и в гибридном формате
Компания
Развивается направление интеллектуальных решений с собственной инфраструктурой данных, Kubernetes, объектным хранилищем и GPU-сегментом.
Что делать
•Строить пайплайны выгрузки данных из PostgreSQL, Oracle, Hive, Kafka, файлов и API.
•Разрабатывать и сопровождать DAG'и в Airflow: инкрементальные загрузки, ретраи, алертинг и восстановление после сбоев.
•Собирать аналитические витрины и датасеты для AI-сервисов и ML.
•Обеспечивать качество данных с помощью входных проверок, контроля расхождений и диагностики инцидентов.
•Оптимизировать запросы и модели данных для соблюдения SLA.
Требования
•От 3 лет опыта в Data Engineering, ETL, DWH или backend-разработке с фокусом на данные.
•Уверенный SQL, включая оконные функции и анализ планов выполнения.
•Практический опыт с PostgreSQL: индексы, блокировки и партиционирование.
•Промышленная разработка пайплайнов на Python и опыт с Airflow, Dagster, Prefect или аналогичным оркестратором.
•Опыт с аналитической СУБД, распределённым хранением, Hive или Spark, а также Docker.
•Работа с Huawei Cloud Stack, Kafka и CDC, Oracle, dbt, Kubernetes, Prometheus, Grafana, Data Quality и Data Contracts будет полезна; часть инструментов можно освоить в команде.
Хорошо, если есть
•Опыт с ClickHouse, Greenplum, GaussDB(DWS) или Vertica.
•Знания в обработке документов, векторных хранилищах и эмбеддингах для подготовки данных под ML.
Культура и преимущества
•Работа с данными группы компаний, а не только одного отдела.
•Собственная инфраструктура на базе Kubernetes, объектного хранилища и GPU-сегмента.
•Возможность влиять на архитектуру слоя данных в молодом направлении.
