Описание
Акционерное общество «Страховая компания «Казахмыс» - одна из лидирующих страховых компаний Казахстана, верный партнер множества Клиентов из различных сфер деятельности и надежный поставщик услуг страхования и перестрахования, уверенно прошедший проверку временем. Мы №1 в рейтинге страховщиков Казахстана по версии журнала «Forbes Kazakhstan» в 2022 и 2023 годов. Наша команда профессионалов предоставляет индивидуальные решения для каждого отдельного Клиента, что позволяет обеспечить качественное предоставление услуг.
Мы в поиске Дата-инженера middle+!
Задачи
Основной владелец корпоративного хранилища данных. Платформа построена своими силами: PostgreSQL как ядро, ClickHouse сверху, оркестрация в Airflow. От неё зависят все продукты компании — ОГПО, кабинет выплат, Битрикс24, ИИ-направление.
Первая задача — разбор ссылочной структуры исторической базы 1С объёмом около терабайта. Данные уже выгружены в хранилище, но связи между сущностями не восстановлены, и без этого половина проектов стоит. Это не позиция «в помощь». Человек принимает платформу и отвечает за неё.
•Разбор структуры хранения 1С: соответствие метаданных физическим таблицам, составные ссылочные типы, автоматическое построение словаря
•DAG в Airflow: загрузки из 1С, СЭД, Битрикс24, внутренних сервисов
•Слои хранилища в PostgreSQL, аналитические витрины в ClickHouse
•Историчность: версии, интервалы действия, восстановление состояния на дату
•Качество данных: проверки внутри пайплайнов, мониторинг, реакция на сбои
•Витрины для ИИ-направления, включая поисковый слой
Требования
•Опыт работы от 5 лет
•Airflow на уровне продакшена: идемпотентность, повторные прогоны, зависимости, обработка сбоев
•Сильный SQL и понимание, как выполняется запрос
•PostgreSQL обязательно, ClickHouse — понимание, чем отличается и когда применять
•Python для трансформаций
•Опыт моделирования хранилища: слои, историчность, медленно меняющиеся измерения
•Готовность принять ответственность за платформу целиком
Будет плюсом:
•Опыт работы с данными 1С
•dbt или другой инструмент трансформаций
•Финансовый сектор, страхование, регуляторная отчётность
Условия
•Собственная платформа, а не коробочное решение с ограничениями
•Задача с ясной ценностью и видимым результатом
•Полное влияние на архитектуру хранилища
•Официальное оформление по ТД РК
•График работы 5/2, время работы 09:00-18:00
•Отпуск 24 календарных дня
•Современный комфортный офис
•Добровольное медицинское страхование по программе стандарт
•Материальная помощь по личным событиям
•Выдача "Welcome pack", "Corporate pack"
•Возмещение части стоимости в фитнес клуб
•Возмещение стоимости стартового взноса и премия за участие в марафонах
•Премии за участие в корпоративных турнирах
