Описание
Мы строим технологичную финтех-компанию ИТ Контакт: с 2019 года мы создаем современные цифровые платформы, которые позволяют упростить процессы, снизить затраты и повысить безопасность сделок, связанных с приобретением жилья. Благодаря нашей работе множество людей по всему миру смогли воплотить в жизнь мечту о собственном доме. Нас уже более 700 человек, и, в связи с активным ростом компании, мы находимся в поисках Data Engineer в нашу команду.
Задачи
•Рефакторить существующие ETL-процессы и структуру базы данных, содержащей данные из Jira и Bitbucket.
•Разрабатывать и сопровождать ETL/ELT-пайплайны.
•Переносить ETL-процессы и трансформации из SQL Server Jobs в Apache Airflow.
•Переносить существующие Python-скрипты в управляемые пайплайны Apache Airflow.
•Настраивать интеграции с различными источниками данных, включая базы данных, API, файлы и SFTP.
•Оптимизировать SQL-запросы и повышать производительность процессов обработки данных.
•Участвовать в развитии DWH и создании слоя Data Mart.
•Подготавливать данные для аналитических задач и внутренних заказчиков.
Требования
•Отличное владение SQL и практический опыт работы с MS SQL Server.
•Практический опыт работы с Apache Airflow или другим инструментом оркестрации и готовность быстро углубиться в Airflow.
•Уверенное владение Python для задач обработки и интеграции данных, включая Pandas, SQLAlchemy и Requests.
•Хорошее понимание архитектуры DWH, принципов организации слоев хранения данных и построения Data Mart.
•Опыт разработки, сопровождения и рефакторинга ETL/ELT-процессов.
•Опыт интеграции данных из различных источников: SQL-баз, API, файлов и SFTP.
•Навыки оптимизации SQL-запросов и понимание принципов эффективной работы с базами данных.
Будет плюсом
•Опыт переноса ETL-процессов, SQL Jobs или Python-скриптов в Airflow.
•Опыт работы с Git и понимание принципов version control.
•Понимание CI/CD применительно к data pipelines.
•Опыт работы с Jira и Confluence.
•Опыт использования LLM-инструментов, например GitHub Copilot, в процессе разработки.
•Опыт подготовки данных для аналитических систем или Power BI.
•Базовые навыки работы в Linux.
Условия
•Аккредитованная IT-компания.
•Комфортный офис в центре Санкт-Петербурга.
•Предсказуемый график работы 5/2.
•Мультикультурная амбициозная команда.
•Общение на иностранных языках с коллегами и клиентами.
•Внутреннее комьюнити для сотрудников: кафетерий льгот, сообщества по интересам, спортивные турниры, благотворительные программы и т.д.
