Должностные обязанности:
•Проектирование и разработка процессов загрузки данных (ETL/ELT) из корпоративных систем, IoT-источников, файловых и внешних источников;
•Подключение новых источников данных: анализ структуры, проектирование интеграции, организация первичной и регулярной загрузки;
•Проектирование и развитие слоёв и моделей данных в хранилище — от исходных данных до очищенных и подготовленных для аналитики наборов;
•Обеспечение качества и целостности данных при загрузке и преобразовании: технические проверки, контроль полноты, дубликатов и ошибок;
•Проектирование структур данных и оптимизация хранения и обработки больших объёмов данных в ClickHouse, PostgreSQL и Object Storage;
•Документирование потоков данных, интеграций, моделей и технических решений; формирование стандартов разработки Data Platform;
•Взаимодействие с владельцами систем, 1С-разработкой, BI/ML-командой и подрядчиками при организации поставки и использования данных;
•По мере формирования команды — техническое наставничество инженеров данных, code review и развитие единых инженерных практик.
Требования к кандидату:
•образование высшее техническое/ИТ;
•опыт работы: от 5+ лет Data Engineering/DWH;
•знание: SQL, Python, ETL/ELT, моделирование данных, Linux, Git; Airflow, S3, ClickHouse, PostgreSQL, Yandex Cloud;
•опыт интеграции различных источников;
•опыт технического лидерства.
