Описание
Как Lead Data Engineer, вы возглавите под (pod) дата-инженеров и будете строить надёжные, масштабируемые продукты и платформы данных, которые помогают NewDay принимать более качественные решения и извлекать больше ценности из данных. Это hands-on управленческая роль, где вы совмещаете техническую экспертизу с лидерством людей. Вы будете задавать стандарты инженерного подхода и качества, помогать команде решать сложные задачи с данными в масштабе. Мы также хотим продолжать развивать использование AI и автоматизации в дата-инженерии, и у вас будет возможность привносить свои идеи и любопытство, чтобы находить более умные и эффективные способы работы.
Задачи
•Возглавлять и развивать команду (pod) дата-инженеров, создавая среду, где люди могут учиться, сотрудничать и обеспечивать качественную инженерию.
•Формировать техническое направление для данных в своей области, обеспечивая руководство по моделированию данных, data warehousing, ETL/ELT и масштабируемым платформам данных.
•Оставаться хендс-он: проектировать и разрабатывать сложные пайплайны и решения с использованием dbt, Python, SQL и современных облачных технологий.
•Отстаивать качество инженерии, улучшая тестирование, качество данных, observability и автоматизацию для повышения надёжности и удобства эксплуатации продуктов данных.
•Сотрудничать с технологической и бизнес-стороной, превращая сложные требования в практичные решения по данным и исследуя, как AI и новые технологии могут улучшить способы инженерии и доставки команды.
Требования
•Практический опыт использования dbt для проектирования, построения и улучшения трансформаций данных в сложной среде данных.
•Инженерный опыт использования Python и SQL с возможностью решать сложные задачи с данными в масштабе.
•Умение проектировать и направлять современные решения дата-инженерии, со знанием моделирования данных, ETL/ELT, data warehousing и масштабируемых пайплайнов данных.
•Умение руководить и развивать дата-инженеров, сочетая практический технический вклад с коучингом, техническим направлением и ответственностью за доставку.
•Интерес к AI и автоматизации, с технической любознательностью исследовать, как новые технологии могут улучшить качество, продуктивность и способы работы в инженерии.
Будет плюсом
•Опыт использования AWS или другой крупной облачной платформы. В среде компании используются EMR, Athena, Lambda, S3, Glue и Step Functions, но рассматривается и переносимый опыт решения похожих задач.
•Опыт работы со Snowflake, Spark, Scala или Airflow, либо переносимый опыт с сопоставимыми технологиями и решением похожих задач дата-инженерии.
•Опыт работы с Git, GitHub и практиками CI/CD, включая инструменты, такие как GitHub Actions.
•Знание обработки данных в реальном времени, data governance, качества данных или observability.
•Опыт использования AI-инструментов инженерии или автоматизации для повышения продуктивности, качества или надёжности дата-инженерии.
Компания отмечает, что не все кандидаты соответствуют каждому требованию, и приглашает подавать заявку при наличии сильной базы в дата-инженерии, практического опыта с dbt и опыта решения сложных задач в масштабе, даже без опыта работы с каждой перечисленной технологией.
Эта должность также может называться Data Engineering Lead, Data Platform Lead или Principal Data Engineer.
Формат занятости: постоянная (Permanent).
