01.tech

Data Engineer

Коротко

Senior Data Engineer разрабатывает и поддерживает data pipelines и DAG-процессы в Airflow, работает с ClickHouse и MySQL, интегрируется с API и FTP внешних источников и проектирует микросервисы для highload-продуктов с аудиторией 100M+ пользователей. Требуется 5+ лет опыта на Python, знание SQL, опыт с OLAP-системами, Airflow, Pandas, Kafka/RabbitMQ, Docker и Kubernetes. Формат работы гибридный, зарплата не указана.

Описание
Описания нет
Задачи
•Разрабатывать и поддерживать data pipelines и DAG-процессы в Airflow
•Готовить данные для аналитических и бизнес-задач
•Работать с ClickHouse и MySQL, оптимизировать запросы и анализировать планы их выполнения
•Интегрироваться с сервисами партнеров и внешними источниками данных через API и FTP
•Проектировать и разрабатывать микросервисы для обработки данных
•Работать с высоконагруженными системами, обрабатывающими терабайты данных
•Участвовать в развитии архитектуры и самостоятельно предлагать технические решения для повышения производительности и масштабируемости
Требования
•5+ лет коммерческого опыта разработки на Python
•Знание SQL и опыт оптимизации запросов
•Опыт работы с ClickHouse и/или MySQL
•Опыт проектирования Python-фреймворков и библиотек, профилирования и оптимизации производительности
•Опыт разработки и работы с OLAP-системами
•Практический опыт с Airflow, Pandas, Kafka и/или RabbitMQ
•Опыт получения и обработки данных из API и FTP
•Опыт работы с Docker и Kubernetes
•Самостоятельность в поиске и выборе технических решений
•Умение понимать бизнес-контекст задач и эффективно взаимодействовать с командой
Условия
•Highload-продукты, обрабатывающие десятки тысяч запросов в секунду и работающие на аудиторию 100M+ пользователей по всему миру
•Медицинская страховка в странах присутствия компании
•Годовой бюджет $2 000 после испытательного срока на медицинское страхование, изучение языков и занятия спортом
•Частичная компенсация профессионального обучения, курсов и участия в профильных конференциях
•Доступ к корпоративной электронной библиотеке
•Еженедельные онлайн-консультации с психологом за счет компании
•Возможность релокации в страны присутствия офисов компании с релокационной поддержкой после ИС

Хватит откликаться.
Получите рекомендацию.

$10 стартовых кредитов

Всего 60 секунд, полностью на автопилоте — AI-агенты Eraldt читают ваше резюме, определяют подходящие роли, находят живые вакансии и людей, которые могут вас порекомендовать, пишут им личные письма и добиваются рекомендации.

Это не отклик на вакансию: резюме не уходит в компанию, а рекомендацию именно по этой роли мы не обещаем.

Посмотрите, кто ещё получает интервью на автопилоте