О команде
В нашей команде дата-инженеры занимаются организацией данных и витрин для их получения. Главные потребители наших данных – data scientist'ы, которые занимаются поиском закономерностей, значимых признаков в данных и тренировкой моделей машинного обучения. Сейчас мы активно расширяем команду и приглашаем к сотрудничеству Дата Инженеров!
Стек
Apache Airflow, Apache Spark, Apache Kafka, Apache Flink, ClickHouse, Kubernetes, Hive, Impala, Zeppelin, HUE, Scala и Python.
Задачи
•проектирование и построение DWH
•подготовка витрин данных для отчетности, бизнеса и дата аналитики
•организация пайплайнов сбора данных от бэкендов и других хранилищ
•организация пайплайна подготовки датасетов для обучения ML моделей
•организация мониторинга компонентов корпоративной платформы данных
•разработка ETL/ELT пайплайнов и поддержка существующих
Что мы ожидаем
•Scala/Python (один из языков на хорошем уровне)
•знание алгоритмов и структур данных
•знание SQL и принципов работы классических БД
•желание развиваться в BigData и ML
•опыт работы в роли Data Engineer от 2 лет
Какие еще навыки будут полезны в работе
•Hadoop, Spark, YARN, Hive, Impala
•noSQL базы: Cassandra, Elastic
•анализ данных при помощи Python-ноутбуков Jupyter, Zeppelin
•работа с очередями сообщений: Kafka, Rabbit, JMS
Твои возможности в Koronatech
•понятная траектория роста (оценка эффективности, карьерные консультации, индивидуальная карта развития и т.д.)
•обучение и развитие за счёт ресурсов компании (Учебный центр, корпоративная библиотека, оплата внешнего обучения)
•социальный пакет (ДМС после ИС, скидки от партнёров, детская программа и т.д.)
•насыщенная корпоративная жизнь (радио, подкасты, кибертурнир, собственные мероприятия и участие в крупных событиях отрасли)
•возможность быть преподавателем, наставником, автором корпоративного блога, спикером – каждый выбирает то, что подходит именно ему
•официальное трудоустройство с первого дня, полностью белая зарплата
•удобный формат работы (удаленно или офисе/в гибридном формате)
