Описание
ASTON — аккредитованная аутсорсинговая IT-компания, работающая с 2007 года. Компания разрабатывает программное обеспечение и IT-решения в сферах финансов, здравоохранения, электронной коммерции, интернета вещей, медиа, Big Data и машинного обучения.
Задачи
•Реализовывать высоконагруженные конвейеры обработки данных для надежной и бесперебойной репликации данных из ИТ-систем
•Подготавливать данные в аналитических хранилищах DataLake, SandBox и FeatureStore для построения признаков моделей машинного обучения
•Разрабатывать и актуализировать документацию по функциональности
•Отражать статусы выполнения задач в Jira
•Проверять качество кода инженеров данных
Требования
•Опыт работы Data Engineer от 4 лет
•Знание Python, структур данных и алгоритмов, ООП и функционального программирования
•Опыт написания модульных и интеграционных тестов
•Знание и опыт применения NumPy и Pandas
•Опыт разработки и внедрения в промышленную эксплуатацию сервисов загрузки и обработки неструктурированных данных из внешних источников
•Умение разбираться с API поставщиков данных по документации
•Знание SQL, аналитических оконных функций и инструментов профилирования запросов
•Опыт работы с Oracle, Postgres и Greenplum
•Опыт работы с Airflow
•Опыт разработки высоконагруженных приложений обработки данных на PySpark
•Опыт работы с Apache Kafka, продюсерами и консьюмерами на Python, consumer groups
•Опыт разработки потоковой обработки данных с Spark Structured Streaming и Flink
•Опыт работы с Flink
Условия
•Локация: РФ
•Конкурентная зарплата, сумма обсуждается отдельно с каждым кандидатом
•Оформление по ТК РФ
•Проекты от ведущих компаний
•ДМС со стоматологией
•Частичная компенсация занятий спортом
•Оплачиваемые больничные дни и простой
•Компенсация расходов на коворкинг
•Менторская поддержка и система адаптации
•Доплаты за менторство, проведение обучающих курсов, ревью проектов и другие профессиональные активности
•Корпоративный портал, технические встречи и конференции
•Корпоративные мероприятия, тимбилдинги, детские праздники и мастер-классы
