Описание
Компания ищет инженера для создания и масштабирования платформы разрешения сущностей, использующей ИИ, машинное обучение, поисковые технологии и распределённые системы для обработки сотен миллионов записей.
Задачи
•Проектировать и эксплуатировать крупномасштабные системы обработки данных на Python, Spark и SQL
•Разрабатывать возможности сопоставления сущностей, дедупликации, кластеризации и поиска
•Создавать и оптимизировать конвейеры данных с помощью Spark, Airflow и DBT
•Повышать точность сопоставления, полноту, производительность и масштабируемость
•Разрабатывать аналитические модели данных и оптимизировать крупномасштабные запросы SQL
•Внедрять средства проверки и отслеживать показатели качества данных
Требования
•Опыт разработки программного обеспечения от 5 лет
•Уверенное владение Python
•Практический опыт использования Apache Spark или Databricks в продуктивной среде
•Уверенное владение SQL и опыт работы с крупными наборами данных
•Понимание распределённых систем и приложений с интенсивной обработкой данных
•Опыт сопоставления по сходству, поиска, разрешения сущностей или смежных областей
•Умение находить баланс между точностью, производительностью, масштабируемостью и затратами
Будет плюсом: опыт работы со Snowflake или аналогичными облачными хранилищами данных, Airflow, DBT или аналогичными инструментами оркестрации, системами разрешения сущностей, сопоставления записей или дедупликации, векторными представлениями, векторным поиском, семантическим сопоставлением или конвейерами с поддержкой машинного обучения, Elasticsearch, OpenSearch, векторными базами данных, Azure, AWS, Kubernetes, бессерверными технологиями и GitHub Actions
Условия
•Контракт на 12 месяцев
