Классификация и поиск объектов искусства
Набор ML-инструментов для работы с коллекцией изображений: классификация, поиск и группировка объектов по содержанию. Система работает и с текстовыми запросами, и с изображениями.
Контекст
Коллекция изображений с разнородными описаниями: искать по ней тегами неудобно, а часть объектов вообще без внятной подписи.
Решение строится на общем пространстве представлений для текста и картинок – тогда запрос любого типа сравнивается с любым объектом.
схема
Как устроен поиск
из проекта
Как это выглядит
Что входило в задачи
Текст и картинки в одном пространствепоэтому поиск по описанию, по изображению и по их сочетанию оказывается одним и тем же механизмом – три сценария на одном индексе
- Датасетизображения коллекции и разнородные описания к ним
- Эмбеддингиобучение моделей для визуальных и текстовых представлений
- Три типа запросатекст, картинка и комбинация – по одному индексу
- Кластеризациягруппировка изображений по содержанию
- Дубликатынаходятся по смыслу: одинаковый сюжет ловится и в разных файлах
- Автоматическая разметкатеги и тематики для объектов без внятной подписи
Стек проекта
PythonPyTorchHugging Faceвекторный поискFastAPI