Находка: лёгкий локальный векторный поиск, с которым можно быстро собрать собственную базу знаний.
Опенсорс проект zvec от Alibaba уже набрал 10,3 тыс. звёзд на GitHub и активно используется внутри Alibaba в крупных продакшен-сценариях.
Обычно для векторного поиска приходится поднимать отдельный сервис: Pinecone, Weaviate, Qdrant или что-то ещё. Плюсом идут - настройка, инфраструктура и деплой. Для небольших проектов это часто оказывается слишком хардкорно
С zvec всё проще. Он встраивает всю векторную базу данных прямо в ваш процесс - примерно так же, как SQLite работает с реляционными базами данных. Установили через pip, создали коллекцию несколькими строками кода, загрузили данные - и можно выполнять поиск по сходству. Никаких серверов, конфигурационных файлов и доп.инфраструктуры, всё хранится в одном локальном файле.
zvec умеет искать среди сотен миллионов векторов за миллисекунды и поддерживает гибридный поиск: векторный + полнотекстовый. Работает на ноутбуках, серверах и даже на edge-устройствах.
Обновление v0.5.0 от 12 июня заметно расширило возможности проекта:
↳ Нативный полнотекстовый поиск без внешних поисковых движков ↳ Гибридный поиск, объединяющий векторы, ключевые слова и фильтры в одном запросе ↳ Новый дисковый индекс, существенно снижающий потребление памяти на больших объёмах данных ↳ Zvec Studio — визуальный инструмент для просмотра данных и отладки без написания кода
