Microsoft는 Bing에서 사용되는 벡터 검색 라이브러리를 오픈 소스로 제공했습니다.

마이크로소프트 опубликовала 기계 학습 라이브러리 소스 코드 SPTAG (공간 분할 트리 및 그래프) 근사 알고리즘 구현 가장 가까운 이웃 검색. 도서관 개발 Microsoft Research의 연구 부문 및 검색 기술 개발 센터(Microsoft Search Technology Center)에서 근무하고 있습니다. 실제로 SPTAG는 Bing 검색 엔진에서 검색 쿼리의 컨텍스트를 기반으로 가장 관련성이 높은 결과를 결정하는 데 사용됩니다. 코드는 C++로 작성되었으며, 배포자 MIT 라이센스에 따라. Linux 및 Windows용 빌드가 지원됩니다. Python 언어에 대한 바인딩이 있습니다.

검색 엔진에서 벡터 스토리지를 사용한다는 아이디어가 꽤 오랫동안 떠돌았음에도 불구하고 실제로는 벡터 작업의 높은 리소스 집약도와 확장성 제한으로 인해 구현이 방해를 받습니다. 딥 머신 러닝 방법과 최근접 이웃 검색 알고리즘을 결합하면 벡터 시스템의 성능과 확장성을 대규모 검색 엔진에서 허용할 수 있는 수준으로 끌어올릴 수 있습니다. 예를 들어 Bing에서 150억 개가 넘는 벡터로 구성된 벡터 인덱스의 경우 가장 관련성이 높은 결과를 가져오는 데 걸리는 시간은 8ms 이내입니다.

라이브러리에는 색인을 구축하고 벡터 검색을 구성하는 도구는 물론 매우 큰 벡터 컬렉션을 포괄하는 분산 온라인 검색 시스템을 유지 관리하기 위한 도구 세트가 포함되어 있습니다. 제공 인덱싱을 위한 인덱스 빌더, 여러 노드의 클러스터에 분산된 인덱스를 사용하여 검색하는 검색기, 노드에서 핸들러를 실행하는 서버, 여러 서버를 하나로 결합하는 Aggregator, 쿼리를 보내는 클라이언트 등의 모듈이 있습니다. 인덱스에 새 벡터를 포함하고 즉시 벡터를 삭제할 수 있습니다.

라이브러리는 컬렉션에서 처리되고 제시된 데이터가 다음을 기반으로 비교할 수 있는 관련 벡터의 형태로 형식화됨을 의미합니다. 유클리드 (L2) 또는 코사인 거리 검색 쿼리는 원본 벡터와 사이의 거리가 최소인 벡터를 반환합니다. SPTAG는 벡터 공간을 구성하는 두 가지 방법을 제공합니다. SPTAG-KDT(K 차원 트리(kd- 트리) 그리고 상대 이웃 그래프) 및 SPTAG-BKT(k-평균 트리(k-평균 트리 및 상대 이웃 그래프). 첫 번째 방법은 인덱스 작업 시 더 적은 리소스를 필요로 하며, 두 번째 방법은 매우 큰 벡터 컬렉션에 대한 검색 결과의 정확도가 더 높다는 것을 보여줍니다.

동시에 벡터 검색은 텍스트에만 국한되지 않고 멀티미디어 정보와 이미지는 물론 추천 자동 생성 시스템에도 적용될 수 있습니다. 예를 들어, PyTorch 프레임워크를 기반으로 한 프로토타입 중 하나는 이미지에 있는 개체의 유사성을 기반으로 검색하기 위한 벡터 시스템을 구현했으며, 동물, 고양이, 개 이미지가 포함된 여러 참조 컬렉션의 데이터를 사용하여 구축되었으며, 이 시스템은 벡터 세트로 변환되었습니다. . 검색을 위해 들어오는 이미지가 수신되면 기계 학습 모델을 사용하여 벡터로 변환하고, 이를 기반으로 SPTAG 알고리즘을 사용하여 인덱스에서 가장 유사한 벡터를 선택하고 관련 이미지를 결과로 반환합니다.

출처 : opennet.ru