텍스트 의미의 벡터 표현 모델인 Jina Embedding의 오픈 소스 코드

Jina는 Apache 2.0 라이선스에 따라 벡터 텍스트 표현을 위한 기계 학습 모델 jina-embeddings-v2를 오픈 소스로 제공했습니다. 이 모델을 사용하면 최대 8192개의 문자를 포함한 임의의 텍스트를 원본 텍스트와 비교하고 해당 의미(의미)를 재현하는 벡터를 형성하는 작은 실수 시퀀스로 변환할 수 있습니다. Jina Embedding은 OpenAI 프로젝트(text-embedding-ada-002)의 독점 텍스트 벡터화 모델과 동일한 성능을 갖춘 최초의 개방형 기계 학습 모델로, 최대 8192개의 토큰으로 텍스트를 처리할 수도 있습니다.

생성된 두 벡터 사이의 거리를 사용하여 소스 텍스트의 의미 관계를 결정할 수 있습니다. 실제로 생성된 벡터는 텍스트의 유사성 분석, 주제와 관련된 자료 검색 구성(의미적 근접성에 따른 결과 순위 지정), 의미별로 텍스트 그룹화, 권장 사항 생성(유사한 텍스트 문자열 목록 제공), 이상 징후를 식별하고, 표절을 탐지하고, 테스트를 분류합니다. 사용 영역의 예로는 법률 문서 분석, 비즈니스 분석, 과학 기사 처리를 위한 의학 연구, 문학 비평, 재무 보고서 구문 분석 및 복잡한 문제의 챗봇 처리 품질 개선을 위한 모델 사용이 포함됩니다.

jina-embeddings 모델의 두 가지 버전을 다운로드할 수 있습니다(기본 - 0.27GB 및 축소 - 0.07GB). 이는 다양한 지식 분야를 포괄하는 영어로 된 400억 쌍의 텍스트 시퀀스에 대해 훈련되었습니다. 훈련 중에는 512개 토큰 크기의 시퀀스가 ​​사용되었으며 ALiBi(Attention with Linear Biases) 방법을 사용하여 8192개 크기로 추정되었습니다.

기본 모델에는 137억 33만 개의 매개변수가 포함되어 있으며 GPU가 있는 고정 시스템에서 사용하도록 설계되었습니다. 축소된 모델은 435만 개의 매개변수를 포함하고 정확도가 낮으며 메모리 양이 적은 모바일 장치 및 시스템에서 사용하는 것을 목표로 합니다. 가까운 미래에 그들은 또한 XNUMX억 XNUMX만 개의 매개변수를 포괄하는 대규모 모델을 발표할 계획입니다. 모델의 다국어 버전도 개발 중이며 현재 독일어와 스페인어 지원에 중점을 두고 있습니다. LLM 툴킷을 통해 jina-embeddings 모델을 사용하기 위한 플러그인이 별도로 준비되어 있습니다.

출처 : opennet.ru