Společnost Jina otevřela pod licencí Apache 2.0 model strojového učení pro vektorové znázornění textu — jina-embeddings-v2. Tento model umožňuje převést libovolný text, který obsahuje až 8192 znaků, na malou sekvenci reálných čísel, která tvoří vektor odpovídající původnímu textu a reprodukuje jeho sémantiku (význam). Jina Embedding se stala prvním otevřeným modelem strojového učení, který má vlastnosti, které se vyrovnají proprietárnímu modelu vektorizace textu od projektu OpenAI (text-embedding-ada-002), a také dokáže zpracovávat texty o délce až 8192 tokenů.
Vzdálenost mezi dvěma utvořenými vektory lze použít k určení významové souvislosti původních textů. V praxi mohou utvořené vektory sloužit k analýze podobnosti textů, organizaci vyhledávání materiálů příbuzného tématu (řazení výsledků podle sémantické blízkosti), skupinování textů dle významu, vytváření doporučení (nabídka seznamu podobných textových řetězců), identifikaci anomálií, určování plagiátorství a klasifikaci testů. Mezi příklady použití se zmiňuje využití modelu pro analýzu právních dokumentů, pro obchodní analytiku, ve zdravotnickém výzkumu pro zpracování vědeckých článků, v literární kritice, pro analýzu finančních zpráv a pro zlepšení kvality zpracování složitých dotazů chatovacími boty.
K dispozici jsou dvě varianty modelu jina-embeddings (základní — 0,27 GB a zkrácená — 0,07 GB), vyškolené na 400 milionech párů textových sekvencí v anglickém jazyce, pokrývajících různé oblasti znalostí. Při tréninku byly použity sekvence o velikosti 512 tokenů, které byly extrapolovány na velikost 8192 pomocí metody ALiBi (Attention with Linear Biases).
Základní model obsahuje 137 milionů parametrů a je určen pro použití na stolních systémech s GPU. Zkrácená verze zahrnuje 33 milionů parametrů, poskytuje nižší přesnost a je určena pro aplikace na mobilních zařízeních a systémech s omezenou pamětí. V blízké budoucnosti se plánuje také publikace velkého modelu, který pokryje 435 milionů parametrů. V přípravě je také vícejazyčná verze tohoto modelu, která se v současnosti zaměřuje na podporu němčiny a španělštiny. Samostatně byl vyvinut plugin pro použití modelu jina-embeddings prostřednictvím nástroje LLM.
Zdroj: opennet.ru
