Jina Embeddingi kood on avatud, mudel tekstide tähenduse vektorkujutamiseks

Firma Jina on välja andnud Apache 2.0 litsentsi alusel masinõppe mudeli tekstide vektorkujutamiseks — jina-embeddings-v2. Mudel võimaldab muuta suvalise teksti, mis sisaldab kuni 8192 märki, väikseks reaalsede arvude järjestuseks, mis moodustavad vektori, mis seondub algse tekstiga ja taastab selle semantika (mõtte). Jina Embedding on saanud esimeseks avatud masinõppe mudeliks, mille omadused ei jää alla OpenAI projekti (text-embedding-ada-002) koodivaba tekstivektorite mudelile, olles samuti suuteline töötlema tekste, mille pikkus on kuni 8192 tokenit.

Kahe loodud vektori vaheline kaugus aitab määrata algtekstide mõistetavat seost. Praktikas saab loodud vektoreid kasutada tekstide sarnasuse analüüsimiseks, teemade järgi sarnaste materjalide otsingute korraldamiseks (otsingutulemuste järjestamine semantilise läheduse alusel), tekstide mõtte järgi rühmitamiseks, soovituste loomiseks (sarnaste tekstiridade nimekirja pakkumine), anomaaliate avastamiseks, plagiaadi määramiseks ja testide klassifitseerimiseks. Näiteks mainitakse mudeli kasutamist juriidiliste dokumentide, ärianalüüsi, teadusartiklite töötlemise meditsiinilistes uuringutes, kirjanduskriitikas, finantsaruannete analüüsis ja keeruliste küsimustega suhtlemisel chatbot’ide kvaliteedi tõstmiseks.

Laadimiseks on saadaval kaks versiooni mudelist jina-embeddings (põhiversioon — 0,27 GB ja kärbitud versioon — 0,07 GB), mis on õpetatud 400 miljoni teksti järjestuse paariga inglise keeles, hõlmates erinevaid teadusvaldkondi. Treenimisel kasutati 512 tokeni suuruseid järjestusi, mis laiendati 8192 suuruseks ALiBi meetodi (Attention with Linear Biases) abil.

Põhiversioon sisaldab 137 miljonit parameetrit ja on mõeldud kasutamiseks statsionaarsetes süsteemides koos GPU-ga. Kärbitud mudel sisaldab 33 miljonit parameetrit, pakub madalamat täpsust ja on suunatud mobiiliseadmete ja väikese RAM-iga süsteemide kasutamiseks. Peagi plaanitakse välja anda ka suur mudel, mis hõlmab 435 miljonit parameetrit. Arenduses on ka mitmekeelne mudeli variant, mis keskendub praegu saksa ja hispaania keele toetusele. Eraldi on valmistatud pistikprogramm mudeli jina-embeddings kasutamiseks LLM tööriistakomplekti kaudu.

Allikas: opennet.ru