{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Jina Embeddingi kood on avatud, mudel tekstide t\u00e4henduse vektorkujutamiseks","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Jina ettev\u00f5te avas Apache 2.0 litsentseeritud masin\u00f5ppe mudeli, mis on m\u00f5eldud teksti vektoriteks muutmiseks — jina-embeddings-v2. See mudel v\u00f5imaldab muundada mis tahes teksti, mis sisaldab kuni 8192 t\u00e4hem\u00e4rki, l\u00fchikese rea reaalsete arvude j\u00e4rjestuseks, moodustades vektori, mis on seotud algse tekstiga ja peegeldab selle semantikat. Jina Embedding on esimene avatud masin\u00f5ppe mudel, mille omadused ei j\u00e4\u00e4 alla OpenAI projekti (text-embedding-ada-002) omadele, suudab samuti t\u00f6\u00f6delda tekste, mille pikkus on kuni 8192 tokenit. <\/p>\n
Kahe loodud vektori vaheline kaugus aitab m\u00e4\u00e4rata algtekstide m\u00f5istetavat seost. Praktikas saab loodud vektoreid kasutada tekstide sarnasuse anal\u00fc\u00fcsimiseks, teemade j\u00e4rgi sarnaste materjalide otsingute korraldamiseks (otsingutulemuste j\u00e4rjestamine semantilise l\u00e4heduse alusel), tekstide m\u00f5tte j\u00e4rgi r\u00fchmitamiseks, soovituste loomiseks (sarnaste tekstiridade nimekirja pakkumine), anomaaliate avastamiseks, plagiaadi m\u00e4\u00e4ramiseks ja testide klassifitseerimiseks. N\u00e4iteks mainitakse mudeli kasutamist juriidiliste dokumentide, \u00e4rianal\u00fc\u00fcsi, teadusartiklite t\u00f6\u00f6tlemise meditsiinilistes uuringutes, kirjanduskriitikas, finantsaruannete anal\u00fc\u00fcsis ja keeruliste k\u00fcsimustega suhtlemisel chatbot\u2019ide kvaliteedi t\u00f5stmiseks. <\/p>\n
Allalaadimiseks on saadaval kaks mudeli versiooni jina-embeddings (p\u00f5hiversioon — 0.27 GB ja kokkuv\u00f5tlik versioon — 0.07 GB), mis on koolitatud 400 miljoni ingliskeelse tekstijada paari peal, katab erinevaid teadusvaldkondi. Koolitamisel kasutati j\u00e4rjestusi, mis olid suurusega 512 tokenit, millest tehti ekstrapoleerimine 8192 suuruseks ALiBi (Attention with Linear Biases) meetodi abil. <\/p>\n
P\u00f5hiversioon sisaldab 137 miljonit parameetrit ja on m\u00f5eldud kasutamiseks statsionaarsetes s\u00fcsteemides koos GPU-ga. K\u00e4rbitud mudel sisaldab 33 miljonit parameetrit, pakub madalamat t\u00e4psust ja on suunatud mobiiliseadmete ja v\u00e4ikese RAM-iga s\u00fcsteemide kasutamiseks. Peagi plaanitakse v\u00e4lja anda ka suur mudel, mis h\u00f5lmab 435 miljonit parameetrit. Arenduses on ka mitmekeelne mudeli variant, mis keskendub praegu saksa ja hispaania keele toetusele. Eraldi on valmistatud pistikprogramm mudeli jina-embeddings kasutamiseks LLM t\u00f6\u00f6riistakomplekti kaudu. \n Allikas: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"