{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Jina Embeddingi kood, mudel tekstisisu vektorkujutamiseks, on avatud.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Ettev\u00f5te Jina avas Apache 2.0 litsentsi alusel masin\u00f5ppe mudeli, mis on m\u00f5eldud tekstide vektorkujutamiseks \u2014 jina-embeddings-v2. Mudel v\u00f5imaldab konverteerida suvalise teksti, mis sisaldab kuni 8192 m\u00e4rki, l\u00fchikeseks reaalsarvude j\u00e4rjestuseks, mis moodustab vektori, mis on seotud algse tekstiga ja peegeldab selle semantikat (t\u00e4hendust). Jina Embedding sai esimeseks avatud masin\u00f5ppe mudeliks, mille omadused ei j\u00e4\u00e4 alla OpenAI projekti (text-embedding-ada-002) omadele, ja suudab samuti t\u00f6\u00f6delda tekste, mis sisaldavad kuni 8192 tokenit. <\/p>\n
Kahes loodud vektori vahelise kauguse m\u00f5\u00f5tmist saab kasutada algtekstide semantilise seose m\u00e4\u00e4ramiseks. Praktikas vahepeal loodud vektoreid saab kasutada tekstide sarnaste anal\u00fc\u00fcsimiseks, teema j\u00e4rgi sarnaste materjalide otsingu korraldamiseks (tulemuste j\u00e4rjestamine semantilise l\u00e4heduse j\u00e4rgi), tekstide r\u00fchmitamiseks nende t\u00e4henduses, soovituste koostamiseks (sarnaste tekstiridade nimekirja pakkumine), anomaaliate tuvastamiseks, plagiaadi kindlakstegemiseks ja testide klassifitseerimiseks. Kasutusaladena tuuakse n\u00e4iteid, et mudelit kasutatakse juriidiliste dokumentide anal\u00fc\u00fcsimiseks, \u00e4riahnal\u00fc\u00fcsiks, meditsiiniuuringutes teadusartiklite t\u00f6\u00f6tlemiseks, kirjanduslikuks kriitikaks, finantsaruannete anal\u00fc\u00fcsimiseks ja keeruliste k\u00fcsimuste t\u00f6\u00f6tlemise kvaliteedi parandamiseks chatbotid. <\/p>\n
Laadimiseks on saadaval kaks versiooni mudelist jina-embeddings (p\u00f5hiversioon \u2014 0.27 GB ja kokkuv\u00f5tlik versioon \u2014 0.07 GB), mis on koolitatud 400 miljoni ingliskeelse tekstij\u00e4rjestuse paari p\u00f5hjal, katab erinevaid teadmiste valdkondi. Koolitamisel kasutati j\u00e4rjestusi, mille suurus oli 512 tokenit, mida ekstrapoleeriti suurusele 8192 ALiBi meetodi (Attention with Linear Biases) abil. <\/p>\n
P\u00f5himudel sisaldab 137 miljonit parameetrit ja on m\u00f5eldud kasutamiseks GPU-dega lauaarvutites. L\u00fchendatud mudel sisaldab 33 miljonit parameetrit, pakub madalamat t\u00e4psust ning on suunatud rakendamiseks mobiilseadmetes ja v\u00e4ikese m\u00e4lumahtuga s\u00fcsteemides. Tulevikus kavatsetakse avaldada ka suurt mudelit, mis h\u00f5lmab 435 miljonit parameetrit. T\u00f6\u00f6s on ka mitmekeelse versiooni arendamine, mis keskendub praegu saksa ja hispaania keele toetamisele. Eraldi on ette valmistatud pistikprogramm mudeli jina-embeddings kasutamiseks LLM t\u00f6\u00f6riistade kaudu. \n Allikas: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"