Podjetje Jina je pod licenco Apache 2.0 uvedlo model strojnega učenja za vektorsko predstavitev besedila — jina-embeddings-v2. Model omogoča pretvorbo poljubnega besedila, ki vključuje do 8192 znakov, v majhno zaporedje realnih števil, ki tvorijo vektor, povezan z izvorno besedilom in ponavljajočim se pomenom (smislom). Jina Embedding je postal prvi odprtokodni model strojnega učenja, ki ima lastnosti, ki niso slabše od lastniškega modela vektorizacije besedila iz projekta OpenAI (text-embedding-ada-002), prav tako sposoben obdelovati besedila, ki obsegajo do 8192 tokenov.
Razdaljo med dvema oblikovanima vektoroma lahko uporabimo za določanje smiselne povezanosti izvornih besedil. V praksi se lahko oblikovani vektorji uporabljajo za analizo podobnosti besedil, organizacijo iskanja sorodnih vsebin (ocenjevanje rezultatov po semantični bližini), skupinjenje besedil po pomenu, oblikovanje priporočil (ponudba seznama podobnih besedil), odkrivanje anomalij, določanje plagiatorstva in klasifikacijo testov. Kot primer uporabe se omenjajo analize pravnih dokumentov, poslovna analitika, medicinska raziskovanja za obdelavo znanstvenih člankov, literarna kritika, analiza finančnih poročil ter izboljšanje kakovosti obdelave zapletenih vprašanj s strani klepetalnih botov.
Za prenos sta na voljo dva različna modela jina-embeddings (osnovna — 0.27 GB in skrajšana — 0.07 GB), ki sta bila usposobljena na 400 milijonih parov besedilnih zaporedij v angleščini, ki pokrivajo različna področja znanja. Pri usposabljanju so bila uporabljena zaporedja dolžine 512 tokenov, ki so bila ekstrapolirana do dolžine 8192 z uporabo metode ALiBi (Attention with Linear Biases).
Osnovni model vključuje 137 milijonov parametrov in je zasnovan za uporabo na namiznih sistemih z GPU. Skrajšana različica vključuje 33 milijonov parametrov, zagotavlja manjšo natančnost in je namenjena uporabi na mobilnih napravah ter sistemih z omejenim pomnilnikom. V bližnji prihodnosti nameravajo objaviti tudi obsežnejši model, ki bo pokrival 435 milijonov parametrov. Razvijajo se tudi večjezične različice modela, ki se trenutno osredotočajo na podporo nemškemu in španskemu jeziku. Poseben vtičnik je pripravljen za uporabo modela jina-embeddings preko orodja LLM.
Izvor: opennet.ru
