A Jina vállalat az Apache 2.0 licenc alatt elindította a szövegvektor-képzéshez használt gépi tanulási modellt — jina-embeddings-v2. A modell lehetővé teszi, hogy bármilyen szöveget, amely akár 8192 karakterből áll, egy kis valós számokból álló sorozattá alakítson, amely vektort képez, összekapcsolva az eredeti szöveggel, és visszaadja annak szemantikáját (jelentését). A Jina Embedding lett az első nyílt gépi tanulási modell, amely olyan jellemzőkkel rendelkezik, amelyek nem maradnak el az OpenAI projekt szabadalmaztatott szövegvektorozó modelljétől (text-embedding-ada-002), és szintén képes feldolgozni a 8192 tokenből álló szövegeket.
A két létrehozott vektor közötti távolság felhasználható az eredeti szövegek jelentésbeli összefüggésének meghatározására. Gyakorlatilag a létrehozott vektorok alkalmazhatók a szövegek hasonlóságának elemzésére, tematikus anyagok keresésének megszervezésére (az eredmények rangsorolása szemantikai közelség szerint), szövegek jelentése szerinti csoportosítására, ajánlások létrehozására (hasonló szövegsorok listájának javaslatára), anomáliák észlelésére, plágium meghatározására és tesztelés klasszifikálására. A felhasználási területek példáiként szerepelnek a modell jogi dokumentumok elemzésében, üzleti elemzésben, orvosi kutatások során tudományos cikkek feldolgozásában, irodalmi kritikában, pénzügyi jelentések elemzésében és a chatbotok összetett kérdések kezelésének javításában.
Két változatban érhetők el a jina-embeddings modell számára (alap — 0,27 GB és csökkentett — 0,07 GB), amelyek 400 millió angol nyelvű szövegsorozat párján tanultak, különböző tudományágakat lefedve. A tanítás során 512 token méretű sorozatokat használtak, amelyeket ALiBi (Attention with Linear Biases) módszerrel extrapoláltak 8192 méretre.
A Bázis modell 137 millió paramétert tartalmaz, és álló rendszerekkel GPU-n való használatra készült. A rövidített modell 33 millió paramétert kínál, kisebb pontosságot biztosít, és mobil eszközökön, valamint kis memóriával rendelkező rendszereken való alkalmazásra céloz. A közeljövőben egy nagyobb modellt is terveznek, amely 435 millió paramétert ölel fel. Fejlesztés alatt áll egy többnyelvű verzió is, amely jelenleg a német és spanyol nyelvek támogatására összpontosít. Külön plugint fejlesztettek a jina-embeddings modell LLM eszközkészletén keresztüli használatához.
Forrás: opennet.ru
