Koden för Jina Embedding har öppnats, en modell för vektorrepräsentation av textens betydelse.

Företaget Jina har under licens av Apache 2.0 lanserat en maskininlärningsmodell för vektorrepresentation av text — jina-embeddings-v2. Modellen gör det möjligt att omvandla valfri text, som innehåller upp till 8192 tecken, till en kort sekvens av reella tal som bildar en vektor kopplad till den ursprungliga texten och återspeglar dess semantik. Jina Embedding har blivit den första öppna maskininlärningsmodellen med egenskaper som är konkurrenskraftiga med den proprietära textvektoriseringsmodellen från OpenAI (text-embedding-ada-002), och som också kan hantera texter med upp till 8192 tokens.

Avståndet mellan två skapade vektorer kan användas för att bestämma den semantiska relationen mellan de ursprungliga texterna. I praktiken kan de skapade vektorerna användas för att analysera textlikhet, organisera sökningar av ämnesnära material (rankning av resultat baserat på semantisk närhet), gruppera texter efter mening, generera rekommendationer (föreslå en lista med liknande textsträngar), upptäckta anomalier, plagiatdetektion och klassificering av tester. Exempel på användningsområden inkluderas analys av juridiska dokument, affärsanalys, medicinska studier för bearbetning av vetenskapliga artiklar, litteraturkritik, analys av finansiella rapporter och för att förbättra kvaliteten i chatbottars hantering av komplexa frågor.

Två varianter av modellen jina-embeddings är tillgängliga för nedladdning (grundläggande — 0,27 GB och komprimerad — 0,07 GB), tränade på 400 miljoner par textsekvenser på engelska, som omfattar olika kunskapsområden. Vid träningen användes sekvenser med en storlek av 512 tokens, som extrapolerades till en storlek av 8192 med hjälp av metoden ALiBi (Attention with Linear Biases).

Basmodellen inkluderar 137 miljoner parametrar och är avsedd för användning på stationära system med GPU. Den förkortade modellen innehåller 33 miljoner parametrar, erbjuder lägre noggrannhet och är inriktad på användning på mobila enheter och system med begränsad minneskapacitet. Inom en snar framtid planeras också lanseringen av en stor modell som kommer att omfatta 435 miljoner parametrar. En flerspråkig variant av modellen är också under utveckling, som för närvarande fokuserar på stöd för tyska och spanska. En plugin för att använda modellen jina-embeddings via LLM-verktyget har också tagits fram.

Källa: opennet.ru