Virksomheden Jina har under licens fra Apache 2.0 lanceret en maskinlæringsmodel til vektorrepræsentation af tekst — jina-embeddings-v2. Modellen gør det muligt at omdanne vilkårlig tekst, der omfatter op til 8192 tegn, til en lille sekvens af reelle tal, der danner en vektor, der er knyttet til den oprindelige tekst og gengiver dens semantik. Jina Embedding blev den første åbne maskinlæringsmodel med egenskaber, der ikke er ringere end den proprietære tekstvektoriseringsmodel fra OpenAI-projektet (text-embedding-ada-002), og den kan også behandle tekster med op til 8192 tokens.
Afstanden mellem to dannede vektorer kan bruges til at bestemme den semantiske sammenhæng mellem de oprindelige tekster. I praksis kan de dannede vektorer anvendes til at analysere tekstligheder, organisere søgningen efter relaterede materialer (rangordning af resultater efter semantisk nærhed), gruppere tekster efter mening, danne anbefalinger (forslå en liste over lignende tekststrenge), identificere afvigelser, bestemme plagiater og klassificere test. Eksempler på anvendelsesområder inkluderer brugen af modellen til analyse af juridiske dokumenter, til forretningsanalyse, i medicinske undersøgelser til behandling af videnskabelige artikler, i litteraturkritik, til gennemgang af finansielle rapporter og til at forbedre kvaliteten af chatbots' behandling af komplekse spørgsmål.
To versioner af modellen jina-embeddings er tilgængelige til download (basisversion — 0,27 GB og forkortet version — 0,07 GB), der er trænet på 400 millioner par tekstsekvenser på engelsk, der dækker forskellige vidensområder. Under træning blev sekvenser på 512 tokens anvendt, som blev ekstrapoleret til en størrelse på 8192 ved hjælp af metoden ALiBi (Attention with Linear Biases).
Den grundlæggende model omfatter 137 millioner parametre og er designet til brug på stationære systemer med GPU. Den reducerede model inkluderer 33 millioner parametre, giver mindre præcision og er målrettet mod anvendelse på mobile enheder og systemer med begrænset hukommelse. I den nærmeste fremtid planlægges også offentliggørelsen af en stor model, der vil dække 435 millioner parametre. Der er også en flersproget version af modellen under udvikling, som i øjeblikket fokuserer på støtte for tysk og spansk. Der er udviklet et separat plugin til brug af modellen jina-embeddings via LLM-værktøjet.
Kilde: opennet.ru
