{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Koden til Jina Embedding, modellen til vektorisk repr\u00e6sentation af betydningen af teksten, er blevet \u00e5bnet.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Virksomheden Jina har under licens fra Apache 2.0 frigivet en maskinl\u00e6ringsmodel til vektoriseret tekstrepr\u00e6sentation \u2014 jina-embeddings-v2. Modellen g\u00f8r det muligt at omdanne vilk\u00e5rlig tekst, der inkluderer op til 8192 tegn, til en lille sekvens af reelle tal, som danner en vektor, der svarer til den oprindelige tekst og gengiver dens semantik. Jina Embedding blev den f\u00f8rste \u00e5bne maskinl\u00e6ringsmodel med egenskaber, der ikke er ringere end den propriet\u00e6re tekstvektoriseringsmodel fra OpenAI-projektet (text-embedding-ada-002), som ogs\u00e5 kan h\u00e5ndtere tekster med op til 8192 tokens. <\/p>\n
Afstanden mellem to dannede vektorer kan bruges til at bestemme den semantiske sammenh\u00e6ng mellem de oprindelige tekster. I praksis kan de dannede vektorer anvendes til at analysere tekstligheder, organisere s\u00f8gningen efter relaterede materialer (rangordning af resultater efter semantisk n\u00e6rhed), gruppere tekster efter mening, danne anbefalinger (forsl\u00e5 en liste over lignende tekststrenge), identificere afvigelser, bestemme plagiater og klassificere test. Eksempler p\u00e5 anvendelsesomr\u00e5der inkluderer brugen af modellen til analyse af juridiske dokumenter, til forretningsanalyse, i medicinske unders\u00f8gelser til behandling af videnskabelige artikler, i litteraturkritik, til gennemgang af finansielle rapporter og til at forbedre kvaliteten af chatbots' behandling af komplekse sp\u00f8rgsm\u00e5l. <\/p>\n
Der er to varianter af modellen jina-embeddings tilg\u00e6ngelige for download (basic \u2014 0,27 GB og compact \u2014 0,07 GB), som er tr\u00e6net p\u00e5 400 millioner par af tekstsekvenser p\u00e5 engelsk, der d\u00e6kker forskellige vidensomr\u00e5der. Under tr\u00e6ningen blev sekvenserne, der var 512 tokens lange, ekstrapoleret til st\u00f8rrelsen 8192 ved hj\u00e6lp af ALiBi-metoden (Attention with Linear Biases). <\/p>\n
Den grundl\u00e6ggende model omfatter 137 millioner parametre og er designet til brug p\u00e5 station\u00e6re systemer med GPU. Den reducerede model inkluderer 33 millioner parametre, giver mindre pr\u00e6cision og er m\u00e5lrettet mod anvendelse p\u00e5 mobile enheder og systemer med begr\u00e6nset hukommelse. I den n\u00e6rmeste fremtid planl\u00e6gges ogs\u00e5 offentligg\u00f8relsen af en stor model, der vil d\u00e6kke 435 millioner parametre. Der er ogs\u00e5 en flersproget version af modellen under udvikling, som i \u00f8jeblikket fokuserer p\u00e5 st\u00f8tte for tysk og spansk. Der er udviklet et separat plugin til brug af modellen jina-embeddings via LLM-v\u00e6rkt\u00f8jet. \n Kilde: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"