Jina tau qhib cov qauv kev kawm tshuab rau vector ntawv sawv cev, jina-embeddings-v2.0, nyob rau hauv Apache 2 daim ntawv tso cai. Tus qauv tso cai rau koj los hloov cov ntawv tsis txaus ntseeg, suav nrog txog 8192 cov cim, rau hauv ib qho me me ntawm cov lej tiag tiag uas tsim cov vector uas tau muab piv nrog cov ntawv nyeem thiab rov tsim nws cov semantics (lub ntsiab lus). Jina Embedding yog thawj qhib tshuab kev kawm qauv kom muaj kev ua tau zoo ib yam li cov qauv ntawv vectorization tus tswv los ntawm OpenAI project (text-embedding-ada-002), kuj muaj peev xwm ua cov ntawv nyeem nrog txog 8192 tokens.
Qhov kev ncua deb ntawm ob lub vectors generated tuaj yeem siv los txiav txim qhov kev sib raug zoo ntawm cov ntawv sau. Hauv kev xyaum, cov vectors generated tuaj yeem siv los txheeb xyuas qhov zoo sib xws ntawm cov ntawv, teeb tsa kev tshawb nrhiav cov ntaub ntawv ntsig txog lub ncauj lus (qib cov txiaj ntsig los ntawm qhov sib thooj sib luag), pawg ntawv los ntawm lub ntsiab lus, tsim cov lus pom zoo (muab cov npe ntawm cov kab ntawv zoo sib xws), txheeb xyuas qhov tsis txaus ntseeg, txheeb xyuas tus neeg plagiarism thiab cais cov kev xeem. Piv txwv ntawm kev siv cov ntaub ntawv suav nrog kev siv tus qauv rau kev txheeb xyuas cov ntaub ntawv kev cai lij choj, kev lag luam analytics, hauv kev tshawb fawb kho mob rau kev ua cov ntawv tshawb fawb, hauv kev sau ntawv thuam, rau kev txheeb xyuas cov ntaub ntawv nyiaj txiag thiab kev txhim kho qhov zoo ntawm chatbots ua cov teeb meem nyuaj.
Ob lub qauv ntawm jina-embeddings qauv muaj rau rub tawm (pib - 0.27 GB thiab txo - 0.07 GB), kawm txog 400 lab khub ntawm cov ntawv nyeem ua ntu zus hauv lus Askiv, suav nrog ntau yam kev paub. Thaum lub sij hawm kev cob qhia, cov kab ke nrog qhov loj ntawm 512 tokens tau siv, uas tau ntxiv rau qhov loj ntawm 8192 siv ALiBi (Attention with Linear Biases) txoj kev.
Cov qauv yooj yim suav nrog 137 lab qhov tsis sib xws thiab yog tsim los siv rau ntawm cov tshuab nyob ruaj ruaj nrog GPU. Tus qauv txo qis suav nrog 33 lab qhov tsis sib xws, muab qhov tseeb tsawg dua thiab tsom rau kev siv ntawm cov khoom siv txawb thiab cov tshuab nrog me me ntawm lub cim xeeb. Nyob rau yav tom ntej lawv tseem npaj yuav tshaj tawm cov qauv loj uas yuav npog 435 lab qhov ntsuas. Ib tug ntau hom lus ntawm tus qauv kuj yog nyob rau hauv txoj kev loj hlob, tam sim no tsom rau kev txhawb nqa rau German thiab Spanish. Ib lub plugin tau npaj nyias rau kev siv cov qauv jina-embeddings los ntawm LLM toolkit.
Tau qhov twg los: opennet.ru