{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"De Jina Embedding code is geopend, modellen voor vectorrepresentatie van tekstbetekenis","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Het bedrijf Jina heeft onder de Apache 2.0-licentie een machine learning-model ge\u00efntroduceerd voor de vectorrepresentatie van tekst \u2014 jina-embeddings-v2. Dit model maakt het mogelijk om willekeurige tekst, bestaande uit maximaal 8192 tekens, om te zetten in een kleine reeks re\u00eble getallen die een vector vormen die overeenkomt met de oorspronkelijke tekst en de semantiek (betekenis) ervan reproduceert. Jina Embedding is het eerste open-source machine learning-model dat eigenschappen heeft die niet onderdoen voor het propri\u00ebtaire tekstvectorisatiemodel van het OpenAI-project (text-embedding-ada-002), en dat ook in staat is om teksten tot 8192 tokens te verwerken. <\/p>\n
De afstand tussen twee gevormde vectoren kan worden gebruikt om de semantische relatie tussen de oorspronkelijke teksten te bepalen. In de praktijk kunnen de gevormde vectoren worden toegepast voor het analyseren van de gelijkenis tussen teksten, het organiseren van zoekopdrachten naar thematisch gerelateerde materialen (ranking van resultaten op basis van semantische nabijheid), het groeperen van teksten op betekenis, het doen van aanbevelingen (het voorstellen van een lijst van vergelijkbare tekstregels), het opsporen van anomalie\u00ebn, het bepalen van plagiaat en het classificeren van tests. Voorbeelden van toepassingsgebieden zijn het gebruik van het model voor de analyse van juridische documenten, voor bedrijfsanalyse, in medisch onderzoek voor het verwerken van wetenschappelijke artikelen, in literaire kritiek, voor de analyse van financi\u00eble rapporten en voor het verbeteren van de kwaliteit van de verwerking van complexe vragen door chatbots. <\/p>\n
Er zijn twee versies van het model jina-embeddings beschikbaar voor download (basis \u2014 0,27 GB en verkleind \u2014 0,07 GB), getraind op 400 miljoen paren tekstsequenties in het Engels die verschillende kennisgebieden omvatten. Bij het trainen werden sequenties van 512 tokens gebruikt, die werden ge\u00ebxtrapoleerd naar een grootte van 8192 met behulp van de ALiBi-methode (Attention with Linear Biases). <\/p>\n
Het basismodel bevat 137 miljoen parameters en is ontworpen voor gebruik op desktop systemen met GPU. Het verkorte model bevat 33 miljoen parameters, biedt een lagere nauwkeurigheid en is gericht op toepassing op mobiele apparaten en systemen met beperkte geheugen capaciteit. Binnenkort zal ook een groot model worden uitgebracht dat 435 miljoen parameters zal dekken. Daarnaast wordt er gewerkt aan een meertalige versie van het model, dat momenteel gericht is op ondersteuning van de Duitse en Spaanse talen. Een plugin voor het gebruik van het model jina-embeddings via de LLM toolkit is apart voorbereid. \n Bron: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"