Het bedrijf Jina heeft onder de Apache 2.0-licentie een machine learning-model voor vectorrepresentatie van tekst gelanceerd - jina-embeddings-v2. Dit model maakt het mogelijk om elke tekst, die tot 8192 tekens bevat, om te zetten in een kleine reeks reƫle getallen die een vector vormen, gekoppeld aan de oorspronkelijke tekst en de semantiek (betekenis) ervan reproduceert. Jina Embedding is het eerste open machine learning-model dat eigenschappen heeft die niet onderdoen voor het propriƫtaire tekstvectorisatiemodel van het OpenAI-project (text-embedding-ada-002), en dat in staat is teksten tot 8192 tokens te verwerken.
De afstand tussen twee gevormde vectoren kan worden gebruikt om de semantische relatie tussen de oorspronkelijke teksten te bepalen. In de praktijk kunnen de gevormde vectoren worden toegepast voor het analyseren van de gelijkenis tussen teksten, het organiseren van zoekopdrachten naar thematisch gerelateerde materialen (ranking van resultaten op basis van semantische nabijheid), het groeperen van teksten op betekenis, het doen van aanbevelingen (het voorstellen van een lijst van vergelijkbare tekstregels), het opsporen van anomalieƫn, het bepalen van plagiaat en het classificeren van tests. Voorbeelden van toepassingsgebieden zijn het gebruik van het model voor de analyse van juridische documenten, voor bedrijfsanalyse, in medisch onderzoek voor het verwerken van wetenschappelijke artikelen, in literaire kritiek, voor de analyse van financiƫle rapporten en voor het verbeteren van de kwaliteit van de verwerking van complexe vragen door chatbots.
Er zijn twee versies van het model jina-embeddings beschikbaar voor download (basisversie - 0.27 GB en verkorte versie - 0.07 GB), getraind op 400 miljoen paren tekstreeksen in het Engels, die verschillende kennisgebieden bestrijken. Bij de training zijn reeksen van 512 tokens gebruikt, die zijn geƫxtrapoleerd tot een grootte van 8192 met behulp van de ALiBi-methode (Attention with Linear Biases).
Het basismodel bevat 137 miljoen parameters en is ontworpen voor gebruik op desktop systemen met GPU. Het verkorte model bevat 33 miljoen parameters, biedt een lagere nauwkeurigheid en is gericht op toepassing op mobiele apparaten en systemen met beperkte geheugen capaciteit. Binnenkort zal ook een groot model worden uitgebracht dat 435 miljoen parameters zal dekken. Daarnaast wordt er gewerkt aan een meertalige versie van het model, dat momenteel gericht is op ondersteuning van de Duitse en Spaanse talen. Een plugin voor het gebruik van het model jina-embeddings via de LLM toolkit is apart voorbereid.
Bron: opennet.ru
