Der Code von Jina Embedding, Modelle zur Vektorisierung des Textinhalts, wurde eröffnet.

Das Unternehmen Jina hat ein unter der Apache 2.0-Lizenz stehendes Modell für maschinelles Lernen zur vektoriellen Darstellung von Texten – jina-embeddings-v2 – veröffentlicht. Das Modell ermöglicht es, beliebigen Text, der bis zu 8192 Zeichen enthält, in eine kleine Sequenz von reellen Zahlen umzuwandeln, die einen Vektor bilden, der mit dem ursprünglichen Text korrespondiert und seine Semantik (Bedeutung) wiedergibt. Jina Embedding wurde zum ersten offenen maschinellen Lernmodell, dessen Eigenschaften den proprietären Vektorisierungsmodellen von OpenAI (text-embedding-ada-002) in nichts nachstehen, und das ebenfalls in der Lage ist, Texte mit bis zu 8192 Tokens zu verarbeiten.

Der Abstand zwischen zwei gebildeten Vektoren kann verwendet werden, um die semantische Beziehung der ursprünglichen Texte zu bestimmen. In der Praxis können die gebildeten Vektoren zur Analyse der Ähnlichkeit von Texten, zur Organisation der Suche nach thematisch verwandten Materialien (Ranking der Ergebnisse nach semantischer Nähe), zur Gruppierung von Texten nach Bedeutung, zur Generierung von Empfehlungen (Vorschlag einer Liste ähnlicher Textzeilen), zur Identifikation von Anomalien, zur Plagiatserkennung und zur Klassifikation von Tests eingesetzt werden. Beispiele für Anwendungsgebiete umfassen die Analyse von juristischen Dokumenten, die Geschäftsanalyse, medizinische Forschungsarbeiten zur Verarbeitung wissenschaftlicher Artikel, literarische Kritiken, die Auswertung von Finanzberichten und die Verbesserung der Qualität von Chatbot-Anfragen zu komplexen Themen.

Es stehen zwei Varianten des Modells jina-embeddings zum Download bereit (Basis – 0,27 GB und verkürzt – 0,07 GB), die auf 400 Millionen Paaren von englischsprachigen Textsequenzen trainiert wurden, die verschiedene Wissensbereiche abdecken. Bei der Schulung wurden Sequenzen mit einer Länge von 512 Tokens verwendet, die mit der ALiBi-Methode (Attention with Linear Biases) auf eine Größe von 8192 extrapoliert wurden.

Das Basismodell umfasst 137 Millionen Parameter und ist für den Einsatz auf stationären Systemen mit GPU ausgelegt. Das vereinfachte Modell umfasst 33 Millionen Parameter, bietet geringere Genauigkeit und ist für die Verwendung auf mobilen Geräten und Systeme mit geringem Speicher ausgelegt. In naher Zukunft wird auch ein großes Modell veröffentlicht, das 435 Millionen Parameter abdecken wird. Zudem wird an einer mehrsprachigen Version des Modells gearbeitet, die sich derzeit auf die Unterstützung der deutschen und spanischen Sprache konzentriert. Separat wurde ein Plugin für die Verwendung des Modells jina-embeddings über das LLM-Toolkit vorbereitet.

Quelle: opennet.ru