Der Code von Jina Embedding, einem Modell zur vektoriellen Darstellung von Textinhalten, ist jetzt verfügbar.

Das Unternehmen Jina hat unter der Lizenz Apache 2.0 ein Machine-Learning-Modell für die Vektordarstellung von Texten – jina-embeddings-v2 – veröffentlicht. Dieses Modell ermöglicht die Umwandlung beliebiger Texte von bis zu 8192 Zeichen in eine kurze Folge von reellen Zahlen, die einen Vektor bilden, der dem ursprünglichen Text zugeordnet ist und dessen Semantik (Bedeutung) widerspiegelt. Jina Embedding ist das erste Open-Source-Machine-Learning-Modell, das in seinen Eigenschaften mit dem proprietären Vektorisierungsmodell von OpenAI (text-embedding-ada-002) vergleichbar ist und ebenfalls in der Lage ist, Texte mit bis zu 8192 Tokens zu verarbeiten.

Der Abstand zwischen zwei gebildeten Vektoren kann verwendet werden, um die semantische Beziehung zwischen den ursprünglichen Texten zu bestimmen. In der Praxis können die gebildeten Vektoren zur Analyse der Ähnlichkeit von Texten, zur Organisation der Suche nach thematisch verwandten Materialien (Ranking der Ergebnisse nach semantischer Nähe), zur Gruppierung von Texten nach Bedeutung, zur Generierung von Empfehlungen (Vorschlag einer Liste ähnlicher Textzeilen), zur Identifizierung von Anomalien, zur Plagiatsprüfung und zur Klassifizierung von Tests eingesetzt werden. Anwendungsbereiche umfassen die Analyse von juristischen Dokumenten, Business Analytics, medizinische Forschung für die Verarbeitung wissenschaftlicher Artikel, literarische Kritik, die Analyse von Finanzberichten und die Verbesserung der Qualität der Bearbeitung komplexer Anfragen durch Chatbots.

Es stehen zwei Modelle der Jina-Embeddings zum Download zur Verfügung (Basis — 0,27 GB und Kompakt — 0,07 GB), die auf 400 Millionen Paaren von englischen Textsequenzen trainiert wurden und verschiedene Wissensbereiche abdecken. Beim Training wurden Sequenzen mit einer Länge von 512 Tokens verwendet, die mithilfe der ALiBi-Methode (Attention with Linear Biases) auf eine Länge von 8192 extrapoliert wurden.

Das Basismodell umfasst 137 Millionen Parameter und ist für den Einsatz auf Desktop-Systemen mit GPU optimiert. Das Kompaktmodell enthält 33 Millionen Parameter, bietet eine geringere Genauigkeit und ist für die Verwendung auf mobilen Geräten und Systemen mit geringem Speicher konzipiert. In naher Zukunft wird auch ein großes Modell mit 435 Millionen Parametern veröffentlicht. Zudem wird an einer mehrsprachigen Variante gearbeitet, die aktuell die Unterstützung der deutschen und spanischen Sprache fokussiert. Separat wurde ein Plugin entwickelt, um die Jina-Embeddings über das LLM-Toolkit zu nutzen.

Quelle: opennet.ru