{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Rilasciato il codice Jina Embedding, modello per la rappresentazione vettoriale del significato del testo.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
L'azienda Jina ha rilasciato sotto licenza Apache 2.0 un modello di machine learning per la rappresentazione vettoriale del testo \u2014 jina-embeddings-v2. Il modello consente di trasformare un testo arbitrario, contenente fino a 8192 caratteri, in una breve sequenza di numeri reali che formano un vettore associato al testo originale e che riproduce la sua semantica. Jina Embedding \u00e8 diventato il primo modello di machine learning open-source con caratteristiche paragonabili a quelle del modello proprietario di vettorializzazione del testo del progetto OpenAI (text-embedding-ada-002), in grado di elaborare testi contenenti fino a 8192 token. <\/p>\n
La distanza tra due vettori generati pu\u00f2 essere utilizzata per determinare le relazioni semantiche tra i testi originali. Nella pratica, i vettori generati possono essere impiegati per analizzare la somiglianza tra testi, organizzare la ricerca di materiali tematicamente affini (classificare i risultati per vicinanza semantica), raggruppare i testi per significato, formulare raccomandazioni (proporre un elenco di righe testuali simili), identificare anomalie, rilevare plagio e classificare test. Tra i settori di utilizzo si menziona l'analisi di documenti legali, la business analytics, la ricerca medica per l'elaborazione di articoli scientifici, la critica letteraria, l'analisi di bilanci finanziari e il miglioramento della qualit\u00e0 dell'elaborazione di quesiti complessi da parte dei chatbot. <\/p>\n
Due varianti del modello jina-embeddings sono disponibili per il download (base \u2014 0,27 GB e ridotto \u2014 0,07 GB), addestrate su 400 milioni di coppie di sequenze testuali in inglese, coprendo vari ambiti di conoscenza. Durante l'allenamento sono state utilizzate sequenze di dimensione 512 token, che sono state estrapolate fino a una dimensione di 8192 tramite il metodo ALiBi (Attention with Linear Biases). <\/p>\n
Il modello base include 137 milioni di parametri ed \u00e8 progettato per essere utilizzato su sistemi fissi con GPU. Il modello ridotto include 33 milioni di parametri, garantisce una minore precisione ed \u00e8 destinato all'uso su dispositivi mobili e su sistemi con poca memoria. Nei prossimi tempi \u00e8 previsto anche il rilascio di un modello ampliato, che comprender\u00e0 435 milioni di parametri. \u00c8 attualmente in fase di sviluppo una versione multilingue del modello, focalizzata sul supporto delle lingue tedesca e spagnola. \u00c8 stato inoltre preparato separatamente un plugin per l'uso del modello jina-embeddings tramite gli strumenti LLM. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"