{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Il codice di Jina Embedding \u00e8 aperto, modelli per la rappresentazione vettoriale del significato del testo","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
L'azienda Jina ha rilasciato sotto licenza Apache 2.0 un modello di machine learning per la rappresentazione vettoriale del testo \u2014 jina-embeddings-v2. Questo modello permette di convertire un testo arbitrario, che include fino a 8192 caratteri, in una breve sequenza di numeri reali che formano un vettore associato al testo originale e ne riproducono la semantica. Jina Embedding \u00e8 diventata il primo modello di machine learning open source con caratteristiche che non hanno nulla da invidiare al modello proprietario di vettorizzazione del testo del progetto OpenAI (text-embedding-ada-002), ed \u00e8 capace di gestire testi fino a 8192 token. <\/p>\n
La distanza tra due vettori formati pu\u00f2 essere utilizzata per determinare la connessione semantica tra i testi originali. Nella pratica, i vettori formati possono essere impiegati per analizzare la similarit\u00e0 dei testi, organizzare ricerche di materiali affini (ordinamento dei risultati in base alla vicinanza semantica), raggruppare i testi per significato, generare raccomandazioni (proporre un elenco di righe testuali simili), identificare anomalie, determinare plagio e classificare i test. Tra gli esempi di applicazione si menzionano l'uso del modello per analizzare documenti legali, per l'analisi aziendale, in ricerche mediche per elaborare articoli scientifici, nella critica letteraria, per analizzare relazioni finanziarie e per migliorare la qualit\u00e0 dell\u2019elaborazione delle domande complesse da parte dei chatbot. <\/p>\n
Sono disponibili due versioni del modello jina-embeddings per il download (base \u2014 0.27 GB e ridotta \u2014 0.07 GB), addestrate su 400 milioni di coppie di sequenze testuali in lingua inglese che coprono vari ambiti del sapere. Durante l'addestramento sono state utilizzate sequenze di 512 token, che sono state estrapolate fino a una dimensione di 8192 mediante il metodo ALiBi (Attention with Linear Biases). <\/p>\n
Il modello base include 137 milioni di parametri ed \u00e8 progettato per l'uso su sistemi desktop con GPU. Il modello ridotto include 33 milioni di parametri, offre una minore precisione ed \u00e8 destinato all'uso su dispositivi mobili e su sistemi con poco spazio di memoria. A breve sar\u00e0 pubblicato anche un modello pi\u00f9 grande, che coprir\u00e0 435 milioni di parametri. \u00c8 in fase di sviluppo anche una versione multilingue del modello, attualmente focalizzata sul supporto delle lingue tedesca e spagnola. \u00c8 stato preparato inoltre un plugin per utilizzare il modello jina-embeddings attraverso l'interfaccia LLM. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"