{"id":111103,"date":"2023-10-26T15:10:31","date_gmt":"2023-10-26T13:10:31","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta"},"modified":"2023-10-26T15:10:31","modified_gmt":"2023-10-26T13:10:31","slug":"otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","title":{"rendered":"Otwarty kod Jina Embedding, modelu do wektorowego przedstawienia sensu tekstu","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Firma Jina uruchomi\u0142a model uczenia maszynowego dla wektorowego przedstawienia tekstu w ramach licencji Apache 2.0 \u2014 jina-embeddings-v2. Model ten pozwala na przekszta\u0142cenie dowolnego tekstu, w tym do 8192 znak\u00f3w, w ma\u0142\u0105 sekwencj\u0119 liczb rzeczywistych, tworz\u0105cych wektor, kt\u00f3ry odpowiada oryginalnemu tekstowi i odtwarza jego semantyk\u0119 (znaczenie). Jina Embedding sta\u0142a si\u0119 pierwszym otwartym modelem uczenia maszynowego, kt\u00f3ry nie ust\u0119puje w\u0142asno\u015bciowym modelom wektoryzacji tekstu od projektu OpenAI (text-embedding-ada-002), r\u00f3wnie\u017c zdolnym do przetwarzania tekst\u00f3w zawieraj\u0105cych do 8192 token\u00f3w. <\/p>\n

Odleg\u0142o\u015b\u0107 mi\u0119dzy dwoma uformowanymi wektorami mo\u017cna wykorzysta\u0107 do okre\u015blenia semantycznych powi\u0105za\u0144 mi\u0119dzy oryginalnymi tekstami. W praktyce uformowane wektory mog\u0105 by\u0107 u\u017cywane do analizy podobie\u0144stwa tekst\u00f3w, organizowania wyszukiwania materia\u0142\u00f3w zbli\u017conych tematycznie (rankowanie wynik\u00f3w wed\u0142ug blisko\u015bci semantycznej), grupowania tekst\u00f3w wed\u0142ug sensu, formu\u0142owania rekomendacji (propozycja listy podobnych linii tekstowych), wykrywania anomalii, okre\u015blania plagiatu oraz klasyfikowania test\u00f3w. Jako przyk\u0142ady zastosowa\u0144 wymienia si\u0119 wykorzystanie modelu do analizy dokument\u00f3w prawnych, analityki biznesowej, w badaniach medycznych do przetwarzania artyku\u0142\u00f3w naukowych, w krytyce literackiej, do analizy raport\u00f3w finansowych oraz do poprawy jako\u015bci obs\u0142ugi skomplikowanych zapyta\u0144 przez chatboty. <\/p>\n

Dost\u0119pne s\u0105 dwa warianty modelu jina-embeddings do pobrania (podstawowy \u2014 0,27 GB i skr\u00f3cony \u2014 0,07 GB), nauczeni na 400 milionach par sekwencji tekstowych w j\u0119zyku angielskim, obejmuj\u0105cych r\u00f3\u017cne obszary wiedzy. Podczas uczenia wykorzystywane by\u0142y sekwencje o wielko\u015bci 512 token\u00f3w, kt\u00f3re zosta\u0142y ekstrapolowane do rozmiaru 8192 za pomoc\u0105 metody ALiBi (Attention with Linear Biases). <\/p>\n

Podstawowy model zawiera 137 milion\u00f3w parametr\u00f3w i jest przeznaczony do u\u017cycia na stacjonarnych systemach z GPU. Model uproszczony zawiera 33 miliony parametr\u00f3w, zapewnia mniejsz\u0105 dok\u0142adno\u015b\u0107 i jest ukierunkowany na zastosowanie na urz\u0105dzeniach mobilnych oraz w systemach z ograniczon\u0105 pami\u0119ci\u0105. W najbli\u017cszym czasie planowane jest tak\u017ce opublikowanie du\u017cego modelu, kt\u00f3ry b\u0119dzie obejmowa\u0142 435 milion\u00f3w parametr\u00f3w. W opracowaniu jest r\u00f3wnie\u017c wersja wieloj\u0119zyczna modelu, kt\u00f3ra obecnie koncentruje si\u0119 na wsparciu j\u0119zyk\u00f3w niemieckiego i hiszpa\u0144skiego. Osobno przygotowano wtyczk\u0119 do korzystania z modelu jina-embeddings przez narz\u0119dzia LLM.
\n
\u0179r\u00f3d\u0142o: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Jina \u043e\u0442\u043a\u0440\u044b\u043b\u0430 \u043f\u043e\u0434 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 Apache 2.0 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 — jina-embeddings-v2. \u041c\u043e\u0434\u0435\u043b\u044c \u043f\u043e\u0437\u0432\u043e\u043b\u044f\u0435\u0442 \u043f\u0440\u0435\u043e\u0431\u0440\u0430\u0437\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0438\u0437\u0432\u043e\u043b\u044c\u043d\u044b\u0439 \u0442\u0435\u043a\u0441\u0442, \u0432\u043a\u043b\u044e\u0447\u0430\u044e\u0449\u0438\u0439 \u0434\u043e 8192 \u0437\u043d\u0430\u043a\u043e\u0432, \u0432 \u043d\u0435\u0431\u043e\u043b\u044c\u0448\u0443\u044e \u043f\u043e\u0441\u043b\u0435\u0434\u043e\u0432\u0430\u0442\u0435\u043b\u044c\u043d\u043e\u0441\u0442\u044c \u0432\u0435\u0449\u0435\u0441\u0442\u0432\u0435\u043d\u043d\u044b\u0445 \u0447\u0438\u0441\u0435\u043b, \u043e\u0431\u0440\u0430\u0437\u0443\u044e\u0449\u0438\u0445 \u0432\u0435\u043a\u0442\u043e\u0440, \u0441\u043e\u043f\u043e\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u043d\u044b\u0439 \u0441 \u0438\u0441\u0445\u043e\u0434\u043d\u044b\u043c \u0442\u0435\u043a\u0441\u0442\u043e\u043c \u0438 \u0432\u043e\u0441\u043f\u0440\u043e\u0438\u0437\u0432\u043e\u0434\u044f\u0449\u0438\u0439 \u0435\u0433\u043e \u0441\u0435\u043c\u0430\u043d\u0442\u0438\u043a\u0443 (\u0441\u043c\u044b\u0441\u043b). Jina Embedding \u0441\u0442\u0430\u043b\u0430 \u043f\u0435\u0440\u0432\u043e\u0439 \u043e\u0442\u043a\u0440\u044b\u0442\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u044c\u044e \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f, \u043e\u0431\u043b\u0430\u0434\u0430\u044e\u0449\u0435\u0439 \u0445\u0430\u0440\u0430\u043a\u0442\u0435\u0440\u0438\u0441\u0442\u0438\u043a\u0430\u043c\u0438, \u043d\u0435 \u0443\u0441\u0442\u0443\u043f\u0430\u044e\u0449\u0438\u043c\u0438 \u043f\u0440\u043e\u043f\u0440\u0438\u0435\u0442\u0430\u0440\u043d\u043e\u0439 \u043c\u043e\u0434\u0435\u043b\u0438 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[702],"tags":[],"class_list":["post-111103","post","type-post","status-publish","format-standard","hentry","category-news"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Otwarty kod Jina Embedding, modele do wektorowego przedstawiania znaczenia tekstu | ProHoster","description":"Firma Jina udost\u0119pni\u0142a pod licencj\u0105 Apache 2.0 model uczenia maszynowego do wektorowego przedstawiania tekstu - jina-embeddings-v2.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041e\u0442\u043a\u0440\u044b\u0442 \u043a\u043e\u0434 Jina Embedding, \u043c\u043e\u0434\u0435\u043b\u0438 \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0441\u043c\u044b\u0441\u043b\u0430 \u0442\u0435\u043a\u0441\u0442\u0430 | ProHoster","og:description":"\u041a\u043e\u043c\u043f\u0430\u043d\u0438\u044f Jina \u043e\u0442\u043a\u0440\u044b\u043b\u0430 \u043f\u043e\u0434 \u043b\u0438\u0446\u0435\u043d\u0437\u0438\u0435\u0439 Apache 2.0 \u043c\u043e\u0434\u0435\u043b\u044c \u043c\u0430\u0448\u0438\u043d\u043d\u043e\u0433\u043e \u043e\u0431\u0443\u0447\u0435\u043d\u0438\u044f \u0434\u043b\u044f \u0432\u0435\u043a\u0442\u043e\u0440\u043d\u043e\u0433\u043e \u043f\u0440\u0435\u0434\u0441\u0442\u0430\u0432\u043b\u0435\u043d\u0438\u044f \u0442\u0435\u043a\u0441\u0442\u0430 - jina-embeddings-v2.","og:url":"https:\/\/prohoster.info\/pl\/blog\/news\/otkryt-kod-jina-embedding-modeli-dlya-vektornogo-predstavleniya-smysla-teksta","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2023-10-26T13:10:31+00:00","article:modified_time":"2023-10-26T13:10:31+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":[],"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/111103","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=111103"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/111103\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=111103"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=111103"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=111103"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}