Компанията Jina е пуснала под лицензия Apache 2.0 модел на машинно обучение за векторно представяне на текста — jina-embeddings-v2. Моделът позволява преобразуването на произволен текст, включващ до 8192 знака, в малка последователност от реални числа, образуващи вектор, който е свързан с оригиналния текст и възпроизвежда неговата семантика (смисъл). Jina Embedding стана първият отворен модел на машинно обучение с характеристики, неотстъпващи на проприетарния модел за векторизация на текст от проекта OpenAI (text-embedding-ada-002), също способен да обработва текстове, съдържащи до 8192 токена.
Разстоянието между два формирани вектора може да се използва за определяне на смисловата взаимовръзка между оригиналните текстове. На практика образуваните вектори могат да се прилагат за анализ на сходство на текстове, организиране на търсене на свързани по тематика материали (ранжиране на резултатите по семантична близост), групиране на текстове по смисъл, формиране на препоръки (предложение за списък с подобни текстови редове), откриване на аномалии, определяне на плагиатство и класификация на тестове. Като примери за области на използване се споменава ангажиране на модела за анализ на юридически документи, за бизнес анализи, в медицински изследвания за обработка на научни статии, в литературна критика, за анализ на финансови отчети и за подобряване на качеството на обработката на сложни въпроси от чат-ботове.
Достъпни за изтегляне са два варианта на модела jina-embeddings (базов — 0.27 ГБ и съкратен — 0.07 ГБ), обучени на 400 милиона двойки текстови последователности на английски език, обхващащи различни области на познание. При обучението са използвани последователности с размер 512 токена, които са били екстраполирани до размер 8192 с помощта на метода ALiBi (Attention with Linear Biases).
Основната версия включва 137 милиона параметри и е предназначена за използване на настолни системи с GPU. Съкратената версия включва 33 милиона параметри, осигурява по-ниска точност и е насочена към използване на мобилни устройства и системи с малък обем памет. В най-скоро време също така ще бъде публикувана голяма версия, която ще обхваща 435 милиона параметри. Разработва се и многоезичен вариант на модела, който в момента е съсредоточен върху поддръжката на немски и испански език. Отделно е подготвен плъгин за използване на модела jina-embeddings чрез инструмента LLM.
Източник: opennet.ru
