Отворен код на Jina Embedding, модел за векторно представяне на смисъла на текста

Компания Jina открыла под лицензией Apache 2.0 модель машинного обучения для векторного представления текста — jina-embeddings-v2. Модель позволяет преобразовать произвольный текст, включающий до 8192 знаков, в небольшую последовательность вещественных чисел, образующих вектор, сопоставленный с исходным текстом и воспроизводящий его семантику (смысл). Jina Embedding стала первой открытой моделью машинного обучения, обладающей характеристиками, не уступающими проприетарной модели векторизации текста от проекта OpenAI (text-embedding-ada-002), также способной обрабатывать тексты, насчитывающие до 8192 токенов.

Разстоянието между два образувани вектора може да се използва за определяне на семантичната взаимовръзка на оригиналните текстове. На практика образуваните вектори могат да се прилагат за анализ на подобие на текстове, организиране на търсене на подобни по тематика материали (ранжиране на резултатите по семантична близост), групиране на текстове по смисъл, формиране на препоръки (предлагане на списък с подобни текстови редове), откриване на аномалии, определяне на плагиат и класификация на тестовете. Като примери за области на приложение се споменава използването на модела за анализ на юридически документи, за бизнес аналитика, в медицински изследвания за обработка на научни статии, в литературна критика, за анализ на финансови отчети и за повишаване на качеството на обработка на сложни запитвания от чат-ботове.

Для загрузки доступны два варианта модели jina-embeddings (базовая — 0.27 ГБ и сокращённая — 0.07 ГБ), обученные на 400 миллионах пар текстовых последовательностей на английском языке, охватывающих различные области знаний. При обучении использовались последовательности, размером 512 токенов, которые были экстраполированы до размера 8192 при помощи метода ALiBi (Attention with Linear Biases).

Основната модел включва 137 млн параметри и е проектирана за работа на стационарни системи с GPU. Съкратеният модел включва 33 млн. параметри, осигурява по-ниска точност и е насочен към употреба на мобилни устройства и на системи с малък обем памет. В близко бъдеще също се планира публикуването на голям модел, който ще обхваща 435 млн параметри. В разработка е и многоезичен вариант на модела, който в момента е фокусиран върху поддръжката на немски и испански езици. Отделно е подготвен плъгин за използване на модела jina-embeddings чрез инструментария LLM.

Източник: opennet.ru