Достъпен е OpenSearch 3.0, форк на платформата Elasticsearch

Некомерсиалната организация OpenSearch Software Foundation, контролирана от Linux Foundation, публикува версия на проекта OpenSearch 3.0, който развива форк на платформата за търсене, анализ и съхранение на данни Elasticsearch и уеб интерфейса Kibana. В разработката на форка участват компании като Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean и NetAp. Кодът се разпространява под лицензия Apache 2.0.

Форкът беше създаден през 2021 година в отговор на преминаването на проекта Elasticsearch към несвободна лицензия SSPL (Server Side Public License) и спирането на публикуването на промените под старата лицензия Apache 2.0. Въпреки завръщането на Elasticsearch към свободна лицензия, проектът OpenSearch не е загубил актуалността си, тъй като в него продължава да се използва разрешителната лицензия Apache 2.0 вместо лицензия AGPLv3, към която премина Elasticsearch, а също така се развива редица специфични надстройки, които преди се предлагат от компанията Amazon в отделен дистрибутив Open Distro for Elasticsearch и заменят платените компоненти на Elasticsearch.

OpenSearch включва двигател за съхранение и търсене OpenSearch, уеб интерфейс и среда за визуализация на данни OpenSearch Dashboards, както и набор от добавки за машинно обучение, поддръжка на SQL, генериране на известия, диагностика на производителността на клъстера, криптиране на трафика, разграничаване на достъпа на база роли (RBAC), автентикация чрез Active Directory, Kerberos, SAML и OpenID, реализация на единна точка на влизане (SSO) и водене на подробен лог за одит.

Сред промените в OpenSearch 3.0:

• Добавен е векторен двигател (OpenSearch Vector Engine), който може да се използва за съхранение и работа с данни, използвани в системи за машинно обучение. За ускоряване на векторното търсене се използват изчисления от страна на GPU, които позволиха увеличаване на скоростта на индексиране с 9.3 пъти и намаляване на оперативните разходи с 3.75 пъти в сравнение с решенията, които използват само CPU. За организиране на взаимодействие с източниците на данни, LLM приложенията и AI платформите е реализирана поддръжка на протокола MCP (Model Context Protocol). Поддържа се интеграция с AI агентите на компаниите Anthropic, LangChain и OpenAI.
• Добавена оптимизация, която позволява да се намали обема на хранилището на вектори k-NN (k-ближайши съседи) с една трета и да се намали времето за забавяне при изпълнение на заявки веднага след стартиране (студен старт) до 30 пъти, благодарение на премахването на излишната вторична информация и използването на основни данни за възстановяване на необходимата информация.
• Добавена е експериментална възможност за използване на протокола gRPC (protobuf върху gRPC) за предаване на данни между клиенти, сървъри и хранилищни узли. В сравнение с JSON, прилагането на gRPC позволява да се намалят разходите за сериализация и да се увеличи производителността благодарение на едновременното изпращане на различни заявки в едно TCP съединение.
• Добавен е режим на изтегляне на данни, при който OpenSearch директно запитва данни от потокови източници, като Apache Kafka и Amazon Kinesis.
• В клъстера е предоставена възможност за разделяне на трафика, свързан с индексирането и търсенето. Добавен е API, който позволява да се деактивират операции на запис и да се остави индексът достъпен само за търсене с цел оптимизиране на работата с данни, които няма да бъдат променяни (конфигурации, в които данните се записват веднъж и се прочитат многократно).
• Разширена е интеграцията с Apache Calcite и е реализирана възможността за използване на езика за запитвания PPL (Piped Processing Language) за операции по търсене, филтриране и сливане.
• Осигурено е автоматично определяне на типа на индексите. За индексите с данни, свързани с журнализиране, са задействани специфични оптимизации, които ускоряват операциите по анализ на логовете.
• Двигателят за пълнотекстово търсене Lucene е обновен до версия 10, в която е подобрена работата с индексите и е повишена производителността на паралелната обработка на задачи.
• Добавена е поддръжка за Java модули (Java Platform Module System) за разделяне на компонентите на отделни библиотеки. Минималната версия е обявена за Java 21.
• Ускорена е работата с диапазони от стойности и полета, съдържащи дати и числа (скоростта на преминаване на тестовия набор Big5 се е увеличила с 25%). Ускорени са операциите по агрегация на данни (в теста p90 забавянето е намалено с 75%). За векторите k-NN по подразбиране е включен режим на паралелизирано търсене на сегменти, който е позволил увеличение на производителността на заявките с 2.5 пъти.

Източник: opennet.ru