Неправителствена организация OpenSearch Software Foundation, контролирана от Linux Foundation, публикува версия 3.0 на проекта OpenSearch, който развива форк на платформата за търсене, анализ и съхранение на данни Elasticsearch и уеб интерфейса Kibana. В разработката на форка участват компании като Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean и NetAp. Кодът се разпространява под лиценз Apache 2.0.
Форкът беше създаден през 2021 г. в отговор на прехода на проекта Elasticsearch към несвободния лиценз SSPL (Server Side Public License) и прекратяването на публикуването на промени под стария лиценз Apache 2.0. Въпреки че Elasticsearch отново премина към свободен лиценз, проектът OpenSearch не е загубил актуалността си, тъй като продължава да използва разрешителния лиценз Apache 2.0 вместо лиценз AGPLv3, на който премина Elasticsearch, и също така се развиват редица специфични надстройки, преди предоставяни от компанията Amazon в отделен дистрибутив Open Distro for Elasticsearch, заменящи платените компоненти на Elasticsearch.
OpenSearch включва OpenSearch engine за съхранение и търсене, уеб интерфейс и среда за визуализация на данни OpenSearch Dashboards, както и пакет от разширения за машинно обучение, поддръжка на SQL, генериране на уведомления, диагностика на производителността на кластера, криптиране на трафика, разпределение на достъп на базата на роли (RBAC), аутентификация чрез Active Directory, Kerberos, SAML и OpenID, реализация на единна точка на достъп (SSO) и водене на подробен журнал за одит.
Сред промените в OpenSearch 3.0:
- Добавен е векторен двигател (OpenSearch Vector Engine), който може да се използва за съхранение и работа с данни, използвани в системи за машинно обучение. За ускоряване на векторното търсене се използват изчисления на GPU, които позволяват увеличаване на скоростта на индексиране 9.3 пъти и намаляване на оперативните разходи 3.75 пъти в сравнение с решения, използващи само CPU. За организиране на взаимодействието с източниците на данни, LLM приложенията и AI платформите е реализирана поддръжка на протокола MCP (Model Context Protocol). Поддържа се интеграция с AI агенти на компаниите Anthropic, LangChain и OpenAI.
- Добавена оптимизация, която позволява да се намали размера на хранилището на вектори k-NN (k-близки съседи) с една трета, както и да се съкрати времето за отговор при изпълнение на заявки след стартиране (студен старт) до 30 пъти, благодарение на премахването на излишна вторична информация и използването на основни данни за възстановяване на необходимата информация.
- Добавена е експериментална възможност за използване на протокола gRPC (protobuf върху gRPC) за предаване на данни между клиенти сървъри и хранилищни възли. В сравнение с JSON, използването на gRPC позволява да се намалят разходите за сериализация и да се увеличи производителността чрез едновременна изпращане на различни заявки в едно TCP съединение.
- Добавен е режим на изтегляне (pull mode), при който OpenSearch директно запитва данните от потокови източници, като Apache Kafka и Amazon Kinesis.
- В клъстера е предоставена възможност за разделяне на трафика, свързан с индексиране и търсене. Добавено е API, позволяващо да се деактивират записващите операции и да се остави индексът достъпен само за търсене с цел оптимизация на работата с данни, които няма да бъдат променяни (конфигурации, при които данните се записват веднъж и се четат многократно).
- Разширена е интеграцията с Apache Calcite и е реализирана възможност за използване на езика за заявки PPL (Piped Processing Language) за операции с търсене, филтриране и обединяване.
- Осигурено е автоматично определяне на типа на индексите. За индекси с данни, свързани с водене на журнал, са реализирани специфични оптимизации, ускоряващи операциите по анализ на журналите.
- Двигателят за пълен текстов търсене Lucene е актуализиран до клон 10, при който е подобрена работата с индексите и е повишена производителността на паралелната обработка на задачи.
- Добавена е поддръжка за Java модули (Java Platform Module System) за разделяне на компонентите на отделни библиотеки. Минималната версия, която е посочена, е Java 21.
- Ускорена е работа с диапазони от стойности и полета, съдържащи дати и числа (скоростта на преминаване на тестовия набор Big5 е увеличена с 25%). Ускорени са операциите за агрегиране на данни (в теста p90 закъсненията са намалени с 75%). За вектори k-NN е включен режим на паралелизация на търсенето на сегменти по подразбиране, което е повишило производителността на заявките 2.5 пъти.
Източник: opennet.ru
