Organizația nonprofit OpenSearch Software Foundation, controlată de Linux Foundation, a publicat versiunea proiectului OpenSearch 3.0, care dezvoltă un fork al platformei de căutare, analiză și stocare a datelor Elasticsearch și a interfeței web Kibana. La dezvoltarea fork-ului participă companii precum Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean și NetAp. Codul este distribuit sub licența Apache 2.0.
Fork-ul a fost creat în 2021 ca răspuns la trecerea proiectului Elasticsearch la o licență nestructurată SSPL (Server Side Public License) și la întreruperea publicării modificărilor sub vechea licență Apache 2.0. În ciuda revenirii Elasticsearch la utilizarea unei licențe libere, proiectul OpenSearch nu a pierdut relevanța, deoarece continuă utilizarea licenței permissive Apache 2.0 în locul licenței AGPLv3, la care a trecut Elasticsearch, și dezvoltă o serie de extensii specifice, anterior furnizate de Amazon într-un distribuitor separat Open Distro for Elasticsearch, care înlocuiesc componentele plătite ale Elasticsearch.
OpenSearch include motorul de stocare și căutare OpenSearch, interfața web și mediul de vizualizare a datelor OpenSearch Dashboards, precum și un set de extensii pentru învățarea automată, suport SQL, generarea de notificări, diagnosticarea performanței cluster-ului, criptarea traficului, defalcarea accesului pe baza rolurilor (RBAC), autentificarea prin Active Directory, Kerberos, SAML și OpenID, implementarea unui singur punct de acces (SSO) și conducerea unui jurnal detaliat pentru audit.
Printre schimbările din OpenSearch 3.0:
- A fost adăgat motorul vectorial (OpenSearch Vector Engine), care poate fi folosit pentru stocarea și gestionarea datelor utilizate în sistemele de învățare automată. Pentru a accelera căutarea vectorială, s-au folosit computații pe GPU, care au permis creșterea vitezei de indexare de 9.3 ori și reducerea costurilor operaționale de 3.75 ori comparativ cu soluțiile care folosesc doar CPU. Pentru a organiza interacțiunea cu sursele de date, aplicațiile LLM și platformele AI, a fost implementat suportul pentru protocolul MCP (Model Context Protocol). Este suportată integrarea cu agenții AI ai companiilor Anthropic, LangChain și OpenAI.
- A fost adăugată o optimizare care permite reducerea cu o treime a dimensiunii spațiului de stocare pentru vectorii k-NN (k-cel mai apropiați vecini), precum și reducerea latențelor de până la 30 de ori la execuția cererilor imediat după pornire (start la rece), prin eliminarea informațiilor secundare redundante și utilizarea datelor primare pentru reconstituirea informațiilor necesare.
- A fost adăugată o funcționalitate experimentală pentru utilizarea protocolului gRPC (protobuf peste gRPC) pentru transmiterea datelor între clienți, servers și nodurile de stocare. Comparativ cu JSON, utilizarea gRPC permite diminuarea costurilor de serializare și creșterea performanței prin trimiterea simultană a diferitelor cereri într-o singură conexiune TCP.
- A fost adăugată o modalitate pull de obținere a datelor, în care OpenSearch solicită direct date din surse de flux, cum ar fi Apache Kafka și Amazon Kinesis.
- În cluster a fost introdusă posibilitatea de a separa traficul legat de indexare și căutare. A fost adăugat un API care permite dezactivarea operațiunilor de scriere și menținerea indexului disponibil doar pentru căutare, cu scopul de a optimiza lucrul cu date care nu vor suferi modificări (configurări în care datele sunt scrise o singură dată și citite de mai multe ori).
- Integrarea cu Apache Calcite a fost extinsă, iar utilizarea limbajului de interogare PPL (Piped Processing Language) pentru operațiuni de căutare, filtrare și îmbinare a fost implementată.
- A fost asigurată determinarea automată a tipului de indecși. Pentru indecșii cu date legate de jurnalizare, au fost aplicate optimizări specifice care accelerează operațiunile de analiză a jurnalelor.
- Motorul de căutare cu text complet Lucene a fost actualizat la ramura 10, în care a fost îmbunătățită gestionarea indecșilor și a crescut performanța procesării paralele a sarcinilor.
- A fost adă suport pentru modulele Java (Java Platform Module System) pentru separarea componentelor în biblioteci distincte. Ca versiune minimă, a fost specificată lansarea Java 21.
- A fost accelerată lucrul cu intervalele de valori și câmpurile care conțin date și numere (viteza de trecere a setului de teste Big5 a crescut cu 25%). Operațiile de agregare a datelor au fost accelerate (în testul p90, latențele au fost reduse cu 75%). Pentru vectorii k-NN, modul de paralelizare a căutării segmentelor a fost activat implicit, ceea ce a permis o creștere de 2,5 ori a performanței cererilor.
Sursa: opennet.ro
