Pieejams OpenSearch 3.0, Elasticsearch platformas forks

Biedrība OpenSearch Software Foundation, kuru kontrolē Linux Foundation, ir publicējusi projekta OpenSearch 3.0 izlaidumu, kas attīsta meklēšanas, analīzes un datu glabāšanas platformas Elasticsearch un tīmekļa saskarnes Kibana fork. Forka izstrādē piedalās uzņēmumi, piemēram, Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean un NetAp. Kods tiek izplatīts saskaņā ar Apache 2.0 licenci.

Forks tika izveidots 2021. gadā kā atbilde uz projekta Elasticsearch pāriešanu uz nesavienotu licenci SSPL (Server Side Public License) un izmaiņu publicēšanas pārtraukšanu saskaņā ar veco Apache 2.0 licenci. Neskatoties uz to, ka Elasticsearch atgriezās pie brīvas licences izmantošanas, projekts OpenSearch nav zaudējis aktualitāti, jo tas turpina izmantot Apache 2.0 permisīvo licenci, nevis AGPLv3 licenci, uz kuru pārgāja Elasticsearch, kā arī attīstās konkrēti paplašinājumi, kas iepriekš tika nodrošināti uzņēmuma Amazon atsevišķajā Open Distro for Elasticsearch izplatījumā un aizstāj maksas komponentus Elasticsearch.

OpenSearch ietver OpenSearch uzglabāšanas un meklēšanas dzinēju, tīmekļa saskarni un datu vizualizācijas vidi OpenSearch Dashboards, kā arī paplašinājumu komplektu mašīnmācīšanās, SQL atbalsta, paziņojumu ģenerēšanas, klastera veiktspējas diagnostikas, datu šifrēšanas, piekļuves kontroļu, pamatojoties uz lomām (RBAC), autentifikācijas caur Active Directory, Kerberos, SAML un OpenID, vienota ieejas punkta (SSO) īstenošanas un detalizēta žurnālu saglabāšanas audita vajadzībām.

Starp izmaiņām OpenSearch 3.0:

• Pievienots vektoru dzinējs (OpenSearch Vector Engine), ko var izmantot, lai uzglabātu un apstrādātu datus, kas tiek izmantoti mašīnmācīšanas sistēmās. Vektoru meklēšanas paātrināšanai tiek izmantota GPU aprēķini, kas ļāvuši palielināt indeksēšanas ātrumu 9.3 reizes un samazināt operatīvās izmaksas 3.75 reizes salīdzinājumā ar risinājumiem, kas izmanto tikai CPU. Datu avotu, LLM lietotņu un AI platformu mijiedarbības organizēšanai ir ieviesta MCP (Model Context Protocol) protokola atbalsts. Ir atbalstīta integrācija ar AI aģentiem no uzņēmumiem Anthropic, LangChain un OpenAI.
• Pievienota optimizācija, kas ļauj trešdaļu samazināt k-NN (k-tuovu kaimiņu) vektoru krātuves lielumu, kā arī līdz 30 reizēm samazināt aizturi pie vaicājumu izpildes uzreiz pēc palaišanas (auksts starts), pateicoties liekās sekundārās informācijas dzēšanai un primāro datu izmantošanai nepieciešamās informācijas reģenerēšanai.
• Pievienota eksperimentālā iespēja izmantot gRPC protokolu (protobuf virs gRPC) datu pārsūtīšanai starp klientiem, serveriem un krātuves mezgliem. Salīdzinot ar JSON, gRPC lietošana ļauj samazināt serilizēšanas izmaksas un paaugstināt veiktspēju, pateicoties vairāku vaicājumu vienlaicīgai sūtīšanai vienā TCP savienojumā.
• Pievienots pull-režīma datu saņemšana, kurā OpenSearch tieši pieprasa datus no straumējošiem avotiem, piemēram, Apache Kafka un Amazon Kinesis.
• Klasterī nodrošināta trafika sadalīšana, kas saistīta ar indeksēšanu un meklēšanu. Pievienots API, kas ļauj atslēgt rakstīšanas operācijas un atstāt indeksu pieejamu tikai meklēšanai, lai optimizētu darbu ar datiem, kas netiks mainīti (konfigurācijās, kur dati tiek ierakstīti vienu reizi un vairākkārt nolasīti).
• Paplašināta integrācija ar Apache Calcite un realizēta iespēja izmantot PPL (Piped Processing Language) vaicājumu valodu meklēšanas, filtrēšanas un apvienošanas operācijām.
• Nodrošināta automātiska indeksu tipu noteikšana. Indeksiem, kas saistīti ar žurnālu vadību, izmantotas specifiskas optimizācijas, kas paātrina žurnālu analīzes operācijas.
• Lucene pilnteksta meklēšanas dzinējs atjaunots uz 10. versiju, kurā uzlabota indeksa apstrāde un paaugstināta paralēlas uzdevumu izpildes veiktspēja.
• Pievienota Java moduļu atbalsts (Java Platform Module System) komponentu sadalīšanai atsevišķās bibliotēkās. Minimālā versija ir deklarēta Java 21 izdevums.
• Paātrināta darbība ar vērtību diapazoniem un laukiem, kuros ir datumi un skaitļi (Big5 testu komplekta izpildes ātrums palielinājās par 25%). Paātrinātas datu agregācijas operācijas (p90 testa aizture samazinājās par 75%). K-NN vektoriem pēc noklusējuma ir ieslēgts segmentu meklēšanas paralelizācijas režīms, kas ļāva 2,5 reizes paaugstināt vaicājumu veiktspēju.

Avots: opennet.lv