Mittekasutuseks mõeldud OpenSearch Software Foundation, mida juhib Linux Foundation, avaldas OpenSearch 3.0 projekti versiooni, mis arendab edasi Elasticsearchi andmeteotsingu, -analüüsi ja salvestamise platvormi ning web-interfaani Kibana. Forki arendavad sellised ettevõtted nagu Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean ja NetAp. Kood on litsentseeritud Apache 2.0 alusel.
Fork loodi 2021. aastal vastusena Elasticsearchi projekti üleminekule mitteavatu SSPL (Server Side Public License) litsentsile ning varasema Apache 2.0 litsentsi alusel muudatuste avaldamise lõpetamisele. Vaatamata sellele, et Elasticsearch naasis avatud litsentsi kasutamise juurde, ei ole OpenSearchi projekt kaotanud aktuaalsust, kuna seal jätkab kasutamist lubav Apache 2.0 litsents asemel AGPLv3 litsentsiga, millele Elasticsearch üle läks, ning arendatakse edasi mitmeid spetsiifilisi laiendusi, mida Amazon varem pakkus eraldi Open Distro for Elasticsearch ja mis asendavad Elasticsearchi tasulisi komponente.
OpenSearch hõlmab OpenSearchi salvestus- ja otsingumootorit, web-interfaani ja andmete visualiseerimise keskkonda OpenSearch Dashboards, samuti täienduskomplekti masinõppe, SQL toe, teavituste genereerimise, klastrite jõudluse diagnoosimise, andmete liikluse krüpteerimise, rollipõhise juurdepääsu piirangute (RBAC), Active Directory, Kerberose, SAML ja OpenID autentimise, ühtse sisenemispunkti (SSO) implementeerimise ja auditi detailsete logide pidamise jaoks.
OpenSearch 3.0 muudatuste seas:
- Lisatud on vektormootor (OpenSearch Vector Engine), mida saab kasutada masinõppes kasutatavate andmete salvestamiseks ja töötlemiseks. Vektoriesituse kiirendamiseks kasutatakse GPU arvutusi, mis on võimaldanud suurendada indekseerimise kiirus 9,3 korda ja vähendada tegevuskulusid 3,75 korda võrreldes ainult CPUd kasutavate lahendustega. Andmeallikate, LLM-rakenduste ja AI-platvormidega suhtlemiseks on rakendatud MCP (Model Context Protocol) protokolli tugi. Toetatakse AI-agentide integreerimist ettevõtetelt Anthropic, LangChain ja OpenAI.
- Lisatud on optimeerimine, mis võimaldab kolmandiku võrra vähendada k-NN (k-lähedase sõbra) vektorite salvestuse suurust ning kuni 30 korda vähendada päringute hilinemist kohe pärast käivitamist (külm käivitamine) liigsest teisestaatilisest teabest vabanemise ja esmase teabe kasutamise kaudu vajaliku info taastamiseks.
- Lisatud on katsetamisvõimalus kasutada gRPC protokolli (protobuf gRPC peal) andmete edastamiseks klientide ja salvestuspunktide vahel. serveritega Suhteks JSON-iga võimaldab gRPC vähendada serialiseerimise kulusid ja suurendada jõudlust, edastades erinevaid päringuid ühes TCP-ühenduses.
- Lisatud on andmete saamise pull-režiim, kus OpenSearch küsib andmeid otse voogedastuse allikatest, nagu Apache Kafka ja Amazon Kinesis.
- Klastris on võimalik eraldada indekseerimise ja otsimisega seotud liiklus. Lisatud on API, mis võimaldab kirjutamistoimingud välja lülitada ja jätta indeks kergesti otsitavaks, et optimeerida andmetöötlust, mis ei muutu (konfiguratsioonid, kus andmeid kirjutatakse üks kord ja loetakse mitu korda).
- laiendatud integreerimist Apache Calcitega ning realiseeritud on PPL (Piped Processing Language) päringute keele kasutamise võimalus otsimise, filtreerimise ja ühendamise korral.
- Automaatne indeksitüüpide määramine on tagatud. Logitoimingutega seotud andmete indeksiteks on kasutatud spetsiifilisi optimeerimisi, mis kiirendavad logide analüüsimise operatsioone.
- Lucene täistekstituuringu mootori versioon on värskendatud 10. harule, kus on parandatud indeksite toimimist ja suurendatud ülesannete paralleelse töötlemise jõudlust.
- Lisatud on Java moodulite tugi (Java Platform Module System), et jagada komponente eraldi raamatukogudeks. Miinimumversioonina on välja kuulutatud Java 21.
- Ajavahemike ja kuupäevade ning numbritega väliandmete töötlemine on kiirenenud (Big5 testikomplekti läbilaskevõime on kasvanud 25%). Andmete agregatsiooni operatsioonid on kiirenenud (p90 testis on hilinemine vähenenud 75%). K-NN vektorite puhul on vaikimisi lubatud segmentide otsimise mitme töötluse režiim, mis on võimaldanud päringute jõudlust tõsta 2,5 korda.
Allikas: opennet.ru
