Üksus OpenSearch Software Foundation, mida juhib Linux Foundation, avaldas projekti OpenSearch 3.0, mis on Elasticsearchi ja veebiliidese Kibana fork. Forki arendamisel osalevad sellised ettevõtted nagu Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean ja NetAp. Kood levitatakse Apache 2.0 litsentsi alusel.
Fork loodi 2021. aastal vastuseks projekti Elasticsearch üleminekule mitteavalduslikule litsentsile SSPL (Server Side Public License) ja muudatuste avaldamise lõpetamisele vana litsentsi, Apache 2.0, alusel. Vaatamata sellele, et Elasticsearch tagastas end vabale litsentsile, ei ole projekt OpenSearch kaotanud oma olulisust, kuna see jätkab Apache 2.0 lubava litsentsi kasutamist vastupidiselt AGPLv3 litsentsile, millele Elasticsearch on üle läinud, ning arendatakse arvukalt spetsiifilisi lisaehitusi, mida varem pakkus Amazon eraldi Open Distro for Elasticsearchi levituses ja mis asendavad Elasticsearchi tasulisi komponente.
OpenSearch sisaldab OpenSearchi salvestus- ja otsingumootorit, veebiliidest ja OpenSearch Dashboards'i andmete visualiseerimise keskkonda, samuti täienduste komplekti masinõppe, SQL-toe, teavituste genereerimise, klastrite jõudluse diagnostika, liikluse krüpteerimise, rollipõhise juurdepääsu kontrollimise (RBAC), Active Directory, Kerberose, SAML ja OpenID autentimise, ühtse sisenemisliidese (SSO) rakendamise ja auditi jaoks detailse logimise jaoks.
OpenSearch 3.0 muudatuste hulgas:
- Lisatud on vektormootor (OpenSearch Vector Engine), mida saab kasutada masinõppe süsteemides andmete salvestamiseks ja töötlemiseks. Vektorite otsingu kiirendamiseks kasutatakse GPU-poolset arvutust, mis on võimaldanud indeksimise kiirus kasvada 9,3 korda ja tegevuskulud vähendada 3,75 korda võrreldes lahendustega, mis kasutavad ainult CPU-d. Andmeallikate, LLM-rakenduste ja AI-platvormide vahelise suhtluse korraldamiseks on rakendatud MCP (Model Context Protocol) protokolli tugi. Toetatud on integratsioon AI-agentidega ettevõtetes Anthropic, LangChain ja OpenAI.
- Lisatud on optimeerimine, mis võimaldab vähendada k-NN (k-lähedaste naabrite) vektorite salvestusruumi kolmandiku võrra ning kuni 30 korda vähendada päringute latentsust pärast käivitamist (külm käivitamine), eemaldades liigse sekundaarse teabe ja kasutades esmaseid andmeid vajaliku teabe taastamiseks.
- Lisatud on eksperimentaalne võimalus kasutada gRPC protokolli (protobuf gRPC peal) andmete edastamiseks klientide ja salvestuspunktide vahel. serveritega Võrreldes JSON-iga, võimaldab gRPC vähendada serialiseerimise kulusid ja tõsta tulemuslikkust, saates erinevaid päringuid ühes TCP-ühenduses.
- Lisatud on andmete saamise pull-režiim, kus OpenSearch pärib andmeid otse voogedastuse allikatest, nagu Apache Kafka ja Amazon Kinesis.
- Klastris on loodud võimalus jagada indekseerimise ja otsimisega seotud liiklust. Lisatud on API, mis võimaldab keelata kirjutamisoperatsioonid ja jätta indeksi kergesti ligipääsetavaks ainult otsimiseks, et optimeerida andmete töötlemist, mis ei muutu (konfiguratsioonid, kus andmeid kirjutatakse üks kord ja loetakse mitu korda).
- Integreerimist Apache Calcitega on laiendatud ning rakendatud on PPL (Piped Processing Language) päringukeelt otsingute, filtreerimise ja sulandumise operatsioonide jaoks.
- Automaatne indeksitüüpide määramine on tagatud. Logide haldamisega seotud andmete indeksite puhul on kasutatud spetsiifilisi optimeerimisi, mis kiirendavad logianalüüsi operatsioone.
- Lucene'i täistekstiotsingu mootor on uuendatud versioonini 10, mis parandab indekseerimise toimimist ja suurendab ülesannete paralleelse töötlemise jõudlust.
- Java moodulite (Java Platform Module System) toetus on lisatud, et jagada komponente eraldi raamatukogudeks. Minimumnõudena on välja antud Java 21.
- Kiirus on suurenenud väärtuste vahemike ja kuupäevade ja numbrite sisaldava väljade töötlemises (Big5 testimisseeria läbimise kiirus kasvas 25%). Andmete agregatsiooni operatsioonide kiirus on suurenenud (p90 latentsuse testis vähenes viivitus 75%). k-NN vektorite puhul on vaikevalikuna sisse lülitatud segmendi otsingu paralleel töötlemine, mis tõi kaasa päringute jõudluse tõusu 2,5 korda.
Allikas: opennet.ru
