Dostupan OpenSearch 3.0, fork platforme Elasticsearch

Ned profitna organizacija OpenSearch Software Foundation, pod kontrolom Linux Foundation, objavila je izdanje projekta OpenSearch 3.0, koji razvija fork platforme za pretraživanje, analizu i pohranu podataka Elasticsearch i web-sučelja Kibana. U razvoju forka sudjeluju tvrtke kao što su Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean i NetAp. Kod se distribuira pod licencom Apache 2.0.

Fork je stvoren 2021. godine kao odgovor na prebacivanje projekta Elasticsearch na nezavisnu licencu SSPL (Server Side Public License) i prestanak objavljivanja promjena pod starom licencom Apache 2.0. Iako se Elasticsearch vratio korištenju slobodne licence, projekt OpenSearch nije izgubio relevantnost, jer se u njemu nastavlja korištenje permisivne licence Apache 2.0 umjesto licence AGPLv3, na koju je prešao Elasticsearch, a također se razvijaju brojne specifične nadogradnje koje su ranije isporučivane od strane kompanije Amazon u zasebnom distribuciji Open Distro for Elasticsearch i zamjenjuju plaćene komponente Elasticsearch.

OpenSearch uključuje motor za pohranu i pretraživanje OpenSearch, web-sučelje i okruženje za vizualizaciju podataka OpenSearch Dashboards, kao i skup dodataka za strojno učenje, podršku za SQL, generiranje obavijesti, dijagnostiku performansi klastera, šifriranje prometa, razdvajanje pristupa na temelju uloga (RBAC), autentifikaciju preko Active Directory, Kerberos, SAML i OpenID, implementaciju jedinstvene točke pristupa (SSO) i vođenje detaljnog loga za reviziju.

Među promjenama u OpenSearch 3.0:

• Dodani su vektorski motor (OpenSearch Vector Engine), koji se može koristiti za pohranu i rad s podacima koji se koriste u sustavima strojnog učenja. Kako bi se ubrzalo vektorsko pretraživanje, uključeni su izračuni na strani GPU-a, što je omogućilo povećanje brzine indeksiranja za 9.3 puta i smanjenje operativnih troškova za 3.75 puta u usporedbi s rješenjima koja koriste samo CPU. Za organizaciju interakcije s izvorima podataka, LLM-aplikacijama i AI-platformama implementirana je podrška za protokol MCP (Model Context Protocol). Podržava se integracija s AI-agentima kompanija Anthropic, LangChain i OpenAI.
• Dodana je optimizacija koja omogućava smanjenje veličine skladišta vektora k-NN (k-najbližih susjeda) za trećinu, kao i smanjenje latencije prilikom izvođenja upita odmah nakon pokretanja (hladni start) do 30 puta uklanjanjem suvišnih sekundarnih informacija i korištenjem primarnih podataka za rekonstrukciju potrebnih informacija.
• Dodana je eksperimentalna opcija korištenja gRPC protokola (protobuf preko gRPC) za prijenos podataka između klijenata poslužiteljima i čvorova skladišta. U usporedbi s JSON-om, korištenje gRPC omogućava smanjenje troškova serijalizacije i povećanje performansi istovremenim slanjem različitih upita unutar jednog TCP veze.
• Dodan je pull-mod za dobivanje podataka, u kojem OpenSearch izravno traži podatke iz stream izvora, kao što su Apache Kafka i Amazon Kinesis.
• U klasteru je omogućena podjela prometa vezanog uz indeksiranje i pretraživanje. Dodan je API koji omogućava isključivanje operacija pisanja i omogućavanje pristupa indeksu samo za pretraživanje kako bi se optimizirao rad s podacima koji se neće mijenjati (konfiguracije u kojima se podaci zapisuju jednom i čitaju više puta).
• Proširena je integracija s Apache Calcite, a omogućena je i upotreba jezika upita PPL (Piped Processing Language) za operacije pretraživanja, filtriranja i spajanja.
• Osigurano je automatsko određivanje tipa indeksa. Za indekse s podacima vezanim uz vođenje logova korištene su specifične optimizacije koje ubrzavaju operacije analize logova.
• Motorr pretraživanja punog teksta Lucene ažuriran je na granu 10, u kojoj je poboljšano upravljanje indeksima i povećane su performanse paralelnog obavljanja zadataka.
• Dodana je podrška za Java module (Java Platform Module System) za razdvajanje komponenti na zasebne biblioteke. Minimalna verzija koja se traži je Java 21.
• Ubrzan je rad s rasponima vrijednosti i poljima koja sadrže datume i brojeve (brzina prolaska testnog skupa Big5 povećana je za 25%). Ubrzane su operacije agregacije podataka (u p90 testu latencija je smanjena za 75%). Za vektore k-NN prema defaultu je uključen način paralelizacije pretraživanja segmenata, što je omogućilo povećanje performansi upita 2.5 puta.

Izvor: opennet.ru