OpenSearch 3.0 er tilgjengelig, en fork av Elasticsearch-plattformen

Den ideelle organisasjonen OpenSearch Software Foundation, kontrollert av Linux Foundation, har publisert utgivelsen av prosjektet OpenSearch 3.0, som videreutvikler en fork av plattformen for søk, analyse og lagring av data, Elasticsearch, og webgrensesnittet Kibana. Bedrifter som Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean og NetAp er involvert i utviklingen av forken. Koden distribueres under Apache 2.0-lisensen.

Forken ble opprettet i 2021 som svar på overgangen av Elasticsearch-prosjektet til den ikke-frie lisensen SSPL (Server Side Public License) og opphøret av publisering av endringer under den gamle Apache 2.0-lisensen. Til tross for at Elasticsearch har gått tilbake til å bruke en fri lisens, har OpenSearch-prosjektet fortsatt relevans da det fortsatt bruker den permisive Apache 2.0-lisensen i stedet for AGPLv3-lisensen, som Elasticsearch har gått over til, og utvikler en rekke spesifikke utvidelser som tidligere ble levert av Amazon i en egen distribusjon kalt Open Distro for Elasticsearch, og som erstatter de betalte komponentene til Elasticsearch.

OpenSearch inkluderer lagrings- og søkemotoren OpenSearch, webgrensesnittet og datavisualiseringsmiljøet OpenSearch Dashboards, samt et sett med tillegg for maskinlæring, SQL-støtte, generering av varsler, ytelsesovervåking av klynger, kryptering av trafikk, rollebasert tilgangskontroll (RBAC), autentisering via Active Directory, Kerberos, SAML og OpenID, implementering av en enkelt påloggingsprosess (SSO) og detaljert loggføring for revisjon.

Blant endringene i OpenSearch 3.0:

• Den vektorbaserte motoren (OpenSearch Vector Engine) er lagt til, som kan brukes til lagring og behandling av data som benyttes i maskinlæringssystemer. For å akselerere vektorsøk, benyttes beregning på GPU-siden, noe som har økt indekseringshastigheten med 9,3 ganger og redusert driftskostnader med 3,75 ganger sammenlignet med løsninger som kun bruker CPU. For å legge til rette for samhandling med datakilder, LLM-applikasjoner og AI-plattformer har støtte for MCP-protokollen (Model Context Protocol) blitt implementert. Integrasjon med AI-agenter fra selskapene Anthropic, LangChain og OpenAI støttes.
• Det er lagt til optimalisering som reduserer størrelsen på k-NN (k-nærmeste naboer) vektorlagringen med en tredjedel, samt reduserer forsinkelsen ved spørringer umiddelbart etter oppstart (kalde starter) med opptil 30 ganger ved å fjerne overflødig sekundærinformasjon og bruke primære data for å gjenskape nødvendig informasjon.
• Det er lagt til en eksperimentell mulighet for å bruke gRPC-protokollen (protobuf over gRPC) for overføring av data mellom klienter, servere og lagringsnoder. Sammenlignet med JSON reduserer bruken av gRPC kostnadene for serialisering og øker ytelsen ved å sende forskjellige forespørselene samtidig over én TCP-tilkobling.
• Pull-modus for datainnhenting er lagt til, hvor OpenSearch direkte henter data fra strømmekilder som Apache Kafka og Amazon Kinesis.
• I klyngen er det mulig å dele trafikken relatert til indeksering og søk. Det er lagt til et API som lar deg deaktivere skriveoperasjoner og gjøre indeksen kun tilgjengelig for søk for å optimalisere arbeidet med data som ikke skal endres (konfigurasjoner hvor data skrives én gang og leses mange ganger).
• Integrasjonen med Apache Calcite er utvidet, og det er implementert muligheten til å bruke PPL (Piped Processing Language) forespørselsspråk for søke-, filtrerings- og sammenslåingsoperasjoner.
• Automatisk bestemmelse av indeks typer er sikret. For indekser med logging-relaterte data er spesifikke optimaliseringer aktivert som akselererer logganalyseoperasjoner.
• Fulltekst søkemotoren Lucene er oppdatert til versjon 10, som forbedrer indeksarbeid og øker ytelsen for parallell behandling av oppgaver.
• Støtte for Java-moduler (Java Platform Module System) for oppdeling av komponenter i separate biblioteker er lagt til. Java 21 er erklært som minimumversjon.
• Ytelsen ved håndtering av verdidiagrammer og felt som inneholder datoer og tall er akselerert (hastigheten på Big5 testsettet økte med 25%). Dataaggregasjonsoperasjoner er akselerert (i p90-testen ble forsinkelsene redusert med 75%). For k-NN vektorer er parallelliseringsmodus for segmentsearcheing som standard aktivert, noe som har økt forespørselens ytelse med 2,5 ganger.

Kilde: opennet.ru