Den icke-vinstdrivande organisationen OpenSearch Software Foundation, som kontrolleras av Linux Foundation, har publicerat en release av projektet OpenSearch 3.0, som utvecklar en fork av plattformen för sökning, analys och lagring av data Elasticsearch och webbgränssnittet Kibana. I utvecklingen av forken deltar företag som Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean och NetAp. Koden distribueras under licensen Apache 2.0.
Forken skapades 2021 som svar på övergången av projektet Elasticsearch till en icke-fristående licens, SSPL (Server Side Public License), och avbrytandet av publicering av ändringar under den gamla licensen Apache 2.0. Trots att Elasticsearch återvände till användning av en öppen licens har projektet OpenSearch fortsatt att vara relevant, eftersom det fortsätter att använda den permissiva licensen Apache 2.0, istället för AGPLv3, som Elasticsearch övergick till, och utvecklar även ett antal specifika tillägg som tidigare tillhandahölls av Amazon i en separat distribution av Open Distro for Elasticsearch och ersätter betalda komponenter i Elasticsearch.
OpenSearch inkluderar lagrings- och sökmotorn OpenSearch, webbgränssnittet och datavisualiseringsmiljön OpenSearch Dashboards, samt ett antal tillägg för maskininlärning, SQL-stöd, generering av aviseringar, diagnos av klusterprestanda, kryptering av trafik, rollbaserad åtkomstkontroll (RBAC), autentisering via Active Directory, Kerberos, SAML och OpenID, implementering av en enda inloggningspunktslösning (SSO) och detaljerad loggning för revision.
Bland förändringarna i OpenSearch 3.0:
- En vektor-motor (OpenSearch Vector Engine) har lagts till, som kan användas för att lagra och arbeta med data som används i maskininlärningssystem. För att snabba upp vektor-sökningen har beräkningar på GPU-användning involverats, vilket har ökat indexeringshastigheten med 9,3 gånger och minskat driftskostnaderna med 3,75 gånger jämfört med lösningar som endast använder CPU. För att organisera interaktionen med datakällor, LLM-applikationer och AI-plattformar har stöd för MCP-protokollet (Model Context Protocol) implementerats. Integrationen med AI-agenter från företagen Anthropic, LangChain och OpenAI stöds.
- Optimering har lagts till som gör det möjligt att minska storleken på k-NN (k-närmsta grannar) vektorlager med en tredjedel, samt att minska fördröjningarna i upp till 30 gånger när man utför förfrågningar direkt efter start (kallstart) genom att ta bort överflödig sekundär information och använda primära data för att återskapa nödvändig information.
- En experimentell möjlighet att använda gRPC-protokollet (protobuf ovanpå gRPC) för att överföra data mellan klienter servrar och lagringsnoder har lagts till. Jämfört med JSON gör användningen av gRPC det möjligt att minska kostnaderna för serialisering och öka prestanda genom att skicka olika förfrågningar samtidigt i en och samma TCP-anslutning.
- En pull-läge för att hämta data har lagts till, där OpenSearch direkt begär data från strömmande källor som Apache Kafka och Amazon Kinesis.
- Klustret har möjlighet att separera trafik relaterad till indexering och sökning. Ett API har lagts till som möjliggör avstängning av skrivoperationer och gör indexet tillgängligt endast för sökning för att optimera arbetet med data som inte kommer att ändras (konfigurationer där data skrivs en gång och läses många gånger).
- Integrationen med Apache Calcite har utökats och möjligheten att använda PPL (Piped Processing Language) för sök-, filtrerings- och sammanslagningsoperationer har implementerats.
- Automatisk bestämning av indexens typ har säkerställts. För index med loggrelaterade data har specifika optimeringar implementerats för att påskynda logganalysoperationer.
- Fulltext sökmotorn Lucene har uppdaterats till version 10, där indexens arbete har förbättrats och prestandan för parallell bearbetning av uppgifter har ökat.
- Stöd för Java-moduler (Java Platform Module System) har lagts till för att separera komponenter i separata bibliotek. Java 21 har angetts som minimi version.
- Arbetet med intervalvärden och fält som innehåller datum och siffror har påskyndats (hastigheten för att bearbeta testuppsättning Big5 har ökat med 25%). Databearbetningsoperationer har påskyndats (i p90 testet har fördröjningarna minskat med 75%). För k-NN-vektorer har läget för parallellsökning av segment som standard aktiverats, vilket har ökat prestandan för förfrågningar med 2,5 gånger.
Källa: opennet.ru
