Den non-profit organisation OpenSearch Software Foundation, der styres af Linux Foundation, har offentliggjort en version af projektet OpenSearch 3.0, der videreudvikler en fork af datalager-, analyse- og søgeplatformen Elasticsearch samt webgrænsefladen Kibana. I udviklingen af forken deltager virksomheder som Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean og NetAp. Koden distribueres under Apache 2.0-licensen.
Forken blev oprettet i 2021 som reaktion på overgangen af projektet Elasticsearch til den ikke-frie licens SSPL (Server Side Public License) og ophøret af offentliggørelsen af ændringer under den gamle Apache 2.0-licens. På trods af at Elasticsearch er tilbage til brugen af en fri licens, har projektet OpenSearch ikke mistet relevans, da det fortsætter med at bruge den permissive licens Apache 2.0 i stedet for AGPLv3-licensen, som Elasticsearch er gået over til, og der udvikles en række specifikke udvidelser, der tidligere blev leveret af Amazon i et separat distributionsprodukt kaldet Open Distro for Elasticsearch og som erstatter de betalte komponenter fra Elasticsearch.
OpenSearch inkluderer motoren til lagring og søgning OpenSearch, webgrænsefladen og datavisualiseringsmiljøet OpenSearch Dashboards samt et sæt tilføjelser til maskinlæring, støtte til SQL, generering af notifikationer, ydelsesanalyse af klynger, kryptering af trafik, rollebaseret adgangskontrol (RBAC), autentificering via Active Directory, Kerberos, SAML og OpenID, implementering af Single Sign-On (SSO) samt detaljeret logføring til revision.
Blandt ændringerne i OpenSearch 3.0:
- Der er tilføjet en vektor-motor (OpenSearch Vector Engine), der kan anvendes til at lagre og arbejde med data, der bruges i maskinlæringssystemer. For at fremskynde vektor-søgning anvendes beregninger på GPU-siden, hvilket har øget indekseringshastigheden med 9,3 gange og reduceret driftsomkostningerne med 3,75 gange sammenlignet med løsninger, der kun bruger CPU. For at facilitere interaktionen med datakilder, LLM-applikationer og AI-platforme er der implementeret støtte for MCP-protokollen (Model Context Protocol). Integration med AI-agenter fra virksomhederne Anthropic, LangChain og OpenAI understøttes.
- Optimering er blevet tilføjet, som gør det muligt at reducere størrelsen af k-NN (k-nærmeste naboer) vektorlageret med en tredjedel, samt at reducere forsinkelserne ved udførelse af forespørgsler med op til 30 gange lige efter opstart (kold start) ved at fjerne overflødig sekundær information og bruge primære data til at genskabe de nødvendige oplysninger.
- En eksperimentel mulighed for brug af gRPC-protokollen (protobuf over gRPC) til datatransmission mellem klienter servere og lagringsnoder er blevet tilføjet. Sammenlignet med JSON reducerer brug af gRPC omkostningerne ved serialisering og øger præstationen ved at sende forskellige forespørgsler samtidig i en enkelt TCP-forbindelse.
- En pull-tilstand for dataindsamling er blevet tilføjet, hvor OpenSearch direkte anmoder om data fra streamingkilder som Apache Kafka og Amazon Kinesis.
- Der er blevet mulighed for trafikdeling i klyngen relateret til indeksering og søgning. Et API er blevet tilføjet, som tillader deaktivering af skriveoperationer og gør indekset kun tilgængeligt for søgning med det formål at optimere arbejdet med data, der ikke vil blive ændret (konfigurationer, hvor data skrives én gang og læses mange gange).
- Integration med Apache Calcite er blevet udvidet, og muligheden for at bruge PPL (Piped Processing Language) forespørgselssprog til søgning, filtrering og sammensmeltning er blevet realiseret.
- Automatisk bestemmelse af indekstype er blevet sikret. For indekser med logrelaterede data er der anvendt specifikke optimeringer, der fremskynder loganalyseoperationer.
- Lucene fuldtekst søgemaskine er blevet opdateret til version 10, hvor indeksarbejdet er forbedret, og ydeevnen ved parallel behandling af opgaver er øget.
- Support til Java-moduler (Java Platform Module System) er blevet tilføjet for at opdele komponenter i separate biblioteker. Den minimale version, der kræves, er Java 21.
- Ydeevnen er blevet forbedret for værdiområder og felter, der indeholder datoer og tal (testen for Big5-sæt er steget med 25%). Datagglomereringsoperationer er blevet hurtigere (i p90-testen blev forsinkelserne reduceret med 75%). For k-NN-vektorer er søgning efter segmenter som standard blevet paralleliseret, hvilket har øget forespørgselsydelsen med 2,5 gange.
Kilde: opennet.ru
