L'organizzazione no-profit OpenSearch Software Foundation, controllata dalla Linux Foundation, ha pubblicato la release del progetto OpenSearch 3.0, che sviluppa un fork della piattaforma di ricerca, analisi e archiviazione dati Elasticsearch e dell'interfaccia web Kibana. Tra le aziende che partecipano allo sviluppo del fork ci sono Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean e NetAp. Il codice è distribuito con licenza Apache 2.0.
Il fork è stato creato nel 2021 in risposta al passaggio del progetto Elasticsearch a una licenza non libera, la SSPL (Server Side Public License), e alla cessazione della pubblicazione delle modifiche sotto la vecchia licenza Apache 2.0. Nonostante il ritorno di Elasticsearch all'uso di una licenza libera, il progetto OpenSearch non ha perso rilevanza, poiché continua a utilizzare la licenza permissiva Apache 2.0 anziché la licenza AGPLv3 a cui è passato Elasticsearch, e sviluppa anche una serie di estensioni specifiche, precedentemente fornite da Amazon in un'apposita distribuzione chiamata Open Distro for Elasticsearch, che sostituiscono i componenti a pagamento di Elasticsearch.
OpenSearch include il motore di archiviazione e ricerca OpenSearch, l'interfaccia web e l'ambiente di visualizzazione dati OpenSearch Dashboards, oltre a un insieme di plugin per il machine learning, il supporto SQL, la generazione di notifiche, la diagnosi delle prestazioni del cluster, la crittografia del traffico, il controllo degli accessi basato sui ruoli (RBAC), l'autenticazione tramite Active Directory, Kerberos, SAML e OpenID, la realizzazione di un singolo punto di accesso (SSO) e la registrazione dettagliata per auditing.
Tra le novità di OpenSearch 3.0:
- È stato aggiunto un motore vettoriale (OpenSearch Vector Engine), che può essere utilizzato per archiviare e lavorare con dati utilizzati nei sistemi di machine learning. Per accelerare la ricerca vettoriale vengono utilizzati calcoli sulla GPU, che hanno permesso di aumentare la velocità di indicizzazione di 9,3 volte e di ridurre i costi operativi di 3,75 volte rispetto alle soluzioni che utilizzano solo CPU. È stato implementato il supporto al protocollo MCP (Model Context Protocol) per organizzare l'interazione con le fonti di dati, le applicazioni LLM e le piattaforme AI. È supportata l'integrazione con agenti AI delle aziende Anthropic, LangChain e OpenAI.
- È stata aggiunta un'ottimizzazione che consente di ridurre di un terzo le dimensioni dell'archivio dei vettori k-NN (k-nearest neighbors) e di ridurre fino a 30 volte i ritardi nell'esecuzione delle query subito dopo l'avvio (cold start) grazie all'eliminazione di informazioni secondarie ridondanti e all'uso di dati primari per ricreare le informazioni necessarie.
- È stata aggiunta una modalità pull per l'ottenimento dei dati, in cui OpenSearch richiede direttamente i dati da fonti di streaming come Apache Kafka e Amazon Kinesis. server È stata fornita la possibilità di separare il traffico relativo all'indicizzazione e alla ricerca nel cluster. È stata aggiunta un'API che consente di disattivare le operazioni di scrittura e lasciare l'indice accessibile solo per la ricerca, ottimizzando la gestione dei dati che non verranno modificati (configurazioni in cui i dati vengono scritti una sola volta e letti più volte).
- È stata ampliata l'integrazione con Apache Calcite e implementata la possibilità di utilizzare il linguaggio di query PPL (Piped Processing Language) per le operazioni di ricerca, filtraggio e unione.
- È stato garantito il riconoscimento automatico del tipo di indici. Per gli indici con dati riguardanti il log, sono state implementate ottimizzazioni specifiche che accelerano le operazioni di analisi dei log.
- Il motore di ricerca full-text Lucene è stato aggiornato alla versione 10, nella quale sono stati migliorati i dettagli di gestione degli indici e aumentate le prestazioni nel processamento parallelo delle attività.
- È stato aggiunto il supporto per i moduli Java (Java Platform Module System) per la separazione dei componenti in librerie distinte. La versione minima dichiarata è Java 21.
- È stata accelerata l'elaborazione di gamme di valori e campi contenenti date e numeri (la velocità di esecuzione del test Big5 è aumentata del 25%). Sono state accelerate le operazioni di aggregazione dei dati (nel test p90 i ritardi si sono ridotti del 75%). Per i vettori k-NN è stata attivata di default la modalità di parallelizzazione della ricerca dei segmenti, aumentando la performance delle query di 2,5 volte.
- Aggiunta la supporto ai moduli Java (Java Platform Module System) per la suddivisione dei componenti in librerie separate. La versione minima dichiarata è Java 21.
- Ottimizzata la gestione degli intervalli di valori e dei campi contenenti date e numeri (la velocità del set di test Big5 è aumentata del 25%). Accelerate le operazioni di aggregazione dei dati (nel test p90, i ritardi sono diminuiti del 75%). Per i vettori k-NN, la modalità di parallelizzazione della ricerca dei segmenti è attivata per default, consentendo di aumentare le prestazioni delle query di 2,5 volte.
Fonte: opennet.ru
