L'OpenSearch Software Foundation, un'urganizazione senza scopu di lucro cuntrullata da a Linux Foundation, hà publicatu u prugettu OpenSearch 3.0, chì hè un fork di a piattaforma di ricerca, analisi è almacenamentu di dati Elasticsearch è di l'interfaccia web Kibana. Cumpagnie cum'è Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean è NetAp participanu à u sviluppu di a furchetta. U codice hè distribuitu sottu a licenza Apache 2.0.
A furchetta hè stata creata in u 2021 in risposta à u cambiamentu di u prugettu Elasticsearch à a licenza SSPL (Server Side Public License) micca libera è a cessazione di publicà cambiamenti sottu a vechja licenza Apache 2.0. Malgradu u ritornu di Elasticsearch à una licenza gratuita, u prugettu OpenSearch ùn hà micca persu a so rilevanza, postu chì cuntinueghja à aduprà a licenza permissiva Apache 2.0 invece di a licenza AGPLv3 à a quale Elasticsearch hè passatu, è sviluppa ancu una quantità di add-on specifichi chì eranu prima furniti da Amazon in una distribuzione separata chjamata Open Distro per Elasticsearch è rimpiazzanu i cumpunenti pagati di Elasticsearch.
OpenSearch include u mutore di almacenamentu è di ricerca OpenSearch, l'interfaccia web è l'ambiente di visualizazione di dati OpenSearch Dashboards, è un inseme di add-on per l'apprendimentu automaticu, u supportu SQL, a generazione di notificazioni, a diagnostica di e prestazioni di u cluster, a crittografia di u trafficu, u cuntrollu d'accessu basatu annantu à i roli (RBAC), l'autenticazione via Active Directory, Kerberos, SAML è OpenID, l'implementazione di single sign-on (SSO) è a registrazione dettagliata per l'audit.
Trà i cambiamenti in OpenSearch 3.0:
- Aghjuntu un mutore vettoriale (OpenSearch Vector Engine), chì pò esse adupratu per almacenà è travaglià cù dati aduprati in sistemi di apprendimentu automaticu. Per accelerà a ricerca vettoriale, sò aduprati calculi basati nantu à GPU, chì anu aumentatu a velocità di indicizazione di 9.3 volte è riduttu i costi operativi di 3.75 volte paragunatu à e soluzioni chì utilizanu solu CPU. Per urganizà l'interazzione cù e fonti di dati, l'applicazioni LLM è e piattaforme AI, hè statu implementatu u supportu per u protocolu MCP (Model Context Protocol). L'integrazione cù l'agenti IA di Anthropic, LangChain è OpenAI hè supportata.
- Aghjuntu ottimisazioni chì riducenu a dimensione di u almacenamentu vettoriale k-NN (k-nearest neighbors) di un terzu, è riducenu a latenza di a dumanda subitu dopu u lanciu (avviu à fretu) finu à 30 volte eliminendu l'infurmazioni secundarie ridondanti è aduprendu dati primari per ricreà l'infurmazioni necessarie.
- Aghjunta a capacità sperimentale per aduprà u protocolu gRPC (protobuf sopra gRPC) per u trasferimentu di dati trà i clienti, servitori è nodi di almacenamentu. In paragone à JSON, gRPC riduce u sovraccaricu di serializazione è migliora e prestazioni permettendu l'inviu simultaneu di parechje richieste nantu à una sola cunnessione TCP.
- Aghjuntu u modu pull per u recuperu di dati, induve OpenSearch dumanda direttamente dati da fonti di streaming cum'è Apache Kafka è Amazon Kinesis.
- U cluster furnisce a capacità di separà u trafficu assuciatu à l'indicizazione è a ricerca. Aghjunta una API per disattivà l'operazioni di scrittura è lascià a ricerca di l'indice solu per ottimizà u travagliu cù dati chì ùn cambieranu micca (cunfigurazioni induve i dati sò scritti una volta è letti parechje volte).
- Integrazione allargata cù Apache Calcite è aghjunta a capacità di utilizà u linguaghju di query Piped Processing Language (PPL) per operazioni di ricerca, filtru è fusione.
- A rilevazione automatica di i tipi d'indici hè furnita. L'indici cù dati relativi à a registrazione anu ottimizzazioni specifiche chì acceleranu l'operazioni di analisi di i registri.
- U mutore di ricerca di testu cumpletu Lucene hè statu aggiornatu à a branca 10, chì migliora l'indicizazione è aumenta e prestazioni di trasfurmazione parallela.
- Aggiuntu u supportu per i moduli Java (Java Platform Module System) per separà i cumpunenti in biblioteche separate. A versione minima dichjarata hè Java 21.
- U travagliu cù intervalli di valori è campi chì cuntenenu date è numeri hè statu acceleratu (a velocità di superamentu di u set di test Big5 hè aumentata di 25%). L'operazioni d'aggregazione di dati sò state accelerate (in u test p90, e latenze sò state ridotte di 75%). Per i vettori k-NN, a modalità di parallelizazione di ricerca di segmenti hè attivata per difettu, ciò chì permette di aumentà e prestazioni di e query di 2.5 volte.
Source: opennet.ru
