Nezisková organizácia OpenSearch Software Foundation, kontrolovaná Linux Foundation, zverejnila vydanie projektu OpenSearch 3.0, ktorý vyvíja fork platformy na vyhľadávanie, analýzu a uchovávanie údajov Elasticsearch a webového rozhrania Kibana. Na vývoji forku sa podieľajú také spoločnosti, ako Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean a NetAp. Kód sa šíri pod licenciou Apache 2.0.
Fork bol vytvorený v roku 2021 v reakcii na prechod projektu Elasticsearch na neslobodnú licenciu SSPL (Server Side Public License) a zastavenie publikovania zmien pod starou licenciou Apache 2.0. Napriek návratu Elasticsearch k používaniu slobodnej licencie si projekt OpenSearch zachoval svoju relevantnosť, pretože naďalej využíva permissívnu licenciu Apache 2.0 namiesto licencie AGPLv3, na ktorú prešiel Elasticsearch, a tiež sa vyvíja rad špecifických nadstavieb, ktoré predtým poskytovala spoločnosť Amazon v samostatnom distribúte Open Distro for Elasticsearch a ktoré nahradili platené komponenty Elasticsearch.
OpenSearch zahŕňa motor na uchovávanie a vyhľadávanie OpenSearch, webové rozhranie a prostredie na vizualizáciu údajov OpenSearch Dashboards, ako aj súbor doplnkov pre strojové učenie, podporu SQL, generovanie oznámení, diagnostiku výkonnosti klastrov, šifrovanie prevádzky, rozdelenie prístupu na základe rolí (RBAC), autentifikáciu prostredníctvom Active Directory, Kerberos, SAML a OpenID, realizáciu jedinečného bodu prístupu (SSO) a vedenie podrobného logu na audit.
Medzi zmenami v OpenSearch 3.0:
- Bol pridaný vektorový motor (OpenSearch Vector Engine), ktorý môže byť použitý na uchovávanie a spracovanie údajov používaných v systémoch strojového učenia. Na urýchlenie vektorového vyhľadávania sú nasadené výpočty na strane GPU, ktoré umožnili zvýšiť rýchlosť indexovania 9.3-krát a znížiť prevádzkové náklady 3.75-krát v porovnaní so riešeniami, ktoré používajú iba CPU. Na zabezpečenie interakcie so zdrojmi údajov, LLM aplikáciami a AI platformami bola implementovaná podpora protokolu MCP (Model Context Protocol). Podporuje sa integrácia s AI agentmi spoločností Anthropic, LangChain a OpenAI.
- Pridaná optimalizácia, ktorá umožňuje znížiť veľkosť úložiska vektorov k-NN (k najbližších susedov) o tretinu, a až 30-krát skrátiť oneskorenia pri vykonávaní požiadaviek hneď po spustení (ststudené štart) odstránením nadbytočných sekundárnych informácií a využitím primárnych údajov na rekonštrukciu potrebných informácií.
- Pridaná experimentálna možnosť využitia protokolu gRPC (protobuf nad gRPC) na prenos údajov medzi klientmi, servermi a uzlami úložiska. V porovnaní s JSON využitie gRPC umožňuje znížiť náklady na serializáciu a zvýšiť výkon vďaka súčasnému odosielaniu rôznych požiadaviek v jednom TCP pripojení.
- Pridaný pull-režim získavania údajov, kde OpenSearch priamo žiada údaje z streamových zdrojov, ako sú Apache Kafka a Amazon Kinesis.
- V klastri bola poskytnutá možnosť rozdelenia prevádzky súvisiacej s indexovaním a vyhľadávaním. Pridané API, ktoré umožňuje vypnúť operácie zápisu a ponechať index len pre vyhľadávanie na optimalizáciu práce s údajmi, ktoré sa nebudú meniť (konfigurácie, v ktorých sa údaje zapisujú raz a čítajú viackrát).
- Rozšírená integrácia s Apache Calcite a implementovaná možnosť využitia jazyka dotazov PPL (Piped Processing Language) na operácie vyhľadávania, filtrovania a zlúčenia.
- Zabezpečené automatické určovanie typu indexov. Pre indexy s údajmi súvisiacimi s vedením logov sú použité špecifické optimalizácie, ktoré urýchľujú operácie analýzy logov.
- Vyhľadávací engine Lucene bol aktualizovaný na vetvu 10, v ktorej bola zlepšená práca s indexami a zvýšený výkon pri paralelnom spracovaní úloh.
- Pridaná podpora Java modulov (Java Platform Module System) na rozdelenie komponentov do samostatných knižníc. Minimálna verzia je verzia Java 21.
- Zrýchlená práca s rozsahmi hodnôt a poliach obsahujúcich dátumy a čísla (rýchlosť prechodu testovacím súborom Big5 sa zvýšila o 25%). Urýchlené operácie agregovania údajov (v teste p90 sa oneskorenia znížili o 75%). Pre vektory k-NN je predvolene zapnutý režim paralelizácie hľadania segmentov, ktorý umožnil 2,5-násobne zvýšiť výkon požiadaviek.
Zdroj: opennet.ru
