Mae Sefydliad Meddalwedd OpenSearch yn sefydliad di-elw a reolir gan Linux Mae Sefydliad wedi rhyddhau OpenSearch 3.0, fforch o blatfform chwilio, dadansoddi a storio data Elasticsearch a rhyngwyneb gwe Kibana. Mae cwmnΓ―au gan gynnwys Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean, a NetAp yn cymryd rhan yn natblygiad y fforch. Mae'r cod wedi'i ddosbarthu o dan drwydded Apache 2.0.
CrΓ«wyd y fforch yn 2021 mewn ymateb i brosiect Elasticsearch yn newid i'r drwydded SSPL (Trwydded Gyhoeddus Ochr y Gweinydd) nad yw'n rhydd ac yn rhoi'r gorau i gyhoeddi newidiadau o dan yr hen drwydded Apache 2.0. Er bod Elasticsearch wedi dychwelyd i drwydded rydd, nid yw prosiect OpenSearch wedi colli ei berthnasedd, gan ei fod yn parhau i ddefnyddio'r drwydded ganiataol Apache 2.0 yn lle'r drwydded AGPLv3 y newidiodd Elasticsearch iddi, ac mae hefyd yn datblygu nifer o ychwanegiadau penodol a gyflenwyd yn flaenorol gan Amazon mewn dosbarthiad ar wahΓ’n o'r enw Open Distro ar gyfer Elasticsearch ac yn disodli cydrannau taledig Elasticsearch.
Mae OpenSearch yn cynnwys y peiriant storio a chwilio OpenSearch, rhyngwyneb gwe OpenSearch Dashboards ac amgylchedd delweddu data, a set o ychwanegiadau ar gyfer dysgu peirianyddol, cefnogaeth SQL, cynhyrchu hysbysiadau, diagnosteg perfformiad clwstwr, amgryptio traffig, rheoli mynediad yn seiliedig ar rΓ΄l (RBAC), dilysu trwy Active Directory, Kerberos, SAML ac OpenID, gweithredu mewngofnodi sengl (SSO) a chofnodi manwl ar gyfer archwilio.
Ymhlith y newidiadau yn OpenSearch 3.0:
- Ychwanegwyd peiriant fector (OpenSearch Vector Engine), y gellir ei ddefnyddio i storio a gweithio gyda data a ddefnyddir mewn systemau dysgu peirianyddol. I gyflymu chwiliad fector, defnyddir cyfrifiadau sy'n seiliedig ar GPU, a gynyddodd gyflymder mynegeio 9.3 gwaith a lleihau costau gweithredu 3.75 gwaith o'i gymharu ag atebion sy'n defnyddio CPU yn unig. Er mwyn trefnu rhyngweithio Γ’ ffynonellau data, cymwysiadau LLM a llwyfannau AI, mae cefnogaeth ar gyfer y protocol MCP (Model Context Protocol) wedi'i weithredu. Cefnogir integreiddio ag asiantau AI o Anthropic, LangChain ac OpenAI.
- Ychwanegwyd optimeiddiadau sy'n lleihau maint y storfa fector k-NN (k-neighbors agosaf) o draean, ac yn lleihau hwyrni ymholiadau yn syth ar Γ΄l lansio (cychwyn oer) hyd at 30 gwaith trwy gael gwared ar wybodaeth eilaidd ddiangen a defnyddio data cynradd i ail-greu'r wybodaeth angenrheidiol.
- Ychwanegwyd gallu arbrofol i ddefnyddio protocol gRPC (protobuf dros gRPC) ar gyfer trosglwyddo data rhwng cleientiaid, gweinyddion a nodau storio. O'i gymharu Γ’ JSON, mae gRPC yn lleihau gorbenion cyfresoli ac yn gwella perfformiad trwy ganiatΓ‘u i geisiadau lluosog gael eu hanfon ar yr un pryd dros un cysylltiad TCP.
- Ychwanegwyd modd tynnu ar gyfer adfer data, lle mae OpenSearch yn gofyn am ddata yn uniongyrchol o ffynonellau ffrydio fel Apache Kafka ac Amazon Kinesis.
- Mae'r clwstwr yn darparu'r gallu i wahanu traffig sy'n gysylltiedig Γ’ mynegeio a chwilio. Ychwanegwyd API i analluogi gweithrediadau ysgrifennu a gadael y mynegai ar gyfer chwilio yn unig i optimeiddio gwaith gyda data na fydd yn newid (cyfweddiadau lle mae data'n cael ei ysgrifennu unwaith ac yn cael ei ddarllen sawl gwaith).
- Mae integreiddio ag Apache Calcite wedi'i ehangu ac mae'r gallu i ddefnyddio iaith ymholiadau Piped Processing Language (PPL) ar gyfer gweithrediadau chwilio, hidlo ac uno wedi'i weithredu.
- Darperir canfod mathau o fynegai yn awtomatig. Mae gan fynegeion gyda data sy'n gysylltiedig Γ’ logio optimeiddiadau penodol sy'n cyflymu gweithrediadau dadansoddi logiau.
- Mae peiriant chwilio testun llawn Lucene wedi'i ddiweddaru i fersiwn 10, sy'n gwella mynegeio ac yn cynyddu perfformiad prosesu cyfochrog.
- Ychwanegwyd cefnogaeth ar gyfer modiwlau Java (System Modiwlau Platfform Java) i wahanu cydrannau yn llyfrgelloedd ar wahΓ’n. Y fersiwn leiaf a nodwyd yw Java 21.
- Mae gwaith gydag ystodau gwerth a meysydd sy'n cynnwys dyddiadau a rhifau wedi'i gyflymu (mae cyflymder pasio set brawf y Big5 wedi cynyddu 25%). Mae gweithrediadau crynhoi data wedi'u cyflymu (yn y prawf p90, gostyngwyd yr oedi 75%). Ar gyfer fectorau k-NN, mae'r modd paraleleiddio chwilio segment wedi'i alluogi yn ddiofyn, sy'n caniatΓ‘u i berfformiad ymholiadau gael ei gynyddu 2.5 gwaith.
Ffynhonnell: opennet.ru
