ProHoster > Blog > Lajmet e internetit > OpenSearch 3.0 është në dispozicion, fork i platformës Elasticsearch

OpenSearch 3.0 është në dispozicion, fork i platformës Elasticsearch

Organizata jofitimprurëse OpenSearch Software Foundation, e kontrolluar nga Linux Foundation, publikoi lëshimin e projektit OpenSearch 3.0, i cili zhvillohet si një fork i platformës për kërkim, analizë dhe ruajtje të të dhënave Elasticsearch dhe ndërfaqes web Kibana. Në zhvillimin e forkut marrin pjesë kompani si Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean dhe NetAp. Kodi shpërndahet nën licencën Apache 2.0.

Forku u krijua në vitin 2021 si përgjigje ndaj kalimit të projektit Elasticsearch në një licencë jo të lirë SSPL (Server Side Public License) dhe ndërprerjes së publikimit të ndryshimeve sipas licencës së vjetër Apache 2.0. Megjithatë, edhe pse Elasticsearch u rikthye në përdorimin e licencës së lirë, projekti OpenSearch nuk e humbi relevancën e tij, pasi vazhdoi të përdorë licencën permissive Apache 2.0 në vend të licencës AGPLv3, në të cilën kaloi Elasticsearch, dhe gjithashtu zhvillohet një sërë shtesash specifike, të cilat ishin ofruar më parë nga kompania Amazon në një distribucion të veçantë Open Distro for Elasticsearch dhe që zëvendësojnë komponentët me pagesë të Elasticsearch.

OpenSearch përfshin motorin e ruajtjes dhe kërkimit OpenSearch, ndërfaqen web dhe ambientin e vizualizimit të të dhënave OpenSearch Dashboards, si dhe një grup këshillash për mësim të makinerisë, mbështetje SQL, gjenerim njoftimesh, diagnostikim të performancës së klasterit, enkriptimin e trafikimit, menaxhimin e qasjes bazuar në rolet (RBAC), autentifikimin përmes Active Directory, Kerberos, SAML dhe OpenID, implementimin e një pikë të vetme hyrjeje (SSO) dhe mbajtjen e një logu të detajuar për auditim.

Ndër ndryshimet në OpenSearch 3.0:

  • I Ă«shtĂ« shtuar motorin vektorik (OpenSearch Vector Engine), i cili mund tĂ« pĂ«rdoret pĂ«r ruajtjen dhe punĂ«n me tĂ« dhĂ«nat qĂ« pĂ«rdoren nĂ« sistemet e mĂ«simit tĂ« makinerisĂ«. PĂ«rshpejtimi i kĂ«rkimit vektorik pĂ«rdor llogaritjet nĂ« anĂ«n e GPU, tĂ« cilat kanĂ« lejuar qĂ« shpejtĂ«sia e indeksimit tĂ« rritet 9.3 herĂ« dhe kostot operative tĂ« ulen nĂ« 3.75 herĂ« krahasuar me zgjidhjet qĂ« pĂ«rdorin vetĂ«m CPU. PĂ«r tĂ« organizuar ndĂ«rveprimin me burimet e tĂ« dhĂ«nave, aplikacionet LLM dhe platformat AI, Ă«shtĂ« realizuar mbĂ«shtetje pĂ«r protokollin MCP (Model Context Protocol). MbĂ«shtetet integrimi me agjentĂ«t AI tĂ« kompanive Anthropic, LangChain dhe OpenAI.
  • U shtua optimizimi qĂ« lejon reduktimin e madhĂ«sisĂ« sĂ« depozitimit tĂ« vektorĂ«ve k-NN (k-fqinjĂ«ve mĂ« tĂ« afĂ«rt) deri nĂ« njĂ« tĂ« tretĂ«n, si dhe tĂ« reduktojĂ« deri nĂ« 30 herĂ« vonesat gjatĂ« ekzekutimit tĂ« kĂ«rkesave menjĂ«herĂ« pas nisjes (thellimi i ftohtĂ«) duke eliminuar informacionin e tepruar dytĂ«sor dhe duke pĂ«rdorur tĂ« dhĂ«nat primare pĂ«r tĂ« rikrijuar informacionin e nevojshĂ«m.
  • U shtua njĂ« mundĂ«si eksperimentale pĂ«r pĂ«rdorimin e protokollit gRPC (protobuf mbi gRPC) pĂ«r transferimin e tĂ« dhĂ«nave midis klientĂ«ve, serverĂ« dhe nyjeve tĂ« ruajtjes. Krahasuar me JSON, pĂ«rdorimi i gRPC lejon uljen e kostove pĂ«r serailizimin dhe rritjen e performancĂ«s duke dĂ«rguar njĂ«kohĂ«sisht kĂ«rkesa tĂ« ndryshme nĂ« njĂ« lidhje TCP.
  • U shtua njĂ« mod i tĂ«rheqjes pĂ«r marrjen e tĂ« dhĂ«nave, ku OpenSearch pĂ«rfiton tĂ« dhĂ«na drejtpĂ«rdrejt nga burime tĂ« rrjedhshme, si Apache Kafka dhe Amazon Kinesis.
  • NĂ« klasĂ«r u ofrua mundĂ«sia e ndarjes sĂ« trafikut tĂ« lidhur me indeksimin dhe kĂ«rkimin. U shtua njĂ« API qĂ« lejon mbajtjen e operacioneve tĂ« regjistrimit dhe lĂ« indeksin tĂ« jetĂ« i aksesueshĂ«m vetĂ«m pĂ«r kĂ«rkimin, me qĂ«llim optimizimin e zhvillimit tĂ« tĂ« dhĂ«nave qĂ« nuk do tĂ« ndryshojnĂ« (konfigurimet ku tĂ« dhĂ«nat shkruhen njĂ« herĂ« dhe lexohet shumĂ« herĂ«).
  • U zgjerua integrimi me Apache Calcite dhe u realizua mundĂ«sia e pĂ«rdorimit tĂ« gjuhĂ«s sĂ« kĂ«rkimit PPL (Piped Processing Language) pĂ«r operacionet e kĂ«rkimit, filtrimit dhe bashkimit.
  • U sigurua identifikimi automatik i llojeve tĂ« indekseve. PĂ«r indekset me tĂ« dhĂ«na tĂ« lidhura me regjistrimin e ngjarjeve, u angazhuan optimizime specifike qĂ« pĂ«rshpejtojnĂ« operacionet e analizĂ«s sĂ« logeve.
  • Motori i kĂ«rkimit tĂ« plotĂ« Lucene u azhurnua nĂ« degĂ«n 10, ku u pĂ«rmirĂ«sua puna me indekset dhe u rrit performanca e pĂ«rpunimit paralel tĂ« detyrave.
  • U shtua pĂ«rkrahja pĂ«r modulet Java (Java Platform Module System) pĂ«r ndarjen e komponentĂ«ve nĂ« bibliotekat e veçanta. Si version minimal Ă«shtĂ« shpallur publikimi i Java 21.
  • U pĂ«rshpejtua puna me intervalet e vlerave dhe fushat qĂ« pĂ«rmbajnĂ« data dhe numra (shpejtĂ«sia e kalimit tĂ« grupit tĂ« testeve Big5 u rrit me 25%). U pĂ«rshpejtuan operacionet e agregimit tĂ« tĂ« dhĂ«nave (nĂ« testin p90 vonesat u ulĂ«n me 75%). PĂ«r vektorĂ«t k-NN, modaliteti i ndarjes sĂ« kĂ«rkimit u aktivizua si parazgjedhje, duke rritur 2.5 herĂ« performancĂ«n e kĂ«rkesave.

Burimi: opennet.ru

Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS đŸ”„ Blini hosting tĂ« besueshĂ«m pĂ«r faqe interneti me mbrojtje nga DDoS, serverĂ« VPS VDS | ProHoster