ProHoster >> Blog >> Lajmet e internetit >> OpenSearch 3.0 është i disponueshëm, fork i platformës Elasticsearch

OpenSearch 3.0 është i disponueshëm, fork i platformës Elasticsearch

Organizata joqeveritare OpenSearch Software Foundation, e kontrolluar nga Linux Foundation, publikoi versionin e projektit OpenSearch 3.0, që zhvillon një fork të platformës për kërkimin, analizën dhe ruajtjen e të dhënave Elasticsearch dhe ndërfaqes web Kibana. Në zhvillimin e fork-ut marrin pjesë kompani si Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean dhe NetAp. Kodi shpërndahet nën licencën Apache 2.0.

Fork-u u krijua në vitin 2021 si përgjigje ndaj kalimit të projektit Elasticsearch në një licencë të pabesueshme SSPL (Server Side Public License) dhe ndërprerjes së publikimit të ndryshimeve nën licencën e vjetër Apache 2.0. Pavarësisht rikthimit të Elasticsearch në përdorimin e një license të lirë, projekti OpenSearch nuk ka humbur relevancën e tij, pasi vazhdoi përdorimin e licencës permissive Apache 2.0 në vend të licencës AGPLv3, në të cilën kaloi Elasticsearch, si dhe zhvillohet një seri ndërtimesh specifike, që më parë u ofruan nga Amazon në një shpërndarje të veçantë Open Distro for Elasticsearch dhe zëvendësojnë komponentët me pagesë të Elasticsearch.

OpenSearch përfshin motorin e ruajtjes dhe kërkimit OpenSearch, ndërfaqen web dhe mjedisin e vizualizimit të të dhënave OpenSearch Dashboards, si dhe një grup shtesash për mësimin e makinerive, mbështetje SQL, gjenerimin e njoftimeve, diagnostikimin e performancës së klasterit, enkriptimin e trafikut, ndarjen e aksesit në bazë të roleve (RBAC), autentikimin përmes Active Directory, Kerberos, SAML dhe OpenID, zbatimin e një pike të vetme hyrjeje (SSO) dhe mbajtjen e një regjistri të detajuar për auditim.

Disa nga ndryshimet në OpenSearch 3.0:

  • Shtuar motorin vektorik (OpenSearch Vector Engine), i cili mund tĂ« pĂ«rdoret pĂ«r ruajtjen dhe punĂ«n me tĂ« dhĂ«nat qĂ« pĂ«rdoren nĂ« sistemet e mĂ«simit tĂ« makinerive. PĂ«r tĂ« acceleruar kĂ«rkimin vektorik, janĂ« angazhuar llogaritje nĂ« anĂ«n e GPU, duke rritur shpejtĂ«sinĂ« e indeksimit me 9.3 herĂ« dhe ulur kostot operative me 3.75 herĂ« krahasuar me zgjidhjet qĂ« pĂ«rdorin vetĂ«m CPU. PĂ«r tĂ« organizuar ndĂ«rveprimin me burimet e tĂ« dhĂ«nave, aplikacionet LLM dhe platformat AI, Ă«shtĂ« realizuar mbĂ«shtetje pĂ«r protokollin MCP (Model Context Protocol). Integrimi me agjentĂ«t AI tĂ« kompanive Anthropic, LangChain dhe OpenAI mbĂ«shtetet.
  • Shtuar optimizimi qĂ« lejon uljen e madhĂ«sisĂ« sĂ« ruajtjes sĂ« vektorĂ«ve k-NN (k-fqinjĂ«t mĂ« tĂ« afĂ«rt) me njĂ« tĂ« tretĂ«n, si dhe deri nĂ« 30 herĂ« uljen e vonesave gjatĂ« ekzekutimit tĂ« kĂ«rkesave menjĂ«herĂ« pas nisjes (start i ftohtĂ«) pĂ«rmes heqjes sĂ« informacionit tĂ« tepĂ«rt tĂ« dytĂ« dhe pĂ«rdorimit tĂ« tĂ« dhĂ«nave fillestare pĂ«r rikrijimin e informacionit tĂ« nevojshĂ«m.
  • Shtuar njĂ« mundĂ«si eksperimentale pĂ«r pĂ«rdorimin e protokollit gRPC (protobuf mbi gRPC) pĂ«r transferimin e tĂ« dhĂ«nave midis klientĂ«ve serverĂ«ve dhe nyjeve tĂ« ruajtjes. Krahasuar me JSON, pĂ«rdorimi i gRPC lejon uljen e kostove tĂ« serializimit dhe rritjen e performancĂ«s pĂ«rmes dĂ«rgimit tĂ« shumĂ« kĂ«rkesave nĂ« njĂ« lidhje TCP.
  • Shtuar modin pull pĂ«r marrjen e tĂ« dhĂ«nave, ku OpenSearch drejtpĂ«rdrejt kĂ«rkon tĂ« dhĂ«nat nga burime streaming, si Apache Kafka dhe Amazon Kinesis.
  • NĂ« klaster, Ă«shtĂ« ofruar mundĂ«sia e ndarjes sĂ« trafikut lidhur me indeksimin dhe kĂ«rkimin. Shtuar API qĂ« lejon çaktivizimin e operacioneve tĂ« shkrimit dhe lĂ«nien e indeksit tĂ« aksesueshĂ«m vetĂ«m pĂ«r kĂ«rkim me qĂ«llim optimizimin e punĂ«s me tĂ« dhĂ«nat qĂ« nuk do tĂ« ndryshojnĂ« (konfigurime, nĂ« tĂ« cilat tĂ« dhĂ«nat shkruhen njĂ« herĂ« dhe lexohen shumĂ« herĂ«).
  • Rritur integrimi me Apache Calcite dhe realizuar mundĂ«sia e pĂ«rdorimit tĂ« gjuhĂ«s sĂ« pyetjeve PPL (Piped Processing Language) pĂ«r operacionet e kĂ«rkimit, filtrimit dhe bashkimit.
  • Siguruar pĂ«rcaktimin automatik tĂ« llojit tĂ« indekseve. PĂ«r indekset me tĂ« dhĂ«na tĂ« lidhura me regjistrimin e ditarĂ«ve, janĂ« angazhuar optimizime specifike qĂ« shpejtojnĂ« operacionet e analizĂ«s sĂ« ditarĂ«ve.
  • Motori i kĂ«rkimit tĂ« plotĂ«tekstual Lucene Ă«shtĂ« pĂ«rditĂ«suar nĂ« degĂ«n 10, nĂ« tĂ« cilĂ«n Ă«shtĂ« pĂ«rmirĂ«suar puna me indekset dhe Ă«shtĂ« rritur performanca e procesimit paralel tĂ« detyrave.
  • Shtuar mbĂ«shtetje pĂ«r modulat Java (Java Platform Module System) pĂ«r ndarjen e komponentĂ«ve nĂ« biblioteka tĂ« veçanta. Si version minimal Ă«shtĂ« shpallur lĂ«shimi Java 21.
  • Rritur shpejtĂ«sinĂ« e punĂ«s me intervale vlerash dhe fusha qĂ« pĂ«rmbajnĂ« data dhe numra (shpejtĂ«sia e testit Big5 u rrit me 25%). Shpejtuar operacionet e agregimit tĂ« tĂ« dhĂ«nave (nĂ« testin p90 vonesat u ulĂ«n me 75%). PĂ«r vektorĂ«t k-NN, si parazgjedhje Ă«shtĂ« aktivizuar mĂ«nyra e ndarjes sĂ« kĂ«rkimeve tĂ« segmenteve, qĂ« lejoi njĂ« rritje prej 2.5 herĂ« tĂ« performancĂ«s sĂ« kĂ«rkesave.

Burimi: opennet.ru

Bli njĂ« hosting tĂ« besueshĂ«m pĂ«r faqet me mbrojtje DDoS, VPS VDS serverĂ« đŸ”„ Bli njĂ« hosting tĂ« besueshĂ«m pĂ«r faqet me mbrojtje DDoS, VPS VDS serverĂ« | ProHoster