Π”ΠΎΡΡ‚ΡŠΠΏΠ΅Π½ Π΅ OpenSearch 3.0, Ρ„ΠΎΡ€ΠΊ Π½Π° ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° Elasticsearch

НСправитСлствСна организация OpenSearch Software Foundation, ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€Π°Π½Π° ΠΎΡ‚ Linux Foundation, ΠΏΡƒΠ±Π»ΠΈΠΊΡƒΠ²Π° вСрсия 3.0 Π½Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° OpenSearch, ΠΊΠΎΠΉΡ‚ΠΎ Ρ€Π°Π·Π²ΠΈΠ²Π° Ρ„ΠΎΡ€ΠΊ Π½Π° ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠ°Ρ‚Π° Π·Π° Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅, Π°Π½Π°Π»ΠΈΠ· ΠΈ ΡΡŠΡ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ Π½Π° Π΄Π°Π½Π½ΠΈ Elasticsearch ΠΈ ΡƒΠ΅Π± интСрфСйса Kibana. Π’ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ°Ρ‚Π° Π½Π° Ρ„ΠΎΡ€ΠΊΠ° участват ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈ ΠΊΠ°Ρ‚ΠΎ Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean ΠΈ NetAp. ΠšΠΎΠ΄ΡŠΡ‚ сС разпространява ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π· Apache 2.0.

Π€ΠΎΡ€ΠΊΡŠΡ‚ бСшС създадСн ΠΏΡ€Π΅Π· 2021 Π³. Π² ΠΎΡ‚Π³ΠΎΠ²ΠΎΡ€ Π½Π° ΠΏΡ€Π΅Ρ…ΠΎΠ΄Π° Π½Π° ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° Elasticsearch към нСсвободния Π»ΠΈΡ†Π΅Π½Π· SSPL (Server Side Public License) ΠΈ прСкратяванСто Π½Π° ΠΏΡƒΠ±Π»ΠΈΠΊΡƒΠ²Π°Π½Π΅Ρ‚ΠΎ Π½Π° ΠΏΡ€ΠΎΠΌΠ΅Π½ΠΈ ΠΏΠΎΠ΄ стария Π»ΠΈΡ†Π΅Π½Π· Apache 2.0. Π’ΡŠΠΏΡ€Π΅ΠΊΠΈ Ρ‡Π΅ Elasticsearch ΠΎΡ‚Π½ΠΎΠ²ΠΎ ΠΏΡ€Π΅ΠΌΠΈΠ½Π° към свободСн Π»ΠΈΡ†Π΅Π½Π·, ΠΏΡ€ΠΎΠ΅ΠΊΡ‚ΡŠΡ‚ OpenSearch Π½Π΅ Π΅ Π·Π°Π³ΡƒΠ±ΠΈΠ» актуалността си, Ρ‚ΡŠΠΉ ΠΊΠ°Ρ‚ΠΎ ΠΏΡ€ΠΎΠ΄ΡŠΠ»ΠΆΠ°Π²Π° Π΄Π° ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π° Ρ€Π°Π·Ρ€Π΅ΡˆΠΈΡ‚Π΅Π»Π½ΠΈΡ Π»ΠΈΡ†Π΅Π½Π· Apache 2.0 вмСсто Π»ΠΈΡ†Π΅Π½Π· AGPLv3, Π½Π° ΠΊΠΎΠΉΡ‚ΠΎ ΠΏΡ€Π΅ΠΌΠΈΠ½Π° Elasticsearch, ΠΈ ΡΡŠΡ‰ΠΎ Ρ‚Π°ΠΊΠ° сС Ρ€Π°Π·Π²ΠΈΠ²Π°Ρ‚ Ρ€Π΅Π΄ΠΈΡ†Π° спСцифични надстройки, ΠΏΡ€Π΅Π΄ΠΈ прСдоставяни ΠΎΡ‚ компанията Amazon Π² ΠΎΡ‚Π΄Π΅Π»Π΅Π½ дистрибутив Open Distro for Elasticsearch, замСнящи ΠΏΠ»Π°Ρ‚Π΅Π½ΠΈΡ‚Π΅ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΈ Π½Π° Elasticsearch.

OpenSearch Π²ΠΊΠ»ΡŽΡ‡Π²Π° OpenSearch engine Π·Π° ΡΡŠΡ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ ΠΈ Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅, ΡƒΠ΅Π± интСрфСйс ΠΈ срСда Π·Π° визуализация Π½Π° Π΄Π°Π½Π½ΠΈ OpenSearch Dashboards, ΠΊΠ°ΠΊΡ‚ΠΎ ΠΈ ΠΏΠ°ΠΊΠ΅Ρ‚ ΠΎΡ‚ Ρ€Π°Π·ΡˆΠΈΡ€Π΅Π½ΠΈΡ Π·Π° машинно ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅, ΠΏΠΎΠ΄Π΄Ρ€ΡŠΠΆΠΊΠ° Π½Π° SQL, Π³Π΅Π½Π΅Ρ€ΠΈΡ€Π°Π½Π΅ Π½Π° увСдомлСния, диагностика Π½Π° производитСлността Π½Π° кластСра, ΠΊΡ€ΠΈΠΏΡ‚ΠΈΡ€Π°Π½Π΅ Π½Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ°, Ρ€Π°Π·ΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Π½Π° Π΄ΠΎΡΡ‚ΡŠΠΏ Π½Π° Π±Π°Π·Π°Ρ‚Π° Π½Π° Ρ€ΠΎΠ»ΠΈ (RBAC), аутСнтификация Ρ‡Ρ€Π΅Π· Active Directory, Kerberos, SAML ΠΈ OpenID, рСализация Π½Π° Π΅Π΄ΠΈΠ½Π½Π° Ρ‚ΠΎΡ‡ΠΊΠ° Π½Π° Π΄ΠΎΡΡ‚ΡŠΠΏ (SSO) ΠΈ Π²ΠΎΠ΄Π΅Π½Π΅ Π½Π° ΠΏΠΎΠ΄Ρ€ΠΎΠ±Π΅Π½ ΠΆΡƒΡ€Π½Π°Π» Π·Π° ΠΎΠ΄ΠΈΡ‚.

Π‘Ρ€Π΅Π΄ ΠΏΡ€ΠΎΠΌΠ΅Π½ΠΈΡ‚Π΅ Π² OpenSearch 3.0:

  • Π”ΠΎΠ±Π°Π²Π΅Π½ Π΅ Π²Π΅ΠΊΡ‚ΠΎΡ€Π΅Π½ Π΄Π²ΠΈΠ³Π°Ρ‚Π΅Π» (OpenSearch Vector Engine), ΠΊΠΎΠΉΡ‚ΠΎ ΠΌΠΎΠΆΠ΅ Π΄Π° сС ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π° Π·Π° ΡΡŠΡ…Ρ€Π°Π½Π΅Π½ΠΈΠ΅ ΠΈ Ρ€Π°Π±ΠΎΡ‚Π° с Π΄Π°Π½Π½ΠΈ, ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Π½ΠΈ Π² систСми Π·Π° машинно ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π—Π° ускоряванС Π½Π° Π²Π΅ΠΊΡ‚ΠΎΡ€Π½ΠΎΡ‚ΠΎ Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅ сС ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Ρ‚ изчислСния Π½Π° GPU, ΠΊΠΎΠΈΡ‚ΠΎ позволяват ΡƒΠ²Π΅Π»ΠΈΡ‡Π°Π²Π°Π½Π΅ Π½Π° скоростта Π½Π° индСксиранС 9.3 ΠΏΡŠΡ‚ΠΈ ΠΈ намаляванС Π½Π° ΠΎΠΏΠ΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΈΡ‚Π΅ Ρ€Π°Π·Ρ…ΠΎΠ΄ΠΈ 3.75 ΠΏΡŠΡ‚ΠΈ Π² сравнСниС с Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ, ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Ρ‰ΠΈ само CPU. Π—Π° ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΈΡ€Π°Π½Π΅ Π½Π° взаимодСйствиСто с ΠΈΠ·Ρ‚ΠΎΡ‡Π½ΠΈΡ†ΠΈΡ‚Π΅ Π½Π° Π΄Π°Π½Π½ΠΈ, LLM прилоТСнията ΠΈ AI ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΠΈΡ‚Π΅ Π΅ Ρ€Π΅Π°Π»ΠΈΠ·ΠΈΡ€Π°Π½Π° ΠΏΠΎΠ΄Π΄Ρ€ΡŠΠΆΠΊΠ° Π½Π° ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Π° MCP (Model Context Protocol). ΠŸΠΎΠ΄Π΄ΡŠΡ€ΠΆΠ° сС интСграция с AI Π°Π³Π΅Π½Ρ‚ΠΈ Π½Π° ΠΊΠΎΠΌΠΏΠ°Π½ΠΈΠΈΡ‚Π΅ Anthropic, LangChain ΠΈ OpenAI.
  • Π”ΠΎΠ±Π°Π²Π΅Π½Π° оптимизация, която позволява Π΄Π° сС Π½Π°ΠΌΠ°Π»ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ€Π° Π½Π° Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅Ρ‚ΠΎ Π½Π° Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΈ k-NN (k-Π±Π»ΠΈΠ·ΠΊΠΈ съсСди) с Π΅Π΄Π½Π° Ρ‚Ρ€Π΅Ρ‚Π°, ΠΊΠ°ΠΊΡ‚ΠΎ ΠΈ Π΄Π° сС ΡΡŠΠΊΡ€Π°Ρ‚ΠΈ Π²Ρ€Π΅ΠΌΠ΅Ρ‚ΠΎ Π·Π° ΠΎΡ‚Π³ΠΎΠ²ΠΎΡ€ ΠΏΡ€ΠΈ изпълнСниС Π½Π° заявки слСд стартиранС (студСн старт) Π΄ΠΎ 30 ΠΏΡŠΡ‚ΠΈ, Π±Π»Π°Π³ΠΎΠ΄Π°Ρ€Π΅Π½ΠΈΠ΅ Π½Π° ΠΏΡ€Π΅ΠΌΠ°Ρ…Π²Π°Π½Π΅Ρ‚ΠΎ Π½Π° излишна Π²Ρ‚ΠΎΡ€ΠΈΡ‡Π½Π° информация ΠΈ ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Π½Π΅Ρ‚ΠΎ Π½Π° основни Π΄Π°Π½Π½ΠΈ Π·Π° Π²ΡŠΠ·ΡΡ‚Π°Π½ΠΎΠ²ΡΠ²Π°Π½Π΅ Π½Π° Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠ°Ρ‚Π° информация.
  • Π”ΠΎΠ±Π°Π²Π΅Π½Π° Π΅ СкспСримСнтална Π²ΡŠΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ Π·Π° ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Π½Π΅ Π½Π° ΠΏΡ€ΠΎΡ‚ΠΎΠΊΠΎΠ»Π° gRPC (protobuf Π²ΡŠΡ€Ρ…Ρƒ gRPC) Π·Π° ΠΏΡ€Π΅Π΄Π°Π²Π°Π½Π΅ Π½Π° Π΄Π°Π½Π½ΠΈ ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΊΠ»ΠΈΠ΅Π½Ρ‚ΠΈ ΡΡŠΡ€Π²ΡŠΡ€ΠΈ ΠΈ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π½ΠΈ възли. Π’ сравнСниС с JSON, ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Π½Π΅Ρ‚ΠΎ Π½Π° gRPC позволява Π΄Π° сС намалят Ρ€Π°Π·Ρ…ΠΎΠ΄ΠΈΡ‚Π΅ Π·Π° сСриализация ΠΈ Π΄Π° сС ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈ производитСлността Ρ‡Ρ€Π΅Π· Π΅Π΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½Π° ΠΈΠ·ΠΏΡ€Π°Ρ‰Π°Π½Π΅ Π½Π° Ρ€Π°Π·Π»ΠΈΡ‡Π½ΠΈ заявки Π² Π΅Π΄Π½ΠΎ TCP съСдинСниС.
  • Π”ΠΎΠ±Π°Π²Π΅Π½ Π΅ Ρ€Π΅ΠΆΠΈΠΌ Π½Π° изтСглянС (pull mode), ΠΏΡ€ΠΈ ΠΊΠΎΠΉΡ‚ΠΎ OpenSearch Π΄ΠΈΡ€Π΅ΠΊΡ‚Π½ΠΎ Π·Π°ΠΏΠΈΡ‚Π²Π° Π΄Π°Π½Π½ΠΈΡ‚Π΅ ΠΎΡ‚ ΠΏΠΎΡ‚ΠΎΠΊΠΎΠ²ΠΈ ΠΈΠ·Ρ‚ΠΎΡ‡Π½ΠΈΡ†ΠΈ, ΠΊΠ°Ρ‚ΠΎ Apache Kafka ΠΈ Amazon Kinesis.
  • Π’ ΠΊΠ»ΡŠΡΡ‚Π΅Ρ€Π° Π΅ прСдоставСна Π²ΡŠΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ Π·Π° раздСлянС Π½Π° Ρ‚Ρ€Π°Ρ„ΠΈΠΊΠ°, ΡΠ²ΡŠΡ€Π·Π°Π½ с индСксиранС ΠΈ Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅. Π”ΠΎΠ±Π°Π²Π΅Π½ΠΎ Π΅ API, позволяващо Π΄Π° сС Π΄Π΅Π°ΠΊΡ‚ΠΈΠ²ΠΈΡ€Π°Ρ‚ записващитС ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ ΠΈ Π΄Π° сС остави ΠΈΠ½Π΄Π΅ΠΊΡΡŠΡ‚ Π΄ΠΎΡΡ‚ΡŠΠΏΠ΅Π½ само Π·Π° Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅ с Ρ†Π΅Π» оптимизация Π½Π° Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚Π° с Π΄Π°Π½Π½ΠΈ, ΠΊΠΎΠΈΡ‚ΠΎ няма Π΄Π° Π±ΡŠΠ΄Π°Ρ‚ промСняни (ΠΊΠΎΠ½Ρ„ΠΈΠ³ΡƒΡ€Π°Ρ†ΠΈΠΈ, ΠΏΡ€ΠΈ ΠΊΠΎΠΈΡ‚ΠΎ Π΄Π°Π½Π½ΠΈΡ‚Π΅ сС записват вСднъТ ΠΈ сС Ρ‡Π΅Ρ‚Π°Ρ‚ ΠΌΠ½ΠΎΠ³ΠΎΠΊΡ€Π°Ρ‚Π½ΠΎ).
  • Π Π°Π·ΡˆΠΈΡ€Π΅Π½Π° Π΅ интСграцията с Apache Calcite ΠΈ Π΅ Ρ€Π΅Π°Π»ΠΈΠ·ΠΈΡ€Π°Π½Π° Π²ΡŠΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ Π·Π° ΠΈΠ·ΠΏΠΎΠ»Π·Π²Π°Π½Π΅ Π½Π° Π΅Π·ΠΈΠΊΠ° Π·Π° заявки PPL (Piped Processing Language) Π·Π° ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ с Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅, Ρ„ΠΈΠ»Ρ‚Ρ€ΠΈΡ€Π°Π½Π΅ ΠΈ обСдиняванС.
  • ΠžΡΠΈΠ³ΡƒΡ€Π΅Π½ΠΎ Π΅ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΡ‡Π½ΠΎ опрСдСлянС Π½Π° Ρ‚ΠΈΠΏΠ° Π½Π° индСкситС. Π—Π° индСкси с Π΄Π°Π½Π½ΠΈ, ΡΠ²ΡŠΡ€Π·Π°Π½ΠΈ с Π²ΠΎΠ΄Π΅Π½Π΅ Π½Π° ΠΆΡƒΡ€Π½Π°Π», са Ρ€Π΅Π°Π»ΠΈΠ·ΠΈΡ€Π°Π½ΠΈ спСцифични ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, ускоряващи ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈΡ‚Π΅ ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ· Π½Π° ΠΆΡƒΡ€Π½Π°Π»ΠΈΡ‚Π΅.
  • ДвигатСлят Π·Π° пълСн тСкстов Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅ Lucene Π΅ Π°ΠΊΡ‚ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€Π°Π½ Π΄ΠΎ ΠΊΠ»ΠΎΠ½ 10, ΠΏΡ€ΠΈ ΠΊΠΎΠΉΡ‚ΠΎ Π΅ ΠΏΠΎΠ΄ΠΎΠ±Ρ€Π΅Π½Π° Ρ€Π°Π±ΠΎΡ‚Π°Ρ‚Π° с индСкситС ΠΈ Π΅ повишСна производитСлността Π½Π° ΠΏΠ°Ρ€Π°Π»Π΅Π»Π½Π°Ρ‚Π° ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ° Π½Π° Π·Π°Π΄Π°Ρ‡ΠΈ.
  • Π”ΠΎΠ±Π°Π²Π΅Π½Π° Π΅ ΠΏΠΎΠ΄Π΄Ρ€ΡŠΠΆΠΊΠ° Π·Π° Java ΠΌΠΎΠ΄ΡƒΠ»ΠΈ (Java Platform Module System) Π·Π° раздСлянС Π½Π° ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΈΡ‚Π΅ Π½Π° ΠΎΡ‚Π΄Π΅Π»Π½ΠΈ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ. ΠœΠΈΠ½ΠΈΠΌΠ°Π»Π½Π°Ρ‚Π° вСрсия, която Π΅ посочСна, Π΅ Java 21.
  • УскорСна Π΅ Ρ€Π°Π±ΠΎΡ‚Π° с Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ΠΈ ΠΎΡ‚ стойности ΠΈ ΠΏΠΎΠ»Π΅Ρ‚Π°, ΡΡŠΠ΄ΡŠΡ€ΠΆΠ°Ρ‰ΠΈ Π΄Π°Ρ‚ΠΈ ΠΈ числа (скоростта Π½Π° ΠΏΡ€Π΅ΠΌΠΈΠ½Π°Π²Π°Π½Π΅ Π½Π° тСстовия Π½Π°Π±ΠΎΡ€ Big5 Π΅ ΡƒΠ²Π΅Π»ΠΈΡ‡Π΅Π½Π° с 25%). УскорСни са ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈΡ‚Π΅ Π·Π° Π°Π³Ρ€Π΅Π³ΠΈΡ€Π°Π½Π΅ Π½Π° Π΄Π°Π½Π½ΠΈ (Π² тСста p90 Π·Π°ΠΊΡŠΡΠ½Π΅Π½ΠΈΡΡ‚Π° са Π½Π°ΠΌΠ°Π»Π΅Π½ΠΈ с 75%). Π—Π° Π²Π΅ΠΊΡ‚ΠΎΡ€ΠΈ k-NN Π΅ Π²ΠΊΠ»ΡŽΡ‡Π΅Π½ Ρ€Π΅ΠΆΠΈΠΌ Π½Π° паралСлизация Π½Π° Ρ‚ΡŠΡ€ΡΠ΅Π½Π΅Ρ‚ΠΎ Π½Π° сСгмСнти ΠΏΠΎ ΠΏΠΎΠ΄Ρ€Π°Π·Π±ΠΈΡ€Π°Π½Π΅, ΠΊΠΎΠ΅Ρ‚ΠΎ Π΅ повишило производитСлността Π½Π° заявкитС 2.5 ΠΏΡŠΡ‚ΠΈ.

Π˜Π·Ρ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru

ΠšΡƒΠΏΠ΅Ρ‚Π΅ Π½Π°Π΄Π΅ΠΆΠ΄Π΅Π½ хостинг Π·Π° сайтовС със Π·Π°Ρ‰ΠΈΡ‚Π° ΠΎΡ‚ DDoS, VPS ΠΈ VDS ΡΡŠΡ€Π²ΡŠΡ€ΠΈ πŸ”₯ ΠšΡƒΠΏΠ΅Ρ‚Π΅ Π½Π°Π΄Π΅ΠΆΠ΄Π΅Π½ хостинг Π·Π° сайтовС със Π·Π°Ρ‰ΠΈΡ‚Π° ΠΎΡ‚ DDoS, VPS ΠΈ VDS ΡΡŠΡ€Π²ΡŠΡ€ΠΈ | ProHoster