Die gemeinnützige Organisation OpenSearch Software Foundation, die von der Linux Foundation kontrolliert wird, hat die Version 3.0 des Projekts OpenSearch veröffentlicht, welches einen Fork der Such-, Analyse- und Speicherplattform Elasticsearch sowie der Weboberfläche Kibana entwickelt. An der Entwicklung des Forks sind Unternehmen wie Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean und NetAp beteiligt. Der Code wird unter der Lizenz Apache 2.0 verbreitet.
Der Fork wurde im Jahr 2021 als Reaktion auf die Umstellung des Projekts Elasticsearch auf die nicht-freie Lizenz SSPL (Server Side Public License) und das Einstellen der Veröffentlichung von Änderungen unter der alten Lizenz Apache 2.0 geschaffen. Trotz der Rückkehr von Elasticsearch zur Nutzung einer freien Lizenz hat das Projekt OpenSearch nicht an Relevanz verloren, da es weiterhin die permissive Lizenz Apache 2.0 anstelle der AGPLv3 verwendet, auf die Elasticsearch umgestiegen ist. Darüber hinaus werden eine Reihe spezifischer Erweiterungen entwickelt, die zuvor von Amazon in einem separaten Distributionspaket namens Open Distro for Elasticsearch angeboten wurden und die kostenpflichtigen Komponenten von Elasticsearch ersetzen.
OpenSearch umfasst die OpenSearch-Speicher- und Such-Engine, die Web-Oberfläche und die Visualisierungsumgebung OpenSearch Dashboards sowie ein Set an Erweiterungen für maschinelles Lernen, SQL-Unterstützung, Benachrichtigungsgenerierung, Cluster-Leistungsdiagnose, Datenverkehrsverschlüsselung, rollenbasierte Zugriffskontrolle (RBAC), Authentifizierung über Active Directory, Kerberos, SAML und OpenID, Implementierung einer Single-Sign-On-Lösung (SSO) und detailliertes Logging für Auditzwecke.
Zu den Neuerungen in OpenSearch 3.0 gehören:
- Die Einführung einer Vektor-Engine (OpenSearch Vector Engine), die zur Speicherung und Verarbeitung von Daten verwendet werden kann, die in maschinellen Lernsystemen eingesetzt werden. Zur Beschleunigung der Vektorsuche werden GPU-Berechnungen eingesetzt, die die Indizierungsgeschwindigkeit um das 9,3-fache steigern und die Betriebskosten im Vergleich zu Lösungen, die nur CPU verwenden, um das 3,75-fache senken konnten. Zur Integration mit Datenquellen, LLM-Anwendungen und KI-Plattformen wird das Modellkontextprotokoll (MCP - Model Context Protocol) unterstützt. Es besteht die Möglichkeit der Integration mit KI-Agenten der Unternehmen Anthropic, LangChain und OpenAI.
- Eine Optimierung wurde hinzugefügt, die die Größe des k-NN (k-nächste Nachbarn)-Vektor-Speichers um ein Drittel reduzieren kann und die Latenz bei abfragen direkt nach dem Start (kalter Start) um bis zu 30-mal senkt, indem überflüssige sekundäre Informationen entfernt und Primärdaten zur Rekonstruktion der benötigten Informationen verwendet werden.
- Es wurde eine experimentelle Möglichkeit zur Nutzung des gRPC-Protokolls (protobuf über gRPC) für den Datenaustausch zwischen Clients Servern gearbeitet werden. und Speicherknoten hinzugefügt. Im Vergleich zu JSON ermöglicht die Verwendung von gRPC eine Reduzierung der Kosten für die Serialisierung und steigert die Leistung durch die gleichzeitige Versendung unterschiedlicher Anfragen in einer TCP-Verbindung.
- Ein Pull-Modus für den Datenabruf wurde hinzugefügt, bei dem OpenSearch Daten direkt aus Streaming-Quellen wie Apache Kafka und Amazon Kinesis abruft.
- Im Cluster gibt es die Möglichkeit, den mit der Indizierung und Suche verbundenen Datenverkehr zu trennen. Eine API wurde hinzugefügt, um Schreiboperationen zu deaktivieren und den Index nur für Suchanfragen verfügbar zu machen, um die Verarbeitung von Daten zu optimieren, die nicht verändert werden (Konfigurationen, in denen Daten einmal geschrieben und mehrfach gelesen werden).
- Die Integration mit Apache Calcite wurde erweitert und die Nutzung der Abfragesprache PPL (Piped Processing Language) für Such-, Filter- und Zusammenführungsoperationen implementiert.
- Die automatische Bestimmung des Index-Typs wurde sichergestellt. Für Indizes mit Daten, die mit Protokollführung verbunden sind, kommen spezialisierte Optimierungen zum Einsatz, die die Log-Analyse-Operationen beschleunigen.
- Die Lucene-Engine für Volltextsuche wurde auf Branch 10 aktualisiert, in der die Indizierungsleistung und die Leistung der parallelen Aufgabenbearbeitung verbessert wurden.
- Die Unterstützung von Java-Modulen (Java Platform Module System) wurde hinzugefügt, um Komponenten in separate Bibliotheken zu unterteilen. Die minimale Version ist die Veröffentlichung von Java 21.
- Die Verarbeitung von Wertebereichen und Feldern, die Daten und Zahlen enthalten, wurde beschleunigt (die Geschwindigkeit des Big5-Testsets stieg um 25%). Datenaggregationsoperationen wurden ebenfalls beschleunigt (im p90-Test sank die Latenz um 75%). Für k-NN-Vektoren ist standardmäßig der parallele Segment-Suchmodus aktiviert, was die Abfrageleistung um das 2,5-Fache gesteigert hat.
Quelle: opennet.ru
