OpenSearch 3.0 est disponible, un fork de la plateforme Elasticsearch

L'organisation à but non lucratif OpenSearch Software Foundation, contrôlée par la Linux Foundation, a publié la version 3.0 du projet OpenSearch, un fork de la plateforme de recherche, d'analyse et de stockage de données Elasticsearch et de l'interface web Kibana. Des entreprises comme Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean et NetAp participent à la développement de ce fork. Le code est distribué sous la licence Apache 2.0.

Le fork a été créé en 2021 en réponse au passage du projet Elasticsearch à une licence non libre, la SSPL (Server Side Public License), et à l'arrêt de la publication des modifications sous l'ancienne licence Apache 2.0. Malgré le retour à Elasticsearch à une licence libre, le projet OpenSearch demeure pertinent, car il continue d'utiliser la licence permissive Apache 2.0 au lieu de l'AGPLv3 adoptée par Elasticsearch, tout en développant plusieurs extensions spécifiques qui étaient auparavant fournies par Amazon dans une distribution séparée, Open Distro for Elasticsearch, et qui remplacent des composants payants d'Elasticsearch.

OpenSearch comprend le moteur de stockage et de recherche OpenSearch, l'interface web et le tableau de bord de données OpenSearch Dashboards, ainsi qu'un ensemble de modules pour l'apprentissage automatique, la prise en charge de SQL, la génération d'alertes, le diagnostic des performances du cluster, le chiffrement du trafic, le contrôle d'accès basé sur les rôles (RBAC), l'authentification via Active Directory, Kerberos, SAML et OpenID, la mise en œuvre d'un point d'entrée unique (SSO) et l'enregistrement détaillé pour l'audit.

Parmi les changements dans OpenSearch 3.0 :

• Ajout d'un moteur vectoriel (OpenSearch Vector Engine) qui peut être utilisé pour stocker et travailler avec des données utilisées dans les systèmes d'apprentissage automatique. Pour accélérer la recherche vectorielle, des calculs sur le GPU ont été utilisés, permettant d'augmenter la vitesse d'indexation de 9,3 fois et de réduire les coûts opérationnels de 3,75 fois par rapport aux solutions utilisant uniquement le CPU. Pour organiser l'interaction avec les sources de données, les applications LLM et les plateformes AI, la prise en charge du protocole MCP (Model Context Protocol) est implémentée. L'intégration avec les agents AI des entreprises Anthropic, LangChain et OpenAI est prise en charge.
• Une optimisation a été ajoutée, permettant de réduire d'un tiers la taille du stockage des vecteurs k-NN (k-plus proches voisins), ainsi que de diminuer jusqu'à 30 fois les latences lors des requêtes immédiatement après le démarrage (cold start) grâce à la suppression des informations secondaires superflues et à l'utilisation des données primaires pour recréer les informations nécessaires.
• Une fonctionnalité expérimentale permettant l'utilisation du protocole gRPC (protobuf sur gRPC) pour le transfert de données entre clients, serveurs très chargés et nœuds de stockage a été ajoutée. Par rapport à JSON, l'utilisation de gRPC permet de réduire les coûts de sérialisation et d'augmenter les performances grâce à l'envoi simultané de différentes requêtes dans une même connexion TCP.
• Un mode de récupération des données par pull a été ajouté, où OpenSearch demande directement les données à partir de sources de flux telles qu'Apache Kafka et Amazon Kinesis.
• Il est désormais possible dans le cluster de séparer le trafic lié à l'indexation et à la recherche. Une API a été ajoutée pour désactiver les opérations d'écriture et rendre l'index accessible uniquement pour la recherche dans le but d'optimiser le traitement des données qui ne seront pas modifiées (configurations où les données sont écrites une fois et lues plusieurs fois).
• L'intégration avec Apache Calcite a été étendue et la possibilité d'utiliser le langage de requêtes PPL (Piped Processing Language) pour les opérations de recherche, de filtrage et de fusion a été mise en œuvre.
• La détermination automatique des types d'index est assurée. Pour les index contenant des données liées à la journalisation, des optimisations spécifiques ont été mises en place pour accélérer les opérations d'analyse des journaux.
• Le moteur de recherche en texte intégral Lucene a été mis à jour vers la version 10, qui améliore la gestion des index et augmente la performance du traitement parallèle des tâches.
• Le support pour les modules Java (Java Platform Module System) a été ajouté pour diviser les composants en bibliothèques distinctes. La version minimale requise est Java 21.
• Le traitement des plages de valeurs et des champs contenant des dates et des nombres a été accéléré (la vitesse de traitement du jeu de tests Big5 a augmenté de 25%). Les opérations d'agrégation des données ont été accélérées (dans le test p90, les latences ont diminué de 75%). Pour les vecteurs k-NN, le mode de parallélisation de la recherche des segments est activé par défaut, ce qui a permis d'augmenter les performances des requêtes de 2,5 fois.

Source : opennet.ru