A OpenSearch Software Foundation é uma organização sem fins lucrativos controlada por Linux A Foundation lançou o OpenSearch 3.0, um fork da plataforma de busca, análise e armazenamento de dados Elasticsearch e da interface web Kibana. Empresas como Amazon, SAP, Uber, Aryn, Atlassian, Canonical, DigitalOcean e NetAp estão participando do desenvolvimento do fork. O código é distribuído sob a licença Apache 2.0.
O fork foi criado em 2021 em resposta à mudança do projeto Elasticsearch para a licença não livre SSPL (Server Side Public License) e à interrupção da publicação de alterações sob a antiga licença Apache 2.0. Apesar do retorno do Elasticsearch a uma licença gratuita, o projeto OpenSearch não perdeu sua relevância, pois continua a usar a licença permissiva do Apache 2.0 em vez da licença AGPLv3 para a qual o Elasticsearch mudou, e também está desenvolvendo uma série de complementos específicos que eram fornecidos anteriormente pela Amazon em uma distribuição separada chamada Open Distro for Elasticsearch e substituem os componentes pagos do Elasticsearch.
O OpenSearch inclui o mecanismo de pesquisa e armazenamento OpenSearch, a interface web e o ambiente de visualização de dados OpenSearch Dashboards e um conjunto de complementos para aprendizado de máquina, suporte a SQL, geração de notificações, diagnósticos de desempenho de cluster, criptografia de tráfego, controle de acesso baseado em função (RBAC), autenticação via Active Directory, Kerberos, SAML e OpenID, implementação de logon único (SSO) e registro detalhado para auditoria.
Entre as mudanças no OpenSearch 3.0:
- Foi adicionado um mecanismo vetorial (OpenSearch Vector Engine), que pode ser usado para armazenar e trabalhar com dados usados em sistemas de aprendizado de máquina. Para acelerar a busca de vetores, são usados cálculos baseados em GPU, o que aumentou a velocidade de indexação em 9.3 vezes e reduziu os custos operacionais em 3.75 vezes em comparação com soluções que usam apenas CPU. Para organizar a interação com fontes de dados, aplicativos LLM e plataformas de IA, foi implementado suporte ao protocolo MCP (Model Context Protocol). A integração com agentes de IA da Anthropic, LangChain e OpenAI é suportada.
- Otimizações adicionadas que reduzem o tamanho do armazenamento vetorial k-NN (k-vizinhos mais próximos) em um terço e reduzem a latência da consulta imediatamente após o lançamento (inicialização a frio) em até 30 vezes, removendo informações secundárias redundantes e usando dados primários para recriar as informações necessárias.
- Adicionada capacidade experimental para usar o protocolo gRPC (protobuf sobre gRPC) para transferência de dados entre clientes. servidores e nós de armazenamento. Comparado ao JSON, o gRPC reduz a sobrecarga de serialização e melhora o desempenho enviando várias solicitações simultaneamente por meio de uma única conexão TCP.
- Adicionado modo pull para recuperação de dados, onde o OpenSearch solicita dados diretamente de fontes de streaming, como Apache Kafka e Amazon Kinesis.
- O cluster fornece a capacidade de separar o tráfego associado à indexação e à pesquisa. Foi adicionada uma API para desabilitar operações de gravação e deixar o índice somente para pesquisa, a fim de otimizar o trabalho com dados que não serão alterados (configurações em que os dados são gravados uma vez e lidos muitas vezes).
- Integração expandida com o Apache Calcite e adição da capacidade de usar a linguagem de consulta Piped Processing Language (PPL) para operações de pesquisa, filtragem e mesclagem.
- É fornecida detecção automática de tipos de índice. Índices com dados relacionados a registro têm otimizações específicas que aceleram as operações de análise de registro.
- O mecanismo de busca de texto completo do Lucene foi atualizado para a ramificação 10, o que melhora a indexação e aumenta o desempenho do processamento paralelo.
- Adicionado suporte para módulos Java (Java Platform Module System) para separar componentes em bibliotecas separadas. A versão mínima informada é Java 21.
- O trabalho com intervalos de valores e campos contendo datas e números foi acelerado (a velocidade de aprovação no conjunto de testes Big5 aumentou em 25%). As operações de agregação de dados foram aceleradas (no teste p90, as latências foram reduzidas em 75%). Para vetores k-NN, o modo de paralelização de pesquisa de segmento é habilitado por padrão, o que permite que o desempenho da consulta seja aumentado em 2.5 vezes.
Fonte: opennet.ru
