Tarantool Data Grid의 아키텍처 및 기능

2017년에는 Alfa-Bank 투자사업의 거래핵심 개발 공모전에서 우승하여 작업을 시작하였습니다. (HighLoad++ 2018에서 투자사업의 핵심에 대한 보고서 발표) 수행 한 Alfa Bank 투자 사업의 거래 핵심 책임자인 Vladimir Drynkin입니다. 이 시스템은 다양한 형식의 다양한 소스에서 거래 데이터를 집계하고, 데이터를 통일된 형식으로 가져와 저장하고 이에 대한 액세스를 제공하도록 되어 있었습니다.

개발 과정에서 시스템은 발전하고 기능을 획득했으며 어느 시점에서 우리는 엄격하게 정의된 작업 범위를 해결하기 위해 만들어진 응용 프로그램 소프트웨어 이상의 것을 결정화하고 있다는 것을 깨달았습니다. 우리는 성공했습니다. 영구 스토리지를 갖춘 분산 애플리케이션을 구축하기 위한 시스템. 우리가 얻은 경험은 새로운 제품의 기초를 형성했습니다. Tarantool 데이터 그리드 (TDG).

저는 TDG 아키텍처와 개발 과정에서 우리가 찾아낸 솔루션에 대해 이야기하고, 주요 기능을 소개하고, 우리 제품이 어떻게 완전한 솔루션 구축의 기초가 될 수 있는지 보여주고 싶습니다.

구조적으로 우리는 시스템을 여러 부분으로 나누었습니다. 역할, 각각은 특정 범위의 문제를 해결하는 역할을 합니다. 실행 중인 단일 애플리케이션 인스턴스는 하나 이상의 역할 유형을 구현합니다. 클러스터에는 동일한 유형의 여러 역할이 있을 수 있습니다.

커넥터

커넥터는 외부 세계와의 통신을 담당합니다. 그 임무는 요청을 수락하고 구문 분석한 다음, 이것이 성공하면 처리할 데이터를 입력 프로세서로 보내는 것입니다. 우리는 HTTP, SOAP, Kafka, FIX 형식을 지원합니다. 아키텍처를 사용하면 IBM MQ에 대한 지원이 곧 제공될 예정이므로 새로운 형식에 대한 지원을 간단히 추가할 수 있습니다. 요청 구문 분석에 실패하면 커넥터는 오류를 반환합니다. 그렇지 않으면 추가 처리 중에 오류가 발생하더라도 요청이 성공적으로 처리되었다고 응답합니다. 이는 요청을 반복하는 방법을 모르거나 반대로 너무 지속적으로 수행하는 시스템과 작업하기 위해 특별히 수행되었습니다. 데이터 손실을 방지하기 위해 복구 대기열이 사용됩니다. 개체는 먼저 개체에 들어가고 성공적인 처리가 개체에서 제거된 후에만 가능합니다. 관리자는 수리 대기열에 남아 있는 개체에 대한 경고를 받을 수 있으며, 소프트웨어 오류나 하드웨어 오류를 제거한 후 다시 시도할 수 있습니다.

입력 프로세서

입력 프로세서는 수신된 데이터를 특성에 따라 분류하고 적절한 프로세서를 호출합니다. 핸들러는 샌드박스에서 실행되는 Lua 코드이므로 시스템 기능에 영향을 줄 수 없습니다. 이 단계에서는 데이터를 필요한 형식으로 줄일 수 있으며, 필요한 경우 필요한 논리를 구현할 수 있는 임의의 수의 작업을 시작할 수 있습니다. 예를 들어, Tarantool Data Grid를 기반으로 구축된 MDM(마스터 데이터 관리) 제품에서는 새 사용자를 추가할 때 요청 처리 속도를 늦추지 않기 위해 골든 레코드 생성을 별도의 작업으로 시작합니다. 샌드박스는 데이터 읽기, 변경 및 추가에 대한 요청을 지원하고, 저장소 유형의 모든 역할과 결과 집계(맵/감소)에 대해 일부 기능을 수행할 수 있도록 해줍니다.

핸들러는 파일로 설명할 수 있습니다.

sum.lua

local x, y = unpack(...)
return x + y

그런 다음 구성에서 선언합니다.

functions:
  sum: { __file: sum.lua }

왜 루아인가? Lua는 매우 간단한 언어입니다. 우리의 경험에 따르면 사람들은 문제를 알게 된 지 몇 시간 후에 문제를 해결하는 코드를 작성하기 시작합니다. 이들은 전문 개발자뿐만 아니라 예를 들어 분석가입니다. 게다가 jit 컴파일러 덕분에 Lua는 매우 빠르게 실행됩니다.

스토리지

스토리지는 영구 데이터를 저장합니다. 저장하기 전에 데이터 스키마에 대해 데이터의 유효성을 검사합니다. 회로를 설명하기 위해 확장 형식을 사용합니다. 아파치 아브로. 예:

{
    "name": "User",
    "type": "record",
    "logicalType": "Aggregate",
    "fields": [ 
        { "name": "id", "type": "string"}, 
        {"name": "first_name", "type": "string"}, 
        {"name": "last_name", "type": "string"} 
    ], 
    "indexes": ["id"] 
}

이러한 설명을 바탕으로 Tarantula DBMS에 대한 DDL(Data Definition Language)이 자동 생성되며, GraphQL 데이터 액세스를 위한 스키마.

비동기식 데이터 복제가 지원됩니다(동기식 추가 계획 있음).

출력 프로세서

때로는 새로운 데이터의 도착을 외부 소비자에게 알려야 하는 경우가 있는데, 이를 위해 출력 프로세서 역할이 있습니다. 데이터를 저장한 후 해당 핸들러에 전달(예: 소비자가 요구하는 형식으로 가져오기)한 다음 전송을 위해 커넥터에 전달할 수 있습니다. 여기에서는 수리 대기열도 사용됩니다. 아무도 개체를 수락하지 않으면 관리자는 나중에 다시 시도할 수 있습니다.

스케일링

커넥터, 입력 프로세서 및 출력 프로세서 역할은 상태 비저장이므로 원하는 역할 유형이 활성화된 새 애플리케이션 인스턴스를 추가하기만 하면 시스템을 수평으로 확장할 수 있습니다. 스토리지는 수평 확장에 사용됩니다. 접근 가상 버킷을 사용하여 클러스터를 구성합니다. 새 서버를 추가한 후에는 이전 서버의 버킷 중 일부가 백그라운드에서 새 서버로 이동됩니다. 이는 사용자에게 투명하게 발생하며 전체 시스템의 작동에 영향을 미치지 않습니다.

데이터 속성

개체는 매우 클 수 있으며 다른 개체를 포함할 수 있습니다. 하나의 가상 버킷에 모든 종속성이 포함된 객체를 저장하여 데이터 추가 및 업데이트의 원자성을 보장합니다. 이렇게 하면 개체가 여러 물리적 서버에 "확산"되는 것을 방지할 수 있습니다.

버전 관리가 지원됩니다. 객체를 업데이트할 때마다 새 버전이 생성되며, 언제든지 시간 조각을 가져와 당시 세상이 어떻게 보였는지 확인할 수 있습니다. 긴 기록이 필요하지 않은 데이터의 경우 버전 수를 제한하거나 최신 버전만 저장할 수도 있습니다. 즉, 특정 유형에 대한 버전 관리를 기본적으로 비활성화할 수 있습니다. 또한 기록을 시간별로 제한할 수도 있습니다. 예를 들어 1년이 넘은 특정 유형의 모든 개체를 삭제합니다. 보관도 지원됩니다. 지정된 시간보다 오래된 개체를 언로드하여 클러스터의 공간을 확보할 수 있습니다.

작업

흥미로운 기능 중에는 일정에 따라, 사용자의 요청에 따라 또는 샌드박스에서 프로그래밍 방식으로 작업을 시작하는 기능이 있다는 점에 주목할 가치가 있습니다.

여기서 우리는 또 다른 역할인 러너를 봅니다. 이 역할은 상태 비저장이며 필요에 따라 이 역할이 있는 추가 애플리케이션 인스턴스를 클러스터에 추가할 수 있습니다. 주자의 책임은 작업을 완료하는 것입니다. 언급한 대로 샌드박스에서 새 작업을 생성하는 것이 가능합니다. 저장소의 대기열에 저장된 다음 실행기에서 실행됩니다. 이러한 유형의 작업을 작업이라고 합니다. 또한 작업이라는 작업 유형도 있습니다. 이는 일정에 따라(cron 구문 사용) 또는 요청 시 실행되는 사용자 정의 작업입니다. 이러한 작업을 시작하고 추적하기 위해 편리한 작업 관리자가 있습니다. 이 기능을 사용하려면 스케줄러 역할을 활성화해야 합니다. 이 역할에는 상태가 있으므로 확장할 수는 없지만 필수는 아닙니다. 동시에 다른 모든 역할과 마찬가지로 마스터가 갑자기 거부하면 작동을 시작하는 복제본을 가질 수 있습니다.

로거

또 다른 역할은 로거(logger)라고 합니다. 클러스터의 모든 구성원으로부터 로그를 수집하고 웹 인터페이스를 통해 이를 업로드하고 볼 수 있는 인터페이스를 제공합니다.

서비스

시스템을 통해 서비스 생성이 쉬워진다는 점은 언급할 가치가 있습니다. 구성 파일에서 샌드박스에서 실행되는 사용자 작성 핸들러로 전송되는 요청을 지정할 수 있습니다. 예를 들어 이 처리기에서는 일종의 분석 쿼리를 실행하고 결과를 반환할 수 있습니다.

서비스는 구성 파일에 설명되어 있습니다.

services:
   sum:
      doc: "adds two numbers"
      function: sum
      return_type: int
      args:
         x: int
         y: int

GraphQL API가 자동으로 생성되고 서비스를 호출할 수 있게 됩니다.

query {
   sum(x: 1, y: 2) 
}

그러면 핸들러가 호출됩니다. sum그러면 결과가 반환됩니다.

3

쿼리 프로파일링 및 측정항목

시스템 작동 및 요청 프로파일링을 이해하기 위해 OpenTracing 프로토콜에 대한 지원을 구현했습니다. 시스템은 필요에 따라 이 프로토콜을 지원하는 도구(예: Zipkin)에 정보를 보낼 수 있으며 이를 통해 요청이 어떻게 실행되었는지 이해할 수 있습니다.

당연히 시스템은 Prometheus를 사용하여 수집하고 Grafana를 사용하여 시각화할 수 있는 내부 측정항목을 제공합니다.

배포

Tarantool Data Grid는 배포 또는 Ansible의 유틸리티를 사용하여 RPM 패키지 또는 아카이브에서 배포할 수 있으며 Kubernetes(Tarantool Kubernetes 운영자).

비즈니스 로직(구성, 핸들러)을 구현하는 애플리케이션은 UI를 통해 또는 우리가 제공하는 API를 통해 스크립트를 사용하여 아카이브 형태로 배포된 Tarantool Data Grid 클러스터에 로드됩니다.

샘플 애플리케이션

Tarantool Data Grid를 사용하여 어떤 애플리케이션을 만들 수 있습니까? 실제로 대부분의 비즈니스 작업은 데이터 흐름의 처리, 저장 및 액세스와 어느 정도 관련되어 있습니다. 따라서 안전하게 저장하고 액세스해야 하는 대규모 데이터 스트림이 있는 경우 당사 제품을 사용하면 개발 시간을 많이 절약하고 비즈니스 논리에 집중할 수 있습니다.

예를 들어, 우리는 부동산 시장에 대한 정보를 수집하여 미래에 최고의 제안에 대한 정보를 얻을 수 있기를 원합니다. 이 경우 다음 작업을 강조하겠습니다.

1. 오픈 소스에서 정보를 수집하는 로봇이 우리의 데이터 소스가 됩니다. 기성 솔루션을 사용하거나 어떤 언어로든 코드를 작성하여 이 문제를 해결할 수 있습니다.
2. 다음으로 Tarantool Data Grid는 데이터를 수락하고 저장합니다. 다양한 소스의 데이터 형식이 다른 경우 Lua에서 단일 형식으로 변환을 수행하는 코드를 작성할 수 있습니다. 사전 처리 단계에서는 예를 들어 중복 제안을 필터링하거나 데이터베이스에서 시장에서 일하는 에이전트에 대한 정보를 추가로 업데이트할 수도 있습니다.
3. 이제 클러스터에 데이터를 채우고 데이터를 선택할 수 있는 확장 가능한 솔루션이 이미 있습니다. 그런 다음 새로운 기능을 구현할 수 있습니다. 예를 들어 데이터를 요청하고 하루에 가장 유리한 제안을 제공하는 서비스를 작성할 수 있습니다. 이를 위해서는 구성 파일의 몇 줄과 약간의 Lua 코드가 필요합니다.

다음은 뭐지?

우리의 우선순위는 다음을 사용하여 개발의 용이성을 향상시키는 것입니다. Tarantool 데이터 그리드. 예를 들어, 이는 샌드박스에서 실행되는 핸들러 프로파일링 및 디버깅을 지원하는 IDE입니다.

안전 문제에도 많은 관심을 기울이고 있습니다. 현재 당사는 개인정보시스템 및 정부정보시스템에 사용되는 소프트웨어 제품에 대한 높은 보안 수준을 확인하고 인증 요구사항을 충족하기 위해 러시아 FSTEC으로부터 인증을 진행 중입니다.

출처 : habr.com