RAM에 데이터를 캐싱하는 시스템인 Dragonfly 1.0 출시

Dragonfly 인메모리 캐싱 및 스토리지 시스템이 출시되었습니다. 이 시스템은 키/값 형식으로 데이터를 조작하고 로드가 많은 사이트의 작업을 가속화하기 위한 경량 솔루션으로 사용할 수 있으며 DBMS에 대한 느린 쿼리 및 RAM의 중간 데이터를 캐싱할 수 있습니다. Dragonfly는 Memcached 및 Redis 프로토콜을 지원하므로 기존 클라이언트 라이브러리를 사용하고 코드 재작업 없이 Memcached 및 Redis를 사용하는 프로젝트를 Dragonfly로 전송할 수 있습니다.

Redis와 비교하여 Dragonfly는 Amazon EC2 c6gn.16xlarge 환경의 일반적인 워크로드에서 25배 향상된 성능(초당 3.8만 요청)을 달성했습니다. AWS c6gn.16xlarge 환경의 Memcached와 비교하여 Dragonfly는 초당 4.7배 더 많은 쓰기 요청(3.8만 대 806)과 초당 1.77배 더 많은 읽기 요청(3.7만 대 2.1만)을 수행할 수 있었습니다.

5GB의 데이터를 저장하는 테스트에서 Dragonfly는 Redis보다 30% 적은 메모리를 필요로 했습니다. "bgsave" 명령으로 스냅샷을 생성하면 메모리 소비가 증가하지만 피크 순간에는 Redis보다 거의 30배나 적게 유지되었으며 스냅샷 기록 작업 자체도 훨씬 빠릅니다(테스트에서 Dragonfly의 스냅샷은 42으로 작성되었습니다). 초, Redis - XNUMX초).

리소스를 공유하지 않는(비공유) 멀티 스레드 아키텍처 덕분에 고성능이 달성됩니다. 즉, 각 스레드에는 자체 데이터 부분이 포함된 별도의 별도 프로세서가 할당되어 뮤텍스 및 스핀 잠금 없이 작동합니다. 여러 키로 작업할 때 원자성을 보장하기 위해 경량 VLL 잠금이 사용됩니다. 메모리에 정보를 효율적으로 저장하기 위해 일종의 분할된 해시 테이블을 구현한 대시 테이블 구조를 사용합니다.

Dragonfly의 일부 기능:

• 사용 가능한 메모리가 소진된 후 오래된 데이터를 새 데이터로 자동 교체하는 캐싱 모드입니다.
• 데이터가 관련 있다고 간주되는 수명 동안 데이터 바인딩을 지원합니다.
• 다시 시작한 후 나중에 복구할 수 있도록 백그라운드에서 스토리지 상태를 디스크로 플러시하는 기능을 지원합니다.
• 시스템 관리를 위한 HTTP 콘솔(TCP 포트 6379에 바인딩)과 Prometheus와 호환되는 메트릭 반환용 API가 있습니다.
• Redis 185 릴리스의 기능과 거의 동일한 5개의 Redis 명령을 지원합니다.
• CAS(check-and-set)를 제외한 모든 Memcached 명령을 지원합니다.
• 스냅샷 생성을 위한 비동기 작업을 지원합니다.
• 예측 가능한 메모리 소비.
• Lua 5.4 인터프리터가 내장되어 있습니다.
• 해시, 세트, ​​목록(ZSET, HSET, LIST, SETS 및 STRING) 및 JSON 데이터와 같은 복잡한 데이터 유형을 지원합니다.
• 내결함성 및 로드 밸런싱을 위한 스토리지 복제를 지원합니다.

Dragonfly 코드는 C/C++로 작성되었으며 BSL(Business Source License)에 따라 배포됩니다. BSL 라이선스는 Open Core 모델의 대안으로 MySQL의 공동 창립자가 제안한 것입니다. BSL의 핵심은 고급 기능 코드를 처음에는 수정할 수 있지만 추가 조건이 충족되는 경우에만 한동안 무료로 사용할 수 있다는 것입니다. 이를 우회하려면 상용 라이선스를 구입해야 합니다. Dragonfly 프로젝트에 대한 추가 라이선스 조건에는 코드가 2.0년 15월 2028일에 Apache XNUMX 라이선스로 이전되어야 합니다. 지금까지 라이선스는 서비스와 제품의 운영을 보장하기 위한 목적으로만 코드 사용을 허용하지만 Dragonfly의 추가 기능 역할을 하는 유료 클라우드 서비스 생성에는 사용을 금지합니다.

Dragonfly 1.0 버전은 기본 서버에서 보조 서버로의 데이터 복제 지원 구현으로 유명합니다. 그러나 Dragonfly를 Dragonfly 또는 Redis 기반의 기본 서버에서 데이터를 수신하는 보조 스토리지로 사용하도록 구성할 수 있습니다. 복제 관리 API는 Redis와 호환되며 ROLE 및 REPLICAOF(SLAVEOF) 명령 사용을 기반으로 합니다.

출처 : opennet.ru