PayPal은 JunoDB DBMS 코드를 열었습니다.

PayPal은 키-값 형식으로 데이터를 조작하는 내결함성 DBMS인 JunoDB의 소스 코드를 공개했습니다. 이 시스템은 원래 높은 보안, 수평 확장성, 내결함성 및 예측 가능한 지연을 염두에 두고 수십만 개의 동시 연결을 처리할 수 있는 기능을 염두에 두고 설계되었습니다. PayPal에서는 사용자 로그인부터 금융 거래 처리까지 거의 모든 서비스가 JunoDB에 연결되어 있습니다. 프로젝트 코드는 Go(Java 클라이언트 라이브러리)로 작성되었으며 Apache 2.0 라이선스에 따라 배포됩니다. 추가 개발에서는 커뮤니티의 수정, 개선 및 변경이 허용됩니다.

JunoDB 아키텍처는 클라이언트 애플리케이션의 요청을 수락하고 요청이 있을 때 스토리지 서버 그룹에 동시에 액세스하는 프록시 서버 간에 이를 배포하는 로드 밸런서의 사용을 기반으로 합니다. 각 프록시는 모든 스토리지 서버에 대한 연결을 한 번에 설정하고 etcd 구성의 분산 스토리지 시스템에 저장된 파티션 인덱스를 기반으로 요청을 스토리지 서버 그룹으로 리디렉션합니다.

클러스터에서 노드가 늘어나거나 줄어들 때 데이터 이동을 줄이기 위해 해싱을 사용하여 데이터를 분할하고 스토리지 노드에 바인딩합니다. 내결함성을 보장하기 위해 데이터의 각 부분이 여러 스토리지 노드에 복제되므로 개별 서버에 장애가 발생할 경우 정보를 저장할 수 있습니다. 노드 그룹이 서로 다른 데이터 센터에 위치하는 지리적으로 분산된 스토리지 생성이 지원됩니다.

스토리지 노드에서 데이터는 RocksDB 라이브러리를 기반으로 하는 RAM 또는 로컬 스토리지에 배치됩니다. 영구 저장소를 사용하면 데이터가 암호화된 형식으로 저장됩니다(암호화 키는 클라이언트에서 결정하고 프록시 수준에서 설정할 수 있음).

애플리케이션에서 데이터베이스에 액세스하기 위해 Java, Go 및 C++ 애플리케이션용 API를 제공하는 클라이언트 라이브러리가 제공됩니다. 클라이언트 부분은 최대한 단순화하고, 복잡한 로직과 설정은 가능하면 DBMS 쪽으로 옮겼습니다. 클라이언트와 밸런서 또는 프록시 간의 상호 작용은 암호화된 통신 채널을 통해 수행됩니다. 클라이언트 API의 전체 기능을 모방하는 명령줄 인터페이스를 사용하여 요청을 관리하고 보낼 수 있습니다.

이 시스템은 n1-highmem-32 환경(Intel Xeon 32GHz CPU 2.30개, 214G RAM 및 450G SSD 기반 스토리지)에서 형성된 2.5개의 스토리지 노드와 95개의 프록시로 구성된 클러스터와 같이 예측 가능하고 짧은 대기 시간으로 요청을 처리하도록 설계되었습니다. , 16만 개의 동시 TLS 연결 및 초당 99개의 요청 흐름(200개의 동시 연결 및 15개의 요청 흐름)을 처리할 때 3000%의 경우 80ms, 6%의 경우 95ms를 초과하지 않는 고정 지연을 제공할 수 있었습니다. 초당 지연은 15%의 경우 99ms를 초과하지 않았고 350%의 경우 XNUMXms를 초과하지 않았습니다). PayPal의 JunoDB 기반 서비스는 하루에 약 XNUMX억 건의 요청을 처리합니다.

출처 : opennet.ru