구조화된 데이터의 속도와 압축 수준 측면에서 Zstd 및 XZ보다 우수한 성능을 보이는 OpenZL 압축 시스템

Meta*는 Zstd 및 XZ 포맷보다 높은 압축률과 속도를 제공하는 데이터 압축 및 압축 해제 툴킷인 OpenZL을 출시했습니다. OpenZL은 머신 러닝에 사용되는 것과 같은 구조화된 데이터셋과 다양한 반복 유형의 정보를 포함하는 필드가 포함된 데이터 저장소의 효율적인 압축을 위해 설계되었습니다. OpenZL은 C/C++로 작성되었으며 BSD 라이선스에 따라 오픈 소스로 제공됩니다.

SAO 천문 별 목록이 포함된 데이터베이스를 압축할 때 OpenZL은 데이터 크기를 2.06배 줄였고, zstd 알고리즘은 1.31배, XZ 알고리즘은 1.64배 압축했습니다. 또한, OpenZL은 압축 속도에서 zstd보다 2배(203MB/s 대 115MB/s), XZ보다 65배(203MB/s 대 3.1MB/s) 더 우수했습니다. OpenZL의 압축 해제 속도는 zstd보다 약간 느렸고(822MB/s 대 890MB/s), XZ보다 27배 더 빨랐습니다.

OpenZL은 범용 알고리즘이 아니며, 알려진 구조를 가진 데이터에 대해서만 좋은 결과를 보여줍니다. OpenZL의 동작은 제공된 데이터 설명을 기반으로 패커를 적응적으로 생성하는 것으로 구성됩니다. 이를 통해 특정 데이터 형식에 최적화된 압축 코드가 생성됩니다. 생성된 모든 패커와 호환되는 범용 언패커가 압축 해제에 사용됩니다.

압축 및 압축 해제는 단일 유틸리티인 "zli" 또는 libopenzl 라이브러리를 사용하여 수행됩니다. 데이터 구조는 프로파일 형태로 설명됩니다. 여기에는 일반적인 저장 형식을 설명하는 미리 정의된 프로파일 세트가 포함됩니다. 예를 들어, CSV 형식이나 64비트 배열로 저장된 데이터에 대한 프로파일이 있습니다. 압축은 "zli list-profiles" 명령으로 프로파일을 선택하고 "zli compress --profile profile_name" 명령으로 압축 프로세스를 시작하는 것만큼 간단합니다. 압축을 해제하려면 "zli decompress"를 실행하기만 하면 됩니다.

특정 형식의 경우, "zli train" 명령을 사용하여 사용자 지정 프로파일을 생성해야 합니다. 이 명령은 데이터 패턴을 식별하고 최적의 압축 수준을 가진 프로파일을 생성합니다. "--pareto-frontier" 옵션을 사용하면 생성된 프로파일을 최적화하여 압축률을 낮추는 대신 압축 또는 압축 해제 속도를 높일 수 있습니다. SDDL(Simple Data Description Language)을 사용하면 중첩된 구조를 가진 복잡한 형식을 설명하고 구조 내 데이터 형식의 레이아웃을 정의할 수 있습니다.

최적의 패커를 생성하는 방법은 각 인코더가 특정 데이터 유형과 시퀀스에 가장 효과적인 기본 인코더 집합을 기반으로 합니다. 압축을 위해, 코덱을 노드로, 처리된 형식의 데이터 변형을 간선으로 하는 방향성 비순환 데이터 처리 그래프가 형성됩니다. 입력 데이터 유형에 따라, 수신 데이터 요소를 최적으로 압축하는 코덱 체인이 선택됩니다. 이러한 구성에서 파일 헤더는 첫 번째 코덱을 사용하여 압축되고, 정수 데이터 필드는 두 번째 코덱을 사용하여 압축되며, 증가 카운터 필드는 세 번째 코덱을 사용하여 압축되고, 문자열 데이터 필드는 네 번째 코덱을 사용하여 압축됩니다.

출처 : opennet.ru