OpenZL 0.2.0

7개월간의 개발 끝에 프레임워크 버전 0.2.0이 출시되었습니다. 오픈ZL데이터 손실 없는 압축기를 만들기 위해 설계되었습니다.

이 프레임워크는 기본 라이브러리와 해당 언어로 설명된 특수 압축기를 생성하기 위한 도구로 구성됩니다. SDDL.
훌륭한 전용 압축기를 만드는 데는 두 단계가 있습니다.

1. 데이터 분석을 통해 구조를 추출합니다.
2. 결과 구조를 활용하여 우수한 압축률을 달성하는 뛰어난 백엔드 압축기를 사용합니다.

OpenZL은 두 단계 모두에 필요한 도구를 제공합니다.

이 프로젝트는 C와 C++로 작성되었으며 BSD 라이선스에 따라 배포됩니다.

주요 변경 사항

SDDL2

SDDL은 원래 설계 목표를 달성하기 위해 처음부터 완전히 재작성되었습니다. 초기 데모 버전은 단순화된 런타임 환경이었지만, SDDL2는 완전한 기능을 갖춘 컴파일러입니다. 파서는 데이터를 의미 분석기에 전달하고, 의미 분석기는 다시 타입이 지정된 추상 구문 트리(AST)를 최적화기에 전달합니다. 최적화기는 코드 생성기를 제어하여 가상 머신 바이트코드를 생성합니다.

핵심적인 결과는 즉각적인 파싱입니다. 레코드의 위치를 ​​매개변수와 상수만으로 완전히 파악할 수 있는 경우, 엔진은 이전 바이트를 스캔하지 않고 바로 해당 필드로 이동하여 복사 없는 액세스와 수 GB/s의 처리량을 가능하게 합니다.

언어 자체는 도구 세트와 함께 발전해 왔습니다. 이제 조건문을 위한 when 절, 매개변수화된 레코드 및 익명 레코드, 레코드 필드 멤버에 대한 접근, 비트 연산자 및 논리 연산자를 지원합니다.

개발자 측면에서는 의미 분석 단계에서 이제 런타임이 아닌 컴파일 타임에 소스 코드 위치와 함께 정의되지 않은 참조, 형식 불일치 및 인자 개수 오류를 식별하며, .sddl 파일의 구문 강조 표시를 위한 VS Code 확장 프로그램이 출시되었습니다.

새로운 내장 LZ 코덱

OpenZL은 이제 자체 LZ 코덱인 ZL_GRAPH_LZ와 zli 유틸리티에 포함된 순차 압축 프로파일을 제공합니다. 코덱 개발은 계속 진행 중이며, 기능 세트를 확장하고 작은 입력 데이터를 처리할 때 성능을 개선하고 있습니다. 현재는 64KB 압축 윈도우를 지원하며 zstd 레벨 1에 해당하는 기능을 제공합니다.

OpenZL은 LZ 파이프라인의 각 단계를 속도 향상에 맞춰 재설계할 수 있도록 합니다. 또한 그래프 아키텍처를 통해 모든 사용 사례에 동일하게 적합한 단일 파이프라인을 사용하는 대신, 여러 엔트로피 인코딩 단계를 결합할 수 있습니다. 이를 통해 여러 단계를 단일 작업으로 통합하여 처리 속도를 향상시킬 수 있습니다. 이러한 특징 덕분에 OpenZL은 실레시아 코퍼스에서 Zstandard 레벨 1 대비 압축 속도는 10%, 압축 해제 속도는 70% 향상되었습니다. 우리의 테스트:

매우 큰 입력 데이터 지원

zli는 이제 수 기가바이트 크기의 대용량 입력 데이터 처리를 지원합니다. 압축 전에 이러한 데이터는 자동으로 관리 가능한 크기(기본값 약 16MB)의 청크로 분할되어 메모리 사용량을 제한하고 데이터 지역성을 개선하며 병렬 처리를 가능하게 합니다. SDDL2는 스키마 처리 시에도 유사한 자동 청크 분할 기능을 구현합니다. 이 과정에서 CSV, Parquet 및 표준 숫자 데이터에 대한 새로운 세그멘터가 생성되거나 업데이트되었으며, 모든 세그멘터는 이제 직렬화 및 구성이 가능하므로 선택한 레이아웃을 압축기에 저장하고 나중에 재사용할 수 있습니다.

이 기능은 압축 과정에서 투명하게 적용됩니다. 학습 파이프라인은 다르며 영향을 받지 않으므로, 방대한 입력 데이터를 학습 자료로 사용하도록 설계되지 않았습니다.

온라인 그래프 시각화 도구의 개선 사항 (시도하다)
이제 시각화 도구는 압축 및 압축 해제 과정을 처음부터 끝까지 인식합니다.

스트림 미리보기 패널을 사용하면 각 가장자리를 따라 실제로 흐르는 바이트를 확인할 수 있으며, 트리밍 컨트롤을 통해 대규모 스트림도 쉽게 처리할 수 있습니다.

설정 패널은 모든 표시 옵션을 한 곳에 모아두고, 방향 탐색, 순회, 확장 및 축소, 노드 선택 등 다양한 단축키를 제공하여 마우스 없이도 편리하게 도구를 사용할 수 있습니다.

이제 추적 파일에 버전이 지정되고, 블록 기반 압축이 올바르게 표시되며, zli는 새로운 --trace 및 --trace-streams-dir 플래그를 사용하여 자체 추적 파일을 생성할 수 있습니다.

여러 가지 잡다한

• 카탈로그에 여러 코덱이 추가되었습니다. 파티션 및 비트팩 코덱은 이제 통합 디코더를 사용합니다. 부동 소수점 비트 분할 코덱은 이제 fp16, fp32, fp64 및 bf16 형식에 대한 전용 인코더와 디코더를 포함하며, 특수 가속 기능도 제공합니다. 범위 인식 분할(split_byrange), 길이 멀티플렉서, 센티넬 코덱, lz4 그래프, 그리고 tryParseInt 및 splitByParam과 같은 간단한 도우미 함수들이 추가되었습니다.
• API가 간소화되었습니다.
• 퍼즈 테스트 기능이 향상되었습니다.
• 더 많은 플랫폼을 위한 빌드 및 패키징 프로세스가 개선되었습니다.

출처 : linux.org.ru