DuckDB 0.6.0, 분석 쿼리용 SQLite 변형 게시됨

DuckDB 0.6.0 DBMS의 출시는 컴팩트함, 임베디드 라이브러리 형태로 연결하는 기능, 데이터베이스를 하나의 파일에 저장하는 기능, 편리한 CLI 인터페이스, 실행을 위한 도구 및 최적화와 같은 SQLite의 속성을 결합한 것입니다. 예를 들어 테이블의 전체 내용을 집계하거나 여러 개의 큰 테이블을 병합하는 등 저장된 데이터의 상당 부분을 다루는 분석 쿼리입니다. 프로젝트 코드는 MIT 라이선스에 따라 배포됩니다. 저장 형식이 아직 안정화되지 않았고 버전별로 변경되기 때문에 개발은 아직 실험적인 릴리스를 형성하는 단계에 있습니다.

DuckDB는 매우 복잡하고 시간이 많이 걸리는 쿼리를 처리하기 위한 추가 기능이 포함된 고급 SQL 언어를 제공합니다. 복잡한 유형(배열, 구조, 공용체)의 사용과 임의 및 중첩된 상관 하위 쿼리를 실행하는 기능이 지원됩니다. 여러 쿼리를 동시에 실행하여 CSV 및 Parquet 파일에서 직접 쿼리를 실행할 수 있습니다. PostgreSQL DBMS에서 가져올 수 있습니다.

SQLite의 셸 코드 외에도 프로젝트는 별도의 라이브러리에 있는 PostgreSQL의 파서, MonetDB의 Date Math 구성 요소, 자체 창 함수 구현(세그먼트 트리 집계 알고리즘 기반), 정규식 프로세서를 기반으로 합니다. RE2 라이브러리, 자체 쿼리 최적화 프로그램, MVCC 제어 메커니즘 동시 작업 실행(Multi-Version Concurrency Control), 그리고 대규모 값 세트를 허용하는 Hyper-Pipelining Query Execution 알고리즘 기반의 벡터화된 쿼리 실행 엔진 ​​한 번의 작업으로 한번에 처리됩니다.

새 릴리스의 변경 사항은 다음과 같습니다.

• 저장 형식을 개선하는 작업이 계속되었습니다. 하나의 트랜잭션에서 대량의 데이터 세트를 로드할 때 COMMIT 명령으로 트랜잭션이 확인될 때까지 기다리지 않고 스트리밍 모드에서 데이터가 압축되어 데이터베이스의 파일에 기록되는 낙관적 디스크 쓰기 모드가 구현되었습니다. . COMMIT 명령을 수신하면 이미 데이터가 디스크에 기록되어 있으며 ROLLBACK이 실행되면 해당 데이터가 삭제됩니다. 이전에는 데이터가 처음에는 완전히 메모리에 저장되었다가 커밋되면 디스크에 저장되었습니다.
• 별도의 테이블에 데이터를 병렬로 로드하는 지원이 추가되어 멀티 코어 시스템에서 로드 속도를 크게 높일 수 있습니다. 예를 들어 이전 릴리스에서는 150코어 CPU에 10억 91천만 행이 있는 데이터베이스를 로드하는 데 17초가 걸렸지만 새 버전에서는 이 작업이 XNUMX초 만에 완료됩니다. 기록 순서를 유지하는 모드와 순서를 유지하지 않는 모드의 두 가지 병렬 로드 모드가 있습니다.
• 데이터 압축의 경우 FSST(Fast Static Symbol Table) 알고리즘이 사용됩니다. 이를 통해 일반적인 일치 항목의 공통 사전을 사용하여 문자열 내부에 데이터를 압축할 수 있습니다. 새로운 알고리즘을 사용함으로써 테스트 데이터베이스의 크기를 761MB에서 251MB로 줄일 수 있었습니다.
• 부동 소수점 수(DOUBLE 및 FLOAT)를 압축하기 위해 Chimp 및 Patas 알고리즘이 제안되었습니다. 이전 Gorillas 알고리즘과 비교하여 Chimp는 더 높은 수준의 압축과 더 빠른 압축 해제를 제공합니다. Patas 알고리즘은 압축률에서는 Chimp에 비해 뒤떨어지지만 압축 해제 속도에서는 훨씬 빨라서 압축되지 않은 데이터를 읽는 것과 거의 다르지 않습니다.
• CSV 파일의 데이터를 여러 병렬 스트림(SET Experiment_parallel_csv=true)으로 로드하는 실험적 기능을 추가하여 대용량 CSV 파일을 로드하는 데 걸리는 시간을 크게 줄였습니다. 예를 들어 이 옵션을 활성화하면 720MB CSV 파일의 다운로드 시간이 3.5초에서 0.6초로 단축되었습니다.
• 인덱스 생성 및 관리 작업의 병렬 실행 가능성이 구현되었습니다. 예를 들어, 16만 개의 레코드가 있는 열에 대한 CREATE INDEX 작업이 5.92초에서 1.38초로 단축되었습니다.
• "COUNT(DISTINCT col)" 표현식이 포함된 쿼리에서 집계 작업의 병렬화를 활성화했습니다.
• SQL에는 여러 유형을 하나의 요소에 바인딩할 수 있는 UNION 유형에 대한 지원이 추가되었습니다(예: "UNION(num INT, error VARCHAR))").
• SQL은 "SELECT" 대신 "FROM"이라는 단어로 시작하는 쿼리를 구성하는 기능을 제공합니다. 이 경우 쿼리는 "SELECT *"로 시작한다고 가정합니다.
• SQL에는 표현식을 복제하지 않고도 여러 열에 대한 작업을 수행할 수 있는 COLUMNS 표현식에 대한 지원이 추가되었습니다. 예를 들어, “SELECT MIN(COLUMNS(*)) from obs;” obs 테이블의 각 열에 대해 MIN 함수가 실행되고 "SELECT COLUMNS('val[0-9]+') from obs;" 이름이 "val"과 숫자로 구성된 열의 경우.
• 목록 작업에 대한 지원이 추가되었습니다(예: "SELECT [x + 1 for x in [1, 2, 3]] AS l;").
• 메모리 소비가 최적화되었습니다. 기본적으로 Linux 플랫폼은 메모리 관리를 위해 jemalloc 라이브러리를 사용합니다. 메모리가 제한되어 있는 경우 해시 병합 작업의 성능이 크게 향상되었습니다.
• 터미널 창의 너비를 고려하여 중간 열을 삭제하는 ".mode duckbox" 출력 모드를 명령줄 인터페이스에 추가했습니다("SELECT *와 같이 많은 수의 열이 포함된 쿼리 결과를 신속하게 시각적으로 평가하는 데 적합). FROM tbl”, 일반 모드에서는 여러 줄에 걸쳐 표시됩니다. ".maxrows X" 매개변수를 사용하면 표시되는 행 수를 추가로 제한할 수 있습니다.
• CLI는 컨텍스트를 고려한 입력 자동 완성 기능을 제공합니다(키워드, 테이블 이름, 함수, 열 이름 및 파일 이름 입력이 완료됨).
• CLI에는 기본적으로 쿼리 진행률 표시기가 활성화되어 있습니다.

출처 : opennet.ru