DBMS SQLite 3.42 및 DuckDB 0.8.0 릴리스. SQLite용 저장 프로시저를 구현한 CG/SQL

플러그인 라이브러리로 설계된 경량 DBMS인 SQLite 3.42이 출시되었습니다. SQLite 코드는 공개 도메인에 배포됩니다. 어떤 목적으로든 제한 없이 무료로 사용할 수 있습니다. SQLite 개발자를 위한 재정적 지원은 Adobe, Oracle, Mozilla, Bentley 및 Bloomberg와 같은 회사를 포함하는 특별히 구성된 컨소시엄에서 제공합니다.

주요 변경 사항 :

• FTS5 전체 텍스트 인덱스의 경우 보안 삭제 명령이 구현되어 삭제 후 모든 잔여 데이터를 완전히 정리합니다.
• JSON 형식의 데이터를 처리하는 함수는 이제 JSON5 확장을 지원합니다.
• 향상된 쿼리 플래너. 조회수 최적화는 기본적으로 활성화되어 있습니다. 하위 쿼리에서 사용되지 않는 열 처리가 제거되었습니다. 푸시다운 최적화 구현이 개선되었습니다.
• ".testctrl"과 같은 일부 위험한 명령을 테스트에 사용할 수 있도록 CLI에 "--unsafe-testing" 옵션을 추가했습니다. 안전 모드("--safe")에서는 ".log on" 및 ".log off" 명령이 허용됩니다. 옵션 처리가 비활성화된 이후의 인수에 대한 구분 기호 "—"에 대한 지원이 추가되었습니다. 무한대 및 NaN 값과 관련된 ":inf" 및 ":nan" 매개변수가 추가되었습니다.
• 애플리케이션 정의 SQL 함수의 이름은 CROSS, FULL, INNER, LEFT, NATURAL, OUTER 및 RIGHT 키워드와 교차할 수 있습니다.
• 확장된 PRAGMA integrity_check 기능. NOT NULL 조건이 있는 열에 NaN 값을 지정하기 위한 검사가 추가되었습니다. 오류 메시지의 정보 내용이 개선되었습니다.
• 세션을 추가하면 ROWID가 없는 테이블의 변경 내용을 가로챌 수 있습니다.
• 초 단위를 사용하기 위해 시간 및 날짜 작업을 위한 함수에 "subsec" 한정자가 추가되었습니다.
• 배열 및 JSON 개체의 기본 재귀 깊이가 2000에서 1000으로 감소했습니다.

또한 DuckDB 0.8.0 DBMS 릴리스가 구성되어 SQLite 변형을 개발하고 저장된 데이터의 상당 부분을 다루는 분석 쿼리를 수행하기 위한 기능 및 최적화로 확장되었습니다. 예를 들어 테이블의 전체 내용을 집계하거나 여러 항목을 병합합니다. 큰 테이블. 매우 복잡하고 오래 실행되는 쿼리를 처리하기 위한 추가 기능과 복잡한 유형(배열, 구조, 공용체) 지원, 여러 쿼리의 동시 실행 및 CSV 파일에서 직접 쿼리 실행을 포함하는 확장된 SQL 언어가 제공됩니다. , JSON 및 Parquet 형식. PostgreSQL DBMS에서 가져올 수 있습니다.

SQLite의 셸 코드 외에도 이 프로젝트는 PostgreSQL의 파서를 사용하고 별도의 라이브러리로 이동했습니다. MonetDB의 Date Math 구성 요소, 자체 창 함수 구현(세그먼트 트리 집계 알고리즘 기반), 정규식 프로세서 RE2 라이브러리 기반, 자체 쿼리 최적화 프로그램, MVCC 제어 메커니즘 작업 동시 실행(Multi-Version Concurrency Control), Hyper-Pipelining Query Execution 알고리즘을 기반으로 하는 벡터화된 쿼리 실행 엔진으로 대량의 작업 집합을 처리할 수 있습니다. 한 번의 작업으로 한 번에 값. 프로젝트 코드는 MIT 라이선스에 따라 배포됩니다.

새 버전의 DuckDB에서:

• 행을 열로 또는 그 반대로 변환하는 새 표현식 "PIVOT" 및 "UNPIVOT"이 추가되었습니다.
• 데이터를 가져오고 내보낼 때 병렬화가 개선되었습니다. 기본적으로 CSV 형식의 파일에서 여러 스트림으로 읽기 및 다중 스레드 쓰기는 Parquet, CSV 및 JSON 형식을 사용할 때 구현됩니다.
• 파일 경로(예: FROM "'data/glob/crawl/stackoverflow/**/*.csv';")를 정의할 때 디렉터리를 재귀적으로 반복하는 "**" 연산자가 추가되었습니다.
• 레코드 병합 기준이 정확하지는 않지만 값의 대략적인 일치인 시계열(지정된 시간 간격의 매개변수 값 조각) 형태의 데이터에 대한 병합 작업(JOIN)에 대한 지원이 추가되었습니다. 시간이 있는 필드에서(예를 들어, 시간이 1분 이상 차이가 나지 않는 레코드를 결합할 수 있음)
• 데이터베이스 메타데이터의 지연 로딩이 구현되어 DBMS 실행 속도를 수십 배 높일 수 있습니다.
• Python에서 사용자 지정 함수를 연결하기 위한 지원이 추가되었습니다.
• Apache Arrow를 사용한 데이터 전송을 위한 ADBC ​​(Arrow Database Connectivity) API에 대한 지원이 추가되었습니다.
• Swift 코드와의 통합을 위해 바인딩을 구현했습니다.
• 이제는 기본적으로 정수 연산 대신 부동 소수점 계산을 수행하는 나누기("/") 연산자의 동작이 변경되었습니다. 정수 나눗셈을 위해 새로운 연산자 "//"가 제안되었습니다. 이전 동작은 "SET integer_division=true;"를 설정하여 반환할 수 있습니다.
• 정렬 시 null 레코드를 설명하는 방법이 "NULLS FIRST"에서 "NULLS LAST"로 변경되었습니다. NULL 값은 이제 목록의 시작 부분이 아닌 끝에 표시됩니다. 이전 동작은 "SET default_null_order='nulls_first';"를 설정하여 복원할 수 있습니다.

또한 SQLite와 함께 저장 프로시저를 사용하기 위한 코드 생성기를 제공하는 Facebook에서 개발한 CG/SQL 프로젝트를 언급할 수 있습니다. CG/SQL을 사용하면 표준 C 라이브러리의 기능을 호출하고 SQLite의 데이터에 액세스할 수 있는 T-SQL(Transact-SQL)의 특수 언어로 저장 프로시저를 설계할 수 있습니다. 생성된 저장 프로시저는 SQLite C API를 사용하여 지정된 작업을 수행하고 복잡한 쿼리를 처리하는 C 코드로 컴파일됩니다. 컴파일된 저장 프로시저는 C, Java 및 Objective-C 프로그램에 연결할 수 있습니다. 프로젝트 코드는 C로 작성되었으며 MIT 라이선스에 따라 배포됩니다.

출처 : opennet.ru