Lanzouse DuckDB 1.4.0, un DBMS centrado en consultas analíticas e conceptualmente similar a SQLite. DuckDB combina o tamaño compacto de SQLite, a biblioteca conectable, o almacenamento de bases de datos dun ficheiro e a interface CLI con capacidades e optimizacións para executar consultas analíticas que abranguen unha gran parte dos datos almacenados, como agregar o contido completo das táboas ou combinar varias táboas grandes. O código do proxecto está escrito en C++ e distribúese baixo a licenza MIT.
DuckDB ofrece un dialecto estendido da linguaxe SQL que inclúe capacidades adicionais para xestionar consultas moi complexas e de longa duración. É posible utilizar tipos complexos (matrices, estruturas, unións), así como executar subconsultas correlacionadas arbitrarias e aniñadas. Admítese a execución simultánea de varias consultas, a execución de consultas directamente desde ficheiros CSV e Parquet. Soporte para importación desde PostgreSQL DBMS está dispoñible.
O proxecto utiliza un shell de SQLite, un analizador de PostgreSQL, un compoñente Date Math de MonetDB, a súa propia implementación de funcións de fiestra (baseada no algoritmo de agregación de árbores de segmentos), un procesador de expresións regulares baseado na biblioteca RE2, o seu propio optimizador de consultas, un mecanismo MVCC para xestionar a execución simultánea de tarefas e un motor de execución de tarefas baseada en Hyper-Version (Control de moedas multilingües). Algoritmo de execución de consulta, que permite procesar grandes conxuntos de valores nunha soa operación.
Na nova versión:
- Engadiuse compatibilidade co almacenamento de ficheiros de bases de datos cifrados. O algoritmo AES-256 úsase para o cifrado no modo GCM. Este cifrado inclúe non só o ficheiro de datos principal, senón tamén os rexistros de WAL e os ficheiros temporais. As claves de cifrado da base de datos especifícanse mediante o comando ATTACH a través do parámetro ENCRYPTION_KEY. ATTACH 'encrypted.db' AS enc_db (ENCRYPTION_KEY 'quack_quack');
- Engadiuse compatibilidade co comando MERGE INTO, que se pode usar como alternativa á sentenza INSERT … ON CONFLICT, non require unha chave primaria e funciona con condicións de fusión arbitrarias. O comando MERGE INTO permíteche crear expresións SQL condicionais que combinan as operacións INSERT, UPDATE e DELETE nunha soa sentenza. Por exemplo, usando MERGE, podes fusionar dúas táboas, inserir rexistros que faltan e actualizar os existentes. WITH eliminacións(id_elemento, limiar_delete) AS (VALUES (10, 3000)) MERGE INTO Stock USING eliminacións USING (id_elemento) WHEN MATCHED AND balance < limiar_delete THEN DELETE RETURNING acción_fusión, *;
- Ademais de traballar con táboas no formato Apache Iceberg, engadiuse compatibilidade con operacións de escritura (antes só se admitían operacións de lectura), o que permite transferir datos de Iceberg a DuckDB e viceversa.
- O cliente da liña de comandos actualizouse cun indicador de progreso para a operación, que predí o tempo restante ata a súa finalización.
- Engadiuse a función de xanela FILL, que se pode usar para interpolar valores que faltan en xanelas ordenadas. FROM (VALUES (1, 1), (2, NULL), (3, 42)) t(c1, c2) SELECT fill(c2) OVER (ORDER BY c1) f; 1 21 42
- Implementouse o complemento Teradata Connector para conectarse ás bases de datos de Teradata. O complemento permite manipular táboas, executar consultas e executar comandos SQL directamente en Teradata usando DuckDB.
- Engadiuse compatibilidade cos puntos de control en táboas na memoria, o que permite a compresión. Os puntos de control tamén purgan as filas eliminadas e recuperan espazo despois das operacións de eliminación. ATTACH ':memory:' AS memory_compressed (COMPRESS);
- Propuxéronse varias optimizacións de rendemento: a implementación da ordenación cambiouse a un algoritmo de ordenación por fusión de k vías, o que reduce o movemento de datos. As expresións de táboa comúns (CTE) agora están materializadas por defecto.
Fonte: opennet.ru
