{"id":121901,"date":"2025-02-13T14:22:07","date_gmt":"2025-02-13T12:22:07","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/reliz-subd-duckdb-1-2-0"},"modified":"2025-02-13T14:22:07","modified_gmt":"2025-02-13T12:22:07","slug":"reliz-subd-duckdb-1-2-0","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/reliz-subd-duckdb-1-2-0","title":{"rendered":"Lan\u00e7amento do SGBD DuckDB 1.2.0","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Foi publicado o lan\u00e7amento do SGBD DuckDB 1.2.0, focado na execu\u00e7\u00e3o de consultas anal\u00edticas e que, de forma conceitual, lembra o SQLite. O DuckDB combina propriedades do SQLite, como compacta\u00e7\u00e3o, conex\u00e3o como biblioteca embutida, armazenamento de banco de dados em um \u00fanico arquivo e interface de linha de comando, com recursos e otimiza\u00e7\u00f5es para executar consultas anal\u00edticas que abrangem uma parte significativa dos dados armazenados, como agrega\u00e7\u00f5es de todo o conte\u00fado de tabelas ou fus\u00f5es de v\u00e1rias tabelas grandes. O c\u00f3digo do projeto \u00e9 escrito em C++ e \u00e9 distribu\u00eddo sob a licen\u00e7a MIT. <\/p>\n
O DuckDB fornece um dialeto avan\u00e7ado da linguagem SQL, que inclui recursos adicionais para o processamento de consultas muito complexas e longas. \u00c9 poss\u00edvel utilizar tipos complexos (arrays, estruturas, uni\u00f5es), bem como executar subconsultas correlacionadas arbitr\u00e1rias e aninhadas. Suporte para a execu\u00e7\u00e3o simult\u00e2nea de v\u00e1rias consultas, execu\u00e7\u00e3o de consultas diretamente de arquivos nos formatos CSV e Parquet \u00e9 suportado. A importa\u00e7\u00e3o de SGBDs PostgreSQL tamb\u00e9m \u00e9 poss\u00edvel. <\/p>\n
O projeto utiliza um shell de SQLite, parser do PostgreSQL, componente de Data Math do MonetDB, sua pr\u00f3pria implementa\u00e7\u00e3o de fun\u00e7\u00f5es de janelas (baseada no algoritmo Segment Tree Aggregation), um processador de express\u00f5es regulares baseado na biblioteca RE2, um otimizador de consultas pr\u00f3prio, um mecanismo MVCC de controle de concorr\u00eancia (Controle de Concorr\u00eancia Multi-vers\u00e3o), al\u00e9m de um mecanismo de execu\u00e7\u00e3o de consultas vetorizado baseado no algoritmo Hyper-Pipelining Query Execution, permitindo que grandes conjuntos de valores sejam processados em uma \u00fanica opera\u00e7\u00e3o. <\/p>\n
Na nova vers\u00e3o: <\/p>\n
\n
Foi implementado o suporte a novos m\u00e9todos de compacta\u00e7\u00e3o, que n\u00e3o est\u00e3o ativados por padr\u00e3o para garantir a compatibilidade dos arquivos de banco de dados com vers\u00f5es anteriores do DuckDB. Para usar o formato melhorado dos arquivos de banco de dados, foi oferecida a possibilidade de vincular o banco de dados a um n\u00famero de vers\u00e3o \u2014 ao abrir um arquivo usando o par\u00e2metro \u00abSTORAGE_VERSION\u00bb, agora \u00e9 poss\u00edvel especificar a vers\u00e3o m\u00ednima suportada do banco de dados (\u00abATTACH 'file.db' (STORAGE_VERSION 'v1.2.0');\u00bb). Para converter do novo formato para o antigo, pode-se usar o comando SQL COPY, por exemplo: ATTACH 'file1.db'; ATTACH 'converted_file.db' (STORAGE_VERSION 'v1.0.0'); COPY FROM DATABASE file1 TO converted_file;\n
Adicionado suporte para o comando SQL \u00abALTER TABLE \u2026 ADD PRIMARY KEY\u00bb para adicionar uma chave prim\u00e1ria a uma tabela existente.\n
Removida a restri\u00e7\u00e3o que n\u00e3o permitia a reutiliza\u00e7\u00e3o de identificadores para os quais existe um \u00edndice de rastreamento de unicidade, se esses identificadores foram removidos na transa\u00e7\u00e3o atual. Por exemplo, o c\u00f3digo SQL abaixo n\u00e3o gera mais erro: CREATE TABLE students (id INTEGER PRIMARY KEY, name VARCHAR); INSERT INTO students VALUES (1, 'John Doe'); BEGIN; DELETE FROM students WHERE id = 1; INSERT INTO students VALUES (1, 'Jane Doe');\n
Adicionado suporte para carregamento de arquivos CSV nos formatos Latin-1 e UTF-16 (anteriormente, apenas o formato UTF-8 era suportado). FROM read_csv('cities-latin-1.csv', encoding = 'latin-1');\n
Adicionado suporte para o uso de delimitadores multibyte (at\u00e9 4 bytes) em arquivos CSV, permitindo a especifica\u00e7\u00e3o de emojis como delimitadores de colunas. a\ud83d\udc7eb hello\ud83d\udc7eworld FROM read_csv('example.dsv', sep = '\ud83d\udc7e');\n
O modo estrito de an\u00e1lise de arquivos CSV (\u00abstrict_mode = true\u00bb) est\u00e1 ativado por padr\u00e3o, verificando a conformidade com a formata\u00e7\u00e3o da especifica\u00e7\u00e3o RFC 4180. No modo estrito, \u00e9 permitido o uso de apenas um s\u00edmbolo para a separa\u00e7\u00e3o de linhas, o que resultar\u00e1 em erro ao tentar analisar arquivos onde a separa\u00e7\u00e3o de linhas usa n\u00e3o apenas o s\u00edmbolo de nova linha, mas tamb\u00e9m o s\u00edmbolo de retorno de carro (\u00ab\r\n\u00bb).\n
O analisador CSV agora utiliza um novo algoritmo para determinar novas linhas, suportando a paraleliza\u00e7\u00e3o das opera\u00e7\u00f5es. O uso do novo algoritmo acelerou a an\u00e1lise de CSV em cerca de 15%.\n
Removido o limite de tamanho da linha em arquivos CSV (anteriormente, a linha n\u00e3o poderia exceder 8 MB).\n
Ao exportar dados no formato Parquet, foi implementado suporte a hashes (dicion\u00e1rios) e \u00edndices com base no filtro Bloom. Implementado o m\u00e9todo de compress\u00e3o DELTA_BINARY_PACKED, que permite reduzir significativamente o tamanho dos arquivos Parquet.\n
Um modo seguro foi adicionado \u00e0 interface de linha de comando, ativado pela op\u00e7\u00e3o \u00ab-safe\u00bb ou pelo comando \u00ab.safe_mode\u00bb. Neste modo, o acesso \u00e9 permitido apenas ao arquivo de banco de dados originalmente especificado, e a tentativa de abrir outros arquivos resultar\u00e1 em uma mensagem de erro.\n
A interface da linha de comando melhorou o autocompletar. O c\u00f3digo para autocompletar foi adaptado para usar PEG (Gram\u00e1tica de Express\u00e3o de An\u00e1lise).\n
Ao executar comandos na interface de linha de comando, h\u00e1 uma exibi\u00e7\u00e3o visual de grandes n\u00fameros; por exemplo, ao exibir o n\u00famero 100000000, ser\u00e1 acrescentado adicionalmente «(100 milh\u00f5es)».\n
No SQL, foi adicionada a suporte ao sintaxe em que os nomes abreviados de tabelas e express\u00f5es podem ser especificados antes dos valores aos quais eles se referem (em vez de usar a sintaxe «express\u00e3o AS nome»): SELECT e1: some_long_and_winding_expression, e2: t2.a_column_name FROM t1: long_schema.some_long_table_name, t2: short_s.tbl;\n
No comando «SELECT», foi implementado suporte \u00e0 opera\u00e7\u00e3o «RENAME» para renomear campos exibidos ao especificar a express\u00e3o «*»: SELECT * RENAME (col1 AS new_col1) FROM integers;\n
No comando «SELECT», o uso das opera\u00e7\u00f5es «LIKE» e «SIMILAR TO» \u00e9 permitido ao exibir com «*» : SELECT * LIKE ‘val%’ FROM key_val;\n
A qualidade da gera\u00e7\u00e3o de n\u00fameros pseudo-aleat\u00f3rios foi aprimorada.\n
O otimizador de consultas foi modernizado. O desempenho durante o teste TPC-H SF100 aumentou em 13%.\n
Um novo API semelhante ao C foi proposto para o desenvolvimento de plugins, que pode ser usado, por exemplo, para criar novas fun\u00e7\u00f5es agregadas ou tabelas.\n
Foi adicionada a compatibilidade com sistemas que possuem a biblioteca padr\u00e3o C Musl. <\/ul>\n