{"id":114563,"date":"2024-03-25T18:26:02","date_gmt":"2024-03-25T16:26:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov"},"modified":"2024-03-25T18:26:02","modified_gmt":"2024-03-25T16:26:02","slug":"eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/news\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","title":{"rendered":"Experimento com o uso do SQLite como cont\u00eainer para arquivamento de arquivos.","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
O projeto Pack tentou criar um formato de compacta\u00e7\u00e3o de arquivos baseado na biblioteca SQLite e no algoritmo de compress\u00e3o ZSTD (Zstandard). O prot\u00f3tipo preparado, escrito na linguagem Pascal e distribu\u00eddo sob a licen\u00e7a Apache 2.0, superou em velocidade os utilit\u00e1rios de compacta\u00e7\u00e3o mais comuns, sendo que seu funcionamento se restringia \u00e0 leitura de dados, compress\u00e3o pela biblioteca libzstd e execu\u00e7\u00e3o de opera\u00e7\u00f5es SQL para adicionar os dados compactados ao arquivo com o banco de dados SQLite. <\/p>\n
Ao compactar um diret\u00f3rio com 81 mil arquivos, totalizando 1,25 GB, o Pack se mostrou 112 vezes mais r\u00e1pido que a ferramenta ZIP, completando a opera\u00e7\u00e3o em 1,3 segundos, em compara\u00e7\u00e3o com 146 segundos do ZIP. O tamanho do arquivo compactado pelo Pack foi 23% menor (194 MB no Pack e 253 MB no ZIP). Para compara\u00e7\u00e3o, a ferramenta tar fez a compacta\u00e7\u00e3o em 4,7 segundos sem compress\u00e3o e em 28,5 segundos com compress\u00e3o gzip, enquanto o compactador RAR levou 27,5 segundos para concluir o teste e o 7z, 54,2 segundos. Os tamanhos dos arquivos compactados foram: tar.gz \u2014 214 MB, RAR \u2014 235 MB, 7z \u2014 135 MB. Observa-se que, em termos de velocidade de descompacta\u00e7\u00e3o e acesso aleat\u00f3rio a arquivos, o Pack tamb\u00e9m supera outros compactadores, consumindo menos mem\u00f3ria RAM no processo. ZIP: 253 MB, 146 s 7z: 135 MB, 54,2 s mais r\u00e1pido que o ZIP em 2,7 vezes tar.gz: 214 MB, 28,5 s x 5,1 RAR: 235 MB, 27,5 s x 5,3 tar: 1345 MB, 4,7 s x 31 Pack: 194 MB, 1,3 s x 112 <\/p>\n
N\u00e3o h\u00e1 men\u00e7\u00e3o ao impacto do cache de arquivos nos resultados do teste. Provavelmente, a baixa velocidade do ZIP se deve \u00e0 ordem de execu\u00e7\u00e3o dos testes, sem considerar o cache de dados na mem\u00f3ria \u2014 o teste com zip foi realizado com cache frio, enquanto os outros testes foram feitos com cache aquecido. Em condi\u00e7\u00f5es normais, o Zstandard demonstra uma velocidade de compress\u00e3o de 3 a 5 vezes superior \u00e0 do zlib e uma descompress\u00e3o duas vezes mais r\u00e1pida, com n\u00edveis de compress\u00e3o superiores em 10-15%. <\/p>\n
Adendo: Uma ideia semelhante de armazenar arquivos compactados como blobs em um banco de dados SQLite foi implementada em 2014 no compactador sqlar, criado pelos desenvolvedores do SQLite como um experimento para avaliar a efici\u00eancia do armazenamento de blobs no SQLite. No sqlar, a compress\u00e3o usa zlib e o tamanho dos arquivos \u00e9 aproximadamente 2% maior do que o da ferramenta ZIP. \n Fonte: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"