{"id":114563,"date":"2024-03-25T18:26:02","date_gmt":"2024-03-25T16:26:02","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov"},"modified":"2024-03-25T18:26:02","modified_gmt":"2024-03-25T16:26:02","slug":"eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/news\/eksperiment-s-ispolzovaniem-sqlite-v-kachestve-kontejnera-dlya-arhivirovaniya-fajlov","title":{"rendered":"Eksperyment z u\u017cyciem SQLite jako kontenera do archiwizacji plik\u00f3w","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Projekt Pack podj\u0105\u0142 pr\u00f3b\u0119 stworzenia formatu do archiwizacji plik\u00f3w, opartego na bibliotece SQLite i algorytmie kompresji ZSTD (Zstandard). Przygotowany prototyp, napisany w j\u0119zyku Pascal i dystrybuowany na licencji Apache 2.0, wyprzedza\u0142 najpopularniejsze programy archiwizuj\u0105ce pod wzgl\u0119dem pr\u0119dko\u015bci tworzenia archiw\u00f3w, przy czym jego dzia\u0142anie ogranicza\u0142o si\u0119 do odczytu danych, kompresji za pomoc\u0105 biblioteki libzstd oraz wykonywania operacji SQL dodawania skompresowanych danych do pliku z baz\u0105 danych SQLite. <\/p>\n
Podczas kompresji katalogu zawieraj\u0105cego 81 tysi\u0119cy plik\u00f3w o \u0142\u0105cznej wielko\u015bci 1,25 GB, Pack okaza\u0142 si\u0119 112 razy szybszy od narz\u0119dzia ZIP, wykonuj\u0105c operacj\u0119 w 1,3 sekundy w por\u00f3wnaniu do 146 sekund, kt\u00f3re zaj\u0119\u0142o ZIP. Przy tym rozmiar archiwum w Pack okaza\u0142 si\u0119 o 23% mniejszy (194 MB w Pack i 253 MB w ZIP). Dla por\u00f3wnania, narz\u0119dzie tar wykona\u0142o kompresj\u0119 w 4,7 sekundy bez kompresji i w 28,5 sekundy z kompresj\u0105 metod\u0105 gzip, archiwizator RAR poradzi\u0142 sobie z testem w 27,5 sekundy, a 7z w 54,2 sekundy. Rozmiary archiw\u00f3w wynios\u0142y: tar.gz \u2014 214 MB, RAR \u2014 235 MB, 7z \u2014 135 MB. Zauwa\u017cono, \u017ce pod wzgl\u0119dem szybko\u015bci rozpakowywania i dost\u0119pu losowego do plik\u00f3w, Pack r\u00f3wnie\u017c przewy\u017csza inne archiwizatory, zu\u017cywaj\u0105c przy tym mniej pami\u0119ci operacyjnej. ZIP: 253 MB, 146 s 7z: 135 MB, 54,2 s szybciej o 2,7 raza tar.gz: 214 MB, 28,5 s x 5,1 RAR: 235 MB, 27,5 s x 5,3 tar: 1345 MB, 4,7 s x 31 Pack: 194 MB, 1,3 s x 112 <\/p>\n
Nie wspomniano o wp\u0142ywie pami\u0119ci podr\u0119cznej plik\u00f3w na wyniki testu. Prawdopodobnie niska pr\u0119dko\u015b\u0107 ZIP jest spowodowana kolejno\u015bci\u0105 uruchamiania test\u00f3w bez uwzgl\u0119dnienia buforowania danych w pami\u0119ci \u2014 test z ZIP zosta\u0142 przeprowadzony przy zimnej pami\u0119ci podr\u0119cznej, podczas gdy pozosta\u0142e testy przy rozgrzanej. W normalnych warunkach Zstandard wykazuje 3-5 razy wy\u017csz\u0105 pr\u0119dko\u015b\u0107 kompresji w por\u00f3wnaniu do zlib i dwukrotnie szybsze rozpakowywanie, przy poziomie kompresji wy\u017cszym o 10-15%. <\/p>\n
Uzupe\u0142nienie: Podobny pomys\u0142 przechowywania skompresowanych plik\u00f3w w postaci blob\u00f3w w bazie danych SQLite zosta\u0142 zrealizowany w 2014 roku w archiwizatorze sqlar, stworzonym przez tw\u00f3rc\u00f3w SQLite jako eksperyment w celu oceny efektywno\u015bci przechowywania blob\u00f3w w SQLite. W sqlar do kompresji stosuje si\u0119 zlib, a rozmiar plik\u00f3w jest oko\u0142o 2% wi\u0119kszy ni\u017c w przypadku narz\u0119dzia ZIP. \n \u0179r\u00f3d\u0142o: opennet.ru<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"