{"id":36999,"date":"2019-10-31T22:15:13","date_gmt":"2019-10-31T19:15:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/haki-pri-rabote-s-bolshim-chislom-melkih-fajlov\/"},"modified":"2019-10-31T22:15:13","modified_gmt":"2019-10-31T19:15:13","slug":"haki-pri-rabote-s-bolshim-chislom-melkih-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/cs\/blog\/administrirovanie\/haki-pri-rabote-s-bolshim-chislom-melkih-fajlov","title":{"rendered":"Tipy pro pr\u00e1ci s velk\u00fdm mno\u017estv\u00edm mal\u00fdch soubor\u016f","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

N\u00e1pad na \u010dl\u00e1nek vznikl spont\u00e1nn\u011b z diskuse v koment\u00e1\u0159\u00edch k \u010dl\u00e1nku \u201eN\u011bco o inodech\u201c<\/a><\/noindex>.<\/p>\n

\"Tipy
\n
\nJde o to, \u017ee vnit\u0159n\u00ed specifikou fungov\u00e1n\u00ed na\u0161ich slu\u017eeb je uchov\u00e1v\u00e1n\u00ed obrovsk\u00e9ho mno\u017estv\u00ed mal\u00fdch soubor\u016f. V sou\u010dasn\u00e9 dob\u011b m\u00e1me kolem stovek terabajt\u016f t\u011bchto dat. A narazili jsme na n\u011bkter\u00e9 z\u0159ejm\u00e9 i m\u00e9n\u011b z\u0159ejm\u00e9 probl\u00e9my, kter\u00fdmi jsme \u00fasp\u011b\u0161n\u011b pro\u0161li.<\/p>\n

Proto se d\u011bl\u00edm o na\u0161e zku\u0161enosti, mo\u017en\u00e1 budou n\u011bkomu u\u017eite\u010dn\u00e9.
\n<\/a><\/noindex><\/p>\n

Prvn\u00ed probl\u00e9m: \u201eNa za\u0159\u00edzen\u00ed nen\u00ed dostatek m\u00edsta\u201c<\/h2>\n

\nJak bylo zm\u00edn\u011bno v v\u00fd\u0161e uveden\u00e9m \u010dl\u00e1nku, probl\u00e9m spo\u010d\u00edv\u00e1 v tom, \u017ee na souborov\u00e9m syst\u00e9mu jsou voln\u00e9 bloky, ale inody do\u0161ly.<\/p>\n

Po\u010det pou\u017eit\u00fdch a voln\u00fdch inode m\u016f\u017eete zkontrolovat p\u0159\u00edkazem df -ih<\/code>:<\/p>\n

\"Tipy
\n
\nNebudu znovu p\u0159episovat \u010dl\u00e1nek, pokud to shrnu, na disku jsou jak bloky p\u0159\u00edmo pro data, tak bloky pro meta-informace, kter\u00e9 jsou pr\u00e1v\u011b inody (indexov\u00fd uzel). Jejich po\u010det je nastaven p\u0159i inicializaci souborov\u00e9ho syst\u00e9mu (m\u00e1me na mysli ext2 a jeho n\u00e1sledovn\u00edky) a pot\u00e9 se nem\u011bn\u00ed. Vyv\u00e1\u017een\u00ed blok\u016f dat a inode se po\u010d\u00edt\u00e1 na z\u00e1klad\u011b pr\u016fm\u011brn\u00fdch dat, v na\u0161em p\u0159\u00edpad\u011b, kdy je hodn\u011b mal\u00fdch soubor\u016f, by se m\u011blo vyv\u00e1\u017een\u00ed posunout ve prosp\u011bch po\u010dtu inode \u2014 t\u011bch by m\u011blo b\u00fdt v\u00edce.<\/p>\n

V Linuxu u\u017e existuj\u00ed varianty s r\u016fzn\u00fdm vyv\u00e1\u017een\u00edm a v\u0161echny tyto p\u0159edem vypo\u010d\u00edtan\u00e9 konfigurace se nach\u00e1zej\u00ed v souboru \/etc\/mke2fs.conf<\/code>.
\nProto p\u0159i po\u010d\u00e1te\u010dn\u00ed inicializaci souborov\u00e9ho syst\u00e9mu prost\u0159ednictv\u00edm mke2fs m\u016f\u017eete zadat pot\u0159ebn\u00fd profil.<\/p>\n

Zde je n\u011bkolik p\u0159\u00edklad\u016f ze souboru:<\/p>\n

    small = {\n        blocksize = 1024\n        inode_size = 128\n        inode_ratio = 4096\n    }\n\n    big = {\n        inode_ratio = 32768\n    }\n\n    largefile = {\n        inode_ratio = 1048576\n        blocksize = -1\n    }\n<\/code><\/pre>\n
\nVybrat po\u017eadovanou variantu pou\u017eit\u00ed lze pomoc\u00ed volby «-T» p\u0159i vyvol\u00e1n\u00ed mke2fs. Tak\u00e9 lze ru\u010dn\u011b nastavit po\u017eadovan\u00e9 parametry, pokud neexistuje p\u0159edp\u0159ipraven\u00e9 \u0159e\u0161en\u00ed.<\/p>\n
V\u00edce podrobnost\u00ed je uvedeno v manu\u00e1lech pro mke2fs.conf<\/code> a mke2fs<\/code>.<\/p>\n
Nevyzdvihnut\u00e1 v v\u00fd\u0161e zm\u00edn\u011bn\u00e9m \u010dl\u00e1nku zvl\u00e1\u0161tnost \u2014 m\u016f\u017eete nastavit velikost bloku dat. Je z\u0159ejm\u00e9, \u017ee pro velk\u00e9 soubory d\u00e1v\u00e1 smysl v\u011bt\u0161\u00ed velikost bloku, pro mal\u00e9 \u2014 men\u0161\u00ed. <\/p>\n
Je v\u0161ak t\u0159eba vz\u00edt v \u00favahu takovou zaj\u00edmavou zvl\u00e1\u0161tnost, jako je architektura procesoru.
\nJednou jsem si povzdechl, \u017ee pro velk\u00e9 soubory fotografi\u00ed pot\u0159ebuji v\u011bt\u0161\u00ed velikost bloku. Bylo to v dom\u00e1c\u00edch podm\u00ednk\u00e1ch, na dom\u00e1c\u00edm \u00falo\u017ei\u0161ti od WD s architekturou ARM. Bez dlouh\u00e9ho p\u0159em\u00fd\u0161len\u00ed jsem nastavil velikost bloku na 8k nebo 16k nam\u00edsto standardn\u00edch 4k, po p\u0159edchoz\u00edm p\u0159em\u011b\u0159en\u00ed \u00faspory. V\u0161echno bylo skv\u011bl\u00e9 a\u017e do okam\u017eiku, kdy samotn\u00e9 \u00falo\u017ei\u0161t\u011b selhalo, p\u0159i\u010dem\u017e disk byl v po\u0159\u00e1dku. Kdy\u017e jsem disk vlo\u017eil do b\u011b\u017en\u00e9ho po\u010d\u00edta\u010de s b\u011b\u017en\u00fdm procesorem Intel, dostal jsem p\u0159ekvapen\u00ed: nepodporovan\u00e1 velikost bloku. D\u011bs a hr\u016fza. Data existuj\u00ed, v\u0161echno je v po\u0159\u00e1dku, ale nen\u00ed mo\u017en\u00e9 je p\u0159e\u010d\u00edst. Procesory i386 a podobn\u00e9 neum\u011bj\u00ed pracovat s velikostmi bloku, kter\u00e9 neodpov\u00eddaj\u00ed velikosti str\u00e1nky pam\u011bti, a ta je p\u0159esn\u011b 4k. Cel\u00e1 z\u00e1le\u017eitost skon\u010dila pou\u017eit\u00edm utilit z u\u017eivatelsk\u00e9ho prostoru, v\u0161echno bylo pomal\u00e9 a smutn\u00e9, ale data byla zachr\u00e1n\u011bna. Kdo m\u00e1 z\u00e1jem \u2014 hledejte podle n\u00e1zvu utility. fuseext2<\/code>. Mor\u00e1lka: bu\u010f si dop\u0159edu promyslete v\u0161echny sc\u00e9n\u00e1\u0159e, nebo se nechte un\u00e9st a pou\u017e\u00edvejte standardn\u00ed nastaven\u00ed pro dom\u00e1c\u00ed u\u017eivatele.<\/p>\n
UPD. Podle pozn\u00e1mky u\u017eivatele berez<\/a><\/noindex> up\u0159es\u0148uji, \u017ee pro i386 velikost bloku by nem\u011bla p\u0159es\u00e1hnout 4k, ale nemus\u00ed b\u00fdt nutn\u011b p\u0159esn\u011b 4k, tj. jsou povoleny i 1k a 2k.<\/p>\n
Tak\u017ee, jak jsme \u0159e\u0161ili probl\u00e9my.<\/p>\n
Za prv\u00e9, probl\u00e9m jsme narazili, kdy\u017e mnohatera byte disk byl zapln\u011bn daty a nemohli jsme p\u0159ed\u011blat konfiguraci souborov\u00e9ho syst\u00e9mu.<\/p>\n
Za druh\u00e9, \u0159e\u0161en\u00ed bylo pot\u0159eba urgentn\u011b.<\/p>\n
Nakonec jsme dosp\u011bli k z\u00e1v\u011bru, \u017ee je t\u0159eba zm\u011bnit rovnov\u00e1hu a sn\u00ed\u017eit po\u010det soubor\u016f.
\nAbychom sn\u00ed\u017eili po\u010det soubor\u016f, rozhodli jsme se zabalit soubory do jednoho spole\u010dn\u00e9ho archivu. Vzhledem k na\u0161\u00ed specifice jsme ka\u017ed\u00fd m\u011bs\u00edc balili v\u0161echny soubory za ur\u010dit\u00fd \u010dasov\u00fd \u00fasek a prov\u00e1d\u011bli jsme archivaci pomoc\u00ed cron \u00falohy ka\u017edou noc.<\/p>\n
Zvolili jsme zip archiv. V koment\u00e1\u0159\u00edch k p\u0159edchoz\u00edmu \u010dl\u00e1nku byl navr\u017een tar, ale m\u00e1 jednu obt\u00ed\u017e: nem\u00e1 obsah a soubory v n\u011bm jsou uspo\u0159\u00e1d\u00e1ny v \u0159ad\u011b (ne nadarmo se \"tar\" zkracuje jako \"Tape Archive\", d\u011bdictv\u00ed p\u00e1skov\u00fdch \u00falo\u017ei\u0161\u0165), tzn. pokud pot\u0159ebujete p\u0159e\u010d\u00edst soubor na konci archivu, mus\u00edte p\u0159e\u010d\u00edst cel\u00fd archiv, proto\u017ee v n\u011bm nejsou offsety pro ka\u017ed\u00fd soubor vzhledem k za\u010d\u00e1tku archivu. A proto je to dlouh\u00e1 operace. U zip je to mnohem lep\u0161\u00ed: m\u00e1 onen obsah a offsety soubor\u016f uvnit\u0159 archivu a \u010das p\u0159\u00edstupu k ka\u017ed\u00e9mu souboru nez\u00e1vis\u00ed na jeho um\u00edst\u011bn\u00ed. A v na\u0161em p\u0159\u00edpad\u011b bylo mo\u017en\u00e9 nastavit mo\u017enost komprese \"0\", proto\u017ee v\u0161echny soubory byly ji\u017e p\u0159edem komprimov\u00e1ny v gzip.<\/p>\n
Klienti stahuj\u00ed soubory p\u0159es nginx, a podle star\u00e9ho API se uv\u00e1d\u00ed prost\u00e9 jm\u00e9no souboru, nap\u0159\u00edklad takto:<\/p>\n
http:\/\/www.server.com\/hydra\/20170416\/0453\/3bd24ae7-1df4-4d76-9d28-5b7fcb7fd8e5\n<\/code><\/pre>\n
\nAbychom mohli v re\u00e1ln\u00e9m \u010dase rozbalovat soubory, na\u0161li jsme a p\u0159ipojili modul nginx-unzip-module (https:\/\/github.com\/youzee\/nginx-unzip-module<\/a><\/noindex>) a nastavili dva upstreamy.<\/p>\n
V\u00fdsledkem byla takov\u00e1 konfigurace:<\/p>\n
\"Tipy
\n
\nDva hostitel\u00e9 v nastaven\u00ed vypadaly takto:<\/p>\n
server {\n  listen *:8081;\n\n  location \/ {\n    root      \/home\/filestorage;\n  }\n}<\/code><\/pre>\n
<\/p>\n
server {\n  listen *:8082;\n\n  location ~ ^\/hydra\/(d+)\/(d+)\/(.*)$ {\n    root      \/home\/filestorage;\n    file_in_unzip_archivefile \"\/home\/filestorage\/hydra\/$1\/$2.zip\";\n    file_in_unzip_extract \"$2\/$3\";\n    file_in_unzip;\n  }\n}\n<\/code><\/pre>\n
\nA konfigurace upstream\u016f na v\u00fd\u0161e uveden\u00e9m nginx:<\/p>\n
upstream storage {\n  server server.com:8081;\n  server server.com:8082;\n}\n<\/code><\/pre>\n
\nJak to funguje:<\/p>\n