{"id":36999,"date":"2019-10-31T22:15:13","date_gmt":"2019-10-31T19:15:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/haki-pri-rabote-s-bolshim-chislom-melkih-fajlov\/"},"modified":"2019-10-31T22:15:13","modified_gmt":"2019-10-31T19:15:13","slug":"haki-pri-rabote-s-bolshim-chislom-melkih-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/ro\/blog\/administrirovanie\/haki-pri-rabote-s-bolshim-chislom-melkih-fajlov","title":{"rendered":"Trucuri pentru lucrul cu un num\u0103r mare de fi\u0219iere mici","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Ideea articolului a ap\u0103rut spontan dintr-o discu\u021bie \u00een comentariile la articol \u201eC\u00e2te ceva despre inode\u201d<\/a><\/noindex>.<\/p>\n

\"Trucuri
\n
\nProblema este c\u0103 specificitatea intern\u0103 a func\u021bion\u0103rii serviciilor noastre const\u0103 \u00een stocarea unui num\u0103r enorm de fi\u0219iere mici. \u00cen prezent, avem aproximativ sute de terabay\u021bi de astfel de date. \u0218i ne-am lovit de c\u00e2teva capcane evidente \u0219i nu foarte evidente \u0219i am reu\u0219it s\u0103 le dep\u0103\u0219im.<\/p>\n

De aceea \u00eemp\u0103rt\u0103\u0219esc experien\u021ba noastr\u0103, poate va fi de folos cuiva.
\n<\/a><\/noindex><\/p>\n

Prima problem\u0103: \u201eNo space left on device\u201d<\/h2>\n

\nA\u0219a cum s-a men\u021bionat \u00een articolul men\u021bionat anterior, problema este c\u0103 exist\u0103 blocuri libere pe sistemul de fi\u0219iere, dar inode-urile s-au terminat.<\/p>\n

Pentru a verifica num\u0103rul de inode-uri utilizate \u0219i disponibile, se poate folosi comanda df -ih<\/code>:<\/p>\n

\"Trucuri
\n
\nNu voi relata articolul, pe scurt, pe disc exist\u0103 at\u00e2t blocuri pentru date, c\u00e2t \u0219i blocuri pentru metainforma\u021bii, acestea fiind inode-urile (index node). Num\u0103rul lor este stabilit la ini\u021bializarea sistemului de fi\u0219iere (vorbim despre ext2 \u0219i succesorii s\u0103i) \u0219i nu se schimb\u0103 ulterior. Echilibrul \u00eentre blocurile de date \u0219i inode-uri este calculat pe baza unor date statistice medii, \u00een cazul nostru, c\u00e2nd avem multe fi\u0219iere mici, balansul ar trebui s\u0103 se \u00eencline spre num\u0103rul de inode-uri \u2014 acestea ar trebui s\u0103 fie mai numeroase.<\/p>\n

\u00cen Linux, deja au fost prev\u0103zute op\u021biuni cu un echilibru diferit, iar toate aceste configura\u021bii pre-calculate se afl\u0103 \u00een fi\u0219ierul \/etc\/mke2fs.conf<\/code>.
\nDe aceea, la ini\u021bializarea ini\u021bial\u0103 a sistemului de fi\u0219iere prin mke2fs, se poate indica profilul dorit.<\/p>\n

Iat\u0103 c\u00e2teva exemple din fi\u0219ier:<\/p>\n

    small = {\n        blocksize = 1024\n        inode_size = 128\n        inode_ratio = 4096\n    }\n\n    big = {\n        inode_ratio = 32768\n    }\n\n    largefile = {\n        inode_ratio = 1048576\n        blocksize = -1\n    }\n<\/code><\/pre>\n
\nPute\u021bi alege op\u021biunea dorit\u0103 de utilizare folosind op\u021biunea «-T» la apelul mke2fs. De asemenea, pute\u021bi seta manual parametrii necesari, dac\u0103 nu exist\u0103 o solu\u021bie gata preg\u0103tit\u0103.<\/p>\n
Mai multe detalii sunt descrise \u00een manualele pentru mke2fs.conf<\/code> \u0219i mke2fs<\/code>.<\/p>\n
O caracteristic\u0103 care nu a fost men\u021bionat\u0103 \u00een articolul men\u021bionat anterior este posibilitatea de a stabili dimensiunea blocului de date. Este evident c\u0103 pentru fi\u0219iere mari are sens s\u0103 existe o dimensiune mai mare a blocului, iar pentru cele mici \u2014 una mai mic\u0103. <\/p>\n
Totu\u0219i, trebuie s\u0103 \u021binem cont de o caracteristic\u0103 interesant\u0103, \u0219i anume arhitectura procesorului.
\nM-am g\u00e2ndit odat\u0103 c\u0103 am nevoie de o dimensiune mai mare a blocului pentru fi\u0219ierele mari cu poze. A fost o chestiune de utilizare acas\u0103, pe un server de stocare de tip WD pe arhitectura ARM. F\u0103r\u0103 s\u0103 stau prea mult pe g\u00e2nduri, am setat dimensiunea blocului la 8k sau 16k \u00een loc de standardul de 4k, m\u0103sur\u00e2nd \u00een prealabil economiile. \u0218i totul a fost minunat, p\u00e2n\u0103 \u00een momentul \u00een care stocarea a cedat, dar discul era intact. Pune\u021bi discul \u00eentr-un computer obi\u0219nuit cu un procesor Intel, \u0219i am avut surpriza: dimensiune a blocului nesuportat\u0103. Ne-am \u00eempotmolit. Datele sunt acolo, totul este bine, dar nu se pot citi. procesoarele i386 \u0219i similare nu pot lucra cu dimensiuni ale blocului care nu corespund dimensiunii paginii de memorie, care este exact 4k. \u00cen esen\u021b\u0103, totul s-a terminat prin utilizarea utilitarelor din spa\u021biul utilizatorului, totul a fost lent \u0219i trist, dar datele au fost salvate. Pentru cei interesa\u021bi \u2014 c\u0103uta\u021bi dup\u0103 numele utilitarului. fuseext2<\/code>. Morala: fie s\u0103 g\u00e2nde\u0219ti toate cazurile \u00een avans, fie s\u0103 nu te compor\u021bi ca un supererou \u0219i s\u0103 folose\u0219ti set\u0103rile standard pentru utilizatorii obi\u0219nui\u021bi.<\/p>\n
UPD. Ca urmare a observa\u021biei utilizatorului berez<\/a><\/noindex> clarific c\u0103 pentru i386 dimensiunea blocului nu trebuie s\u0103 dep\u0103\u0219easc\u0103 4k, dar nu trebuie neap\u0103rat s\u0103 fie exact 4k, adic\u0103 dimensiunile de 1k \u0219i 2k sunt permise.<\/p>\n
Deci, iat\u0103 cum am rezolvat problemele.<\/p>\n
\u00cen primul r\u00e2nd, ne-am confruntat cu problema c\u00e2nd discul de multe terabytes era plin de date, iar reconfigurarea sistemului de fi\u0219iere nu era posibil\u0103.<\/p>\n
\u00cen al doilea r\u00e2nd, aveam nevoie de o solu\u021bie urgent\u0103.<\/p>\n
\u00cen cele din urm\u0103, am ajuns la concluzia c\u0103 trebuie s\u0103 ajust\u0103m echilibrul, reduc\u00e2nd num\u0103rul de fi\u0219iere.
\nPentru a reduce num\u0103rul de fi\u0219iere, s-a decis s\u0103 arhiv\u0103m fi\u0219ierele \u00eentr-un singur arhiv\u0103 comun\u0103. Av\u00e2nd \u00een vedere specificitatea noastr\u0103, am arhivat toate fi\u0219ierele pentru o anumit\u0103 perioad\u0103 de timp \u0219i am efectuat arhivarea printr-o sarcin\u0103 cron zilnic, noaptea.<\/p>\n
Am ales arhiva zip. \u00cen comentariile de la articolul anterior s-a sugerat tar, dar exist\u0103 o dificultate: acesta nu are o tabel\u0103 de con\u021binut, iar fi\u0219ierele sunt aranjate secven\u021bial (nu degeaba \u00abtar\u00bb este un acronim pentru \u00abTape Archive\u00bb, mo\u0219tenire de la unit\u0103\u021bile de band\u0103), adic\u0103 dac\u0103 vrei s\u0103 cite\u0219ti un fi\u0219ier la sf\u00e2r\u0219itul arhivei, trebuie s\u0103 cite\u0219ti \u00eentreaga arhiv\u0103, deoarece nu exist\u0103 offset-uri pentru fiecare fi\u0219ier \u00een raport cu \u00eenceputul arhivei. A\u0219adar, aceasta este o opera\u021biune \u00eendelungat\u0103. \u00cen zip este mult mai bine: are tocmai acea tabel\u0103 de con\u021binut \u0219i offset-uri pentru fi\u0219iere \u00een interiorul arhivei, iar timpul de acces la fiecare fi\u0219ier nu depinde de pozi\u021bia sa. \u00cen cazul nostru, am putut seta op\u021biunea de compresie \u201e0\u201d, deoarece toate fi\u0219ierele au fost deja comprimate \u00een gzip.<\/p>\n
Clien\u021bii descarc\u0103 fi\u0219ierele prin nginx, \u0219i conform vechiului API, se specific\u0103 simplu numele fi\u0219ierului, de exemplu:<\/p>\n
http:\/\/www.server.com\/hydra\/20170416\/0453\/3bd24ae7-1df4-4d76-9d28-5b7fcb7fd8e5\n<\/code><\/pre>\n
\nPentru a decomprima fi\u0219ierele \u00een timp real, am g\u0103sit \u0219i conectat modulul nginx-unzip-module (https:\/\/github.com\/youzee\/nginx-unzip-module<\/a><\/noindex>) \u0219i am configurat dou\u0103 upstream-uri.<\/p>\n
Ca rezultat, am ob\u021binut urm\u0103toarea configura\u021bie:<\/p>\n
\"Trucuri
\n
\nCele dou\u0103 gazde din set\u0103ri ar\u0103tau astfel:<\/p>\n
server {\n  listen *:8081;\n\n  location \/ {\n    root      \/home\/filestorage;\n  }\n}<\/code><\/pre>\n
<\/p>\n
server {\n  listen *:8082;\n\n  location ~ ^\/hydra\/(d+)\/(d+)\/(.*)$ {\n    root      \/home\/filestorage;\n    file_in_unzip_archivefile \"\/home\/filestorage\/hydra\/$1\/$2.zip\";\n    file_in_unzip_extract \"$2\/$3\";\n    file_in_unzip;\n  }\n}\n<\/code><\/pre>\n
\n\u0218i configura\u021bia upstream-urilor pe nginx-ul superior:<\/p>\n
upstream storage {\n  server server.com:8081;\n  server server.com:8082;\n}\n<\/code><\/pre>\n
\nCum func\u021bioneaz\u0103:<\/p>\n