{"id":36999,"date":"2019-10-31T22:15:13","date_gmt":"2019-10-31T19:15:13","guid":{"rendered":"https:\/\/prohoster.info\/blog\/haki-pri-rabote-s-bolshim-chislom-melkih-fajlov\/"},"modified":"2019-10-31T22:15:13","modified_gmt":"2019-10-31T19:15:13","slug":"haki-pri-rabote-s-bolshim-chislom-melkih-fajlov","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/haki-pri-rabote-s-bolshim-chislom-melkih-fajlov","title":{"rendered":"Tricks f\u00f6r att hantera ett stort antal sm\u00e5 filer","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Id\u00e9n till artikeln f\u00f6ddes spontant ur en diskussion i kommentarerna till en artikel \u00bbN\u00e5got om inode\u00ab<\/a><\/noindex>.<\/p>\n

\"Tricks
\n
\nProblemet \u00e4r att den interna specifikationen f\u00f6r v\u00e5ra tj\u00e4nsters arbete inneb\u00e4r att vi lagrar ett enormt antal sm\u00e5 filer. F\u00f6r n\u00e4rvarande har vi cirka hundratals terabyte av s\u00e5dana data. Och vi har st\u00f6tt p\u00e5 vissa uppenbara och mindre uppenbara fallgropar och har framg\u00e5ngsrikt tagit oss f\u00f6rbi dem.<\/p>\n

D\u00e4rf\u00f6r delar jag med mig av v\u00e5r erfarenhet, kanske det kan vara till nytta f\u00f6r n\u00e5gon.
\n<\/a><\/noindex><\/p>\n

Problem ett: \u00bbInte tillr\u00e4ckligt med utrymme p\u00e5 enheten\u00ab<\/h2>\n

\nSom n\u00e4mnts i den ovan n\u00e4mnda artikeln \u00e4r problemet att det finns lediga block p\u00e5 filsystemet, men inoderna \u00e4r slut.<\/p>\n

Antalet anv\u00e4nda och lediga inoder kan kontrolleras med kommandot df -ih<\/code>:<\/p>\n

\"Tricks
\n
\nJag t\u00e4nker inte sammanfatta artikeln, men kort sagt, p\u00e5 disken finns det b\u00e5de block direkt f\u00f6r data och block f\u00f6r meta-information, som ocks\u00e5 kallas inoder (index-nod). Deras antal anges vid initiering av filsystemet (det handlar om ext2 och dess efterf\u00f6ljare) och \u00e4ndras inte efter det. Balansen mellan datablock och inoder ber\u00e4knas utifr\u00e5n genomsnittliga data; i v\u00e5rt fall, n\u00e4r det finns m\u00e5nga sm\u00e5 filer, b\u00f6r balansen luta mer \u00e5t antalet inoder\u2014de b\u00f6r vara fler.<\/p>\n

I Linux finns redan alternativ med olika balans, och alla dessa f\u00f6rber\u00e4knade konfigurationer finns i filen \/etc\/mke2fs.conf<\/code>.
\nD\u00e4rf\u00f6r kan r\u00e4tt profil anges vid den f\u00f6rsta initialiseringen av filsystemet genom mke2fs.<\/p>\n

H\u00e4r \u00e4r n\u00e5gra exempel fr\u00e5n filen:<\/p>\n

    small = {\n        blocksize = 1024\n        inode_size = 128\n        inode_ratio = 4096\n    }\n\n    big = {\n        inode_ratio = 32768\n    }\n\n    largefile = {\n        inode_ratio = 1048576\n        blocksize = -1\n    }\n<\/code><\/pre>\n
\n\u0412\u044b\u0431\u0440\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0439 \u0432\u0430\u0440\u0438\u0430\u043d\u0442 \u0438\u0441\u043f\u043e\u043b\u044c\u0437\u043e\u0432\u0430\u043d\u0438\u044f \u043c\u043e\u0436\u043d\u043e \u043e\u043f\u0446\u0438\u0435\u0439 «-T» \u043f\u0440\u0438 \u0432\u044b\u0437\u043e\u0432\u0435 mke2fs. \u0422\u0430\u043a\u0436\u0435 \u043c\u043e\u0436\u043d\u043e \u0432\u0440\u0443\u0447\u043d\u0443\u044e \u0437\u0430\u0434\u0430\u0442\u044c \u043d\u0443\u0436\u043d\u044b\u0435 \u043f\u0430\u0440\u0430\u043c\u0435\u0442\u0440\u044b, \u0435\u0441\u043b\u0438 \u043d\u0435\u0442 \u0433\u043e\u0442\u043e\u0432\u043e\u0433\u043e \u0440\u0435\u0448\u0435\u043d\u0438\u044f.<\/p>\n
Mer information finns i manualerna f\u00f6r mke2fs.conf<\/code> och mke2fs<\/code>.<\/p>\n
En s\u00e4rskild egenskap som inte ber\u00f6rdes i den ovan n\u00e4mnda artikeln \u00e4r att blockstorlek f\u00f6r data kan anges. Uppenbarligen finns det f\u00f6r stora filer en f\u00f6rdel med en st\u00f6rre blockstorlek, f\u00f6r sm\u00e5filer en mindre. <\/p>\n
Det \u00e4r dock v\u00e4rt att ta h\u00e4nsyn till en intressant funktion, n\u00e4mligen processorarkitekturen.
\nJag funderade en g\u00e5ng p\u00e5 att jag beh\u00f6vde en st\u00f6rre blockstorlek f\u00f6r stora fotofiler. Det var under hemaf\u00f6rh\u00e5llanden, p\u00e5 en hemlagringsl\u00f6sning av WD byggd p\u00e5 ARM-arkitektur. Utan att t\u00e4nka f\u00f6r mycket, st\u00e4llde jag blockstorleken till antingen 8k eller 16k ist\u00e4llet f\u00f6r standard 4k, efter att ha m\u00e4tt f\u00f6rdelen. Och allt var utm\u00e4rkt precis tills lagringsl\u00f6sningen gick s\u00f6nder, samtidigt som disken var intakt. N\u00e4r jag satte disken i en vanlig dator med en vanlig Intel-processor fick jag en \u00f6verraskning: en icke-st\u00f6dd blockstorlek. Vilken \u00f6verraskning. Data fanns, allt var bra, men det gick inte att l\u00e4sa. i386-processorer och liknande klarar inte av blockstorlekar som inte motsvarar minnessidans storlek, som \u00e4r exakt 4k. I allm\u00e4nhet slutade det med att vi anv\u00e4nde verktyg fr\u00e5n anv\u00e4ndarrummet, allt var l\u00e5ngsamt och sorgligt, men vi r\u00e4ddade data. F\u00f6r den som \u00e4r intresserad - googla namnet p\u00e5 verktyget. fuseext2<\/code>. Moralen: antingen t\u00e4nker man igenom alla scenarier p\u00e5 f\u00f6rhand, eller s\u00e5 f\u00f6rs\u00f6ker man inte vara en superhj\u00e4lte och anv\u00e4nder standardinst\u00e4llningar f\u00f6r hush\u00e5ll.<\/p>\n
UPD. P\u00e5 anv\u00e4ndarens anm\u00e4rkning berez<\/a><\/noindex> f\u00f6rtydligar jag att f\u00f6r i386 f\u00e5r blockstorleken inte \u00f6verstiga 4k, men den beh\u00f6ver inte n\u00f6dv\u00e4ndigtvis vara exakt 4k, s\u00e5 1k och 2k \u00e4r godk\u00e4nda.<\/p>\n
S\u00e5 h\u00e4r l\u00f6ste vi problemen.<\/p>\n
F\u00f6r det f\u00f6rsta st\u00f6tte vi p\u00e5 problemet n\u00e4r den multiterabyte disken var full av data och vi inte kunde \u00e4ndra konfigurationen av filsystemet.<\/p>\n
F\u00f6r det andra beh\u00f6vdes en snabb l\u00f6sning.<\/p>\n
Till slut kom vi fram till att vi var tvungna att \u00e4ndra balansen och minska antalet filer.
\nF\u00f6r att minska antalet filer beslutade vi att packa filerna i ett gemensamt arkiv. Med tanke p\u00e5 v\u00e5r specifik profil packade vi alla filer fr\u00e5n en viss tidsperiod i ett arkiv och genomf\u00f6rde arkivering med en cron-jobb varje natt.<\/p>\n
Vi valde zip-arkivet. I kommentarerna till den tidigare artikeln f\u00f6reslogs tar, men det finns en sv\u00e5righet: det har ingen katalog, och filerna i det \u00e4r sekventiella (inte f\u00f6r inte som \"tar\" \u00e4r en f\u00f6rkortning av \"Tape Archive\", ett arv fr\u00e5n bandlagring), dvs. om du beh\u00f6ver l\u00e4sa en fil i slutet av arkivet - m\u00e5ste du l\u00e4sa hela arkivet, eftersom det inte finns n\u00e5gra f\u00f6rskjutningar f\u00f6r varje fil i f\u00f6rh\u00e5llande till b\u00f6rjan av arkivet. D\u00e4rf\u00f6r \u00e4r det en l\u00e5ngsam operation. Med zip \u00e4r allt mycket b\u00e4ttre: det har just den katalogen och filernas f\u00f6rskjutningar inuti arkivet, och \u00e5tkomsttiden till varje fil beror inte p\u00e5 dess placering. I v\u00e5rt fall kunde vi st\u00e4lla in komprimeringsalternativet \"0\" eftersom alla filer redan var komprimerade i gzip.<\/p>\n
Kunder h\u00e4mtar filer via nginx, och enligt det gamla API:t anges bara filnamnet, till exempel s\u00e5 h\u00e4r:<\/p>\n
http:\/\/www.server.com\/hydra\/20170416\/0453\/3bd24ae7-1df4-4d76-9d28-5b7fcb7fd8e5\n<\/code><\/pre>\n
\nF\u00f6r att i realtid packa upp filer, hittade och kopplade vi modulen nginx-unzip-module (https:\/\/github.com\/youzee\/nginx-unzip-module<\/a><\/noindex>) och konfigurerade tv\u00e5 upstreams.<\/p>\n
Resultatet blev en s\u00e5dan konfiguration:<\/p>\n
\"Tricks
\n
\nDe tv\u00e5 v\u00e4rdarna i inst\u00e4llningarna s\u00e5g ut s\u00e5 h\u00e4r:<\/p>\n
server {\n  listen *:8081;\n\n  location \/ {\n    root      \/home\/filestorage;\n  }\n}<\/code><\/pre>\n
<\/p>\n
server {\n  listen *:8082;\n\n  location ~ ^\/hydra\/(\\d+)\/(\\d+)\/(.*)$ {\n    root      \/home\/filestorage;\n    file_in_unzip_archivefile \"\/home\/filestorage\/hydra\/$1\/$2.zip\";\n    file_in_unzip_extract \"$2\/$3\";\n    file_in_unzip;\n  }\n}\n<\/code><\/pre>\n
\nOch upstream-konfigurationen p\u00e5 den \u00f6verordnade nginx:<\/p>\n
upstream storage {\n  server server.com:8081;\n  server server.com:8082;\n}\n<\/code><\/pre>\n
\nHur det fungerar:<\/p>\n