{"id":55408,"date":"2020-01-20T00:00:00","date_gmt":"2020-01-19T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/effektivnoe-hranenie-soten-millionov-malenkih-fajlov-self-hosted-reshenie"},"modified":"2020-02-18T14:03:31","modified_gmt":"2020-02-18T11:03:31","slug":"effektivnoe-hranenie-soten-millionov-malenkih-fajlov-self-hosted-reshenie","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/effektivnoe-hranenie-soten-millionov-malenkih-fajlov-self-hosted-reshenie","title":{"rendered":"Saja miljoni v\u00e4ikese faili t\u00f5hus s\u00e4ilitamine. Iseseisev lahendus","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Saja
\n
\nKallis kogukond, see artikkel on p\u00fchendatud t\u00f5husale sadade miljonite v\u00e4ikeste failide salvestamisele ja k\u00e4itlemisele. Selles faasis pakkume l\u00f5pliku lahenduse POSIX-\u00fch compatible failis\u00fcsteemidele, mis toetab t\u00e4ielikult lukustusi, sealhulgas klastrite lukustusi, ja tundub, et isegi ilma igasuguste kompromissideta.<\/p>\n

Seega, selle eesm\u00e4rgi saavutamiseks kirjutasin oma spetsialiseeritud serveri.
\nSelle \u00fclesande elluviimise k\u00e4igus \u00f5nnestus lahendada peamine probleem, saavutada samal ajal diskiruumi ja RAM-i kokkuhoid, mida meie klastrifailis\u00fcsteem pidevalt tarbis. T\u00f5eliselt kahjulik on selline arv faile igasugusele klastrifailis\u00fcsteemile. <\/a><\/noindex><\/p>\n

Idee on j\u00e4rgmine:<\/p>\n

Lihtsalt \u00f6eldes, v\u00e4iksed failid laaditakse serveri kaudu \u00fcles, salvestatakse otse arhiivi ja loetakse samuti sealt. Suured failid pannakse k\u00f5rvale. Skeem: 1 kaust = 1 arhiiv, seega meil on mitmeid miljoneid arhiive v\u00e4ikeste failidega, mitte sadu miljonite faile. Ja see on t\u00e4ielikult ellu viidud, ilma igasuguste skriptide ja failide jaotamata tar \/ zip arhiividesse.<\/p>\n

P\u00fc\u00fcan selgitada l\u00fchemalt, vabandan eelnevalt, kui postitus tuleb mahukas.<\/p>\n

K\u00f5ik algas sellest, et ma ei leidnud maailmas sobivat serverit, mis suudaks andmeid salvestada HTTP protokolli kaudu otse arhiividesse, nii et ei oleks tavaliste arhiivide ja objektide salvestusruumide puudusi. Otsingute p\u00f5hjuseks oli suures mahus laienenud Origin klaster 10 serveriga, kus oli juba kogunenud 250 000 000 v\u00e4ikest faili, ning kasvutrend ei kavatse l\u00f5petada.<\/p>\n

Neile, kellele artiklite lugemine ei meeldi ja kellele v\u00e4ike dokumentatsioon on lihtsam:<\/b><\/p>\n

siia<\/a><\/noindex> ja siia<\/a><\/noindex>.<\/p>\n

Ja docker ka, praegu on saadaval variant ainult koos nginx-iga sees igaks juhuks:<\/p>\n

docker run -d --restart=always -e host=localhost -e root=\\\/var\\\/storage \n-v \\\/var\\\/storage:\\\/var\\\/storage --name wzd -p 80:80 eltaline\\\/wzd<\/code><\/pre>\n
\nJ\u00e4tkame:<\/p>\n
Kui faile on v\u00e4ga palju, on vajalikud m\u00e4rkimisv\u00e4\u00e4rsed ressursid, ja mis on k\u00f5ige kurvem, osa neist kaob asjata. N\u00e4iteks, kui kasutada klastreeritud failis\u00fcsteemi (antud juhul - MooseFS), siis fail, s\u00f5ltumata tegelikust suurusest, v\u00f5tab alati v\u00e4hemalt 64 KB. See t\u00e4hendab, et failide, mille suurus on 3, 10 v\u00f5i 30 KB, puhul vajatakse kettale 64 KB. Kui faile on veerand miljardit, kaotame 2 kuni 10 terabaiti. Uute failide loomine l\u00f5putult ei \u00f5nnestu, kuna MooseFS-is on piirang: mitte rohkem kui 1 miljard iga faili repliiki.<\/p>\n
Failide arvu suurenedes on metainformatsiooni jaoks vajalik palju t\u00f6\u00f6m\u00e4lu. Samuti suurte metainformatsiooni dump'id aitavad kaasa SSD-kettaste kulumisele.<\/p>\n
Server wZD. Teeme kettal korda.<\/b><\/p>\n
Server on kirjutatud Go keeles. Esiteks pidi mulle v\u00e4hendama failide arvu. Kuidas seda teha? Arhiveerimise abil, kuid antud juhul ilma kompressioonita, kuna minu failid on sageli tihendatud pildid. Appi tuli BoltDB, mida tuli natuke parandada, see on kajastatud dokumentatsioonis.<\/p>\n
Niisiis, minu puhul j\u00e4i veerandi miljardi faili asemel alles ainult 10 miljonit Bolt arhive. Kui mul oleks v\u00f5imalus muuta praegust struktuuri failide t\u00e4itmiseks kataloogides, siis v\u00f5iks selle v\u00e4hendada umbes 1 miljonini. <\/p>\n
K\u00f5ik v\u00e4ikesed failid pakitakse Bolt arhiividesse, mis saavad automaatselt katalooge, kus nad asuvad, nimeks, ja k\u00f5ik suured failid j\u00e4\u00e4vad arhiivide k\u00f5rvale, neid pole m\u00f5tet pakendada, seda saab seadistada. V\u00e4ikesed - arhiveerime, suured - j\u00e4tame muutmata. Server t\u00f6\u00f6tab sujuvalt nii nende kui ka teistega.<\/p>\n
Serveri wZD arhitektuur ja omadused.<\/b><\/p>\n
\"Saja
\n
\nServer t\u00f6\u00f6tab Linuxi, BSD, Solaris ja OSX operatsioonis\u00fcsteemide all. Olen testinud ainult AMD64 arhitektuuri Linuxi all, kuid see peaks sobima ka ARM64, PPC64 ja MIPS64 jaoks.<\/p>\n
P\u00f5hifunktsioonid:<\/b><\/p>\n