Wareysiga labaad ee Eduard Shishkin, horumariyaha nidaamka faylka Reiser4, ayaa la daabacay.
Si aad u bilawdo, fadlan xasuusi akhristayaasha meesha iyo cidda aad u shaqeyso.
Waxaan u shaqeeyaa sidii Architect Kaydinta Maamulaha ee Huawei Technologies, Xarunta Cilmi-baarista Jarmalka. Qeybta virtualization-ka waxaan la macaamilaa dhinacyo kala duwan oo kaydinta xogta ah. Hawlahaygu kuma xidhna nidaam hawleed gaar ah.
Hadda ma ballan qaadaysaa laanta kernel-ka?
Aad bay u yar tahay, oo keliya haddii loo-shaqeeyahaygu u baahdo. Markii ugu dambeysay waxay ahayd qiyaastii seddex sano ka hor, waxaan u diray balastar si aan u kordhiyo wax soo saarka kaydinta la wadaago martida loo yahay iyadoo la adeegsanayo borotokoolka 9p (magaca kale ee ganacsigan waa VirtFS). Hal qoraal oo muhiim ah waa in halkan lagu sameeyaa: in kasta oo aan la shaqeynayey Linux muddo dheer, weligay taageere uma noqon, taas oo ah, "si siman ayaan u neefsanayaa," sida wax kasta oo kale. Gaar ahaan, haddii aan dareemo cillad, waxaan ku tilmaami karaa ugu badnaan hal mar. Iyo si aad markaas qof u raacdo oo aad uga dhaadhiciso - tani ma dhici doonto.
Waxaan xusuustaa markii ugu dambeysay, toban sano ka hor, waxaad aad u dhaleeceysay qaabka horumarinta kernel-ka. Marka loo eego aragtidaada (ama laga yaabaa in shirkadda), wax isbedelay ma jiraan, bulshadu ma noqotay mid wax ka qabata mise maya? Haddii kale, yaa u malaynaya inuu eedda leeyahay?
Weligay ma arag wax isbeddel ah oo ka wanaagsan. Dhibaatada ugu weyn ee bulshadu waa beddelka sayniska ee tiknoolajiyada siyaasadda, xiriirka shakhsi ahaaneed, ra'yiga aqlabiyadda, populism, talada "codka gudaha", tanaasulka qudhunka ah, wax kasta oo aan ahayn sayniska. Sayniska kombuyuutarku, wax kasta oo la odhan karo, waa marka hore cilmi sax ah. Oo haddii qof uu bilaabo inuu ku dhawaaqo qiimahooda 2x2, oo ka duwan 4, oo hoos yimaada calanka "Linux Way", ama calanka kale, markaa tani uma badna inay keento wax aan ahayn waxyeello.
Dhibaatooyinka oo dhan waxaa ugu horrayn sabab u ah karti-xumada iyo aqoon la'aanta kuwa go'aan qaadata. Haddii maamuluhu aanu karti lahayn, ma awoodo inuu sameeyo go'aan ku filan oo ujeedo leh. Haddii uu sidoo kale aan dhaqan lahayn, ma awoodo inuu helo khabiir karti leh oo siin doona talada saxda ah. Iyada oo ay jirto suurtogalnimo sare, doorashadu waxay ku dhici doontaa khiyaamo yaqaan "waxyaabo u muuqda kuwo sax ah." Jawi musuq-maasuqu waxa uu mar walba ku horumaraa hareeraha hogaamiyayaasha kalida ah ee aan karti lahayn. Waxaa intaa dheer, taariikhdu ma taqaan wax ka reeban arrintan, bulshaduna waa caddaynta ugu cad ee arrintan.
Sideed u qiimeysaa horumarka Btrfs horumarka? Tani FS miyay ka takhalustay cudurrada carruurnimada? Sideed ugu meel dhigi kartaa naftaada - FS ahaan "guri ahaan" ama isticmaalka shirkadda sidoo kale?
Maan ka takhalusin. Wax kasta oo aan soo sheegay 11 sano ka hor ayaa weli khuseeya maanta. Mid ka mid ah dhibaatooyinka Btrfs ee ka dhigaya mid aan ku habboonayn baahiyaha daran waa dhibaatada meel bannaan. Xitaa xitaa kama hadlayo xaqiiqda ah in isticmaalaha la waydiiyo inuu ku ordo dukaanka diskka cusub ee xaaladaha halkaas oo FS kasta oo kale uu muujin doono meelo badan oo bilaash ah oo ku saabsan qaybta. Awood la'aanta in lagu dhameeyo qalliinka mugga macquulka ah sababtoo ah la'aanta meel bannaan sidoo kale ma aha waxa ugu xun. Waxa ugu xun ayaa ah in isticmaale aan mudnayn uu had iyo jeer, dhaafo kootada diskka, ka qaadi karo qof walba meel banaan muddo gaaban gudaheed.
Waxay u egtahay sidan (waxaa lagu tijaabiyay Linux kernel 5.12). Qoraal ayaa lagu bilaabay nidaam cusub oo la rakibay, kaas oo loop-ku ku abuurayo faylal magacyo gaar ah ku leh buugga hagaha guriga, u qoraya xogta meelo gaar ah, ka dibna tirtiraya faylashaas. Ka dib hal daqiiqo oo ah socodsiinta qoraalkan, wax aan caadi ahayn ma dhacaan. Shan daqiiqo ka dib, qaybta booska la haysto ee qaybta ayaa kor u kacda wax yar. Laba ilaa saddex saacadood ka dib waxay gaartaa 50% (qiimihii hore ee 15%). Ka dib shan ama lix saacadood oo shaqo ah, qoraalka ayaa ku burburay qaladka "ma jirto meel bannaan oo ku taal qaybta." Taas ka dib, ma awoodo inaad ku qorto xitaa fayl 4K qaybtaada.
Xaalad xiiso leh ayaa dhacda: waxaad ku dhammaatay inaadan waxba ku qorin qaybta, iyo dhammaan meelihii bilaashka ahaa (qiyaastii 85%) ayaa la waayay meel. Falanqaynta qaybta ku saabsan weerarkan oo kale waxay daaha ka qaadi doontaa qanjidhada geedo badan oo ka kooban hal shay (shay ku qalabaysan furaha), cabbirka dhowr bytes. Taasi waa, nuxurkii hore u haystay 15% booska diskku wuxuu isu rogay inuu si siman u "smered" qaybta oo dhan si aysan u jirin meel lagu qoro fayl cusub, sababtoo ah furihiisa ayaa ka weyn dhammaan kuwa hadda jira, iyo kuwa xorta ah. baloogyadii xijaabku way dhammaadeen.
Intaa waxaa dheer, waxaas oo dhami waxay ku dhacaan qaabeynta aasaasiga ah ee Btrfs (iyada oo aan wax sawir ah laga qaadin, muusik hoosaadyo, iwm.), Dhib malahan sida aad u go'aansato inaad u kaydiso meydadka feylasha FS (sida "jarjar" geed, ama ilaa xad). blocks unformated) - natiijada kama dambaysta ah waxay noqon doontaa isku mid.
Ma awoodi doontid inaad u gudbiso nidaamyada kale ee faylalka kor u kaca ee weerarkan (wax kasta oo ay kuu sheegaan). Waxaan sharraxay sababta dhibaatada waqti dheer ka hor: tani waa qallooc dhammaystiran oo ku saabsan fikradda B-geedka ee Btrfs, taas oo u suurtagelinaysa inay si kedis ah ama ula kac ah u xumaato. Gaar ahaan, culeysyada qaarkood, nidaamka faylkaagu wuxuu si joogto ah u "kala go'i doonaa" inta lagu jiro hawlgalka keligiis, iyada oo aan helin caawimo dibadda ah. Way caddahay in dhammaan noocyada "cadaadis" hababka asalka ah ay badbaadin doonaan maalinta kaliya ee miisaska shakhsi ahaaneed.
Server-yada wadajirka ah, weeraryahanku wuxuu had iyo jeer awoodi doonaa inuu "kahormariyo" iyaga. Maamulaha nidaamku xitaa ma awoodi doono inuu go'aamiyo cidda sida saxda ah u xoog sheegtay. Habka ugu dhaqsaha badan ee lagu xallin karo dhibaatadan Btrfs waa in dib loo soo celiyo qaab-dhismeedka B-geedka caadiga ah, i.e. dib u habeynta qaabka diskka iyo dib u qorista qaybo muhiim ah oo ka mid ah koodka Btrfs. Tani waxay qaadan doontaa 8-10 sano, oo ay ku jiraan khaladka, waase in horumariyayaashu ay si adag u raacaan maqaallada asalka ah ee algorithms iyo qaabdhismeedka xogta, oo aysan ciyaarin ciyaarta "taleefanka jaban", sida caadada ah (oo lagu dhiirigeliyo) "Linux" wayβ.
Halkan waxaan sidoo kale u baahanahay inaan ku darno wakhtiga loo baahan yahay horumariyayaashu si ay u fahmaan waxaas oo dhan. Tani waa meesha ay ka sii adkaanayso. Si kastaba ha ahaatee, 10 sano kuma filna inay fahmaan. Hagaag, ilaa markaas ma rajayn kartid mucjiso. Uma dhacayso qaab doorasho kor u kac ah "taas oo adiga iyo aniga aanan ogeyn," ama qaab balastar ah "kaliya arrin ganacsi" in la diyaariyo. Mid kasta oo degdeg ah "hagaajin" waxaan u soo bandhigi doonaa xaalad cusub oo xumaan ah. Geedaha B waa mid ka mid ah mawduucyada aan jeclahay, waana inaan sheegaa in dhismayaashani aysan u dulqaadan karin xorriyadda naftooda!
Sideen u meeleeyaa Btrfs nafteyda? Sida wax aan gabi ahaanba aan lagu magacaabi karin nidaamka faylka, iska daa in la isticmaalo. Sababtoo ah, qeexid ahaan, FS waa nidaam hoosaadka OS mas'uul ka ah maaraynta wax ku oolka ah ee kheyraadka "space space", taas oo aynaan ku arag kiiska Btrfs. Hagaag, qiyaas in aad u timid dukaanka si aad u soo iibsatid saacad si aanay shaqada uga daahin, oo halkii saacad ay kaa iibiyeen qalab koronto ah oo leh saacad ugu badnaan 30 daqiiqo. Markaa, xaaladda Btrfs ayaa ka sii daran.
Raadinta liisaska boostada, waxaan inta badan la kulmaa bayaanka ah in si wax ku ool ah loo maareeyo booska diskka aysan hadda khusayn sababtoo ah jabnaanta darawallada. Tani waa wax aan macno lahayn. La'aanteed maamule meel disk ah oo wax ku ool ah, OS-gu wuxuu noqonayaa mid nugul oo aan la isticmaali karin. Iyadoo aan loo eegin awoodda saxannada mashiinkaaga.
Waxaan jeclaan lahaa inaan weydiiyo faallo ku saabsan joojinta taageerada Btrfs ee RHEL.
Ma jiraan wax gaar ah oo laga faalloodo halkan, wax walbaa aad bay u cad yihiin. Waxay sidoo kale u haysteen sidii "hordhac tignoolajiyada". Markaa, anigu ma aan dhex marin kan aad u "fiiri" Ha u ogolaan summadan inay sudhanto weligeed! Laakin ma soo saari karaan alaab cilladaysan oo leh taageero buuxda. RHEL waa ganacsi, yacni, xiriirka badeecooyinka iyo lacagta. Koofiyada Cas ma u cagajuglayn karo isticmaalayaasha sida ay ku sameeyaan liiska boostada ee Btrfs. Kaliya qiyaas xaalada: macmiilka bixiyay lacagtii uu ku kasbaday diskka iyo sidoo kale adiga taageerada, wuxuu rabaa in uu fahmo meesha uu diskka ka galay ka dib markii uusan waxba qorin. Maxaad ugu jawaabi doontaa isaga?
Dheeraad ah. Macaamiisha Koofiyada Cas waxa ka mid ah bangiyada waaweyn ee caanka ah iyo sariflayaasha. Bal qiyaas waxa dhici kara haddii ay ku dhacaan weerarrada DoS ee ku salaysan baylahnimada la sheegay ee Btrfs. Yaad u malaynaysaa inuu arrintan masuul ka yahay? Kuwa ku dhow inay farta ku fiiqaan xariiqda liisanka GPL, ee ay ku qoran tahay inaanu qoraagu waxba ka masuul ahayn, waxaan isla markiiba odhanayaa: βQarin!β Koofiyada Cas ayaa ka jawaabi doona, iyo si aan u muuqan doonin mid ku filan! Laakiin waan ogahay in koofiyadda cas aysan la kulmin dhibaatadan oo kale, marka la eego kooxdooda gaarka ah ee injineerada QA kuwaas oo aan fursad u helay inaan si dhow ula shaqeeyo waqtigayga.
Maxay shirkadaha qaar u sii wadaan inay ka taageeraan Btrfs wax soo saarkooda ganacsi?
Fadlan ogow in horgalaha "ganacsiga" ee ku jira magaca alaabtu aanu macnaheedu ahayn wax badan. Ganacsigu waa cabbirka mas'uuliyadda ku duugan xiriirka qandaraaska ee macmiilka. Waxaan ogahay hal shirkad oo kaliya oo ku saleysan GNU/Linux - RHEL. Wax kasta oo kale, aragtidayda, waxaa loo soo bandhigay oo kaliya ganacsi ahaan, laakiin maaha mid. Ugu dambeyntiina, haddii ay jirto baahi loo qabo shay, markaa had iyo jeer waxaa jiri doona sahay (xaaladkeena, tani waa "taageerada") ee lagu xusay). Waxaa jira baahi loo qabo gabi ahaanba wax walba, oo ay ku jiraan. iyo software aan la isticmaali karin. Sida loo sameeyo dalabka noocaas ah iyo cidda sii hurinaysa waa mawduuc kale.
Marka, kama boodi doono gabagabada ka dib markii Facebook lagu xamanayo inuu u diray Btrfs serverkiisa. Waxaa intaa dheer, waxaan ku talin lahaa in si taxadar leh loo ilaaliyo ciwaannada server-yadaas sababaha kor ku xusan.
Maxay tahay sababta dadaal badan loogu galay nadiifinta koodhka XFS waayadan? Ka dib oo dhan, bilawga kani waa nidaamka faylka saddexaad, iyo ext4 waxay ahayd mid deggan muddo dheer waxayna ka sii socotaa noocyo hore oo siman oo xasilloon. Waa maxay xiisaha ay koofiyadda cas u leedahay XFS? Miyay macno samaynaysaa in si firfircoon loo horumariyo laba hab faylal oo isku mid ah ujeeddada - ext4 iyo XFS?
Ma xasuusto waxa arrintan ku dhiirigeliyay. Waxa suurtogal ah in hindisahani uu ka yimi macaamiisha Koofiyada Cas. Waxaan xusuustaa in cilmi-baarista noocan oo kale ah la sameeyay: nidaamyada faylalka qaarkood ee ka imanaya korka, tiro aad u badan oo shay ah ayaa lagu abuuray darawallada ugu sarreeya ee jiilka cusub. Marka loo eego natiijooyinka, XFS waxay u dhaqantay si ka wanaagsan ext4. Sidaa darteed waxay bilaabeen inay kor u qaadaan sida ugu rajo-gelinta badan. Si kastaba ha ahaatee, anigu kama raadin doono wax dareen leh halkan.
Aniga ahaan, waxay la mid tahay inay ku beddeleen cawl saabuun. Ma jirto wax faa'iido ah oo lagu horumarinayo ext4 iyo XFS. Labada isbar-bar iyo mid kasta oo iyaga ka mid ah ayaa laga dooran karaa. Ma jiraan wax wanaagsan oo tan ka iman doona. Inkasta oo, dabeecadda ay badanaa jiraan xaalado marka ay jiraan wax badan oo suurtagal ah oo koritaanka, laakiin ma jirto meel lagu koro. Xaaladdan oo kale, koritaan cusub oo fool xun oo kala duwan ayaa soo baxa, kaas oo qof kastaa farta ku fiiqayo ("Oh, fiiri, waxa aadan arki doonin noloshan!").
Ma u malaynaysaa in arrinta ku xadgudubka lakabka la xaliyay (macnaha xun) iyadoo ay soo baxday hawlaha sirta ah ee ext4, F2FS (aan lagu xusin RAID gudaha Btrfs)?
Guud ahaan, horudhac kasta oo heer kasta ah iyo go'aan ka gaarista xadgudub la'aantooda inta badan waa arrin siyaasad ah, aniguna ma rabo inaan wax ka sheego halkan. Dhinacyada ujeedka ah ee jebinta lakabka ayaa ah mid dan yar u leh qof kasta, laakiin waxaan tixgelin karnaa qaar ka mid ah iyaga oo isticmaalaya tusaalaha xadgudubka "laga bilaabo korka," kuwaas oo ah, hirgelinta FS ee shaqeynta oo horeyba uga jirtay lakabka xannibaadda. "xadgudubka" noocan oo kale ah waxaa lagu caddeeyey kaliya ka reebis naadir ah. Kiis kasta oo noocaas ah, waa inaad marka hore caddeysaa laba shay: in runtii loo baahan yahay, iyo in naqshadeynta nidaamka aysan waxyeello u geysan doonin sidaas.
Tusaale ahaan, muraayadda, taas oo dhaqan ahaan u ahayd waxqabad loogu talagalay lakabka xannibaadda, ayaa macno samaynaysa in la hirgeliyo heerka nidaamka faylka. Sababo kala duwan dartood. Tusaale ahaan, musuqmaasuqa xogta "aamusan" (yar qudhuntay) waxay ku dhacdaa darawallada diskooga. Tani waa marka qalabku si sax ah u shaqeeyo, laakiin xogta xannibaadda ayaa si lama filaan ah u dhaawacday iyada oo ay saameynayso tirada gamma adag ee ay sii daayaan quasar fog, iwm. Waxa ugu xun waa haddii xannibaaddani ay noqoto nidaamka FS block (superblock, block bitmap, noodhka geedka kaydinta, iwm.), sababtoo ah tani waxay hubaal u horseedi doontaa argagax kernel.
Fadlan ogow in muraayadaha ay bixiso lakabka block (waxa loogu yeero RAID 1) kama badbaadin doono dhibaatadan. Hagaag, runtii: qof waa inuu hubiyaa jeegaga oo akhriyo nuqulka haddii ay dhacdo guul darro? Intaa waxaa dheer, waxay macno u leedahay in la muraayado ma aha oo kaliya wax walba, laakiin kaliya metadata. Qaar ka mid ah xogta muhiimka ah (tusaale, faylasha la fulin karo ee codsiyada muhiimka ah) waxaa loo kaydin karaa xog badan. Xaaladdan oo kale, waxay helayaan dammaanad isku mid ah oo badbaado ah. Waa macno in lagu aamino ilaalinta xogta soo hartay nidaamyada kale ee hoose (laga yaabee xitaa codsiyada isticmaalaha) - waxaan siinay dhammaan shuruudaha lagama maarmaanka u ah tan.
Muraayadaha "dhaqaale" ee noocan oo kale ah waxay xaq u leeyihiin inay jiraan, waxaana kaliya lagu abaabuli karaa si wax ku ool ah heerka nidaamka faylka. Haddii kale, jebinta lakabku waa nidaam hoosaad leh kood la soo koobay iyadoo loo eegayo qaar ka mid ah faa'iidooyinka yaryar. Tusaalaha cajiibka ah ee tani waa hirgelinta RAID-5 iyadoo la adeegsanayo FS. Xalalka noocan oo kale ah (RAID / LVM u gaar ah ee nidaamka faylka) waxay dilaan kan dambe ee qaabdhismeedka. Waa in sidoo kale halkan lagu xuso in jebinta lakabka ay "ku shubaan qulqulka" noocyada kala duwan ee khayaanada suuqgeynta. Maqnaanshaha wax fikrado ah, shaqeynta oo muddo dheer laga hirgaliyay heerarka deriska ayaa lagu daraa nidaamyada hoose, tan waxaa loo soo bandhigay sifo cusub oo aad u faa'iido leh oo si firfircoon loo riixo.
Reiser4 ayaa lagu eedeeyay inay ku xad gudubtay heerarka "laga bilaabo hoos". Iyada oo ku saleysan xaqiiqda ah in nidaamka feylku aanu ahayn monolithic, sida kuwa kale oo dhan, laakiin qaab-dhismeedka, male aan la xaqiijin ayaa la sameeyay oo ah in uu sameeyo waxa heerka sare (VFS) uu sameeyo.
Suurtagal ma tahay in laga hadlo dhimashada ReiserFS v3.6 iyo, tusaale ahaan, JFS? Waayadan dambe wax dareen ah lagama helin xudunta. Miyay duugoobeen?
Halkan waxaan u baahanahay inaan qeexno waxa dhimashada badeecada software ka dhigan tahay. Dhinaca kale, si guul leh ayaa loo isticmaalaa (taasi waa waxa loo abuuray, ka dib oo dhan), taas oo macnaheedu yahay inay nool yihiin. Dhanka kale, kuma hadli karo JFS (ma aqaano wax badan), laakiin ReiserFS (v3) aad ayey u adag tahay in la qabsado isbeddellada cusub (tijaabi ficil ahaan). Tani waxay ka dhigan tahay in mustaqbalka horumariyayaashu aysan fiiro gaar ah u yeelan doonin, laakiin kuwa ay fududahay in la qabsado. Dhinacan waxaa soo baxday in, hoogay, ay dhimatay marka la eego qaab-dhismeedka. Ma khalkhal galin doono fikradda "anshax ahaan duugoobay" haba yaraatee. Waxay si fiican u khusaysaa, tusaale ahaan, maro-gashiga, laakiin maaha alaabta software-ka. Waxaa jira fikrad ah in hooseeyo iyo ka sarreynta shay. Waxaan gabi ahaanba dhihi karaa ReserFS v3 hadda waa ka hooseeyaa Reiser4 wax walba, laakiin noocyada shaqada qaarkood waxay ka sarreeyaan dhammaan FS-yada kale ee sare.
Ma taqaanaa horumarka FS Tux3 iyo HAMMER/HAMMER2 (FS for DragonFly BSD)?
Haa, waan ognahay. Tux3 waxaan mar xiisaynayay farsamada sawiradooda (waxa loogu yeero "tilmaamaha nooca"), laakiin Reiser4 waxay u badan tahay inaan mari doono waddo kale. Muddo dheer ayaan ka fekerayay taageerida sawir-qaadista oo aan wali go'aansan sida loo hirgeliyo mugga Reiser4 ee fudud. Xaqiiqdu waxay tahay in farsamada counter tixraaca ee "caajis" ee cusub ee uu soo jeediyay Ohad Rodeh ay u shaqeyso oo keliya geedaha B. Ma hayno iyaga. Qaab dhismeedka xogta ee loo isticmaalo Reiesr4, xisaabiyeyaasha "caajisyada" lama qeexin - si loo soo bandhigo, waxaa lagama maarmaan ah in la xalliyo dhibaatooyinka algorithmic qaarkood, oo aan cidina weli qaadan.
Sida laga soo xigtay HAMMER: Waxaan akhriyay maqaal ka yimid abuuraha. Ma xiisaynayo Mar labaad, B-geedaha. Qaab dhismeedka xogtan rajo la'aan waa duugoobay. Waxaan ka tagnay qarnigii hore.
Sideed u qiimeysaa baahida sii kordheysa ee kooxaha shabakada FSs sida CephFS/GlusterFS/iwm? Dalabkan miyuu ka dhigan yahay isbeddelka mudnaanta horumariyayaashu ee dhanka shabakadda FS iyo feejignaan la'aanta FS maxalliga ah?
Haa, isbeddelka noocaas ah ee mudnaanta ayaa dhacay. Horumarinta nidaamyada faylalka maxalliga ah ayaa istaagay. Hoogay, samaynta shay muhiim u ah mugga maxalliga ah hadda waa arrin adag oo qof kastaa ma samayn karo. Qofna ma rabo inuu maalgashado horumarkooda. Tani waxay la mid tahay inaad waydiiso urur ganacsi inay lacag u qoondeeyaan cilmi-baadhista xisaabeed - iyadoon wax xamaasad ah lahayn waxay ku weydiin doonaan sida aad lacag uga samayn karto aragti cusub. Hadda FS maxalli ah waa shay si qarsoodi ah uga muuqda "ka baxsan sanduuqa" iyo "waa inay had iyo jeer shaqeyso," iyo haddii aysan shaqayn, waxay keentaa gunuunac aan cidhiidhi ahayn sida: "Haa, maxay ku fekerayaan!"
Sidaa awgeed dareenka la'aanta FS ee deegaanka, inkasta oo ay weli jirto shaqo badan oo goobtaas ah. Oo haa, qof kastaa wuxuu u jeestay kaydinta la qaybiyey, kaas oo lagu dhisay habka faylalka maxalliga ah ee hore u jiray. Hadda aad bay mooddaa. Weedha "Data Weyn" waxay dad badan u keentaa degdeg adrenaline, iyada oo la xidhiidhisa shirar, aqoon-is-weydaarsiyo, mushaharo waaweyn, iwm.
Sidee macquul u tahay mabda'a ahaan in la hirgeliyo nidaamka faylka shabakada ee booska kernel halkii laga isticmaali lahaa booska isticmaalaha?
Hab macquul ah oo aan weli meelna laga hirgelin. Guud ahaan, su'aasha meesha bannaan ee nidaamka faylka shabakada waa in la hirgeliyaa waa " seef laba af leh." Hagaag, aan eegno tusaale. Macmiilku wuxuu ku duubay xogta mashiinka fog. Waxay ku dhaceen khasnadda boggeeda qaab bogag wasakh ah. Tani waa shaqada nidaamka faylka shabakada "albaab dhuuban" ee booska kernel-ka. Kadibna nidaamka qalliinka ayaa mar dhow ama dambe ku weydiin doona inaad ku qorto boggaga diskka si aad u xorayso. Kadibna IO-gudbinta (diritaanka) shabakadda FS moduleka ayaa soo galaya. Waxay go'aaminaysaa mashiinka server-ka (noolaha server-ka) boggagan ayaa aadi doona.
Kadibna xirmada shabakada ayaa la wareegaysa (iyo, sida aan ognahay, waxaa lagu hirgeliyaa booska kernel). Marka xigta, noodhka server-ku wuxuu helayaa baakidhkaas xogta ama xogta badan wuxuuna farayaa moduleka kaydinta dhabarka (ie, FS degaanka ee ka shaqeeya booska kernel) si loo duubo dhammaan walxahan. Markaa, waxa aanu su'aasha u soo yarenay halka ay tahay in qaybaha "diridda" iyo "qabashada" ay ka shaqeeyaan. Haddii mid ka mid ah cutubyadaas uu ku shaqeeyo meel bannaan oo isticmaale ah, tani waxay si lama filaan ah u horseedi doontaa beddelka macnaha guud (sabato ah baahida isticmaalka adeegyada kernel). Tirada furayaasha noocaan ah waxay kuxirantahay tafaasiisha fulinta.
Haddii ay jiraan furayaal badan oo noocaas ah, markaa kaydinta kaydinta (waxqabadka I/O) wuu yaraan doonaa. Haddii kaydinta dhabarkaagu ka kooban yahay saxanno gaabis ah, markaa ma dareemi doontid hoos u dhac weyn. Laakiin haddii aad haysato saxannada degdega ah (SSD, NVRAM, iwm.), ka dib beddelashada macnaha guud waxay mar hore noqotaa "qoorta dhalada" iyo, adoo badbaadinaya beddelka macnaha guud, waxqabadka si weyn ayaa loo kordhin karaa. Habka caadiga ah ee lacagta lagu badbaadiyo waa in modules loo raro meel bannaan oo kernel ah. Tusaale ahaan, waxaan ogaanay in ka wareejinta server-ka 9p ee QEMU una wareejinta kernel mashiinka martida loo yahay ay keento koror saddex laab ah waxqabadka VirtFS.
Tani, dabcan, maaha shabakad FS ah, laakiin waxay si buuxda u muujinaysaa nuxurka waxyaabaha. Dhinaca xun ee wanaajintan waa arrimaha la qaadi karo. Qaarkood, kan dambe ayaa laga yaabaa inuu muhiim u yahay. Tusaale ahaan, GlusterFS ma laha unugyo ku jira kernel-ka gabi ahaanba. Thanks to this, waxay hadda ka shaqeysaa goobo badan, oo ay ku jiraan NetBSD.
Waa maxay fikrado FS-yada maxaliga ahi ka amaahan karaan kuwa shabakada iyo caksigeeda?
Maalmahan, shabakada FS-yada, sida caadiga ah, waxay leeyihiin waxyaabo dheeri ah oo ku saabsan FS-yada maxalliga ah, markaa ma fahmin sida aad wax uga amaahan karto kan dambe. Waa hagaag, runtii, aynu tixgelinno shirkad ka kooban 4 shaqaale ah, kaas oo qof kastaa sameeyo wax u gaar ah: mid qaybiya, mid kalena soo diro, saddexaadna wuxuu helaa, dukaamada afaraad. Iyo su'aasha ah, maxay shirkadu ka amaahan kartaa shaqaalaheeda kaydiya, waxay u muuqataa mid khaldan (waxay hore u haysatay wixii ay ka amaahan lahayd wakhti dheer).
Laakiin FS-yada maxalliga ah wax badan ayay ka baran karaan kuwa shabakadda. Marka hore, waa inaad iyaga ka barataa sida loo ururiyo qiyaasaha macquulka ah ee heer sare ah. Hadda waxa loogu yeero Nidaamyada faylalka maxalliga ah ee "horumarsan" waxay isu geeyaan mug macquul ah oo si gaar ah u isticmaalaya tignoolajiyada "qalabka dhabta ah" ee laga soo amaahday LVM (xadgudubka lakabyada faafa ee markii hore laga hirgaliyay ZFS). Si kale haddii loo dhigo, tarjumaadda ciwaannada casriga ah (lambarada xannibaadda) ee dhabta ah iyo gadaal waxay ku dhacdaa heer hoose (ie, ka dib marka nidaamka faylka uu soo saaro codsi I/O).
Fadlan la soco in ku darista iyo ka saarida aaladaha qiyaas macquul ah (maaha muraayadaha) ee lagu habeeyay lakabka xannibaadda waxay keenaysaa dhibaatooyin ay alaab-qeybiyeyaasha "sifooyinka" noocan oo kale ah ay si xishood leh uga aamusan yihiin. Waxaan ka hadlayaa kala qaybsanaanta aaladaha dhabta ah, kuwaas oo gaari kara qiyamka naxdinta leh, halka aaladda casriga ah wax walbaa ay fiican yihiin. Si kastaba ha ahaatee, dad yar ayaa xiiseynaya aaladaha farsamada: qof kastaa wuxuu xiiseynayaa waxa ka dhacaya qalabkaaga dhabta ah. Laakiin ZFS-sida FS (iyo sidoo kale FS kasta oo lala xiriirinayo LVM) waxay la shaqeeyaan oo keliya aaladaha diskka farsamada (ka-qeexee cinwaannada diskka dalwaddii kuwa xorta ah, kala-baxa qalabkan farsamada, iwm.). Oo ma haystaan ββwax fikrad ah waxa ka dhacaya qalabka dhabta ah!
Hadda ka fikir inaad eber kala qaybsantay aaladda casriga ah (taas oo ah, waxaad ku nooshahay hal baaxad weyn), waxaad ku dari kartaa disk muggaaga macquulka ah, ka dibna ka saar disk kale oo random muggaaga macquulka ah ka dibna dib u dheelitir. Iyo marar badan. Ma aha wax adag in la qiyaaso in qalabka casriga ah aad weli ku noolaan doonto isla heerkaas, laakiin qalabka dhabta ah ma arki doontid wax wanaagsan.
Waxa ugu xun ayaa ah inaadan xitaa awoodin inaad saxdo xaaladan! Waxa kaliya ee aad halkan ku samayn karto waa inaad weyddiisato nidaamka faylka si aad u jajabiso aaladda farsamada. Laakiin waxay kuu sheegi doontaa in wax walba ay halkaas ku weyn yihiin - waxaa jira hal xad, kala qaybsanaantuna waa eber, mana fiicnaan karto! Markaa, mugga macquulka ah ee lagu habeeyey heerka xannibaadda looguma talogelin in lagu kordhiyo/saaridda aaladaha soo noqnoqda. Si wanaagsan, waxaad u baahan tahay oo kaliya inaad soo ururiso mugga macquul ah ee heerka xannibaadda hal mar, sii nidaamka faylka, ka dibna wax kale ha ku samayn.
Intaa waxaa dheer, isku dhafka madax-bannaan ee FS+LVM-hoosaadyada ma ogola in la tixgeliyo dabeecadda kala duwan ee darawallada kuwaas oo mugga macquul ah la isku daray. Runtii, ka soo qaad inaad mug macquul ah ka soo ururisay HDD iyo aaladaha gobolka adag. Laakiin ka dib kii hore wuxuu u baahan doonaa defragmentation, kan dambena ma doonayo. Midda dambe, waxaad u baahan tahay inaad soo saarto codsiyada tuurista, laakiin kan hore, maaha, iwm. Si kastaba ha ahaatee, isku dhafkan aad bay u adag tahay in la muujiyo xulashada noocaas ah.
Ogsoonow in ka dib markaad abuurto LVM-gaaga nidaamka faylka, xaaladdu aad uma fiicnaanayso. Intaa waxaa dheer, markaad tan sameyso waxaad dhab ahaantii soo afjartay rajada ah inaad weligaa horumarinayso mustaqbalka. Tani waa mid aad u xun. Noocyada kala duwan ee darawaladu waxay ku noolaan karaan hal mashiin. Oo haddii nidaamka faylalka uusan kala saarin iyaga, markaa yaa doona?
Dhibaato kale ayaa sugaysa waxa loogu yeero. Nidaamyada faylka "Qor-meel kasta" (tani sidoo kale waxaa ku jira Reiser4, haddii aad qeexday qaabka macaamil ganacsi ee habboon inta lagu jiro Mount). Nidaamyada faylalka noocan oo kale ah waa in ay bixiyaan qalab kala-jajabin ah oo aan horay loo arag awooddooda. Iyo maareeyaha mugga hoose ma caawinayo halkan, laakiin kaliya ayaa soo gala jidka. Xaqiiqdu waxay tahay in maamulahaas oo kale, FS-gaagu waxay kaydin doontaa khariidad ka mid ah blocks lacag la'aan ah oo keliya hal qalab - mid dalwaddii. Sidaa darteed, waxaad kaliya burburin kartaa qalabka casriga ah. Tani waxay ka dhigan tahay in jabiyahaagu uu ku shaqeyn doono muddo dheer, waqti dheer meel aad u weyn oo ciwaanno farsamo ah.
Oo haddii aad haysatid isticmaaleyaal badan oo samaynaya qoraallo aan kala sooc lahayn, markaa saamaynta faa'iido leh ee defragmenter noocan oo kale ah ayaa lagu dhimi doonaa eber. Nidaamkaagu si lama huraan ah ayuu u bilaabi doonaa inuu hoos u dhaco, oo kaliya waxaad u baahan doontaa inaad gacmahaaga laabiso hortiisa cudurka niyad jabka leh "naqshad jaban". Dhawr jajab oo ku shaqeeya isla goobta ciwaanka ayaa midba midka kale faragelin doona. Waa arrin gebi ahaanba ka duwan haddii aad ilaaliso khariidaddaada blocks bilaashka ah ee qalab kasta oo dhab ah. Tani waxay si wax ku ool ah u barbar dhigi doontaa habka kala-jajabinta.
Laakiin tan waxaa la samayn karaa oo keliya haddii aad leedahay maamule mugga macquulka ah oo heerkiisu sareeyo. Nidaamyada faylalka maxalliga ah ee maamulayaasha noocaas ah hore uma ay jirin (ugu yaraan, anigu kama aqaan iyaga). Nidaamyada faylalka shabakadaha (tusaale GlusterFS) ayaa lahaa maamulayaashan. Tusaalaha kale ee muhiimka ah waa utility hubinta daacadnimada mugga (fsck). Haddii aad kaydiso khariidad madax-banaan oo ah blocks bilaashka ah ee mugga hoose kasta, markaa nidaamka hubinta mugga macquulka ah ayaa si wax ku ool ah u barbar dhigi kara. Si kale haddii loo dhigo, mugga macquulka ah ee leh maareeyayaasha heerka sare ah ayaa si fiican u cabbiraya.
Intaa waxaa dheer, maamulayaasha mugga hoose ma awoodi doontid inaad abaabusho sawir-qaadyo buuxa. Nidaamyada faylalka LVM iyo ZFS-la mid ah, waxaad qaadan kartaa oo keliya sawirro maxalli ah, laakiin maaha sawir-qaade caalami ah. Sawir-qaadista maxalliga ahi waxay kuu oggolaanaysaa inaad isla markiiba dib ugu celiso oo keliya hawlgallada faylka caadiga ah. Mana jiro qof halkaas ku soo celin doona hawlgallada mugga macquulka ah (ku-darka/saarida aaladaha). Bal aan tusaale u soo qaadanno arrintan. Wakhtiyada qaar, marka aad haysato mug macquul ah oo ah laba qalab A iyo B oo ka kooban 100 fayl, waxaad sawir ka qaadaysaa nidaamka S ka dibna waxaad abuurtaa boqol kale oo fayl ah.
Intaa ka dib, waxaad ku dartay qalabka C muggaaga, oo ugu dambeyntii dib ugu soo celi nidaamkaaga si aad u sawirto S. Su'aal: Immisa faylal iyo qalab ayaa ka kooban muggaaga macquulka ah ka dib dib-u-celinta S? Waxaa jiri doona 100 faylal, sida aad qiyaasi lahayd, laakiin waxaa jiri doona 3 qalab - kuwani waa qalab isku mid ah A, B iyo C, inkastoo wakhtiga sawirka la abuuray ay jireen laba qalab oo keliya oo ku jiray nidaamka (A iyo B). ). Aaladda add C-ga dib uma soo noqonin, haddii aad hadda ka saartid aaladda C ee kumbiyuutarka, waxay kharribi doontaa xogtaada, markaa ka hor inta aadan tirtirin waxaad u baahan doontaa inaad marka hore sameyso qalliin qaali ah si aad uga saarto qalabka dib-u-dheellitirka mugga macquulka ah, kaas oo Waxay ku kala firdhi doontaa dhammaan xogta aaladda C ilaa aaladaha A iyo B. Laakiin haddii FS-gaagu ay taageerto sawir-qaadista caalamiga ah, dib-u-dheellitirka noocaas ah looma baahna, iyo ka dib dib-u-soo-celinta degdegga ah ee S, waxaad si badbaado leh uga saari kartaa qalabka C kombiyuutarka.
Sidaa daraadeed, sawirada caalamiga ah ayaa fiican sababtoo ah waxay kuu oggolaanayaan inaad iska ilaaliso ka saarista qaaliga ah (ku-darka) qalabka mugga macquulka ah (mugga macquulka ah) oo leh tiro badan oo xog ah (dabcan, haddii aad xasuusato inaad "sawiro" nidaamkaaga waqtiga saxda ah). Aan ku xasuusiyo in abuurista sawir-qaadis iyo dib-u-soo-celinta nidaamka faylalka ay yihiin hawlgallo degdeg ah. Su'aashu waxay soo bixi kartaa: sidee xitaa suurtogal u tahay in isla markiiba dib loogu celiyo qalliin mug macquul ah oo ku qaatay saddex maalmood? Laakiin waa suurtagal! Waa haddii nidaamka faylkaaga si sax ah loo qaabeeyey. Waxaan la imid fikradda ah "3D snapshots" saddex sano ka hor, iyo sannadkii hore waxaan shatiyeeyay farsamadan.
Waxa xiga ee FS-yada maxaliga ahi ay tahay in ay ka bartaan kuwa shabakadaha ah waa in lagu kaydiyo xogta badan ee aaladaha kala duwan si la mid ah sida shabakada FS ay ugu kaydiso mashiinada kala duwan (waxa loogu yeero server-yada metadata). Waxaa jira codsiyo ku shaqeeya ugu horrayn xogta badan, codsiyadan si weyn ayaa loo dardargelin karaa iyada oo la geliyo metadata aaladaha kaydinta waxqabadka sarreeya ee qaaliga ah. Marka la isku daro FS+LVM, ma awoodi doontid inaad muujiso xulashada noocaas ah: LVM ma garanayso waxa ku jira baloogga aad u gudbisay (xogta halkaas ama xogta badan).
Ma heli doontid faa'iido badan oo ku saabsan hirgelinta LVM-gaaga hoose ee FS marka la barbar dhigo FS + LVM isku darka, laakiin waxa aad si fiican u qaban karto waa isku-dhafka FS si hadhow ay u noqoto mid aan suurtagal ahayn in lagu shaqeeyo koodka. ZFS iyo Btrfs, kuwaas oo ku degdegay aaladaha casriga ah, dhamaantood waa tusaalayaal cad oo ku saabsan sida jebinta lakabka u dilo nidaamka qaab ahaan marka, maxaan waxan oo dhan u ahay? Waxaa intaa dheer, looma baahna inaad ku dhisto LVM-gaaga hoose ee nidaamka faylka. Taa baddalkeeda, waxaad u baahan tahay inaad isku geyso aaladaha qiyaas macquul ah oo heer sare ah, sida nidaamyada faylalka shabakadaha qaarkood ay ku sameeyaan mashiinno kala duwan (nodes kaydinta). Run, waxay tan u sameeyaan si karaahiyo ah sababtoo ah isticmaalka algorithms xun.
Tusaalooyinka algorithms-yada aadka u xun waa tarjumaha DHT ee nidaamka faylka GlusterFS iyo waxa loogu yeero khariidadda CRUSH ee nidaamka faylka Ceph. Algorithms-yada aan arkay midkoodna kuma qancin marka la eego fududaynta iyo cabbirka wanaagsan. Markaa waxay ahayd inaan xasuusto aljabra oo aan wax walba hindiso nafteyda. Sannadkii 2015, anigoo tijaabinaya xidhmooyin ka badan hawlaha xashiishka, waxaan la imid oo aan rukhsaystay wax aniga igu habboon. Hadda waxaan dhihi karaa isku daygii in waxaas oo dhan lagu dhaqmo waa lagu guuleystay. Ma arko wax dhibaato ah oo ku saabsan scalability habka cusub.
Haa. Tani ma cabsi badan baa? Guud ahaan, ma aqaano cidda "karin doonta badda" oo abuuraysa qiyaaso macquul ah oo boqolaal kun ama ka badan oo qalab ah oo ku yaal hal mashiin oo maxalli ah. Haddii qof ii sharaxi karo tan, aad baan ugu mahadcelin doonaa. Dhanka kale, aniga tani waa suuqgeyn suuqgeyneed.
Sidee isbeddelada kernel-ku u xannibeen qalabka hoosaadka (tusaale, muuqaalka blk-mq) u saameeyay shuruudaha hirgelinta FS?
Wax saameyn ah kuma ay yeelan. Ma garanayo waxa ku dhici doona lakabka xannibaadda taas oo ka dhigi doonta lagama maarmaan in la naqshadeeyo FS cusub. Isku xirka isdhexgalka ee nidaamyadan hoose aad buu u liitaa. Laga soo bilaabo dhinaca darawalka, FS waa in kaliya lagu saameeyaa muuqaalka noocyada cusub ee darawallada, kaas oo lakabka xannibaadda lagu hagaajin doono marka hore, ka dibna FS (ee reiser4 tani waxay ka dhigan tahay muuqaalka fiilooyinka cusub).
Soo ifbaxa noocyada cusub ee warbaahinta (tusaale, SMR, ama meel kasta oo SSDs) miyay ka dhigan tahay caqabado asaasi ah oo ku wajahan qaabaynta nidaamka faylka?
Haa Kuwanuna waa dhiirigelin caadi ah oo loogu talagalay horumarinta FS. Caqabaduhu way kala duwanaan karaan oo gebi ahaanba lama filaan ayay noqon karaan. Tusaale ahaan, waxaan maqlay darawallada halka xawaaraha hawlgalka I/O uu aad ugu tiirsan yahay cabbirka gabal xog ah iyo ka-saarkeeda. Linux, halkaas oo cabbirka xannibaadda FS uusan dhaafi karin cabbirka bogga, darawalka noocan oo kale ah ma muujin doono awooddiisa buuxda ee default. Si kastaba ha noqotee, haddii nidaamka faylkaaga si sax ah loo qaabeeyey, markaa waxaa jira fursad aad wax badan uga heli karto.
Immisa qof ayaa hadda kula shaqaynaya koodka Reiser4 adiga oo aan adiga ahayn?
In ka yar intii aan jeclaan lahaa, laakiin ilama kulmin agab yaraan ba'an sidoo kale. Aad ayaan ugu qanacsanahay xawaaraha horumarka Reiser4. Ma doonayo inaan "wadi fardo" - tani maaha aagga saxda ah. Halkan, "haddii aad si deggan u waddid, waad sii socon doontaa!" Nidaamka faylalka casriga ah waa nidaamka hoose ee kernel-ka ugu adag, go'aannada naqshadeynta khaldan kuwaas oo dib u dhigi kara sanadaha soo socda ee shaqada aadanaha.
Bixinta tabaruceyaasha si ay u hirgeliyaan wax, waxaan mar walba dammaanad qaadayaa in dadaallada ay hubaal ahaan u horseedi doonaan natiijada saxda ah, taas oo noqon karta baahi loo qabo baahiyo halis ah. Sida aad fahamsan tahay, ma jiri karaan dammaanado badan oo noocaas ah hal mar. Isla mar ahaantaana, ma istaagi karo "tirooyinka" kuwaas oo si xishood la'aan ah u dhiirrigeliya "sifooyinka" software aan la isticmaali karin, oo khiyaaneynaya boqollaal isticmaalayaasha iyo horumarinta, isla markaana fadhiya oo dhoola cadeynaya shirarka kernel.
Ma jiraan shirkad muujisay rabitaanka inay taageerto horumarinta Reiser4?
Haa, waxaa jiray soo jeedinno noocaas ah, oo ay ku jiraan. iyo ka iibiye weyn. Laakiin taas awgeed waxaan ku khasbanaaday in aan u guuro waddan kale. Nasiib darro, hadda ma ihi 30 sano jir, ma go'i karo oo ka tagi karo sidaas oo kale marka ugu horeysa.
Maxay yihiin sifooyinka hadda ka maqan Reiser4?
Ma jirto hawl "cabbir" ah oo loogu talagalay qiyaasaha fudud, oo la mid ah tan laga helo ReiserFS(v3). Intaa waxaa dheer, hawlgallada faylka ee leh calanka DIRECT_IO waxba ma yeeli doonaan. Marka xigta, waxaan jeclaan lahaa in aan awood u yeesho inaan u kala saaro mugga "hoosaadka semantic", kuwaas oo aan lahayn cabbir go'an, oo lagu dhejin karo qiyaaso madaxbannaan. Dhibaatooyinkani waxay u fiican yihiin kuwa bilawga ah ee raba inay isku dayaan gacantooda "waxa dhabta ah."
Ugu dambeyntiina, waxaan jeclaan lahaa in aan haysto qiyaaso macquul ah oo shabakadeed oo leh hirgelinta fudud iyo maamulka (algorithms-yada casriga ah ayaa horeyba u oggolaaday tan). Laakiin waxa Reiser4 xaqiiqdii waligiis ma yeelan doono waa RAID-Z, xoqid, khasnado meel banaan ah, doorsoomayaasha 128-bit iyo wax kale oo suuqgeyn ah oo ka soo horjeeda garaadka yaraanta fikradaha ka mid ah horumariyeyaasha nidaamyada faylalka qaarkood.
Wax kasta oo laga yaabo in loo baahdo ma lagu fulin karaa plugins?
Haddii aan ku hadalno oo keliya marka la eego interfaces iyo plugins (modules) kuwaas oo hirgeliya, markaa wax walba maaha. Laakiin haddii aad sidoo kale soo bandhigto cilaaqaadyada is-dhexgalkaas, ka dib, waxyaabo kale, waxaad yeelan doontaa fikradaha polymorphisms sare, oo aad horeyba u heli karto. Bal qiyaas in aad si mala-awaal ah u hakisay nidaamka runtime-ujeedka shayga, beddeshay qiimaha tilmaameha si aad u tilmaanto plugin kale kaas oo fulinaya isla X interface, ka dibna ka fur nidaamka si uu u sii wado fulinta.
Haddii isticmaalaha ugu dambeeya uusan ogaanin "beddelka," ka dib waxaan nidhaahnaa nidaamku wuxuu leeyahay eber-dalbasho polymorphism ah ee interface X (ama nidaamku waa mid kala duwan oo ku jira interface X, taas oo la mid ah). Haddii hadda aadan haysan oo kaliya xirmooyinka is-dhexgalka, laakiin sidoo kale waxay leeyihiin cilaaqaad iyaga ku yaal (garaafka interface), markaa waxaad soo bandhigi kartaa polymorphisms ee amarrada sare, taas oo muujin doonta kala-duwanaanta nidaamka horeyba "xaafad" ee interface kasta. Waxaan soo bandhigay kala-soociddan oo kale waqti dheer ka hor, laakiin, nasiib darro, weligeed ma dhicin.
Sidaa darteed, iyadoo la kaashanayo plugins iyo polymorphisms sare sida, waxaad ku qeexi kartaa muuqaal kasta oo la yaqaan, iyo sidoo kale "saadaalin" kuwa aan waligood la sheegin. Ma awoodin inaan si adag u caddeeyo tan, laakiin sidoo kale ma garanayo tusaale lid ku ah weli. Guud ahaan, su'aashani waxay i xasuusisay Felix Klein's "Barnaamijka Erlangen". Mar waxa uu isku dayay in uu matalo dhammaan joomatari laan ka mid ah aljabrada (gaar ahaan, aragtida kooxda).
Hadda su'aasha ugu weyn - sidee wax u socdaan kor u qaadista Reiser4 ee xudunta ugu weyn? Ma jiraan wax daabacaado ah oo ku saabsan qaab-dhismeedka nidaamka faylkan oo aad kaga hadashay waraysigii u dambeeyay? Intee in le'eg ayay su'aashani khusaysaa aragtidaada?
Guud ahaan, waxaan codsanay in lagu daro laanta weyn muddo saddex sano ah. Faalladii u dambaysay ee Reiser ee dunta dadweynaha ee codsiga jiidista lagu sameeyay ayaa ahaa mid aan laga jawaabin. Markaa dhammaan su'aalaha dheeraadka ah annaga nama socdaan. Anigu shakhsi ahaan ma fahmin sababta aan ugu baahanahay inaan "ku biirno" nidaamka hawlgalka gaarka ah. Linux, iftiinku uma uusan kulmin sida weji oo kale. Marka, waxaa jira kayd gooni ah oo ay jiri doonaan dhowr dekedood oo OS ah oo kala duwan. Qof kasta oo u baahan wuxuu xidhi karaa dekedda u dhiganta oo wuxuu ku samayn karaa wax kasta oo aad rabto (latiga dhexdiisa, dabcan). Hagaag, haddii qof aanu u baahnayn, markaa dhibkayga maaha. Halkaa marka ay marayso, waxaan soo jeedinayaa in la tixgeliyo su'aasha ah "kor u qaadida kernel-ka Linux ee ugu weyn" sida loo dejiyo.
Daabacaada ku saabsan qaab-dhismeedka FS waa kuwo khuseeya, laakiin ilaa hadda waxaan helay kaliya waqti natiijooyinkayga cusub, taas oo aan u arko inay tahay mudnaanta sare. Mid kale ayaa ah inaan ahay xisaabiye, xisaabtana daabacaad kastaa waa mid kooban oo aragtiyo ah iyo caddayntooda. Wax kasta oo lagu daabaco halkaas iyada oo aan caddayn la'aanteed waxay calaamad u tahay dhadhanka xun. Haddii aan si fiican u caddeeyo ama aan u beeniyo wax hadal ah oo ku saabsan qaab dhismeedka FS, markaa natiijadu waxay noqon doontaa tuunbooyinkaas oo ay adkaan doonto in la maro. Yaa u baahan? Tani waxay u badan tahay sababta ay wax waliba ugu sii jiraan qaabkoodii hore - koodhka isha iyo faallooyinka.
Maxaa ka cusub Reiser4 dhowrkii sano ee la soo dhaafay?
Xasiloonidii la sugayay ayaa ugu dambayntii hirgashay. Mid ka mid ah kuwii ugu dambeeyay ee soo muuqday wuxuu ahaa bug taasoo horseeday hagayaasha "aan la tirtiri karin". Dhibaatadu waxay ahayd in ay ka soo muuqatay oo kaliya ka soo horjeeda asalka isku dhacyada xashiishka magaca iyo iyada oo leh meel cayiman oo diiwaannada hagaha oo ku yaal meel geed ah. Si kastaba ha noqotee, weli kuma talin karo Reiser4 wax soo saarka: tan waxaad u baahan tahay inaad sameyso xoogaa shaqo ah oo leh isdhexgalka firfircoon ee maamulayaasha nidaamka wax soo saarka.
Waxaan ugu dambeyntii ku guuleysanay inaan hirgelinno fikraddayada muddada-dheer - noocyada kala duwan ee macaamil ganacsi. Markii hore, Reiser4 kaliya wuxuu ku orday hal nooc oo Macdonald-Reiser ah oo adag. Tani waxay abuurtay dhibaatooyin naqshadeynta. Gaar ahaan, sawir-qaadista ma suurtowdo qaabka wax kala iibsiga ee noocan oo kale ah - waxaa kharribi doona qayb atomiga ah oo loo yaqaan "SET VERWRITE". Reiser4 hadda waxa ay taageertaa saddex nooc oo wax kala iibsiga. Mid ka mid ah (Qor-meel kasta), qaybta atomigga OVER WRITE SET waxaa ku jira boggaga nidaamka (sawirrada khariidadaha diskka, iwm.), kuwaas oo aan la "sawiro" (dhibaatada digaaga iyo ukunta).
Markaa sawirada hadda waxaa loo xaqiijin karaa sida ugu wanaagsan ee suurtogalka ah. Qaabka kale ee wax kala iibsiga, dhammaan boggaga wax laga beddelay waxay aadayaan oo keliya SET OVER WRITE (taas oo ah, asal ahaan waa joornaal saafi ah). Qaabkan waxaa loogu talagalay kuwa ka cawday kala qaybsanaanta degdega ah ee qaybaha Reiser4. Hadda qaabkan qaybtaadu si dhakhso ah uma jajabin doonto ReiserFS (v3). Dhammaan saddexda nooc ee jira, oo leh qaar boos celin ah, ayaa dammaanad qaadaya atominimada hawlgallada, laakiin moodooyinka leh luminta atomiga iyo ilaalinta kaliya daacadnimada qaybta ayaa sidoo kale faa'iido yeelan karta. Moodooyinka noocan oo kale ah waxay faa'iido u yeelan karaan dhammaan noocyada codsiyada (databases, iwm.), kuwaas oo horey u qaatay qaar ka mid ah hawlahan. Aad bay u fududahay in lagu daro moodooyinkan Reiser4, laakiin ma aanan samayn, sababtoo ah qofna ima waydiin, shakhsi ahaanna uma baahni.
Jeegag-baaritaanno badan ayaa soo muuqday waxaanan dhawaan ku kabay muraayado "dhaqaale ah" ( walxo aan weli degganayn). Haddi jeegaga baloog kasta uu fashilmo, Reiser4 isla markiiba waxa uu akhriyaa baloogga u dhigma ee aaladda nuqul ka mid ah. Ogsoonow in ZFS iyo Btrfs aysan samayn karin tan: naqshaddu ma ogola. Halkaa waa inaad ku socodsiisaa habka sawir-qaadaha asalka ah ee gaarka ah ee loo yaqaan "scrub" oo aad sugto inta uu u socdo xannibaadda dhibaatada leh. Barnaamij-bixiyeyaashu waxay si maldahan ugu yeedhaan dhacdooyinkan oo kale "curyaan".
Ugu dambeyntiina, qiyaaso macquul ah oo kala duwan ayaa soo muuqday, iyagoo bixinaya wax kasta oo ZFS, Btrfs, lakabka xannibaadda, iyo sidoo kale isku-dhafka FS + LVM mabda'a ma bixin karaan - isbarbardhigga, O (1) qaybiyaha cinwaanka diskka, guuritaanka xogta hufan ee u dhexeeya cutubyada hoose. Midka dambe wuxuu kaloo leeyahay interface interface. Hadda waxaad si fudud ugu dhaqaajin kartaa xogta ugu shidan una guuri kartaa wadida waxqabadka ugu sarreeya ee muggaaga.
Intaa waxaa dheer, waxaa suurtogal ah in si degdeg ah loogu nadiifiyo bog kasta oo wasakh ah darawalka noocaas ah, taas oo si weyn u dedejinaysa codsiyada inta badan soo wac fsync(2). Waxaan ogsoonahay in shaqeynta lakabka xannibaadda, oo loo yaqaan bcache, ma bixiso xorriyadda ficilka oo dhan. Qiyaasaha macquulka ah ee cusub waxay ku saleysan yihiin algorithms-yadayda (waxaa jira shatiyo u dhigma). Software-ka ayaa horeyba u degganaa, waa suurtagal in la tijaabiyo, cabbiro waxqabadka, iwm. Dhibta kaliya ayaa ah in hadda aad u baahan tahay inaad gacanta ku cusboonaysiiso qaabeynta mugga oo aad meel ku kaydiso.
Ilaa hadda waxaan awooday inaan hirgeliyo fikradahayga boqolkiiba 10 Si kastaba ha ahaatee, waxaan ku guuleystey waxa aan u tixgeliyey waxa ugu adag - isku xirka mugga macquulka ah ee nidaamka flash-ka kaas oo fulisa dhammaan ficillada dib loo dhigay ee reiser4. Waxaas oo dhami waxay weli ku jiraan laanta tijaabada "format41".
Reiser4 ma dhaafaa xfstests?
Ugu yaraan waxay ii samaysay markii aan diyaarinayay siideyntii ugu dambeysay.
Suurtagal ma tahay mabda'a ahaan in Reiser4 laga dhigo shabakad (cluster) FS iyadoo la adeegsanayo plugins?
Waa suurtagal, iyo xitaa lagama maarmaan! Haddii aad abuurto fayl shabakad ku salaysan nidaam faylal deegaan ah oo si habboon loo qaabeeyey, natiijadu waxay noqon doontaa mid cajiib ah! Shabakadda casriga ah ee FSs, kuma qanacsani joogitaanka heerka kaydinta dhabarka, kaas oo la hirgeliyay iyadoo la adeegsanayo FS kasta oo deegaanka ah. Jiritaanka heerkani gabi ahaanba waa mid aan xaq ahayn. Shabakadda FS waa inay si toos ah ula falgashaa lakabka xannibaadda, oo ha waydiin FS-ga maxalliga ah inay abuurto faylal adeeg oo kale!
Guud ahaan, u qaybinta nidaamyada faylalka gudaha iyo shabakada waxay ka timid kan sharka leh. Waxay ka dhalatay cillad la'aanta algorithms ee la isticmaalay soddon sano ka hor, oo aan weli waxba la soo jeedin. Tani sidoo kale waa sababta muuqaalka tiro badan oo ah qaybaha software aan loo baahnayn (adeegyo kala duwan, iwm.). Sida ugu wanaagsan, waa in ay jiraan hal FS oo kaliya oo ah qaabka moduleka kernel iyo set of utility user ee lagu rakibay mishiin kasta - qanjidhada kooxeed. FS Tani waa maxalli iyo shabakad labadaba. Oo wax kale ma jiraan!
Haddii aysan waxba ka shaqeynin Reiser4 ee Linux, waxaan jeclaan lahaa inaan bixiyo FS for FreeBSD (xigasho wareysi hore: "...FreeBSD ... waxay leedahay xididdo tacliimeed ... ma heli doonaan luqad ay wadaagaan kuwa horumariyaβ)?
Marka, sidaan hadda ogaanay, wax walbaa sifiican ayey ula shaqeeyeen Linux: waxaa jira deked u gaar ah Reiser4 oo u shaqeysa qaab laanta sare ee kaydkeena. Ma ilaawin wax ku saabsan FreeBSD! Bixin! Waxaan diyaar u ahay inaan si dhow ula shaqeeyo kuwa si fiican u yaqaan gudaha FreeBSD. By the way: waxa aan runtii jecelahay bulshadooda waa in go'aamo ay soo saaraan gole cusub oo khubaro madax-bannaan ah, oo aan shaqo ku lahayn khiyaamo dawladeed oo hal qof oo joogto ah.
Sideed u qiimaysaa bulshada isticmaala Linux maanta? Miyay noqotay "pop" badan?
Marka la eego nooca shaqadayda, aad bay iigu adag tahay inaan tan qiimeeyo. Inta badan isticmaalayaashu waxay ii yimaadaan warbixinnada bug iyo codsiyo lagu hagaajinayo qaybta. Isticmaalayaasha sida isticmaalayaasha. Qaar baa ka caqli badan, qaarna ka yar. Qof kasta si isku mid ah ayaa loola dhaqmaa. Hagaag, haddii isticmaaluhu iska indhotiro tilmaamahayga, ka dib iga raali noqo: amarka la iska indhotiray ayaa sidoo kale la geli doona qaybteyda.
Suurtagal ma tahay in la saadaaliyo horumarinta hababka faylalka shanta ilaa tobanka sano ee soo socota? Maxaad u malaynaysaa inay yihiin caqabadaha ugu waaweyn ee ay la kulmi karaan horumarinta FS?
Haa, ma adka in la sameeyo saadaal noocaas ah. Ma jirin wax horumar ah oo ku saabsan nidaamyada faylalka ee kor u kaca muddo dheer. Kaliya muuqaalka noocan oo kale ah ayaa la abuuray. Soosaarayaasha nidaamyada faylalka maxalliga ah waxay la kulmeen dhibaatooyin la xidhiidha naqshad xumo. Digniin ayaa loo baahan yahay in halkan lagu sameeyo. Uma arko waxa loogu yeero "kaydinta", "leexda" iyo soo-dejinta koodhka inay yihiin horumar iyo horumar. Aniguna uma kala saarayo isfaham la'aanta loo yaqaan "Btrfs" sida horumarinta sababaha aan horay u sharaxay.
Qalab kastaa wuxuu ka sii daraa dhibkiisa. Waa hagaag. oo had iyo jeer waxaa jira noocyo kala duwan oo " wacdiyayaal " kuwaas oo "wax walba u shaqeeyaan." Asal ahaan, kuwani waa ardayda dugsiga iyo ardayda ka boodaya casharrada. Kaliya qiyaas: way u shaqeysaa isaga, laakiin borofisarku ma sameeyo. Waa maxay degdegga adrenaline kani! Marka loo eego aragtidayda, waxyeelada ugu weyn waxaa keena "farsamoyaqaannada" kuwaas oo u yaacay inay si xamaasad leh u "ku dhejiyaan" sifooyinka cajiibka ah ee Btrfs dhammaan noocyada lakabyada sida systemd, docker, iwm. - tani waxay mar hore u shabbahdaa metastases.
Aynu hadda isku dayno inaan samayno saadaal shan ilaa toban sano ah. Waxaan horey si kooban u taxay waxa aan ku samayn doono Reiser4. Caqabadda ugu weyn ee horumariyeyaasha FS ee maxalliga ah ee ka imanaya kor waxay noqon doontaa (haa, waxay mar hore noqotay) awood la'aanta inay ku qabtaan shaqo hufan oo mushahar ah. Iyadoo aysan jirin wax fikrado ah oo ku saabsan kaydinta xogta, waxay sii wadi doonaan inay isku dayaan inay dhejiyaan kuwan nasiib-darrada ah ee VFS, XFS iyo ext4. Xaaladda VFS ayaa si gaar ah ugu eeg majaajillo ka soo horjeeda asalkan, oo u eg casriyaynta caajiska ah ee makhaayadda oo aanay ku jirin cunto kariyayaal, iyo cunto kariyayaal aan la filaynin.
Hadda koodhka VFS, iyada oo aan wax shuruudo ah lahayn, waxay xidhaa dhawr bog oo xusuusta isku mar ah waxayna ku martiqaadaysaa FS hoose inay ku shaqeeyaan. Tan waxaa loo soo bandhigay si loo hagaajiyo waxqabadka Ext4 ee hawlaha tirtirka, laakiin sida ay fududahay in la fahmo, xiritaanka noocan oo kale ah gabi ahaanba waa mid aan la socon karin moodooyinka wax kala iibsiga horumarsan. Taasi waa, ma awoodi doontid inaad si fudud ugu darto taageerada qaar ka mid ah nidaamka faylalka smart ee kernel-ka. Ma garanayo waxa ay xaaladdu ku sugan tahay meelaha kale ee Linux, laakiin illaa iyo inta nidaamyada faylalku khuseeyaan, horumar kasta oo halkan ku yaal uma badna inuu la jaanqaado siyaasadda ay raacaan Torvalds ficil ahaan (mashaariic waxbarasho ayaa la tuuray, iyo khiyaanada kuwaas oo wax fikrad ah ka haysan waxa B-geed, credits aan dhammaadka lahayn ee kalsoonida la bixiyo). Sidaa darteed, koorsada ayaa loo dejiyay si tartiib ah u qudhunka. Dabcan, waxay isku dayi doonaan wax kasta oo ay awoodaan si ay ugu gudbiyaan "horumar."
Dheeraad ah, "ilaaliyayaasha" ee nidaamyada faylalka, iyagoo ogaanaya inaadan kasban doonin wax badan "kaydinta" keligood, waxay isku dayi doonaan gacantooda ganacsi faa'iido badan leh. Kuwani waa, sida caadiga ah, nidaamyada faylalka la qaybiyay iyo qaabaynta. Waxaa laga yaabaa inay u soo dejiyaan ZFS-ga moodada ah meel kale oo aysan weli ka jirin. Laakiin, sida dhammaan FS ee ka soo jeeda dhinaca sare, waxay u egtahay geedka sanadka cusub: haddii aad ku dhejin kartid waxyaabo kale oo yaryar oo korka ah, markaa ma heli kartid wax qoto dheer. Waxaan qirayaa in ay suurtagal tahay in la dhiso nidaam ganacsi oo halis ah oo ku salaysan ZFS, laakiin maadaama aan hadda ka wada hadlayno mustaqbalka, waxaan si murugo leh u sheegi karaa in ZFS ay rajo la'aan tahay arrintan: qalabkooda farsamada, nimanku waxay gooyeen oksijiinta. naftooda iyo jiilasha soo socda si loo horumariyo. ZFS waa wax la soo dhaafay. Iyo ext4 iyo XFS xitaa ma ahan maalintii shalay ka hor.
Waxaa habboon in si gaar ah loo sheego fikradda dareenka leh ee "Nidaamka faylka Linux ee jiilka soo socda". Tani waa mashruuc gebi ahaanba siyaasadeed iyo suuqgeyn loo abuuray fursadda, si loo hadlo, si loo "ku dhejiyo mustaqbalka nidaamyada faylka" ee Linux ka dambeeya jilayaal gaar ah. Xaqiiqdu waxay tahay in Linux ay ahaan jirtay "kaliya madadaalo". Laakiin hadda waa ugu horrayn waa mashiinka lacag-samaynta. Waxaa lagu sameeyaa wax kasta oo suurtagal ah. Tusaale ahaan, aad bay u adagtahay in la abuuro wax soo saar software oo wanaagsan, laakiin "horumariyeyaasha" caqli-gal ah ayaa muddo dheer ogaaday in aysan jirin baahi loo qabo in la adkeeyo: waxaad si guul leh u iibin kartaa software aan jirin oo lagu dhawaaqay oo lagu xayeysiiyay dhammaan noocyada dadweynaha. dhacdooyinka - waxa ugu muhiimsan waa in boggaga bandhiggu ay ka kooban yihiin "sifooyin" badan.
Nidaamyada faylalka ayaa tan ku fiican, sababtoo ah waxaad si badbaado leh ugu gorgortami kartaa natiijada toban sano. Waa hagaag, haddii qof mar dambe ka cawdo la'aanta natiijadan, ka dibna si fudud ma fahmin wax ku saabsan nidaamyada faylka! Tani waxay xasuusinaysaa Ahraamta dhaqaale: meesha ugu sarreysa waa tacaburayaashii bilaabay qaskan, iyo kuwa yar ee "nasiibka lahaa": waxay "la baxeen saami qaybsi," i.e. waxa uu helay lacag horumarineed, waxa uu helay shaqo mushahar fiican leh oo maareeyayaal ah, "ka soo muuqday" shirarka, iwm.
Waxa soo socda kuwa "nasiib la'aanta ah": waxay xisaabin doonaan khasaaraha, waxay la tacaalayaan cawaaqibka ka dhalan kara soo saarista wax soo saarka software aan la isticmaali karin, "iwm. Waxaa jira qaar kaloo badan oo iyaga ka mid ah. Hagaag, saldhigga Ahraamta waxaa jira tiro aad u badan oo horumariyayaal ah oo "qaraya" kood aan faa'iido lahayn. Iyaga ayaa ah kuwa ugu khasaaraha badan, sababtoo ah waqti lumis lama soo celin karo. Ahraamta noocaan ah aad bay faa'iido ugu leedahay Torvalds iyo saaxiibadiisa. Inta badan ee Ahraamyadan, ayaa u roon iyaga. Si loo quudiyo Ahraamta noocan oo kale ah, wax kasta ayaa loo qaadan karaa xudunta u ah. Dabcan, fagaarayaasha waxay sheegaan liddi ku ah. Laakiin anigu kuma xukumo hadal, laakiin ficil.
Marka, "mustaqbalka nidaamyada faylalka Linux" weli waa barnaamij kale oo si heer sare ah loo dalacsiiyay, laakiin aan la isticmaali karin. Btrfs ka dib, oo leh suurtogalnimo sare, meesha "mustaqbalka" noocan oo kale ah waxaa qaadi doona Bcachefs, taas oo ah isku day kale oo lagu doonayo in laga gudbo lakabka xannibaadda Linux oo leh nidaamka faylka (tusaale xun waa la kala qaadaa). Iyo waxa caadiga ah: waxaa jira dhibaatooyin la mid ah kuwa Btrfs. Waxaan tan ka shakiyay muddo dheer, ka dibna si uun baan u adkaysan kari waayay oo waxaan eegay koodka - waa run!
Qorayaasha Bcachefs iyo Btrfs, markii ay abuureen FS, waxay si firfircoon u isticmaaleen ilo dadka kale, iyagoo wax yar ka fahmaya iyaga. Xaaladdu aad bay u soo xasuusanaysaa ciyaartii carruurta "telefoon jaban." Oo waxaan qiyaas ahaan qiyaasi karaa sida koodkan loogu dari doono kernel-ka. Dhab ahaantii, qofna ma arki doono "rakes" (qof kastaa wuu ku tallaabsan doonaa mar dambe). Ka dib markii tiro badan oo quibbles ah oo ku saabsan qaabka koodhka, eedeymaha xadgudubyada aan jirin, iwm., gunaanad ayaa la samayn doonaa oo ku saabsan "daacadnimada" qoraaga, sida wanaagsan ee uu "la falgalo" horumarinta kale, iyo sida si guul leh waxaas oo dhan waxay noqon kartaa. ka dibna laga iibiyo shirkadaha.
Natiijada kama dambaysta ah cidna xiiso uma yeelan doonto. Labaatan sano ka hor, malaha, waan xiisayn lahaa, laakiin hadda su'aalaha si ka duwan ayaa loo soo bandhigay: suurtagal ma noqon doontaa in arrintan kor loo qaado si dad gaar ah loo shaqaaleysiiyo tobanka sano ee soo socda. Oo, hoogtay, ma ahan wax caado ah in la yaabo natiijada ugu dambeysa.
Guud ahaan, waxaan si xoog leh kula talin lahaa inaadan bilaabin inaad dib u soo kiciso nidaamka faylkaaga meel eber ah. Sababtoo ah xitaa maalgashiga maaliyadeed ee muhiimka ah kuma filna in lagu helo wax tartan ah toban sano gudahood. Dabcan, waxaan ka hadlayaa mashruucyo halis ah, oo aan ku saabsan kuwa loogu talagalay in lagu "ku riixo" kernel. Markaa, sida ugu waxtarka badan ee lagu muujin karo naftaada waa inaad ku biirto horumarka dhabta ah, annaga oo kale. Tani, dabcan, ma fududa in la sameeyo - laakiin tani waa kiiska mashruuc kasta oo heer sare ah.
Marka hore, waxaad u baahan doontaa inaad si madaxbanaan uga gudubto dhibaatada aan bixin doono. Taas ka dib, oo aan ku qanacsanahay khatarta aad damacsan tahay, waxaan bilaabi doonaa inaan caawiyo. Dhaqan ahaan, waxaan isticmaalnaa oo kaliya horumarkeena. Waxa ka reebban waa algorithms- cadaadis iyo qaar ka mid ah hawlaha xashiishka. Uma dirno horumariyayaal si ay ugu safraan shirarka, ka dibna ma fadhiisanno oo isku darsanayn fikradaha dadka kale ("laga yaabee waxa dhici doona"), sida caadada u ah inta badan bilawga.
Waxaan horumarinaa dhammaan algorithms nafteena. Hadda waxaan xiiseeyaa aljabrada iyo dhinacyada isku-dhafka ah ee sayniska kaydinta xogta. Gaar ahaan, meelaha xaddidan, asymptotics, caddaynta sinnaan la'aanta. Waxaa sidoo kale jira shaqo loogu talagalay barnaamijyada caadiga ah, laakiin waa inaan isla markiiba kuu digaa: dhammaan talooyinka ah "fiiri FS kale oo sidaas oo kale samee" waa la iska indhatiray. Xirmooyinka loogu talagalay isdhexgalka dhow ee Linux iyada oo loo marayo VFS ayaa sidoo kale tagi doona halkaas.
Markaa, ma lihin raag, laakiin waxaan leenahay fahamka halka aan u baahanahay inaan u dhaqaaqno, waxaanan ku kalsoonahay in jihadani ay tahay tan saxda ah. Fahamkaas kuma iman qaab maan samada ka yimid. Aan ku xasuusiyo in aan leenahay 29 sano oo waayo-aragnimo horumarineed ah oo naga dambeeya, laba hab oo faylal ah oo laga soo qoray eber. Iyo tiro isku mid ah utility kabashada xogta. Oo tani waa wax badan!
Source: opennet.ru