kernel developer mailing list အကြောင်း ဆွေးနွေးရန်အတွက် Linux BeamFS ဖိုင်စနစ်ကို အကောင်အထည်ဖော်သည့် patch များကို ထုတ်ပြန်ထားပြီးဖြစ်ပြီး၊ ၎င်းသည် single-drive configuration များတွင် ပျက်စီးနေသောဒေတာများကို ရှာဖွေပြီး ပြန်လည်ရယူရန် Reed-Solomon encoding ကို အသုံးပြုသည်။ BeamFS အတွက် အဓိကအသုံးချမှုများတွင် ဂြိုလ်တု onboard ကွန်ပျူတာများ၊ ရောင်ခြည်ကုထုံးခန်းများရှိ စက်ပစ္စည်းများနှင့် ရောင်ခြည်မြင့်မားသောပတ်ဝန်းကျင်တွင် လည်ပတ်နေသော အခြားစနစ်များ ပါဝင်ပြီး အချက်အလက်များကို မဖတ်ရှုနိုင်ခြင်းထက် ပျက်စီးနေသောဒေတာများကို ပြန်လည်ရယူခြင်းသည် ပိုမိုအရေးကြီးပါသည်။
ပုံမှန်အားဖြင့် BeamFS သည် 255-byte block တစ်ခုစီတွင် ပျောက်ဆုံးသွားသော bytes ၈ ခုအထိကို 7% overhead ဖြင့် ပြန်လည်ရယူနိုင်သည် (သိမ်းဆည်းထားသော data 4096 bytes တိုင်းအတွက် recovery code 288 bytes)။ Error correction code များကို data များတွင်သာမက superblock၊ inode၊ directory indexes နှင့် bitmaps ရှိ service information များတွင်ပါ အသုံးပြုသည်။ Integrity check များနှင့် ပျောက်ဆုံးနေသော data များကို ပြန်လည်ရယူရန် ကြိုးပမ်းမှုများကို read operation တိုင်းတွင် ပြုလုပ်သည်။ အချက်အလက်၏ မှန်ကန်မှုကို အာမမခံနိုင်ပါက "-EIO" error ဖြင့် လုပ်ဆောင်ချက် မအောင်မြင်ဘဲ ပျက်စီးနေသော data များကို တိတ်ဆိတ်စွာ ပြန်လည်ရယူခြင်းကို တားဆီးပေးသည်။
ပြုလုပ်ခဲ့သော စမ်းသပ်ချက်များအရ i.MX 8M Plus ဘုတ်ကို ရောင်ခြည်ဖြင့် ထိတွေ့စေသောအခါ Linux နှင့် 20 မှ 58 meV အထိ စွမ်းအင်ရှိသော ပရိုတွန်များပါရှိသော ext4 ဖိုင်စနစ်တွင်၊ ချို့ယွင်းချက်အားလုံး၏ 90% သည် ဖိုင်စနစ်နှင့် သိုလှောင်မှုကိရိယာဒရိုက်ဘာအဆင့်များတွင် ဖြစ်ပွားခဲ့သည်။ ဒရိုက်မှ ဖတ်ရှုစဉ်အတွင်း single bit ပျက်စီးမှုများကို သရုပ်ဖော်ခြင်းကိုလည်း ပြုလုပ်ခဲ့သည်- BeamFS နှင့် Btrfs များသည် ဒေတာပျက်စီးမှုကို အောင်မြင်စွာ ထောက်လှမ်းခဲ့ပြီး အမြဲတမ်း အမှားတစ်ခုကို ပြန်ပေးခဲ့သော်လည်း ext4 နှင့် ext3 တို့သည် ပျက်စီးနေသော ဒေတာကို တိတ်တဆိတ် ပြန်ပေးခဲ့သည်။
BeamFS သည် ရုပ်ပိုင်းဆိုင်ရာ သိုလှောင်မှုကိရိယာမှ ဖတ်ရှုခြင်းမှ RAM ရှိ စာမျက်နှာကက်ရှ်သို့ လွှဲပြောင်းခြင်းအထိ အဆင့်တွင်သာ တိကျမှုနှင့် ပြန်လည်ရယူခြင်းကို သေချာစေသည်။ အမှားပြင်ဆင်သည့် မှတ်ဉာဏ်ချစ်ပ်များကို အသုံးပြု၍ RAM သိုလှောင်မှု တိကျမှုကို ထိန်းသိမ်းနိုင်သည်။
BeamFS ရဲ့ ကန့်သတ်ချက်တွေထဲမှာ journaling နဲ့ Copy-on-Write (CoW) mode ကို support မလုပ်ပေးထားပါဘူး။ metadata တွေကို drive ထဲကို random order နဲ့ရေးထားတာမို့ ပုံမှန်မဟုတ်တဲ့ shutdown ဖြစ်သွားရင် fsck ကိုသုံးပြီး အပြည့်အဝစစ်ဆေးဖို့ လိုအပ်ပါတယ်။
BeamFS အပြင် မကြာသေးမီက kernel အတွက် Linux နောက်ထပ် ဖိုင်စနစ်နှစ်ခုကို အဆိုပြုခဲ့သည်-
- ရက်အနည်းငယ်က ကျင်းပခဲ့တဲ့ ညီလာခံတစ်ခုမှာ Linux ၂၀၂၆ ခုနှစ် Plumbers Conference တွင် Huawei အင်ဂျင်နီယာတစ်ဦးသည် kernel အတွက် XMFS (cross-node eXpress Memory File System) ဖိုင်စနစ်ကို တင်ပြခဲ့သည် (ဗီဒီယို၊ ဆလိုက်များ)။ Linux၊ node အားလုံး (tmpfs ကဲ့သို့ပင်၊ သို့သော် node အားလုံးအတွက်) တွင် shared RAM ပါသည့် cluster များတွင် အသုံးပြုရန် ဒီဇိုင်းထုတ်ထားသည်။ XMFS သည် standard POSIX file system interface ကို external memory နှင့်အလုပ်လုပ်ရန် အသုံးပြုခွင့်ပေးပြီး CXL 3.0 (Compute Express Link) နှင့် Huawei United Bus ကဲ့သို့သော နည်းပညာများကို အသုံးပြု၍ တိုက်ရိုက်ကိုင်တွယ်ဖြေရှင်းသည်။ ဤပရောဂျက်သည် လက်ရှိတွင် စမ်းသပ် prototype အဆင့်တွင်ရှိနေပြီး internal testing ပြုလုပ်နေပြီး kernel integration အတွက် အဆင်သင့်မဖြစ်သေးပါ။
ဖိုင်စနစ်တွင် ခွဲဝေချထားပေးထားသော ဖြန့်ဝေထားသော ဖိုင်စနစ်များအတွက် ဂန္ထဝင်ဗိသုကာပုံစံရှိသည်။ ဆာဗာ၊ ဂျာနယ်ရေးသားခြင်း၊ inode ဇယားများကို ထိန်းသိမ်းခြင်းနှင့် အကြောင်းအရာနှင့် metadata များကို တစ်ဦးချင်း node မှတ်ဉာဏ်သို့ ချိတ်ဆက်ပေးခြင်းအတွက် တာဝန်ရှိသည်။
node များတစ်လျှောက် container image များမျှဝေခြင်းကဲ့သို့သော လုပ်ငန်းများအတွက် XMFS အသုံးပြုမှုကို စမ်းသပ်သောအခါ၊ အကောင်အထည်ဖော်မှုသည် မှတ်ဉာဏ်ကြီးမားသော စာမျက်နှာများ (2 MB ကြီးမားသော စာမျက်နှာများ) ကို ဖွင့်ထားသော tmpfs နှင့် ဆင်တူသော စွမ်းဆောင်ရည်ကို ပြသခဲ့သည်။
- AI ကို အသုံးပြု၍ MeshXFS ဖိုင်စနစ်ကို တီထွင်ခဲ့သည်။ ၎င်းသည် cluster တစ်ခုရှိ node များစွာတွင် တစ်ပြိုင်နက်တည်းအသုံးပြုရန်အတွက် လိုက်လျောညီထွေဖြစ်အောင် ပြုလုပ်ထားသော XFS ၏ fork တစ်ခုဖြစ်သည်။ MeshXFS သည် shared block device တစ်ခုကို node အမျိုးမျိုးတွင် read-write mode ဖြင့် mount လုပ်ခွင့်ပြုပြီး integrity ကို ထိန်းသိမ်းပေးကာ တစ်ပြိုင်နက်တည်း data access လုပ်နေစဉ်အတွင်း lock များကို စီမံခန့်ခွဲပေးသည်။ ဤပရောဂျက်သည် AI မော်ဒယ်များကို အသုံးပြု၍ data ဖန်တီးခြင်း၏ ဖြစ်နိုင်ခြေကို စမ်းသပ်ရန် စမ်းသပ်မှုတစ်ခုအဖြစ် စတင်ခဲ့သည်။ Linux- ဖြန့်ဝေထားသော သော့ခလောက်များ၊ ပြိုင်တူဝင်ရောက်ခွင့်နှင့် ပျက်စီးမှုပြန်လည်ရယူခြင်းကို ပံ့ပိုးပေးသည့် ဖိုင်စနစ်ပါရှိသော ဒရိုက်ဘာများ။ အဓိကအလုပ်ကို Claude Opus ကို အသုံးပြု၍ လုပ်ဆောင်ခဲ့သော်လည်း Claude Fable၊ GPT၊ Gemini နှင့် Astra တို့ကို အထူးရှုပ်ထွေးသော ပြဿနာများကို ဖြေရှင်းရန် အသုံးပြုခဲ့သည်။ စမ်းသပ်မှုကို အောင်မြင်မှုတစ်ခုအဖြစ် သတ်မှတ်ခဲ့ပြီး MeshXFS ၏ အလုပ်လုပ်သော ထုတ်ဝေမှုများစွာကို ထုတ်ဝေပြီးဖြစ်သည်။
XFS ၏ထိပ်တွင် အကောင်အထည်ဖော်ထားသော နောက်ထပ်အင်္ဂါရပ်များတွင် ဖြန့်ဝေထားသော lock စီမံခန့်ခွဲမှုမုဒ်နှစ်ခု (ကွန်ရက်ထပ်တူပြုခြင်းနှင့် သီးခြားမျှဝေထားသော disk တွင် အခြေအနေကိုသိမ်းဆည်းခြင်း)၊ node များတစ်လျှောက် cache ညီညွတ်မှု၊ recovery journaling နှင့် disk format နှင့် utilities များကို cluster file system ၏ တိကျမှုများနှင့်အညီ လိုက်လျောညီထွေဖြစ်အောင် ပြုလုပ်ခြင်းတို့ ပါဝင်သည်။ iSCSI မှတစ်ဆင့် ချိတ်ဆက်ထားသော shared storage (node ၁၆ ခုတွင် စမ်းသပ်ပြီး) သို့မဟုတ် DRBD ကို အသုံးပြု၍ block device replication ဖြင့် အလုပ်လုပ်ရန်အတွက် ပံ့ပိုးမှုပေးထားသည်။ Lock ညှိနှိုင်းမှု၊ node ရှာဖွေတွေ့ရှိမှုလုပ်ဆောင်ချက်များ၊ ရရှိနိုင်မှုစစ်ဆေးမှုများနှင့် node ရှာဖွေတွေ့ရှိမှု မအောင်မြင်ခြင်းတို့ကို shared kernel module တစ်ခုတည်းတွင် အကောင်အထည်ဖော်ထားသည်။ လုပ်ဆောင်ချက်ကို Proxmox VE 9၊ RHEL 9 တွင် စမ်းသပ်ထားပြီးဖြစ်သည်။ Ubuntu ၂၀.၀၄/၂၂.၀၄ နှင့် Debian 12 / 13 ။
source: opennet.ru
