LizardFS 3.13.0-rc2 ક્લસ્ટર ફાઇલ સિસ્ટમ અપડેટ

વિકાસમાં એક વર્ષ લાંબી સુસ્તી પછી ફરી શરૂ કર્યું ફોલ્ટ-ટોલરન્ટ વિતરિત ફાઇલ સિસ્ટમની નવી શાખા પર કામ કરવું લિઝાર્ડએફ 3.13 и પ્રકાશિત બીજા પ્રકાશન ઉમેદવાર. તાજેતરમાં આવી છે લિઝાર્ડએફએસ વિકસાવતી કંપનીના માલિકોમાં ફેરફાર, નવું સંચાલન અપનાવવામાં આવ્યું અને વિકાસકર્તાઓને બદલવામાં આવ્યા. છેલ્લા બે વર્ષથી, આ પ્રોજેક્ટ સમુદાયમાંથી પાછો ખેંચી લેવામાં આવ્યો છે અને તેના પર પૂરતું ધ્યાન આપ્યું નથી, પરંતુ નવી ટીમ સમુદાય સાથેના અગાઉના સંબંધોને પુનર્જીવિત કરવા અને તેની સાથે ગાઢ સંપર્ક સ્થાપિત કરવા માંગે છે. પ્રોજેક્ટ કોડ C અને C++ ભાષાઓમાં લખાયેલ છે અને દ્વારા વિતરિત GPLv3 લાયસન્સ હેઠળ.

લિઝાર્ડએફએસ તે ડિસ્ટ્રિબ્યુટેડ ક્લસ્ટર ફાઇલ સિસ્ટમ, જે તમને વિવિધ સર્વર પર ડેટા વિતરિત કરવાની પરવાનગી આપે છે, પરંતુ એક મોટા પાર્ટીશનના સ્વરૂપમાં તેમને ઍક્સેસ પ્રદાન કરે છે, જે પરંપરાગત ડિસ્ક પાર્ટીશનો જેવી જ રીતે કામ કરે છે. LizardFS સાથે માઉન્ટ થયેલ પાર્ટીશન POSIX ફાઇલ લક્ષણો, ACLs, તાળાઓ, સોકેટ્સ, પાઇપ્સ, ઉપકરણ ફાઇલો, સાંકેતિક અને હાર્ડ લિંક્સને સપોર્ટ કરે છે. સિસ્ટમમાં નિષ્ફળતાનો એક પણ મુદ્દો નથી; બધા ઘટકો નિરર્થક છે. ડેટા ઓપરેશન્સનું સમાંતરીકરણ સપોર્ટેડ છે (કેટલાક ક્લાયન્ટ એકસાથે ફાઇલોને ઍક્સેસ કરી શકે છે).

ખામી સહિષ્ણુતાને સુનિશ્ચિત કરવા માટે, ડેટાને પ્રતિકૃતિઓમાં વિભાજિત કરવામાં આવે છે, જે રીડન્ડન્સી સાથે વિવિધ નોડ્સ પર વિતરિત કરવામાં આવે છે (કેટલીક નકલો અલગ-અલગ નોડ્સ પર મૂકવામાં આવે છે); જો નોડ્સ અથવા ડ્રાઈવો નિષ્ફળ જાય, તો સિસ્ટમ માહિતી ગુમાવ્યા વિના કાર્ય કરવાનું ચાલુ રાખે છે અને આપમેળે ડેટાનું પુનઃવિતરિત કરે છે. બાકીના ગાંઠો ધ્યાનમાં લેતા. સ્ટોરેજને વિસ્તૃત કરવા માટે, જાળવણી માટે કામ બંધ કર્યા વિના તેની સાથે નવા નોડ્સને કનેક્ટ કરવા માટે તે પૂરતું છે (સિસ્ટમ પોતે નવા સર્વર્સ પર ડેટાના ભાગની નકલ કરે છે અને નવા સર્વરને ધ્યાનમાં લેતા સ્ટોરેજને સંતુલિત કરે છે). તમે ક્લસ્ટરનું કદ ઘટાડવા માટે તે જ કરી શકો છો - તમે ફક્ત અપ્રચલિત સાધનોને અક્ષમ કરી શકો છો જે સિસ્ટમમાંથી દૂર કરવામાં આવી રહ્યાં છે.

ડેટા અને મેટાડેટા અલગથી સંગ્રહિત થાય છે. ઓપરેશન માટે, માસ્ટર-સ્લેવ મોડમાં કાર્યરત બે મેટાડેટા સર્વર્સ તેમજ ઓછામાં ઓછા બે ડેટા સ્ટોરેજ સર્વર્સ (ચંકસર્વર) ઇન્સ્ટોલ કરવાની ભલામણ કરવામાં આવે છે. વધુમાં, મેટાડેટાનો બેકઅપ લેવા માટે, લોગ સર્વર્સનો ઉપયોગ મેટાડેટામાં થતા ફેરફારો વિશેની માહિતી સંગ્રહિત કરવા માટે થઈ શકે છે અને હાલના તમામ મેટાડેટા સર્વરને નુકસાન થવાના કિસ્સામાં તમને કામગીરી પુનઃસ્થાપિત કરવાની મંજૂરી આપે છે. દરેક ફાઇલને બ્લોક્સમાં વિભાજિત કરવામાં આવે છે, 64 MB સુધીનું કદ. બ્લોક્સને સ્ટોરેજ સર્વર્સ વચ્ચે પસંદ કરેલ પ્રતિકૃતિ મોડ અનુસાર વિતરિત કરવામાં આવે છે: પ્રમાણભૂત (વિવિધ ગાંઠો પર મૂકવાની નકલોની સંખ્યાનો સ્પષ્ટ નિર્ધારણ, વ્યક્તિગત ડિરેક્ટરીઓના સંબંધમાં સહિત - મહત્વપૂર્ણ ડેટા માટે નકલોની સંખ્યા વધારી શકાય છે, અને બિનમહત્વપૂર્ણ ડેટા ઘટાડ્યો, XOR (RAID5 ) અને EC (RAID6).

સ્ટોરેજ પેટાબાઇટ સાઇઝ સુધી સ્કેલ કરી શકે છે. એપ્લિકેશનના ક્ષેત્રોમાં આર્કાઇવિંગ, વર્ચ્યુઅલ મશીન ઇમેજનો સંગ્રહ, મલ્ટીમીડિયા ડેટા, બેકઅપ, DRC (ડિઝાસ્ટર રિકવરી સેન્ટર) તરીકે ઉપયોગ અને ઉચ્ચ-પ્રદર્શન કમ્પ્યુટિંગ ક્લસ્ટર્સમાં સંગ્રહનો સમાવેશ થાય છે. LizardFS કોઈપણ કદની ફાઇલો માટે ખૂબ જ ઊંચી વાંચન ગતિ પ્રદાન કરે છે, અને લખતી વખતે, તે સંપૂર્ણ મોટી અને મધ્યમ-કદની ફાઇલો લખતી વખતે સારું પ્રદર્શન દર્શાવે છે, જ્યારે કોઈ સતત ફેરફાર ન હોય, ખુલ્લી ફાઇલો સાથે સઘન કાર્ય, અને એક વખતની કામગીરી સાથે નાની ફાઇલોનો સમૂહ.

એફએસની વિશેષતાઓમાં, કોઈ પણ વ્યક્તિ સ્નેપશોટ માટે સમર્થનની હાજરીની નોંધ લઈ શકે છે, જે ચોક્કસ સમયે ફાઇલોની સ્થિતિને પ્રતિબિંબિત કરે છે, અને "રિસાઇકલ બિન" નું બિલ્ટ-ઇન અમલીકરણ (ફાઇલો તરત જ કાઢી નાખવામાં આવતી નથી અને તે માટે ઉપલબ્ધ છે. થોડા સમય માટે પુનઃપ્રાપ્તિ). પાર્ટીશનની ઍક્સેસ IP સરનામું અથવા પાસવર્ડ (NFS ની જેમ) દ્વારા મર્યાદિત કરી શકાય છે. સેવા વ્યવસ્થાપન પદ્ધતિઓનો ક્વોટા અને ગુણવત્તા છે જે તમને ચોક્કસ શ્રેણીના વપરાશકર્તાઓ માટે કદ અને બેન્ડવિડ્થને મર્યાદિત કરવાની મંજૂરી આપે છે. ભૌગોલિક રીતે વિતરિત સ્ટોરેજ સુવિધાઓ બનાવવાનું શક્ય છે, જેનાં સેગમેન્ટ્સ વિવિધ ડેટા કેન્દ્રોમાં સ્થિત છે.

લિઝાર્ડએફએસ પ્રોજેક્ટની સ્થાપના 2013 માં ફોર્ક તરીકે કરવામાં આવી હતી MooseFS, અને મુખ્યત્વે રીડ-સોલોમન એરર કરેક્શન કોડ્સ પર આધારિત પ્રતિકૃતિ મોડની હાજરીમાં અલગ પડે છે (raidzN ના અનુરૂપ), વિસ્તૃત ACL સપોર્ટ, વિન્ડોઝ પ્લેટફોર્મ માટે ક્લાયંટની હાજરી, વધારાના ઑપ્ટિમાઇઝેશન (ઉદાહરણ તરીકે, જ્યારે ક્લાયંટને જોડતી વખતે અને સ્ટોરેજ સર્વર, બ્લોક્સ, જો શક્ય હોય તો, વર્તમાન નોડ સાથે મોકલવામાં આવે છે, અને મેટાડેટા મેમરીમાં કેશ કરવામાં આવે છે), વધુ લવચીક રૂપરેખાંકન સિસ્ટમ, ડેટા આગળ વાંચવા માટે સપોર્ટ, ડિરેક્ટરી ક્વોટા અને આંતરિક પુનઃકાર્ય.

LizardFS 3.13.0 ડિસેમ્બરના અંતમાં રિલીઝ થવાનું છે. LizardFS 3.13 ની મુખ્ય નવીનતા એ દોષ સહિષ્ણુતાને સુનિશ્ચિત કરવા માટે સર્વસંમતિ અલ્ગોરિધમનો ઉપયોગ છે (નિષ્ફળતાના કિસ્સામાં માસ્ટર સર્વરને સ્વિચ કરવું) રફટ (યુરાફ્ટના અમારા પોતાના અમલીકરણનો ઉપયોગ કરે છે, જેનો ઉપયોગ અગાઉ વ્યાપારી ઉત્પાદનોમાં થતો હતો). uRaft નો ઉપયોગ રૂપરેખાંકનને સરળ બનાવે છે અને નિષ્ફળતા પુનઃપ્રાપ્તિ વિલંબને ઘટાડે છે, પરંતુ ઓછામાં ઓછા ત્રણ કાર્યકારી ગાંઠોની જરૂર છે, જેમાંથી એક કોરમ માટે વપરાય છે.

અન્ય ફેરફારો: FUSE3 સબસિસ્ટમ પર આધારિત એક નવો ક્લાયંટ, ભૂલ સુધારણા સાથે સમસ્યાઓનું નિરાકરણ, nfs-ganesha પ્લગઇનને C ભાષામાં ફરીથી લખવામાં આવ્યું છે. અપડેટ 3.13.0-rc2 અનેક જટિલ બગ્સને સુધારે છે જેણે 3.13 શાખાના અગાઉના પરીક્ષણ પ્રકાશનોને બિનઉપયોગી બનાવ્યા હતા (3.12 શાખા માટેના સુધારાઓ હજુ સુધી પ્રકાશિત થયા નથી, અને 3.12 થી 3.13 સુધીના અપડેટ હજુ પણ સંપૂર્ણ ડેટા નુકશાન તરફ દોરી જાય છે).

2020 માં, કામ વિકાસ પર ધ્યાન કેન્દ્રિત કરશે
અગમા, એક નવું સંપૂર્ણપણે પુનઃલેખિત LizardFS કર્નલ, જે વિકાસકર્તાઓ અનુસાર, બ્રાન્ચ 3.12 ની સરખામણીમાં કામગીરીમાં ત્રણ ગણો વધારો પ્રદાન કરશે. અગામા ઇવેન્ટ-આધારિત આર્કિટેક્ચરમાં સંક્રમણ કરશે, અસુમેળ ઇનપુટ/આઉટપુટ આધારિત asio, મુખ્યત્વે વપરાશકર્તા જગ્યામાં કામ કરો (કર્નલ કેશીંગ મિકેનિઝમ્સ પર નિર્ભરતા ઘટાડવા માટે). વધુમાં, એક નવું ડિબગીંગ સબસિસ્ટમ અને નેટવર્ક પ્રવૃત્તિ વિશ્લેષક પ્રદર્શન ઓટો-ટ્યુનિંગ માટે સપોર્ટ સાથે ઓફર કરવામાં આવશે.

લિઝાર્ડએફએસ ક્લાયંટ વર્ઝનિંગ રાઈટ ઓપરેશન્સ માટે સંપૂર્ણ સમર્થન ઉમેરશે, જે ડિઝાસ્ટર રિકવરીની વિશ્વસનીયતામાં સુધારો કરશે, જ્યારે વિવિધ ક્લાયન્ટ્સ સમાન ડેટાની ઍક્સેસ શેર કરે છે ત્યારે ઊભી થતી સમસ્યાઓનું નિરાકરણ કરશે અને નોંધપાત્ર કામગીરી સુધારણા માટે પરવાનગી આપશે. ક્લાયન્ટને યુઝર સ્પેસમાં કાર્યરત તેના પોતાના નેટવર્ક સબસિસ્ટમમાં ટ્રાન્સફર કરવામાં આવશે. આગમા પર આધારિત લિઝાર્ડએફએસનો પ્રથમ કાર્યકારી પ્રોટોટાઇપ 2020 ના બીજા ક્વાર્ટરમાં તૈયાર થવાની યોજના છે. તે જ સમયે, તેઓ કુબરનેટ્સ પ્લેટફોર્મ સાથે લિઝાર્ડએફએસને એકીકૃત કરવા માટેના સાધનોનો અમલ કરવાનું વચન આપે છે.

સોર્સ: opennet.ru