હાયપરકન્વર્જ્ડ સોલ્યુશન AERODISK vAIR. આધાર એઆરડીએફએસ ફાઇલ સિસ્ટમ છે

હેલો, હેબ્ર વાચકો. આ લેખ સાથે અમે એક શ્રેણી ખોલીએ છીએ જે અમે વિકસિત કરેલી હાઇપરકન્વર્જ્ડ સિસ્ટમ AERODISK vAIR વિશે વાત કરશે. શરૂઆતમાં, અમે પહેલા લેખમાં દરેક વસ્તુ વિશે બધું કહેવા માંગતા હતા, પરંતુ સિસ્ટમ ખૂબ જટિલ છે, તેથી અમે હાથીને ભાગોમાં ખાઈશું.

ચાલો સિસ્ટમની રચનાના ઇતિહાસ સાથે વાર્તાની શરૂઆત કરીએ, ARDFS ફાઇલ સિસ્ટમનો અભ્યાસ કરીએ, જે vAIR નો આધાર છે, અને રશિયન બજાર પર આ સોલ્યુશનની સ્થિતિ વિશે પણ થોડી વાત કરીએ.

ભવિષ્યના લેખોમાં આપણે વિવિધ આર્કિટેક્ચરલ ઘટકો (ક્લસ્ટર, હાઇપરવાઇઝર, લોડ બેલેન્સર, મોનિટરિંગ સિસ્ટમ, વગેરે), રૂપરેખાંકન પ્રક્રિયા વિશે વધુ વિગતવાર વાત કરીશું, લાઇસેંસિંગ મુદ્દાઓ ઉભા કરીશું, અલગથી ક્રેશ પરીક્ષણો બતાવીશું અને અલબત્ત, લોડ પરીક્ષણ વિશે લખીશું. કદ બદલવાનું અમે VAIR ના સમુદાય સંસ્કરણ માટે એક અલગ લેખ પણ સમર્પિત કરીશું.

શું એરોડિસ્ક સ્ટોરેજ સિસ્ટમ્સ વિશેની વાર્તા છે? અથવા શા માટે આપણે પ્રથમ સ્થાને હાઇપરકન્વર્જન્સ કરવાનું શરૂ કર્યું?

શરૂઆતમાં, આપણું પોતાનું હાઇપરકન્વર્જન્સ બનાવવાનો વિચાર અમને 2010 ની આસપાસ ક્યાંક આવ્યો. તે સમયે, બજારમાં ન તો એરોડિસ્ક હતા અને ન તો તેના જેવા ઉકેલો (વ્યાપારી બોક્સવાળી હાઇપરકન્વર્જ્ડ સિસ્ટમ્સ) હતા. અમારું કાર્ય નીચે મુજબ હતું: સ્થાનિક ડિસ્ક સાથેના સર્વર્સના સમૂહમાંથી, ઇથરનેટ પ્રોટોકોલ દ્વારા ઇન્ટરકનેક્ટ દ્વારા, એક વિસ્તૃત સ્ટોરેજ બનાવવું અને ત્યાં વર્ચ્યુઅલ મશીનો અને સોફ્ટવેર નેટવર્ક શરૂ કરવું જરૂરી હતું. આ બધું સ્ટોરેજ સિસ્ટમ્સ વિના અમલમાં મૂકવું પડ્યું હતું (કારણ કે સ્ટોરેજ સિસ્ટમ્સ અને તેના હાર્ડવેર માટે કોઈ પૈસા નહોતા, અને અમે હજી સુધી અમારી પોતાની સ્ટોરેજ સિસ્ટમની શોધ કરી ન હતી).

અમે ઘણા ઓપન સોર્સ સોલ્યુશન્સ અજમાવ્યા અને અંતે આ સમસ્યાનું નિરાકરણ કર્યું, પરંતુ ઉકેલ ખૂબ જ જટિલ અને પુનરાવર્તન કરવું મુશ્કેલ હતું. આ ઉપરાંત, આ સોલ્યુશન “શું તે કામ કરે છે? સ્પર્શ કરશો નહીં! તેથી, તે સમસ્યા હલ કર્યા પછી, અમે અમારા કાર્યના પરિણામને સંપૂર્ણ ઉત્પાદનમાં રૂપાંતરિત કરવાનો વિચાર આગળ વિકસાવ્યો નથી.

તે ઘટના પછી, અમે આ વિચારથી દૂર ગયા, પરંતુ અમને હજુ પણ એવી લાગણી હતી કે આ સમસ્યા સંપૂર્ણપણે ઉકેલી શકાય તેવી હતી, અને આવા ઉકેલના ફાયદા સ્પષ્ટ કરતાં વધુ હતા. ત્યારબાદ, વિદેશી કંપનીઓના પ્રકાશિત HCI ઉત્પાદનોએ ફક્ત આ લાગણીની પુષ્ટિ કરી.

તેથી, 2016 ના મધ્યમાં, અમે સંપૂર્ણ ઉત્પાદન બનાવવાના ભાગ રૂપે આ કાર્ય પર પાછા ફર્યા. તે સમયે અમારે હજુ સુધી રોકાણકારો સાથે કોઈ સંબંધ ન હતો, તેથી અમારે અમારા પોતાના પૈસા માટે ડેવલપમેન્ટ સ્ટેન્ડ ખરીદવું પડ્યું. Avito પર વપરાયેલ સર્વર અને સ્વિચ એકત્રિત કર્યા પછી, અમે વ્યવસાયમાં ઉતર્યા.

મુખ્ય પ્રારંભિક કાર્ય આપણું પોતાનું બનાવવાનું હતું, સરળ હોવા છતાં, પરંતુ આપણી પોતાની ફાઇલ સિસ્ટમ, જે ઇથરનેટ દ્વારા ઇન્ટરકનેક્ટ દ્વારા જોડાયેલા ક્લસ્ટર નોડ્સના nમા નંબર પર વર્ચ્યુઅલ બ્લોક્સના સ્વરૂપમાં આપમેળે અને સમાનરૂપે ડેટાનું વિતરણ કરી શકે છે. તે જ સમયે, એફએસને સારી રીતે અને સરળતાથી સ્કેલ કરવું જોઈએ અને નજીકની સિસ્ટમોથી સ્વતંત્ર હોવું જોઈએ, એટલે કે. "માત્ર એક સ્ટોરેજ સુવિધા" ના રૂપમાં VAIR થી દૂર રહો.

પ્રથમ vAIR ખ્યાલ

અમે અમારા પોતાના વિકાસની તરફેણમાં સ્ટ્રેચ્ડ સ્ટોરેજ (સેફ, ગ્લુસ્ટર, લસ્ટર અને તેના જેવા) ગોઠવવા માટે તૈયાર ઓપન સોર્સ સોલ્યુશન્સનો ઉપયોગ જાણીજોઈને છોડી દીધો, કારણ કે અમારી પાસે પહેલેથી જ તેમની સાથે ઘણો પ્રોજેક્ટ અનુભવ હતો. અલબત્ત, આ ઉકેલો પોતે જ ઉત્તમ છે, અને એરોડિસ્ક પર કામ કરતા પહેલા, અમે તેમની સાથે એક કરતાં વધુ એકીકરણ પ્રોજેક્ટ અમલમાં મૂક્યો છે. પરંતુ એક ગ્રાહક માટે ચોક્કસ કાર્યને અમલમાં મૂકવું, સ્ટાફને તાલીમ આપવી અને, કદાચ, મોટા વિક્રેતાનો ટેકો ખરીદવો એ એક વસ્તુ છે, અને એક સરળ રીતે નકલ કરી શકાય તેવું ઉત્પાદન બનાવવું એ બીજી વસ્તુ છે જેનો ઉપયોગ વિવિધ કાર્યો માટે કરવામાં આવશે, જે અમે, વિક્રેતા, કદાચ આપણે આપણા વિશે જાણતા પણ નથી. બીજા હેતુ માટે, હાલના ઓપન સોર્સ ઉત્પાદનો અમારા માટે યોગ્ય ન હતા, તેથી અમે જાતે વિતરિત ફાઇલ સિસ્ટમ બનાવવાનું નક્કી કર્યું.
બે વર્ષ પછી, ઘણા વિકાસકર્તાઓ (જેમણે ક્લાસિક એન્જિન સ્ટોરેજ સિસ્ટમ પર કામ સાથે vAIR પર કામ કર્યું હતું) ચોક્કસ પરિણામ પ્રાપ્ત કર્યું.

2018 સુધીમાં, અમે એક સરળ ફાઇલ સિસ્ટમ લખી હતી અને તેને જરૂરી હાર્ડવેર સાથે પૂરક બનાવી હતી. સિસ્ટમ વિવિધ સર્વરમાંથી ભૌતિક (સ્થાનિક) ડિસ્કને આંતરિક ઇન્ટરકનેક્ટ દ્વારા એક ફ્લેટ પૂલમાં જોડે છે અને તેમને વર્ચ્યુઅલ બ્લોક્સમાં "કટ" કરે છે, પછી વર્ચ્યુઅલ બ્લોક્સમાંથી ખામી સહિષ્ણુતાની વિવિધ ડિગ્રીવાળા બ્લોક ઉપકરણો બનાવવામાં આવ્યા હતા, જેના પર વર્ચ્યુઅલ બ્લોક્સ બનાવવામાં આવ્યા હતા. અને KVM હાઇપરવાઇઝર કારનો ઉપયોગ કરીને ચલાવવામાં આવે છે.

અમે ફાઈલ સિસ્ટમના નામથી બહુ પરેશાન નહોતા અને સંક્ષિપ્તમાં તેને ARDFS કહીએ છીએ (ધારો કે તેનો અર્થ શું છે))

આ પ્રોટોટાઇપ સારો દેખાતો હતો (દ્રષ્ટિની રીતે નહીં, અલબત્ત, હજી સુધી કોઈ વિઝ્યુઅલ ડિઝાઇન ન હતી) અને પ્રદર્શન અને સ્કેલિંગની દ્રષ્ટિએ સારા પરિણામો દર્શાવ્યા. પ્રથમ વાસ્તવિક પરિણામ પછી, અમે આ પ્રોજેક્ટને ગતિમાં સેટ કર્યો, એક સંપૂર્ણ વિકાસ વાતાવરણ અને એક અલગ ટીમનું આયોજન કર્યું જે ફક્ત vAIR સાથે કામ કરે છે.

તે સમય સુધીમાં, સોલ્યુશનનું સામાન્ય આર્કિટેક્ચર પરિપક્વ થઈ ગયું હતું, જેમાં હજુ સુધી મોટા ફેરફારો થયા નથી.

ARDFS ફાઇલ સિસ્ટમમાં ડાઇવિંગ

ARDFS એ VAIR નો પાયો છે, જે સમગ્ર ક્લસ્ટરમાં વિતરિત, ફોલ્ટ-ટોલરન્ટ ડેટા સ્ટોરેજ પ્રદાન કરે છે. ARDFS ની વિશિષ્ટ વિશેષતાઓમાંની એક (પરંતુ એકમાત્ર નહીં) એ છે કે તે મેટાડેટા અને સંચાલન માટે કોઈપણ વધારાના સમર્પિત સર્વર્સનો ઉપયોગ કરતું નથી. આ મૂળરૂપે ઉકેલની ગોઠવણીને સરળ બનાવવા અને તેની વિશ્વસનીયતા માટે કલ્પના કરવામાં આવી હતી.

સંગ્રહ માળખું

ક્લસ્ટરના તમામ નોડ્સની અંદર, ARDFS બધી ઉપલબ્ધ ડિસ્ક જગ્યામાંથી લોજિકલ પૂલનું આયોજન કરે છે. તે સમજવું અગત્યનું છે કે પૂલ હજુ સુધી ડેટા અથવા ફોર્મેટ કરેલ જગ્યા નથી, પરંતુ ફક્ત માર્કઅપ, એટલે કે. VAIR ઇન્સ્ટોલ કરેલ કોઈપણ નોડ્સ, જ્યારે ક્લસ્ટરમાં ઉમેરવામાં આવે છે, ત્યારે આપમેળે શેર કરેલ ARDFS પૂલમાં ઉમેરવામાં આવે છે અને ડિસ્ક સંસાધનો આપમેળે સમગ્ર ક્લસ્ટરમાં શેર થઈ જાય છે (અને ભવિષ્યમાં ડેટા સ્ટોરેજ માટે ઉપલબ્ધ છે). આ અભિગમ તમને પહેલાથી ચાલી રહેલી સિસ્ટમ પર કોઈ ગંભીર અસર કર્યા વિના ફ્લાય પર નોડ્સ ઉમેરવા અને દૂર કરવાની મંજૂરી આપે છે. તે. સિસ્ટમ "ઇંટોમાં" માપવા માટે ખૂબ જ સરળ છે, જો જરૂરી હોય તો ક્લસ્ટરમાં નોડ્સ ઉમેરવા અથવા દૂર કરવા.

વર્ચ્યુઅલ ડિસ્ક (વર્ચ્યુઅલ મશીનો માટે સ્ટોરેજ ઑબ્જેક્ટ્સ) એઆરડીએફએસ પૂલની ટોચ પર ઉમેરવામાં આવે છે, જે 4 મેગાબાઈટના કદના વર્ચ્યુઅલ બ્લોક્સમાંથી બનાવવામાં આવે છે. વર્ચ્યુઅલ ડિસ્ક સીધો ડેટા સ્ટોર કરે છે. ફોલ્ટ ટોલરન્સ સ્કીમ પણ વર્ચ્યુઅલ ડિસ્ક લેવલ પર સેટ કરેલી છે.

જેમ તમે પહેલેથી જ અનુમાન લગાવ્યું હશે, ડિસ્ક સબસિસ્ટમની ખામી સહિષ્ણુતા માટે, અમે RAID (સ્વતંત્ર ડિસ્કનો રીડન્ડન્ટ એરે) ની વિભાવનાનો ઉપયોગ કરતા નથી, પરંતુ RAIN (સ્વતંત્ર નોડ્સનો રીડન્ડન્ટ એરે) નો ઉપયોગ કરીએ છીએ. તે. ફોલ્ટ સહિષ્ણુતા માપવામાં આવે છે, સ્વચાલિત થાય છે અને ગાંઠોના આધારે સંચાલિત થાય છે, ડિસ્કના આધારે નહીં. ડિસ્ક, અલબત્ત, એક સ્ટોરેજ ઑબ્જેક્ટ પણ છે, તે, દરેક વસ્તુની જેમ, તેનું નિરીક્ષણ કરવામાં આવે છે, તમે તેમની સાથે સ્થાનિક હાર્ડવેર RAID એસેમ્બલ કરવા સહિત તમામ પ્રમાણભૂત કામગીરી કરી શકો છો, પરંતુ ક્લસ્ટર ખાસ કરીને નોડ્સ પર કાર્ય કરે છે.

એવી પરિસ્થિતિમાં જ્યાં તમને ખરેખર RAID જોઈએ છે (ઉદાહરણ તરીકે, એક દૃશ્ય કે જે નાના ક્લસ્ટરો પર બહુવિધ નિષ્ફળતાને સમર્થન આપે છે), તમને સ્થાનિક RAID નિયંત્રકોનો ઉપયોગ કરવાથી, અને સ્ટ્રેચ્ડ સ્ટોરેજ અને ટોચ પર RAIN આર્કિટેક્ચર બનાવવાથી કંઈપણ અટકાવતું નથી. આ દૃશ્ય તદ્દન જીવંત છે અને અમારા દ્વારા સમર્થિત છે, તેથી અમે vAIR નો ઉપયોગ કરવા માટેના લાક્ષણિક દૃશ્યો વિશેના લેખમાં તેના વિશે વાત કરીશું.

સ્ટોરેજ ફોલ્ટ ટોલરન્સ સ્કીમ્સ

VAIR માં વર્ચ્યુઅલ ડિસ્ક માટે બે ફોલ્ટ ટોલરન્સ સ્કીમ હોઈ શકે છે:

1) પ્રતિકૃતિ પરિબળ અથવા ફક્ત પ્રતિકૃતિ - દોષ સહન કરવાની આ પદ્ધતિ લાકડી અને દોરડા જેટલી સરળ છે. સિંક્રનસ પ્રતિકૃતિ 2 (ક્લસ્ટર દીઠ 2 નકલો) અથવા 3 (અનુક્રમે 3 નકલો) ના પરિબળ સાથે નોડ્સ વચ્ચે કરવામાં આવે છે. RF-2 વર્ચ્યુઅલ ડિસ્કને ક્લસ્ટરમાં એક નોડની નિષ્ફળતાનો સામનો કરવાની મંજૂરી આપે છે, પરંતુ ઉપયોગી વોલ્યુમનો અડધો ભાગ "ખાય છે", અને RF-3 ક્લસ્ટરમાં 2 નોડની નિષ્ફળતાનો સામનો કરશે, પરંતુ 2/3 અનામત રાખે છે. તેની જરૂરિયાતો માટે ઉપયોગી વોલ્યુમ. આ સ્કીમ RAID-1 જેવી જ છે, એટલે કે, RF-2 માં ગોઠવેલ વર્ચ્યુઅલ ડિસ્ક ક્લસ્ટરમાં કોઈપણ એક નોડની નિષ્ફળતા માટે પ્રતિરોધક છે. આ કિસ્સામાં, ડેટા સાથે બધું બરાબર થઈ જશે અને I/O પણ બંધ થશે નહીં. જ્યારે ઘટી ગયેલી નોડ સેવામાં પરત આવે છે, ત્યારે સ્વચાલિત ડેટા પુનઃપ્રાપ્તિ/સિંક્રોનાઇઝેશન શરૂ થશે.

નીચે સામાન્ય સ્થિતિમાં અને નિષ્ફળતાની સ્થિતિમાં RF-2 અને RF-3 ડેટાના વિતરણના ઉદાહરણો છે.

અમારી પાસે 8MB અનન્ય (ઉપયોગી) ડેટાની ક્ષમતા ધરાવતું વર્ચ્યુઅલ મશીન છે, જે 4 vAIR નોડ્સ પર ચાલે છે. તે સ્પષ્ટ છે કે વાસ્તવમાં તે અસંભવિત છે કે આટલું નાનું વોલ્યુમ હશે, પરંતુ એક યોજના માટે જે એઆરડીએફએસ ઓપરેશનના તર્કને પ્રતિબિંબિત કરે છે, આ ઉદાહરણ સૌથી વધુ સમજી શકાય તેવું છે. AB એ 4MB વર્ચ્યુઅલ બ્લોક્સ છે જેમાં અનન્ય વર્ચ્યુઅલ મશીન ડેટા છે. RF-2 આ બ્લોક્સની બે નકલો બનાવે છે, અનુક્રમે A1+A2 અને B1+B2. આ બ્લોક્સ એ જ નોડ પર સમાન ડેટાના આંતરછેદને ટાળીને, નોડ પર "બહાર" કરવામાં આવે છે, એટલે કે, કૉપિ A1 એ કૉપિ A2 જેવા જ નોડ પર સ્થિત થશે નહીં. B1 અને B2 સાથે સમાન.

જો નોડમાંથી એક નિષ્ફળ જાય (ઉદાહરણ તરીકે, નોડ નંબર 3, જેમાં B1 ની નકલ હોય છે), તો આ નકલ નોડ પર આપમેળે સક્રિય થાય છે જ્યાં તેની નકલની કોઈ નકલ નથી (એટલે ​​​​કે, B2 ની નકલ).

આમ, વર્ચ્યુઅલ ડિસ્ક (અને VM, તે મુજબ) RF-2 યોજનામાં એક નોડની નિષ્ફળતાથી સરળતાથી બચી શકે છે.

પ્રતિકૃતિ યોજના, સરળ અને વિશ્વસનીય હોવા છતાં, RAID1 જેવી જ સમસ્યાથી પીડાય છે - પૂરતી ઉપયોગી જગ્યા નથી.

2) ઇરેઝર કોડિંગ અથવા ઇરેઝર કોડિંગ (જેને "રિડન્ડન્ટ કોડિંગ", "ઇરેઝર કોડિંગ" અથવા "રિડન્ડન્સી કોડ" તરીકે પણ ઓળખવામાં આવે છે) ઉપરની સમસ્યાને ઉકેલવા માટે અસ્તિત્વમાં છે. EC એ એક રીડન્ડન્સી સ્કીમ છે જે પ્રતિકૃતિની તુલનામાં ઓછી ડિસ્ક સ્પેસ ઓવરહેડ સાથે ઉચ્ચ ડેટા ઉપલબ્ધતા પ્રદાન કરે છે. આ મિકેનિઝમનું સંચાલન સિદ્ધાંત RAID 5, 6, 6P જેવું જ છે.

એન્કોડિંગ કરતી વખતે, EC પ્રક્રિયા વર્ચ્યુઅલ બ્લોક (ડિફોલ્ટ રૂપે 4MB) ને EC યોજનાના આધારે ઘણા નાના "ડેટા હિસ્સા" માં વિભાજીત કરે છે (ઉદાહરણ તરીકે, 2+1 યોજના દરેક 4MB બ્લોકને 2 2MB હિસ્સામાં વિભાજિત કરે છે). આગળ, આ પ્રક્રિયા "ડેટા હિસ્સાઓ" માટે "પેરિટી હિસ્સા" જનરેટ કરે છે જે અગાઉ વિભાજિત ભાગોમાંથી એક કરતા મોટા નથી. ડીકોડિંગ કરતી વખતે, EC સમગ્ર ક્લસ્ટરમાં "હયાત" ડેટા વાંચીને ગુમ થયેલ હિસ્સાને જનરેટ કરે છે.

ઉદાહરણ તરીકે, 2 + 1 EC સ્કીમ સાથેની વર્ચ્યુઅલ ડિસ્ક, 4 ક્લસ્ટર નોડ્સ પર લાગુ કરવામાં આવી છે, તે RF-2 જેવી જ રીતે ક્લસ્ટરમાં એક નોડની નિષ્ફળતાનો સરળતાથી સામનો કરશે. આ કિસ્સામાં, ઓવરહેડ ખર્ચ ઓછો હશે, ખાસ કરીને, RF-2 માટે ઉપયોગી ક્ષમતા ગુણાંક 2 છે, અને EC 2+1 માટે તે 1,5 હશે.

તેને વધુ સરળ રીતે વર્ણવવા માટે, સાર એ છે કે વર્ચ્યુઅલ બ્લોકને 2-8 માં વિભાજિત કરવામાં આવે છે (શા માટે 2 થી 8 સુધી, નીચે જુઓ) "ટુકડાઓ", અને આ ટુકડાઓ માટે સમાન વોલ્યુમની સમાનતાના "ટુકડાઓ" ગણવામાં આવે છે.

પરિણામે, ડેટા અને પેરિટી ક્લસ્ટરના તમામ નોડ્સ પર સમાનરૂપે વિતરિત કરવામાં આવે છે. તે જ સમયે, પ્રતિકૃતિની જેમ, એઆરડીએફએસ આપમેળે નોડ્સ વચ્ચે ડેટાનું વિતરણ કરે છે જેથી કરીને સમાન ડેટા (ડેટાની નકલો અને તેમની સમાનતા) ને સમાન નોડ પર સંગ્રહિત થતા અટકાવી શકાય, જેથી ડેટા ગુમાવવાની તકને દૂર કરી શકાય. હકીકત એ છે કે ડેટા અને તેમની સમાનતા અચાનક એક સ્ટોરેજ નોડ પર સમાપ્ત થશે જે નિષ્ફળ જાય છે.

નીચે એક ઉદાહરણ છે, સમાન 8 MB વર્ચ્યુઅલ મશીન અને 4 નોડ્સ સાથે, પરંતુ EC 2+1 સ્કીમ સાથે.

બ્લોક A અને B દરેક 2 MB ના બે ટુકડાઓમાં વિભાજિત થાય છે (બે કારણ કે 2+1), એટલે કે, A1+A2 અને B1+B2. પ્રતિકૃતિથી વિપરીત, A1 એ A2 ની નકલ નથી, તે વર્ચ્યુઅલ બ્લોક A છે, જે બે ભાગોમાં વહેંચાયેલું છે, બ્લોક B સાથે સમાન છે. કુલ મળીને, અમને 4MB ના બે સેટ મળે છે, જેમાંના દરેકમાં બે ટુ-MB ટુકડાઓ છે. આગળ, આ દરેક સેટ માટે, પેરિટીની ગણતરી એક કરતા વધુ ટુકડા (એટલે ​​​​કે 2 MB) ના વોલ્યુમ સાથે કરવામાં આવે છે, અમે પેરિટીના વધારાના + 2 ટુકડાઓ (AP અને BP) મેળવીએ છીએ. કુલ મળીને અમારી પાસે 4×2 ડેટા + 2×2 પેરિટી છે.

આગળ, ગાંઠો વચ્ચે ટુકડાઓ "બહાર" કરવામાં આવે છે જેથી ડેટા તેમની સમાનતા સાથે છેદે નહીં. તે. A1 અને A2 AP જેવા સમાન નોડ પર રહેશે નહીં.

એક નોડની નિષ્ફળતાના કિસ્સામાં (ઉદાહરણ તરીકે, ત્રીજો પણ), ઘટી ગયેલ બ્લોક B1 આપોઆપ BP પેરિટીમાંથી પુનઃસ્થાપિત થશે, જે નોડ નંબર 2 પર સંગ્રહિત છે, અને જ્યાં છે ત્યાં નોડ પર સક્રિય કરવામાં આવશે. બી-પેરિટી નથી, એટલે કે. બીપીનો ટુકડો. આ ઉદાહરણમાં, આ નોડ નંબર 1 છે

મને ખાતરી છે કે વાચકને એક પ્રશ્ન છે:

"તમે વર્ણવેલ દરેક વસ્તુનો લાંબા સમયથી સ્પર્ધકો અને ઓપન સોર્સ સોલ્યુશન્સ બંને દ્વારા અમલ કરવામાં આવ્યો છે, ARDFS માં તમારા EC ના અમલીકરણ વચ્ચે શું તફાવત છે?"

અને પછી એઆરડીએફએસની રસપ્રદ સુવિધાઓ હશે.

સુગમતા પર ધ્યાન કેન્દ્રિત કરીને ઇરેઝર કોડિંગ

શરૂઆતમાં, અમે એકદમ લવચીક EC X+Y સ્કીમ પ્રદાન કરી છે, જ્યાં X 2 થી 8 ની સંખ્યાની બરાબર છે, અને Y 1 થી 8 સુધીની સંખ્યાની બરાબર છે, પરંતુ હંમેશા X કરતા ઓછી અથવા બરાબર છે. આ યોજના પ્રદાન કરવામાં આવે છે. લવચીકતા માટે. ડેટા પીસ (X) ની સંખ્યામાં વધારો કે જેમાં વર્ચ્યુઅલ બ્લોક વિભાજિત થયેલ છે તે ઓવરહેડ ખર્ચ ઘટાડવાની મંજૂરી આપે છે, એટલે કે, ઉપયોગ કરી શકાય તેવી જગ્યામાં વધારો.
પેરિટી હિસ્સા (Y) ની સંખ્યામાં વધારો કરવાથી વર્ચ્યુઅલ ડિસ્કની વિશ્વસનીયતા વધે છે. Y મૂલ્ય જેટલું મોટું છે, ક્લસ્ટરમાં વધુ ગાંઠો નિષ્ફળ થઈ શકે છે. અલબત્ત, પેરિટી વોલ્યુમમાં વધારો કરવાથી ઉપયોગી ક્ષમતાની માત્રામાં ઘટાડો થાય છે, પરંતુ આ વિશ્વસનીયતા માટે ચૂકવણી કરવાની કિંમત છે.

EC સર્કિટ્સ પર પ્રદર્શનની અવલંબન લગભગ સીધી છે: વધુ "ટુકડા", પ્રદર્શન ઓછું; અહીં, અલબત્ત, સંતુલિત દૃશ્યની જરૂર છે.

આ અભિગમ એડમિનિસ્ટ્રેટર્સને મહત્તમ લવચીકતા સાથે ખેંચાયેલા સ્ટોરેજને ગોઠવવાની મંજૂરી આપે છે. ARDFS પૂલની અંદર, તમે કોઈપણ ખામી સહિષ્ણુતા યોજનાઓ અને તેમના સંયોજનોનો ઉપયોગ કરી શકો છો, જે અમારા મતે, પણ ખૂબ ઉપયોગી છે.

નીચે ઘણી બધી (બધી શક્ય નથી) RF અને EC યોજનાઓની તુલના કરતું કોષ્ટક છે.

કોષ્ટક બતાવે છે કે સૌથી વધુ "ટેરી" સંયોજન EC 8+7 પણ, જે એકસાથે ક્લસ્ટરમાં 7 જેટલા નોડ્સ ગુમાવવાની મંજૂરી આપે છે, પ્રમાણભૂત પ્રતિકૃતિ કરતાં ઓછી ઉપયોગી જગ્યા (1,875 વિરુદ્ધ 2) "ખાય છે", અને 7 ગણી વધુ સારી રીતે રક્ષણ આપે છે. , જે આ પ્રોટેક્શન મિકેનિઝમ બનાવે છે, જો કે તે વધુ જટિલ છે, તે પરિસ્થિતિઓમાં વધુ આકર્ષક છે જ્યાં મર્યાદિત ડિસ્ક જગ્યાની પરિસ્થિતિઓમાં મહત્તમ વિશ્વસનીયતાની ખાતરી કરવી જરૂરી છે. તે જ સમયે, તમારે સમજવાની જરૂર છે કે દરેક "પ્લસ" થી X અથવા Y એ વધારાની કામગીરી ઓવરહેડ હશે, તેથી વિશ્વસનીયતા, બચત અને પ્રદર્શન વચ્ચેના ત્રિકોણમાં તમારે ખૂબ કાળજીપૂર્વક પસંદ કરવાની જરૂર છે. આ કારણોસર, અમે કોડિંગ કદ ભૂંસવા માટે એક અલગ લેખ ફાળવીશું.

ફાઇલ સિસ્ટમની વિશ્વસનીયતા અને સ્વાયત્તતા

ARDFS ક્લસ્ટરના તમામ નોડ્સ પર સ્થાનિક રીતે ચાલે છે અને સમર્પિત ઈથરનેટ ઈન્ટરફેસ દ્વારા તેના પોતાના માધ્યમનો ઉપયોગ કરીને તેમને સિંક્રનાઇઝ કરે છે. મહત્વનો મુદ્દો એ છે કે ARDFS સ્વતંત્ર રીતે માત્ર ડેટા જ નહીં, પણ સ્ટોરેજ સંબંધિત મેટાડેટાને પણ સિંક્રનાઇઝ કરે છે. ARDFS પર કામ કરતી વખતે, અમે એકસાથે સંખ્યાબંધ હાલના ઉકેલોનો અભ્યાસ કર્યો અને અમે શોધી કાઢ્યું કે ઘણા બાહ્ય વિતરિત DBMS નો ઉપયોગ કરીને ફાઇલ સિસ્ટમ મેટાને સિંક્રનાઇઝ કરે છે, જેનો અમે સિંક્રનાઇઝેશન માટે પણ ઉપયોગ કરીએ છીએ, પરંતુ માત્ર રૂપરેખાંકનો જ નહીં, FS મેટાડેટા (આ અને અન્ય સંબંધિત સબસિસ્ટમ વિશે) આગામી લેખમાં).

બાહ્ય DBMS નો ઉપયોગ કરીને FS મેટાડેટાને સિંક્રનાઇઝ કરવું, અલબત્ત, એક કાર્યકારી ઉકેલ છે, પરંતુ પછી ARDFS પર સંગ્રહિત ડેટાની સુસંગતતા બાહ્ય DBMS અને તેની વર્તણૂક પર આધારિત હશે (અને, પ્રમાણિકપણે કહીએ તો, તે એક તરંગી મહિલા છે), જેમાં અમારો અભિપ્રાય ખરાબ છે. શા માટે? જો FS મેટાડેટા ક્ષતિગ્રસ્ત થઈ જાય, તો FS ડેટાને પણ "ગુડબાય" કહી શકાય, તેથી અમે વધુ જટિલ પરંતુ વિશ્વસનીય માર્ગ અપનાવવાનું નક્કી કર્યું.

અમે એઆરડીએફએસ માટે મેટાડેટા સિંક્રોનાઇઝેશન સબસિસ્ટમ જાતે બનાવી છે, અને તે સંલગ્ન સબસિસ્ટમથી સંપૂર્ણપણે સ્વતંત્ર રીતે જીવે છે. તે. અન્ય કોઈ સબસિસ્ટમ ARDFS ડેટાને બગાડી શકે નહીં. અમારા મતે, આ સૌથી વિશ્વસનીય અને સાચી રીત છે, પરંતુ સમય જ કહેશે કે આ ખરેખર આવું છે કે કેમ. વધુમાં, આ અભિગમ સાથે એક વધારાનો ફાયદો છે. ARDFS નો ઉપયોગ VAIR થી સ્વતંત્ર રીતે થઈ શકે છે, જેમ કે સ્ટ્રેચ્ડ સ્ટોરેજ, જેનો અમે ભવિષ્યના ઉત્પાદનોમાં ચોક્કસપણે ઉપયોગ કરીશું.

પરિણામે, ARDFS વિકસાવીને, અમને એક લવચીક અને વિશ્વસનીય ફાઇલ સિસ્ટમ પ્રાપ્ત થઈ છે જે એક વિકલ્પ આપે છે કે જ્યાં તમે ક્ષમતા પર બચત કરી શકો અથવા પ્રદર્શન પર બધું છોડી શકો, અથવા વાજબી કિંમતે અતિ-વિશ્વસનીય સ્ટોરેજ બનાવી શકો, પરંતુ કામગીરીની જરૂરિયાતો ઘટાડી શકો છો.

એક સરળ લાયસન્સિંગ નીતિ અને લવચીક ડિલિવરી મોડલ (આગળ જોઈએ તો, VAIR નોડ દ્વારા લાઇસન્સ આપવામાં આવે છે અને સોફ્ટવેર તરીકે અથવા સોફ્ટવેર પેકેજ તરીકે વિતરિત કરવામાં આવે છે) સાથે મળીને, આનાથી ગ્રાહકોની વિવિધ જરૂરિયાતો અને વિવિધ પ્રકારના ઉકેલને ખૂબ જ સચોટ રીતે તૈયાર કરવાનું શક્ય બને છે. પછી સરળતાથી આ સંતુલન જાળવી રાખો.

કોને આ ચમત્કારની જરૂર છે?

એક તરફ, આપણે કહી શકીએ કે બજારમાં પહેલેથી જ એવા ખેલાડીઓ છે જેમની પાસે હાયપરકન્વર્જન્સના ક્ષેત્રમાં ગંભીર ઉકેલો છે, અને આ તે છે જ્યાં આપણે ખરેખર આગળ વધી રહ્યા છીએ. એવું લાગે છે કે આ નિવેદન સાચું છે, પરંતુ ...

બીજી બાજુ, જ્યારે અમે ખેતરોમાં જઈએ છીએ અને ગ્રાહકો સાથે વાતચીત કરીએ છીએ, ત્યારે અમે અને અમારા ભાગીદારો જોઈએ છીએ કે આવું બિલકુલ નથી. હાયપરકન્વર્જન્સ માટે ઘણા કાર્યો છે, કેટલાક સ્થળોએ લોકો ફક્ત જાણતા ન હતા કે આવા ઉકેલો અસ્તિત્વમાં છે, અન્યમાં તે ખર્ચાળ લાગતું હતું, અન્યમાં વૈકલ્પિક ઉકેલોના અસફળ પરીક્ષણો હતા, અને અન્યમાં તેઓ પ્રતિબંધોને કારણે બિલકુલ ખરીદી પર પ્રતિબંધ મૂકે છે. સામાન્ય રીતે, ખેતર ખેડાણ વિનાનું બહાર આવ્યું, તેથી અમે વર્જિન માટી વધારવા ગયા))).

GCS કરતાં સ્ટોરેજ સિસ્ટમ ક્યારે સારી છે?

જ્યારે આપણે બજાર સાથે કામ કરીએ છીએ, ત્યારે અમને વારંવાર પૂછવામાં આવે છે કે સ્ટોરેજ સિસ્ટમ્સ સાથે ક્લાસિક સ્કીમનો ઉપયોગ ક્યારે કરવો વધુ સારું છે અને હાઇપરકન્વર્જન્ટનો ઉપયોગ ક્યારે કરવો? GCS નું ઉત્પાદન કરતી ઘણી કંપનીઓ (ખાસ કરીને જેઓ તેમના પોર્ટફોલિયોમાં સ્ટોરેજ સિસ્ટમ ધરાવતી નથી) કહે છે: "સ્ટોરેજ સિસ્ટમ્સ અપ્રચલિત બની રહી છે, માત્ર હાઇપર કન્વર્જ્ડ!" આ એક બોલ્ડ નિવેદન છે, પરંતુ તે વાસ્તવિકતાને સંપૂર્ણપણે પ્રતિબિંબિત કરતું નથી.

હકીકતમાં, સ્ટોરેજ માર્કેટ ખરેખર હાઇપરકન્વર્જન્સ અને સમાન ઉકેલો તરફ આગળ વધી રહ્યું છે, પરંતુ ત્યાં હંમેશા "પરંતુ" હોય છે.

સૌપ્રથમ, સ્ટોરેજ સિસ્ટમ્સ સાથે ક્લાસિકલ સ્કીમ અનુસાર બાંધવામાં આવેલા ડેટા સેન્ટર્સ અને આઈટી ઈન્ફ્રાસ્ટ્રક્ચર સરળતાથી પુનઃબીલ્ડ કરી શકાતા નથી, તેથી આવા ઈન્ફ્રાસ્ટ્રક્ચરનું આધુનિકીકરણ અને પૂર્ણતા હજુ પણ 5-7 વર્ષનો વારસો છે.

બીજું, ઇન્ફ્રાસ્ટ્રક્ચર કે જે હાલમાં મોટા ભાગના ભાગ માટે બનાવવામાં આવી રહ્યું છે (એટલે ​​​​કે રશિયન ફેડરેશન) સ્ટોરેજ સિસ્ટમ્સનો ઉપયોગ કરીને ક્લાસિકલ સ્કીમ અનુસાર બનાવવામાં આવ્યું છે, અને એટલા માટે નહીં કે લોકો હાઇપરકન્વર્જન્સ વિશે જાણતા નથી, પરંતુ કારણ કે હાઇપરકન્વર્જન્સ માર્કેટ નવું છે, ઉકેલો અને ધોરણો હજી સ્થાપિત થયા નથી, IT લોકો હજુ પ્રશિક્ષિત નથી, તેમની પાસે થોડો અનુભવ છે, પરંતુ તેમને અહીં અને અત્યારે ડેટા સેન્ટર બનાવવાની જરૂર છે. અને આ વલણ બીજા 3-5 વર્ષ સુધી ચાલશે (અને પછી બીજો વારસો, જુઓ બિંદુ 1).

ત્રીજે સ્થાને, પ્રતિ લેખન 2 મિલિસેકન્ડના વધારાના નાના વિલંબમાં સંપૂર્ણ તકનીકી મર્યાદા છે (અલબત્ત સ્થાનિક કેશ સિવાય), જે વિતરિત સંગ્રહની કિંમત છે.

ઠીક છે, ચાલો મોટા ભૌતિક સર્વર્સના ઉપયોગ વિશે ભૂલશો નહીં જે ડિસ્ક સબસિસ્ટમના વર્ટિકલ સ્કેલિંગને પસંદ કરે છે.

ત્યાં ઘણા જરૂરી અને લોકપ્રિય કાર્યો છે જ્યાં સ્ટોરેજ સિસ્ટમ્સ GCS કરતાં વધુ સારી રીતે વર્તે છે. અહીં, અલબત્ત, જે ઉત્પાદકો પાસે તેમના ઉત્પાદન પોર્ટફોલિયોમાં સ્ટોરેજ સિસ્ટમ નથી તેઓ અમારી સાથે સંમત થશે નહીં, પરંતુ અમે વ્યાજબી દલીલ કરવા તૈયાર છીએ. અલબત્ત, અમે બંને ઉત્પાદનોના વિકાસકર્તાઓ તરીકે, અમારા ભાવિ પ્રકાશનોમાંના એકમાં ચોક્કસપણે સ્ટોરેજ સિસ્ટમ અને GCS ની તુલના કરીશું, જ્યાં અમે સ્પષ્ટપણે દર્શાવીશું કે કઈ પરિસ્થિતિમાં કઈ વધુ સારી છે.

અને હાઇપરકન્વર્જ્ડ સોલ્યુશન્સ સ્ટોરેજ સિસ્ટમ કરતાં ક્યાં વધુ સારી રીતે કામ કરશે?

ઉપરોક્ત મુદ્દાઓના આધારે, ત્રણ સ્પષ્ટ તારણો દોરી શકાય છે:

1. જ્યાં રેકોર્ડિંગ માટે વધારાની 2 મિલિસેકન્ડ લેટન્સી, જે સતત કોઈપણ ઉત્પાદનમાં જોવા મળે છે (હવે આપણે સિન્થેટીક્સ વિશે વાત કરી રહ્યા નથી, નેનોસેકન્ડ્સ સિન્થેટીક્સ પર બતાવી શકાય છે), તે બિનક્રિટીકલ છે, હાઇપરકન્વર્જન્ટ યોગ્ય છે.
2. જ્યાં મોટા ભૌતિક સર્વરોમાંથી લોડને ઘણા નાના વર્ચ્યુઅલમાં ફેરવી શકાય છે અને નોડ્સ વચ્ચે વિતરિત કરી શકાય છે, ત્યાં હાઇપરકન્વર્જન્સ પણ સારી રીતે કામ કરશે.
3. જ્યાં વર્ટિકલ સ્કેલિંગ કરતાં હોરીઝોન્ટલ સ્કેલિંગ એ ઉચ્ચ પ્રાથમિકતા છે, ત્યાં GCS પણ સારું કરશે.

આ ઉકેલો શું છે?

1. તમામ માનક ઇન્ફ્રાસ્ટ્રક્ચર સેવાઓ (ડિરેક્ટરી સેવા, મેઇલ, EDMS, ફાઇલ સર્વર્સ, નાની અથવા મધ્યમ ERP અને BI સિસ્ટમ્સ, વગેરે). અમે તેને "સામાન્ય કમ્પ્યુટિંગ" કહીએ છીએ.
2. ક્લાઉડ પ્રદાતાઓનું ઈન્ફ્રાસ્ટ્રક્ચર, જ્યાં ક્લાઈન્ટો માટે મોટી સંખ્યામાં વર્ચ્યુઅલ મશીનોને ઝડપથી અને પ્રમાણિત આડા વિસ્તરણ અને સરળતાથી "કટ" કરવા જરૂરી છે.
3. વર્ચ્યુઅલ ડેસ્કટોપ ઈન્ફ્રાસ્ટ્રક્ચર (VDI), જ્યાં ઘણા નાના વપરાશકર્તા વર્ચ્યુઅલ મશીનો ચાલે છે અને એક સમાન ક્લસ્ટરની અંદર શાંતિથી "ફ્લોટ" થાય છે.
4. બ્રાન્ચ નેટવર્ક, જ્યાં દરેક શાખાને 15-20 વર્ચ્યુઅલ મશીનોની પ્રમાણભૂત, ખામી-સહિષ્ણુ, પરંતુ સસ્તી ઈન્ફ્રાસ્ટ્રક્ચરની જરૂર હોય છે.
5. કોઈપણ વિતરિત કમ્પ્યુટિંગ (ઉદાહરણ તરીકે મોટી ડેટા સેવાઓ). જ્યાં ભાર “ઊંડાણમાં” નહિ, પણ “પહોળાઈમાં” જાય છે.
6. પરીક્ષણ વાતાવરણ જ્યાં વધારાના નાના વિલંબ સ્વીકાર્ય છે, પરંતુ બજેટ પ્રતિબંધો છે, કારણ કે આ પરીક્ષણો છે.

આ ક્ષણે, આ કાર્યો માટે જ અમે AERODISK vAIR બનાવ્યું છે અને તેના પર અમે ધ્યાન કેન્દ્રિત કરી રહ્યા છીએ (અત્યાર સુધી સફળતાપૂર્વક). કદાચ આ ટૂંક સમયમાં બદલાઈ જશે, કારણ કે... વિશ્વ સ્થિર નથી.

તો…

આ લેખોની વિશાળ શ્રેણીના પ્રથમ ભાગને પૂર્ણ કરે છે; હવે પછીના લેખમાં આપણે ઉકેલના આર્કિટેક્ચર અને ઉપયોગમાં લેવાતા ઘટકો વિશે વાત કરીશું.

અમે પ્રશ્નો, સૂચનો અને રચનાત્મક વિવાદોનું સ્વાગત કરીએ છીએ.

સોર્સ: www.habr.com