🥇નવા ઑબ્જેક્ટ સ્ટોરેજ મેટ્રિક્સ

નેલે-ડીલ દ્વારા ફ્લાઇંગ ફોર્ટ્રેસ

S3 ઑબ્જેક્ટ સ્ટોરેજ આદેશ Mail.ru ક્લાઉડ સ્ટોરેજ ઑબ્જેક્ટ સ્ટોરેજ પસંદ કરતી વખતે કયા માપદંડ મહત્વપૂર્ણ છે તે વિશેના લેખનો અનુવાદ કર્યો. લેખકના પરિપ્રેક્ષ્યમાંથી નીચેનું લખાણ છે.

જ્યારે ઑબ્જેક્ટ સ્ટોરેજની વાત આવે છે, ત્યારે લોકો સામાન્ય રીતે માત્ર એક વસ્તુ વિશે વિચારે છે: TB/GB દીઠ કિંમત. અલબત્ત, આ મેટ્રિક મહત્વપૂર્ણ છે, પરંતુ તે અભિગમને એકતરફી બનાવે છે અને ઑબ્જેક્ટ સ્ટોરેજને આર્કાઇવ સ્ટોરેજ ટૂલ સાથે સમાન બનાવે છે. ઉપરાંત, આ અભિગમ એન્ટરપ્રાઇઝ ટેક્નોલોજી સ્ટેક માટે ઑબ્જેક્ટ સ્ટોરેજનું મહત્વ ઘટાડે છે.

ઑબ્જેક્ટ સ્ટોરેજ પસંદ કરતી વખતે, તમારે પાંચ લાક્ષણિકતાઓ પર ધ્યાન આપવું જોઈએ:

કામગીરી;
માપનીયતા;
S3 સુસંગત;
નિષ્ફળતા માટે પ્રતિભાવ;
અખંડિતતા

આ પાંચ લાક્ષણિકતાઓ ઑબ્જેક્ટ સ્ટોરેજ માટે નવા મેટ્રિક્સ છે, કિંમત સાથે. ચાલો તે બધાને જોઈએ.

ઉત્પાદકતા

પરંપરાગત ઑબ્જેક્ટ સ્ટોર્સમાં પ્રદર્શનનો અભાવ છે. સેવા પ્રદાતાઓએ સતત નીચા ભાવની શોધમાં તેને બલિદાન આપ્યું. જો કે, આધુનિક ઑબ્જેક્ટ સ્ટોરેજ સાથે વસ્તુઓ અલગ છે.

વિવિધ સ્ટોરેજ સિસ્ટમ્સ હડૂપની ઝડપ સુધી પહોંચે છે અથવા તો તેનાથી વધી જાય છે. વાંચવા અને લખવાની ઝડપ માટેની આધુનિક આવશ્યકતાઓ: હાર્ડ ડ્રાઈવો માટે 10 GB/s થી, NVMe માટે 35 GB/s સુધી.

આ થ્રુપુટ એનાલિટિક્સ સ્ટેકમાં સ્પાર્ક, પ્રેસ્ટો, ટેન્સરફ્લો, ટેરાડેટા, વર્ટીકા, સ્પ્લંક અને અન્ય આધુનિક કમ્પ્યુટિંગ ફ્રેમવર્ક માટે પૂરતું છે. હકીકત એ છે કે MPP ડેટાબેસેસ ઑબ્જેક્ટ સ્ટોરેજ માટે રૂપરેખાંકિત કરવામાં આવી રહ્યા છે તે સૂચવે છે કે તે વધુને વધુ પ્રાથમિક સંગ્રહ તરીકે ઉપયોગમાં લેવાય છે.

જો તમારી સ્ટોરેજ સિસ્ટમ તમને જોઈતી ઝડપ પૂરી પાડતી નથી, તો તમે ડેટાનો ઉપયોગ કરી શકતા નથી અને તેમાંથી મૂલ્ય મેળવી શકતા નથી. જો તમે ઑબ્જેક્ટ સ્ટોરેજમાંથી ઇન-મેમરી પ્રોસેસિંગ સ્ટ્રક્ચરમાં ડેટા પુનઃપ્રાપ્ત કરો છો, તો પણ તમને મેમરીમાં અને ડેટાને સ્થાનાંતરિત કરવા માટે બેન્ડવિડ્થની જરૂર પડશે. લેગસી ઑબ્જેક્ટ સ્ટોર્સ પાસે તે પૂરતું નથી.

આ મુખ્ય મુદ્દો છે: નવું પ્રદર્શન મેટ્રિક થ્રુપુટ છે, લેટન્સી નહીં. તે સ્કેલ પર ડેટા માટે જરૂરી છે અને આધુનિક ડેટા ઈન્ફ્રાસ્ટ્રક્ચરમાં તે ધોરણ છે.

જ્યારે બેન્ચમાર્ક એ કામગીરીને નિર્ધારિત કરવાની સારી રીત છે, ત્યારે પર્યાવરણમાં એપ્લિકેશન ચલાવતા પહેલા તેનું ચોક્કસ માપન કરી શકાતું નથી. તે પછી જ તમે કહી શકશો કે અડચણ ક્યાં છે: સૉફ્ટવેર, ડિસ્ક, નેટવર્ક અથવા કમ્પ્યુટિંગ સ્તરે.

માપનીયતા

માપનીયતા એ પેટાબાઈટ્સની સંખ્યાને સંદર્ભિત કરે છે જે એક નેમસ્પેસમાં ફિટ થાય છે. વિક્રેતાઓ જે દાવો કરે છે તે સરળ માપનક્ષમતા છે, તેઓ જે નથી કહેતા તે એ છે કે જેમ જેમ તેઓ માપન કરે છે તેમ, વિશાળ એકવિધ સિસ્ટમો નાજુક, જટિલ, અસ્થિર અને ખર્ચાળ બની જાય છે.

માપનીયતા માટેનું નવું મેટ્રિક એ નેમસ્પેસ અથવા ક્લાયન્ટ્સની સંખ્યા છે જે તમે સેવા આપી શકો છો. મેટ્રિક સીધા હાઇપરસ્કેલર્સ પાસેથી લેવામાં આવે છે, જ્યાં સ્ટોરેજ બિલ્ડિંગ બ્લોક્સ નાના હોય છે પરંતુ અબજો એકમો સુધીના હોય છે. સામાન્ય રીતે, આ ક્લાઉડ મેટ્રિક છે.

જ્યારે બિલ્ડિંગ બ્લોક્સ નાના હોય છે, ત્યારે તેઓ સુરક્ષા, ઍક્સેસ નિયંત્રણ, નીતિ સંચાલન, જીવનચક્ર વ્યવસ્થાપન અને બિન-વિક્ષેપકારક અપડેટ્સ માટે ઑપ્ટિમાઇઝ કરવા માટે સરળ હોય છે. અને આખરે ઉત્પાદકતા સુનિશ્ચિત કરો. બિલ્ડીંગ બ્લોકનું કદ એ નિષ્ફળતાના પ્રદેશની નિયંત્રણક્ષમતાનું કાર્ય છે, જે અત્યંત સ્થિતિસ્થાપક સિસ્ટમો કેવી રીતે બનાવવામાં આવે છે.

મલ્ટિ-ટેનન્સીમાં ઘણી લાક્ષણિકતાઓ છે. જ્યારે પરિમાણ એ વાત કરે છે કે સંસ્થાઓ કેવી રીતે ડેટા અને એપ્લીકેશનની ઍક્સેસ પ્રદાન કરે છે, તે એપ્લીકેશનો પોતે અને તેમને એકબીજાથી અલગ રાખવા પાછળના તર્કનો પણ ઉલ્લેખ કરે છે.

મલ્ટિ-ક્લાયન્ટ માટે આધુનિક અભિગમની લાક્ષણિકતાઓ:

ટૂંકા સમયમાં, ગ્રાહકોની સંખ્યા કેટલાક સોથી લાખો સુધી વધી શકે છે.
ગ્રાહકો એકબીજાથી સંપૂર્ણપણે અલગ છે. આ તેમને સમાન સોફ્ટવેરના વિવિધ સંસ્કરણો ચલાવવા અને વિવિધ રૂપરેખાંકનો, પરવાનગીઓ, સુવિધાઓ, સુરક્ષા અને જાળવણી સ્તરો સાથે ઑબ્જેક્ટ સ્ટોર કરવાની મંજૂરી આપે છે. નવા સર્વર્સ, અપડેટ્સ અને ભૌગોલિક વિસ્તારોને માપતી વખતે આ જરૂરી છે.
સંગ્રહ સ્થિતિસ્થાપક રીતે માપી શકાય તેવું છે, માંગ પર સંસાધનો પ્રદાન કરવામાં આવે છે.
દરેક કામગીરી API દ્વારા નિયંત્રિત થાય છે અને માનવ હસ્તક્ષેપ વિના સ્વચાલિત છે.
સોફ્ટવેરને કન્ટેનરમાં હોસ્ટ કરી શકાય છે અને કુબરનેટ્સ જેવી માનક ઓર્કેસ્ટ્રેશન સિસ્ટમનો ઉપયોગ કરી શકાય છે.

S3 સુસંગત

Amazon S3 API એ ઑબ્જેક્ટ સ્ટોરેજ માટે વાસ્તવિક ધોરણ છે. દરેક ઑબ્જેક્ટ સ્ટોરેજ સોફ્ટવેર વિક્રેતા તેની સાથે સુસંગતતાનો દાવો કરે છે. S3 સાથે સુસંગતતા દ્વિસંગી છે: કાં તો તે સંપૂર્ણપણે અમલમાં છે અથવા તે નથી.

વ્યવહારમાં, ત્યાં સેંકડો અથવા હજારો ધાર દૃશ્યો છે જ્યાં ઑબ્જેક્ટ સ્ટોરેજનો ઉપયોગ કરતી વખતે કંઈક ખોટું થાય છે. ખાસ કરીને માલિકીના સોફ્ટવેર અને સેવાઓના પ્રદાતાઓ તરફથી. તેના મુખ્ય ઉપયોગના કિસ્સાઓ સીધા આર્કાઇવિંગ અથવા બેકઅપ છે, તેથી API ને કૉલ કરવાના થોડા કારણો છે, ઉપયોગના કિસ્સાઓ એકરૂપ છે.

ઓપન સોર્સ સોફ્ટવેરના નોંધપાત્ર ફાયદા છે. તે એપ્લિકેશન, ઓપરેટિંગ સિસ્ટમ્સ અને હાર્ડવેર આર્કિટેક્ચર્સના કદ અને વિવિધતાને જોતાં, મોટા ભાગના ધારના દૃશ્યોને આવરી લે છે.

એપ્લિકેશન વિકાસકર્તાઓ માટે આ બધું મહત્વપૂર્ણ છે, તેથી સ્ટોરેજ પ્રદાતાઓ સાથે એપ્લિકેશનનું પરીક્ષણ કરવું યોગ્ય છે. ઓપન સોર્સ પ્રક્રિયાને સરળ બનાવે છે - તમારી એપ્લિકેશન માટે કયું પ્લેટફોર્મ યોગ્ય છે તે સમજવું વધુ સરળ છે. પ્રદાતાનો ઉપયોગ સ્ટોરેજમાં પ્રવેશના એક બિંદુ તરીકે થઈ શકે છે, એટલે કે તે તમારી જરૂરિયાતોને પૂર્ણ કરશે.

ઓપન સોર્સનો અર્થ છે: એપ્લિકેશન્સ વિક્રેતા સાથે જોડાયેલી નથી અને વધુ પારદર્શક છે. આ લાંબા એપ્લિકેશન જીવનચક્રને સુનિશ્ચિત કરે છે.

અને ઓપન સોર્સ અને S3 વિશે થોડી વધુ નોંધો.

જો તમે મોટી ડેટા એપ્લિકેશન ચલાવી રહ્યાં છો, તો S3 SELECT તીવ્રતાના ક્રમ દ્વારા પ્રદર્શન અને કાર્યક્ષમતામાં સુધારો કરે છે. તે ફક્ત સ્ટોરેજમાંથી તમને જોઈતી વસ્તુઓને પુનઃપ્રાપ્ત કરવા માટે SQL નો ઉપયોગ કરીને આ કરે છે.

મુખ્ય મુદ્દો એ બકેટ સૂચનાઓ માટે સપોર્ટ છે. બકેટ સૂચનાઓ સર્વરલેસ કમ્પ્યુટિંગની સુવિધા આપે છે, જે કોઈપણ માઇક્રોસર્વિસ આર્કિટેક્ચરનો એક મહત્વપૂર્ણ ઘટક છે જે સેવા તરીકે વિતરિત કરવામાં આવે છે. આપેલ છે કે ઑબ્જેક્ટ સ્ટોરેજ અસરકારક રીતે ક્લાઉડ સ્ટોરેજ છે, જ્યારે ક્લાઉડ-આધારિત એપ્લિકેશનો દ્વારા ઑબ્જેક્ટ સ્ટોરેજનો ઉપયોગ કરવામાં આવે ત્યારે આ ક્ષમતા મહત્વપૂર્ણ બની જાય છે.

છેલ્લે, S3 અમલીકરણે Amazon S3 સર્વર-સાઇડ એન્ક્રિપ્શન API ને સમર્થન આપવું આવશ્યક છે: SSE-C, SSE-S3, SSE-KMS. વધુ સારું, S3 ટેમ્પર પ્રોટેક્શનને સપોર્ટ કરે છે જે ખરેખર સુરક્ષિત છે.

નિષ્ફળતાઓ માટે પ્રતિભાવ

સિસ્ટમ નિષ્ફળતાઓને કેવી રીતે હેન્ડલ કરે છે તે મેટ્રિક જે કદાચ ઘણીવાર અવગણવામાં આવે છે. નિષ્ફળતાઓ વિવિધ કારણોસર થાય છે, અને ઑબ્જેક્ટ સ્ટોરેજ તે બધાને હેન્ડલ કરે છે.

ઉદાહરણ તરીકે, નિષ્ફળતાનો એક બિંદુ છે, તેનું મેટ્રિક શૂન્ય છે.

કમનસીબે, ઘણી ઑબ્જેક્ટ સ્ટોરેજ સિસ્ટમ્સ વિશિષ્ટ નોડ્સનો ઉપયોગ કરે છે જે ક્લસ્ટરને યોગ્ય રીતે કાર્ય કરવા માટે સક્ષમ હોવા જોઈએ. આમાં નામ નોડ્સ અથવા મેટાડેટા સર્વર્સનો સમાવેશ થાય છે - આ નિષ્ફળતાનો એક બિંદુ બનાવે છે.

નિષ્ફળતાના બહુવિધ બિંદુઓ હોય ત્યાં પણ, આપત્તિજનક નિષ્ફળતાનો સામનો કરવાની ક્ષમતા સર્વોપરી છે. ડિસ્ક નિષ્ફળ જાય છે, સર્વર્સ નિષ્ફળ જાય છે. ચાવી એ છે કે સામાન્ય સ્થિતિ તરીકે નિષ્ફળતાને નિયંત્રિત કરવા માટે રચાયેલ સોફ્ટવેર બનાવવું. જો ડિસ્ક અથવા નોડ નિષ્ફળ જાય, તો આવા સોફ્ટવેર ફેરફારો વિના કામ કરવાનું ચાલુ રાખશે.

ડેટા ઇરેઝર અને ડેટા ડિગ્રેડેશન સામે બિલ્ટ-ઇન પ્રોટેક્શન એ સુનિશ્ચિત કરે છે કે તમે પેરિટી બ્લોક્સ ધરાવતા હોય તેટલી ડિસ્ક અથવા નોડ્સ ગુમાવી શકો છો-સામાન્ય રીતે અડધી ડિસ્ક. ત્યારે જ સોફ્ટવેર ડેટા પરત કરવામાં અસમર્થ રહેશે.

લોડ હેઠળ નિષ્ફળતાનું ભાગ્યે જ પરીક્ષણ કરવામાં આવે છે, પરંતુ આવા પરીક્ષણ ફરજિયાત છે. લોડ નિષ્ફળતાનું અનુકરણ કરવાથી નિષ્ફળતા પછી થયેલા કુલ ખર્ચો દર્શાવવામાં આવશે.

સુસંગતતા

100% ના સાતત્ય ગુણને કડક સુસંગતતા પણ કહેવામાં આવે છે. સુસંગતતા એ કોઈપણ સ્ટોરેજ સિસ્ટમનો મુખ્ય ઘટક છે, પરંતુ મજબૂત સુસંગતતા દુર્લભ છે. ઉદાહરણ તરીકે, Amazon S3 ListObject કડક રીતે સુસંગત નથી, તે માત્ર અંતમાં સુસંગત છે.

કડક સુસંગતતાનો અર્થ શું છે? પુષ્ટિ થયેલ PUT ઑપરેશન પછીના તમામ ઑપરેશન્સ માટે, નીચેના થવું જોઈએ:

કોઈપણ નોડમાંથી વાંચતી વખતે અપડેટ કરેલ મૂલ્ય દેખાય છે.
અપડેટ નોડ નિષ્ફળતા રીડન્ડન્સી સામે સુરક્ષિત છે.

આનો અર્થ એ છે કે જો તમે રેકોર્ડિંગની મધ્યમાં પ્લગ ખેંચો છો, તો કંઈપણ ખોવાઈ જશે નહીં. સિસ્ટમ ક્યારેય દૂષિત અથવા જૂનો ડેટા પરત કરતી નથી. આ એક ઉચ્ચ બાર છે જે વ્યવહારિક એપ્લિકેશનોથી લઈને બેકઅપ અને પુનઃપ્રાપ્તિ સુધીના ઘણા દૃશ્યોમાં મહત્વપૂર્ણ છે.

નિષ્કર્ષ

આ નવા ઑબ્જેક્ટ સ્ટોરેજ મેટ્રિક્સ છે જે આજની સંસ્થાઓમાં ઉપયોગની પેટર્નને પ્રતિબિંબિત કરે છે, જ્યાં પ્રદર્શન, સુસંગતતા, માપનીયતા, ફોલ્ટ ડોમેન્સ અને S3 સુસંગતતા એ ક્લાઉડ એપ્લિકેશન્સ અને મોટા ડેટા એનાલિટિક્સ માટે બિલ્ડીંગ બ્લોક્સ છે. આધુનિક ડેટા સ્ટેક્સ બનાવતી વખતે હું કિંમત ઉપરાંત આ સૂચિનો ઉપયોગ કરવાની ભલામણ કરું છું.

Mail.ru ક્લાઉડ સોલ્યુશન્સ ઑબ્જેક્ટ સ્ટોરેજ વિશે: S3 આર્કિટેક્ચર. Mail.ru ક્લાઉડ સ્ટોરેજના ઉત્ક્રાંતિના 3 વર્ષ.

બીજું શું વાંચવું:

સોર્સ: www.habr.com

નવા ઑબ્જેક્ટ સ્ટોરેજ મેટ્રિક્સ