માસ સ્ટોરેજ સિસ્ટમ્સમાં ઉદ્યોગના વલણો

આજે આપણે એવી દુનિયામાં ડેટા કેવી રીતે સંગ્રહિત કરવો તે વિશે વાત કરીશું જ્યાં પાંચમી પેઢીના નેટવર્ક્સ, જીનોમ સ્કેનર્સ અને સ્વ-ડ્રાઇવિંગ કાર એક દિવસમાં ઔદ્યોગિક ક્રાંતિ પહેલા જનરેટ થયેલા સમગ્ર માનવતા કરતાં વધુ ડેટા ઉત્પન્ન કરે છે.

આપણું વિશ્વ વધુ ને વધુ માહિતી જનરેટ કરે છે. તેમાંથી કેટલોક ક્ષણિક હોય છે અને તે એકત્રિત કરવામાં આવે તેટલી ઝડપથી ખોવાઈ જાય છે. બીજાને લાંબા સમય સુધી સંગ્રહિત કરવું જોઈએ, અને બીજું સંપૂર્ણપણે "સદીઓ માટે" ડિઝાઇન કરવામાં આવ્યું છે - ઓછામાં ઓછું તે રીતે આપણે તેને વર્તમાનથી જોઈએ છીએ. માહિતીનો પ્રવાહ ડેટા કેન્દ્રોમાં એટલી ઝડપે સ્થાયી થાય છે કે કોઈપણ નવો અભિગમ, આ અનંત "માગ" ને પહોંચી વળવા માટે રચાયેલ કોઈપણ તકનીક ઝડપથી અપ્રચલિત થઈ રહી છે.

વિતરિત સંગ્રહ વિકાસના 40 વર્ષ

અમને પરિચિત સ્વરૂપમાં પ્રથમ નેટવર્ક સ્ટોરેજ 1980 ના દાયકામાં દેખાયા. તમારામાંથી ઘણા NFS (નેટવર્ક ફાઇલ સિસ્ટમ), AFS (એન્ડ્ર્યુ ફાઇલ સિસ્ટમ) અથવા કોડા પર આવ્યા છે. એક દાયકા પછી, ફેશન અને ટેક્નોલોજી બદલાઈ છે, અને વિતરિત ફાઇલ સિસ્ટમોએ GPFS (જનરલ પેરેલલ ફાઇલ સિસ્ટમ), CFS (ક્લસ્ટર્ડ ફાઇલ સિસ્ટમ્સ) અને StorNext પર આધારિત ક્લસ્ટર સ્ટોરેજ સિસ્ટમ્સનો માર્ગ આપ્યો છે. એક આધાર તરીકે, ક્લાસિકલ આર્કિટેક્ચરના બ્લોક સ્ટોરેજનો ઉપયોગ કરવામાં આવ્યો હતો, જેની ટોચ પર સોફ્ટવેર લેયરનો ઉપયોગ કરીને એક ફાઇલ સિસ્ટમ બનાવવામાં આવી હતી. આ અને સમાન ઉકેલો હજી પણ ઉપયોગમાં લેવાય છે, તેમના વિશિષ્ટ સ્થાન પર કબજો કરે છે અને ખૂબ માંગમાં છે.

સહસ્ત્રાબ્દીના વળાંક પર, વિતરિત સંગ્રહનો દાખલો કંઈક અંશે બદલાયો, અને SN (શેર્ડ-નથિંગ) આર્કિટેક્ચરવાળી સિસ્ટમોએ આગેવાની લીધી. અલગ ગાંઠો પર ક્લસ્ટર સ્ટોરેજમાંથી સ્ટોરેજમાં સંક્રમણ હતું, જે, નિયમ તરીકે, વિશ્વસનીય સ્ટોરેજ પ્રદાન કરતા સોફ્ટવેર સાથે ક્લાસિક સર્વર્સ હતા; HDFS (Hadoop ડિસ્ટ્રિબ્યુટેડ ફાઇલ સિસ્ટમ) અને GFS (ગ્લોબલ ફાઇલ સિસ્ટમ) જેવા સિદ્ધાંતો બાંધવામાં આવ્યા છે.

2010 ની નજીક, વિતરિત સંગ્રહ પ્રણાલીઓ હેઠળના ખ્યાલો વધુને વધુ સંપૂર્ણ વ્યવસાયિક ઉત્પાદનોમાં પ્રતિબિંબિત થવા લાગ્યા, જેમ કે VMware vSAN, Dell EMC Isilon અને અમારા Huawei OceanStor. ઉલ્લેખિત પ્લેટફોર્મની પાછળ હવે ઉત્સાહીઓનો સમુદાય નથી, પરંતુ વિશિષ્ટ વિક્રેતાઓ છે જેઓ ઉત્પાદનની કાર્યક્ષમતા, સમર્થન, સેવા જાળવણી માટે જવાબદાર છે અને તેના વધુ વિકાસની ખાતરી આપે છે. આવા સોલ્યુશન્સ ઘણા ક્ષેત્રોમાં સૌથી વધુ માંગમાં છે.

ટેલિકોમ ઓપરેટરો

કદાચ વિતરિત સ્ટોરેજ સિસ્ટમના સૌથી જૂના ગ્રાહકોમાંના એક ટેલિકોમ ઓપરેટર્સ છે. આકૃતિ બતાવે છે કે એપ્લિકેશનના કયા જૂથો મોટાભાગનો ડેટા ઉત્પન્ન કરે છે. OSS (ઓપરેશન્સ સપોર્ટ સિસ્ટમ્સ), MSS (મેનેજમેન્ટ સપોર્ટ સર્વિસિસ) અને BSS (બિઝનેસ સપોર્ટ સિસ્ટમ્સ) એ ત્રણ પૂરક સૉફ્ટવેર સ્તરો છે જે સબસ્ક્રાઇબર્સને સર્વિસ ડિલિવરી, પ્રદાતાને નાણાકીય રિપોર્ટિંગ અને ઑપરેટરના એન્જિનિયરોને ઓપરેશનલ સપોર્ટ માટે જરૂરી છે.

મોટેભાગે, આ સ્તરોનો ડેટા એકબીજા સાથે મજબૂત રીતે મિશ્રિત થાય છે, અને બિનજરૂરી નકલોના સંચયને ટાળવા માટે, વિતરિત સ્ટોરેજનો ઉપયોગ કરવામાં આવે છે જે કાર્યકારી નેટવર્કમાંથી આવતી માહિતીનો સંપૂર્ણ જથ્થો એકઠા કરે છે. સ્ટોરેજને એક સામાન્ય પૂલમાં જોડવામાં આવે છે, જેમાં તમામ સેવાઓનો ઉપયોગ થાય છે.

અમારી ગણતરીઓ દર્શાવે છે કે ક્લાસિકથી બ્લોક સ્ટોરેજ સિસ્ટમમાં સંક્રમણ તમને સમર્પિત હાઇ-એન્ડ સ્ટોરેજ સિસ્ટમ્સ છોડીને અને પરંપરાગત ક્લાસિકલ આર્કિટેક્ચર સર્વર્સ (સામાન્ય રીતે x70) નો ઉપયોગ કરીને, વિશિષ્ટ સોફ્ટવેર સાથે જોડાણમાં કામ કરીને બજેટના 86% સુધી બચાવવા માટે પરવાનગી આપે છે. સેલ્યુલર ઓપરેટરો ઘણા લાંબા સમયથી આવા સોલ્યુશન્સ નોંધપાત્ર પ્રમાણમાં મેળવી રહ્યા છે. ખાસ કરીને, રશિયન ઓપરેટરો છ વર્ષથી વધુ સમયથી Huawei ના આવા ઉત્પાદનોનો ઉપયોગ કરી રહ્યાં છે.

હા, વિતરિત સિસ્ટમોનો ઉપયોગ કરીને સંખ્યાબંધ કાર્યો કરી શકાતા નથી. ઉદાહરણ તરીકે, કાર્યક્ષમતાની વધેલી આવશ્યકતાઓ અથવા જૂના પ્રોટોકોલ સાથે સુસંગતતા સાથે. પરંતુ ઓપરેટર પ્રક્રિયા કરે છે તે ડેટાનો ઓછામાં ઓછો 70% વિતરિત પૂલમાં મૂકી શકાય છે.

બેંકિંગ

કોઈપણ બેંકમાં, પ્રોસેસિંગથી લઈને ઓટોમેટેડ બેંકિંગ સિસ્ટમ સુધીની ઘણી વૈવિધ્યસભર IT સિસ્ટમ્સ હોય છે. આ ઈન્ફ્રાસ્ટ્રક્ચર મોટી માત્રામાં માહિતી સાથે પણ કામ કરે છે, જ્યારે મોટા ભાગના કાર્યોને સ્ટોરેજ સિસ્ટમની કામગીરી અને વિશ્વસનીયતા વધારવાની જરૂર હોતી નથી, જેમ કે ડેવલપમેન્ટ, ટેસ્ટિંગ, ઑફિસ પ્રક્રિયાઓનું ઑટોમેશન વગેરે. અહીં ક્લાસિક સ્ટોરેજ સિસ્ટમનો ઉપયોગ શક્ય છે. , પરંતુ દર વર્ષે તે ઓછું અને ઓછું નફાકારક છે. વધુમાં, આ કિસ્સામાં, સંગ્રહ સંસાધનોનો ખર્ચ કરવામાં કોઈ સુગમતા નથી, જેનું પ્રદર્શન ટોચના ભારથી ગણવામાં આવે છે.

ડિસ્ટ્રિબ્યુટેડ સ્ટોરેજ સિસ્ટમ્સનો ઉપયોગ કરતી વખતે, તેમના નોડ્સ, જે હકીકતમાં સામાન્ય સર્વર છે, કોઈપણ સમયે રૂપાંતરિત કરી શકાય છે, ઉદાહરણ તરીકે, સર્વર ફાર્મમાં અને કમ્પ્યુટિંગ પ્લેટફોર્મ તરીકે ઉપયોગ કરી શકાય છે.

ડેટા તળાવો

ઉપરોક્ત રેખાકૃતિ સામાન્ય સેવા ગ્રાહકોની સૂચિ દર્શાવે છે. ડેટા તળાવ. આ ઈ-ગવર્નમેન્ટ સેવાઓ (ઉદાહરણ તરીકે, “ગોસુલગી”), એન્ટરપ્રાઈઝ જે ડિજિટલાઈઝેશન, નાણાકીય માળખું વગેરેમાંથી પસાર થઈ છે તે હોઈ શકે છે. તે બધાને વિજાતીય માહિતીના મોટા જથ્થા સાથે કામ કરવાની જરૂર છે.

આવી સમસ્યાઓના નિરાકરણ માટે ક્લાસિકલ સ્ટોરેજ સિસ્ટમ્સનું સંચાલન બિનકાર્યક્ષમ છે, કારણ કે બ્લોક ડેટાબેસેસની ઉચ્ચ-પ્રદર્શન ઍક્સેસ અને ઑબ્જેક્ટ તરીકે સંગ્રહિત સ્કેન કરેલા દસ્તાવેજોની લાઇબ્રેરીઓની નિયમિત ઍક્સેસ બંને જરૂરી છે. અહીં, ઉદાહરણ તરીકે, વેબ પોર્ટલ દ્વારા ઓર્ડરની સિસ્ટમ બાંધી શકાય છે. ક્લાસિક સ્ટોરેજ પ્લેટફોર્મ પર આ બધું અમલમાં મૂકવા માટે, તમારે વિવિધ કાર્યો માટે સાધનોના મોટા સમૂહની જરૂર પડશે. એક આડી યુનિવર્સલ સ્ટોરેજ સિસ્ટમ અગાઉ સૂચિબદ્ધ તમામ કાર્યોને સરળતાથી આવરી શકે છે: તમારે ફક્ત તેમાં વિવિધ સ્ટોરેજ લાક્ષણિકતાઓ સાથે ઘણા પૂલ બનાવવાની જરૂર છે.

નવી માહિતીના જનરેટર

વિશ્વમાં સંગ્રહિત માહિતીની માત્રા દર વર્ષે લગભગ 30% વધી રહી છે. સ્ટોરેજ વિક્રેતાઓ માટે આ સારા સમાચાર છે, પરંતુ આ ડેટાનો મુખ્ય સ્ત્રોત શું છે અને હશે?

દસ વર્ષ પહેલાં, સામાજિક નેટવર્ક્સ આવા જનરેટર બન્યા હતા, જેને મોટી સંખ્યામાં નવા અલ્ગોરિધમ્સ, હાર્ડવેર સોલ્યુશન્સ વગેરે બનાવવાની જરૂર હતી. હવે સ્ટોરેજ વૃદ્ધિના ત્રણ મુખ્ય ડ્રાઇવરો છે. પ્રથમ ક્લાઉડ કમ્પ્યુટિંગ છે. હાલમાં, લગભગ 70% કંપનીઓ એક યા બીજી રીતે ક્લાઉડ સેવાઓનો ઉપયોગ કરે છે. આ ઈમેલ સિસ્ટમ્સ, બેકઅપ્સ અને અન્ય વર્ચ્યુઅલાઈઝ્ડ એન્ટિટી હોઈ શકે છે.
પાંચમી પેઢીના નેટવર્ક બીજા ડ્રાઈવર બની રહ્યા છે. આ નવી ઝડપ અને ડેટા ટ્રાન્સફરના નવા વોલ્યુમ છે. અમારી આગાહી મુજબ, 5G ના વ્યાપકપણે અપનાવવાથી ફ્લેશ મેમરી કાર્ડ્સની માંગમાં ઘટાડો થશે. ફોનમાં ગમે તેટલી મેમરી હોય, તે હજી પણ સમાપ્ત થાય છે, અને જો ગેજેટમાં 100-મેગાબીટ ચેનલ હોય, તો સ્થાનિક રીતે ફોટા સંગ્રહિત કરવાની જરૂર નથી.

સ્ટોરેજ સિસ્ટમ્સની માંગ શા માટે વધી રહી છે તેના ત્રીજા જૂથમાં આર્ટિફિશિયલ ઇન્ટેલિજન્સનો ઝડપી વિકાસ, મોટા ડેટા એનાલિટિક્સ તરફ સંક્રમણ અને શક્ય હોય તેવી દરેક વસ્તુના સાર્વત્રિક ઓટોમેશન તરફના વલણનો સમાવેશ થાય છે.

"નવા ટ્રાફિક" ની એક વિશેષતા છે અસંગઠિત. આપણે આ ડેટાને તેના ફોર્મેટને કોઈપણ રીતે વ્યાખ્યાયિત કર્યા વિના સંગ્રહિત કરવાની જરૂર છે. તે ફક્ત અનુગામી વાંચન માટે જરૂરી છે. ઉદાહરણ તરીકે, ઉપલબ્ધ લોનના કદને નિર્ધારિત કરવા માટે બેંક સ્કોરિંગ સિસ્ટમ તમે સોશિયલ નેટવર્ક પર પોસ્ટ કરેલા ફોટાને જોશે, તમે સમુદ્ર અને રેસ્ટોરન્ટમાં કેટલી વાર જાઓ છો તે નિર્ધારિત કરશે અને તે જ સમયે તેના માટે ઉપલબ્ધ તમારા તબીબી દસ્તાવેજોમાંથી અર્કનો અભ્યાસ કરશે. આ ડેટા, એક તરફ, વ્યાપક છે, અને બીજી તરફ, તેમાં એકરૂપતાનો અભાવ છે.

અનસ્ટ્રક્ચર્ડ ડેટાનો મહાસાગર

"નવા ડેટા" ના ઉદભવમાં કઈ સમસ્યાઓનો સમાવેશ થાય છે? તેમાંથી પ્રથમ, અલબત્ત, માહિતીની માત્રા અને તેના સંગ્રહની અંદાજિત અવધિ છે. આધુનિક સ્વાયત્ત ડ્રાઇવર વિનાની કાર એકલા તેના તમામ સેન્સર અને મિકેનિઝમ્સમાંથી દરરોજ 60TB સુધીનો ડેટા જનરેટ કરે છે. નવા મોશન એલ્ગોરિધમ્સ વિકસાવવા માટે, આ માહિતી તે જ દિવસમાં પ્રક્રિયા કરવી આવશ્યક છે, અન્યથા તે એકઠા થવાનું શરૂ થશે. તે જ સમયે, તે ખૂબ લાંબા સમય સુધી સંગ્રહિત હોવું જોઈએ - દાયકાઓ. તો જ ભવિષ્યમાં મોટા વિશ્લેષણાત્મક નમૂનાઓના આધારે તારણો કાઢવાનું શક્ય બનશે.

આનુવંશિક ક્રમને સમજવા માટેનું એક ઉપકરણ દરરોજ લગભગ 6 ટેરાબાઇટ ઉત્પન્ન કરે છે. અને તેની મદદથી એકત્રિત કરવામાં આવેલ ડેટાનો અર્થ કાઢી નાખવાનો બિલકુલ અર્થ થતો નથી, એટલે કે, અનુમાનિત રીતે, તે કાયમ માટે સંગ્રહિત થવો જોઈએ.

છેલ્લે, પાંચમી પેઢીના બધા જ નેટવર્ક. પ્રસારિત માહિતી ઉપરાંત, આવા નેટવર્ક પોતે જ એક વિશાળ ડેટા જનરેટર છે: પ્રવૃત્તિ લૉગ્સ, કૉલ રેકોર્ડ્સ, મશીન-ટુ-મશીન ક્રિયાપ્રતિક્રિયાઓના મધ્યવર્તી પરિણામો, વગેરે.

આ બધા માટે માહિતીના સંગ્રહ અને પ્રક્રિયા માટે નવા અભિગમો અને અલ્ગોરિધમ્સના વિકાસની જરૂર છે. અને આવા અભિગમો ઉભરી રહ્યા છે.

નવા યુગની ટેકનોલોજી

માહિતી સંગ્રહ પ્રણાલી માટે નવી આવશ્યકતાઓનો સામનો કરવા માટે રચાયેલ ઉકેલોના ત્રણ જૂથોને અલગ કરી શકાય છે: કૃત્રિમ બુદ્ધિનો પરિચય, સ્ટોરેજ મીડિયાની તકનીકી ઉત્ક્રાંતિ અને સિસ્ટમ આર્કિટેક્ચરના ક્ષેત્રમાં નવીનતાઓ. ચાલો AI થી શરૂઆત કરીએ.

નવા Huawei સોલ્યુશન્સમાં, આર્ટિફિશિયલ ઇન્ટેલિજન્સનો ઉપયોગ પહેલાથી જ સ્ટોરેજના સ્તરે કરવામાં આવે છે, જે AI પ્રોસેસરથી સજ્જ છે જે સિસ્ટમને સ્વતંત્ર રીતે તેની સ્થિતિનું વિશ્લેષણ કરવા અને નિષ્ફળતાઓની આગાહી કરવાની મંજૂરી આપે છે. જો સ્ટોરેજ સિસ્ટમ સર્વિસ ક્લાઉડ સાથે જોડાયેલ હોય જેમાં નોંધપાત્ર કમ્પ્યુટિંગ ક્ષમતાઓ હોય, તો આર્ટિફિશિયલ ઈન્ટેલિજન્સ વધુ માહિતી પર પ્રક્રિયા કરી શકે છે અને તેની પૂર્વધારણાઓની ચોકસાઈમાં સુધારો કરી શકે છે.

નિષ્ફળતાઓ ઉપરાંત, આવા AI ભવિષ્યના પીક લોડ અને ક્ષમતા સમાપ્ત થાય ત્યાં સુધી બાકી રહેલા સમયની આગાહી કરવામાં સક્ષમ છે. આ તમને કોઈપણ અનિચ્છનીય ઘટનાઓ થાય તે પહેલાં કામગીરીને ઑપ્ટિમાઇઝ કરવા અને સિસ્ટમને સ્કેલ કરવાની મંજૂરી આપે છે.

હવે ડેટા કેરિયર્સના ઉત્ક્રાંતિ વિશે. પ્રથમ ફ્લેશ ડ્રાઇવ એસએલસી (સિંગલ-લેવલ સેલ) ટેકનોલોજીનો ઉપયોગ કરીને બનાવવામાં આવી હતી. તેના પર આધારિત ઉપકરણો ઝડપી, વિશ્વસનીય, સ્થિર હતા, પરંતુ તેની ક્ષમતા ઓછી હતી અને તે ખૂબ ખર્ચાળ હતા. વોલ્યુમમાં વધારો અને કિંમતમાં ઘટાડો ચોક્કસ તકનીકી છૂટ દ્વારા પ્રાપ્ત થયો હતો, જેના કારણે ડ્રાઇવની ઝડપ, વિશ્વસનીયતા અને જીવનકાળમાં ઘટાડો થયો હતો. તેમ છતાં, વલણે સ્ટોરેજ સિસ્ટમ્સને પોતાને અસર કરી ન હતી, જે, વિવિધ આર્કિટેક્ચરલ યુક્તિઓને કારણે, સામાન્ય રીતે, વધુ ઉત્પાદક અને વધુ વિશ્વસનીય બંને બની હતી.

પરંતુ તમારે ઓલ-ફ્લેશ ક્લાસ સ્ટોરેજ સિસ્ટમની જરૂર કેમ પડી? શું તે જ ફોર્મ ફેક્ટરના નવા SSD સાથે પહેલાથી ચાલી રહેલી સિસ્ટમમાં જૂના HDD ને બદલવા માટે પૂરતું ન હતું? નવા SSD ના તમામ સંસાધનોનો કાર્યક્ષમ ઉપયોગ કરવા માટે આ જરૂરી હતું, જે જૂની સિસ્ટમમાં ફક્ત અશક્ય હતું.

Huawei, ઉદાહરણ તરીકે, આ સમસ્યાને ઉકેલવા માટે ઘણી બધી તકનીકો વિકસાવી છે, જેમાંથી એક છે ફ્લેશલિંક, જેણે શક્ય તેટલું ડિસ્ક-નિયંત્રક ક્રિયાપ્રતિક્રિયાઓને ઑપ્ટિમાઇઝ કરવાનું શક્ય બનાવ્યું.

બુદ્ધિશાળી ઓળખને કારણે ડેટાને અનેક પ્રવાહોમાં વિઘટિત કરવાનું અને અસંખ્ય અનિચ્છનીય ઘટનાઓનો સામનો કરવાનું શક્ય બન્યું, જેમ કે WA (એમ્પ્લીફિકેશન લખો). તે જ સમયે, નવા પુનઃપ્રાપ્તિ અલ્ગોરિધમ્સ, ખાસ કરીને RAID 2.0+, પુનઃનિર્માણની ગતિમાં વધારો કર્યો, તેના સમયને સંપૂર્ણપણે નજીવા મૂલ્યો સુધી ઘટાડ્યો.

નિષ્ફળતા, ભીડ, કચરો સંગ્રહ - આ પરિબળો પણ હવે નિયંત્રકોના વિશેષ શુદ્ધિકરણને કારણે સ્ટોરેજ સિસ્ટમની કામગીરીને અસર કરતા નથી.

અને બ્લોક ડેટા સ્ટોર્સ મળવાની તૈયારી કરી રહ્યા છે NVMe. યાદ કરો કે ડેટા એક્સેસ ગોઠવવા માટેની ક્લાસિક સ્કીમ આ રીતે કામ કરે છે: પ્રોસેસર પીસીઆઈ એક્સપ્રેસ બસ દ્વારા RAID નિયંત્રકને ઍક્સેસ કરે છે. તે, બદલામાં, SCSI અથવા SAS દ્વારા યાંત્રિક ડિસ્ક સાથે ક્રિયાપ્રતિક્રિયા કરે છે. બેકએન્ડ પર NVMe નો ઉપયોગ નોંધપાત્ર રીતે સમગ્ર પ્રક્રિયાને ઝડપી બનાવતો હતો, પરંતુ તેમાં એક ખામી હતી: ડ્રાઇવ્સને ડાયરેક્ટ મેમરી એક્સેસ પ્રદાન કરવા માટે પ્રોસેસર સાથે સીધું કનેક્ટ કરવું પડતું હતું.

ટેક્નોલોજી ડેવલપમેન્ટનો આગળનો તબક્કો જે આપણે હવે જોઈ રહ્યા છીએ તે NVMe-oF (NVMe over Fabrics) નો ઉપયોગ છે. Huawei બ્લોક ટેક્નોલોજીની વાત કરીએ તો, તેઓ પહેલેથી જ FC-NVMe (NVMe over Fiber Channel), અને NVMe over RoCE (RDMA ઓવર કન્વર્જ્ડ ઈથરનેટ) ને સપોર્ટ કરે છે. પરીક્ષણ મોડલ એકદમ કાર્યાત્મક છે, તેમની સત્તાવાર રજૂઆત પહેલા થોડા મહિના બાકી છે. નોંધ કરો કે આ બધું વિતરિત પ્રણાલીઓમાં પણ દેખાશે, જ્યાં "નુકસાન વિના ઇથરનેટ" ખૂબ માંગમાં હશે.

ડિસ્ટ્રિબ્યુટેડ સ્ટોરેજના કામને ઑપ્ટિમાઇઝ કરવાની વધારાની રીત ડેટા મિરરિંગનો સંપૂર્ણ અસ્વીકાર હતો. હ્યુઆવેઇ સોલ્યુશન્સ હવે સામાન્ય RAID 1 ની જેમ n નકલોનો ઉપયોગ કરતા નથી અને સંપૂર્ણપણે મિકેનિઝમ પર સ્વિચ કરે છે EC (ઇરેઝર કોડિંગ). વિશિષ્ટ ગાણિતિક પેકેજ ચોક્કસ આવર્તન સાથે નિયંત્રણ બ્લોક્સની ગણતરી કરે છે, જે તમને નુકસાનના કિસ્સામાં મધ્યવર્તી ડેટાને પુનઃસ્થાપિત કરવાની મંજૂરી આપે છે.

ડુપ્લિકેશન અને કમ્પ્રેશન મિકેનિઝમ્સ ફરજિયાત બની જાય છે. જો ક્લાસિકલ સ્ટોરેજ સિસ્ટમ્સમાં આપણે કંટ્રોલર્સમાં ઇન્સ્ટોલ કરેલા પ્રોસેસર્સની સંખ્યા દ્વારા મર્યાદિત છીએ, તો પછી વિતરિત આડી સ્કેલેબલ સ્ટોરેજ સિસ્ટમ્સમાં, દરેક નોડમાં તમને જોઈતી દરેક વસ્તુ શામેલ છે: ડિસ્ક, મેમરી, પ્રોસેસર્સ અને ઇન્ટરકનેક્ટ. પ્રદર્શન પર ન્યૂનતમ અસર કરવા માટે આ સંસાધનો ડિડુપ્લિકેશન અને કમ્પ્રેશન માટે પૂરતા છે.

અને હાર્ડવેર ઓપ્ટિમાઇઝેશન પદ્ધતિઓ વિશે. અહીં, વધારાના સમર્પિત માઇક્રોસર્કિટ્સ (અથવા પ્રોસેસરમાં જ સમર્પિત બ્લોક્સ) ની મદદથી કેન્દ્રીય પ્રોસેસર્સ પરના ભારને ઘટાડવાનું શક્ય હતું, જે ભૂમિકા ભજવે છે. TOE (TCP/IP Offload Engine) અથવા EC, ડુપ્લિકેશન અને કમ્પ્રેશનના ગણિતના કાર્યો લેવા.

ડેટા સ્ટોરેજ માટે નવા અભિગમો એક અલગ (વિતરિત) આર્કિટેક્ચરમાં અંકિત છે. સેન્ટ્રલાઇઝ્ડ સ્ટોરેજ સિસ્ટમ્સમાં, ફાઇબર ચેનલ દ્વારા કનેક્ટેડ સર્વર ફેક્ટરી છે SAN ઘણી બધી એરે સાથે. આ અભિગમના ગેરફાયદામાં સ્કેલિંગ અને સેવાના બાંયધરીકૃત સ્તર (પ્રદર્શન અથવા વિલંબના સંદર્ભમાં) પ્રદાન કરવામાં મુશ્કેલીઓ છે. હાઇપરકન્વર્જ્ડ સિસ્ટમ્સ માહિતીના સંગ્રહ અને પ્રક્રિયા બંને માટે સમાન હોસ્ટનો ઉપયોગ કરે છે. આ સ્કેલિંગ માટે લગભગ અમર્યાદિત અવકાશ આપે છે, પરંતુ ડેટા અખંડિતતા જાળવવા માટે ઉચ્ચ ખર્ચનો સમાવેશ થાય છે.

ઉપરોક્ત બંનેથી વિપરીત, એક અલગ-અલગ આર્કિટેક્ચર સૂચવે છે સિસ્ટમને કમ્પ્યુટ ફેક્ટરી અને હોરીઝોન્ટલ સ્ટોરેજ સિસ્ટમમાં પાર્ટીશન કરવું. આ બંને આર્કિટેક્ચરના ફાયદા પૂરા પાડે છે અને જેનું પર્ફોર્મન્સ પૂરતું નથી એવા તત્વને લગભગ અમર્યાદિત સ્કેલિંગ કરવાની મંજૂરી આપે છે.

એકીકરણથી કન્વર્જન્સ સુધી

એક ઉત્તમ કાર્ય, જેની સુસંગતતા માત્ર છેલ્લા 15 વર્ષોમાં જ વધી છે, તે એકસાથે બ્લોક સ્ટોરેજ, ફાઇલ એક્સેસ, ઑબ્જેક્ટ્સની ઍક્સેસ, મોટા ડેટા માટે ફાર્મનું ઑપરેશન વગેરે પ્રદાન કરવાની જરૂરિયાત છે. કેક પર આઈસિંગ પણ, ઉદાહરણ તરીકે, ચુંબકીય ટેપ માટે બેકઅપ સિસ્ટમ.

પ્રથમ તબક્કે, ફક્ત આ સેવાઓનું સંચાલન એકીકૃત થઈ શકે છે. વિજાતીય ડેટા સ્ટોરેજ સિસ્ટમ્સ કેટલાક વિશિષ્ટ સોફ્ટવેર માટે બંધ કરવામાં આવી હતી, જેના દ્વારા એડમિનિસ્ટ્રેટરે ઉપલબ્ધ પૂલમાંથી સંસાધનોનું વિતરણ કર્યું હતું. પરંતુ આ પૂલ હાર્ડવેરમાં અલગ હોવાથી, તેમની વચ્ચેના ભારને સ્થાનાંતરિત કરવું અશક્ય હતું. એકીકરણના ઉચ્ચ સ્તરે, એકીકરણ ગેટવે સ્તરે થયું હતું. જો શેર કરેલી ફાઇલની ઍક્સેસ હોય, તો તે વિવિધ પ્રોટોકોલ દ્વારા આપી શકાય છે.

અમારા માટે ઉપલબ્ધ સૌથી અદ્યતન કન્વર્જન્સ પદ્ધતિમાં સાર્વત્રિક હાઇબ્રિડ સિસ્ટમની રચના સામેલ છે. જે રીતે આપણું હોવું જોઈએ OceanStor 100D. યુનિવર્સલ એક્સેસ સમાન હાર્ડવેર સંસાધનોનો ઉપયોગ કરે છે, જે તાર્કિક રીતે અલગ-અલગ પૂલમાં વિભાજિત છે, પરંતુ લોડ સ્થાનાંતરણ માટે પરવાનગી આપે છે. આ બધું એક જ મેનેજમેન્ટ કન્સોલ દ્વારા કરી શકાય છે. આ રીતે, અમે "એક ડેટા સેન્ટર - એક સ્ટોરેજ સિસ્ટમ" ના ખ્યાલને અમલમાં મૂકવાનું વ્યવસ્થાપિત કર્યું.

માહિતી સંગ્રહિત કરવાની કિંમત હવે ઘણા આર્કિટેક્ચરલ નિર્ણયો નક્કી કરે છે. અને તેમ છતાં તેને સુરક્ષિત રીતે મોખરે મૂકી શકાય છે, અમે આજે સક્રિય ઍક્સેસ સાથે "લાઇવ" સ્ટોરેજની ચર્ચા કરી રહ્યા છીએ, તેથી પ્રદર્શનને પણ ધ્યાનમાં લેવું આવશ્યક છે. નેક્સ્ટ જનરેશન ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સની બીજી મહત્વની મિલકત એકીકરણ છે. છેવટે, કોઈ પણ વ્યક્તિ અલગ-અલગ કન્સોલમાંથી મેનેજ કરવામાં આવતી ઘણી અલગ સિસ્ટમ્સ રાખવા માંગતું નથી. આ તમામ ગુણો Huawei ઉત્પાદનોની નવી શ્રેણીમાં અંકિત છે. ઓશનસ્ટોર પેસિફિક.

નેક્સ્ટ જનરેશન માસ સ્ટોરેજ

OceanStor પેસિફિક છ નાઈન (99,9999%) વિશ્વસનીયતા જરૂરિયાતોને પૂર્ણ કરે છે અને તેનો ઉપયોગ HyperMetro ક્લાસ ડેટા સેન્ટર બનાવવા માટે થઈ શકે છે. 100 કિમી સુધીના બે ડેટા સેન્ટરો વચ્ચેના અંતર સાથે, સિસ્ટમો 2 એમએસનો વધારાનો વિલંબ દર્શાવે છે, જે કોરમ સર્વર સહિત તેમના પર આધારિત કોઈપણ આપત્તિ-પ્રૂફ સોલ્યુશન્સ બનાવવાનું શક્ય બનાવે છે.

નવી શ્રેણીના ઉત્પાદનો પ્રોટોકોલની દ્રષ્ટિએ બહુમુખી પ્રતિભા દર્શાવે છે. પહેલેથી જ, OceanStor 100D બ્લોક એક્સેસ, ઑબ્જેક્ટ એક્સેસ અને હડુપ એક્સેસને સપોર્ટ કરે છે. નજીકના ભવિષ્યમાં ફાઇલ એક્સેસ લાગુ કરવામાં આવશે. જો તે વિવિધ પ્રોટોકોલ દ્વારા જારી કરી શકાય તો ડેટાની બહુવિધ નકલો રાખવાની જરૂર નથી.

એવું લાગે છે કે, "લોસલેસ નેટવર્ક" ના ખ્યાલનો સ્ટોરેજ સાથે શું સંબંધ છે? હકીકત એ છે કે વિતરિત સ્ટોરેજ સિસ્ટમ્સ ઝડપી નેટવર્કના આધારે બનાવવામાં આવી છે જે યોગ્ય અલ્ગોરિધમ્સ અને RoCE મિકેનિઝમને સપોર્ટ કરે છે. અમારા સ્વિચ દ્વારા સમર્થિત આર્ટિફિશિયલ ઇન્ટેલિજન્સ સિસ્ટમ નેટવર્કની ઝડપને વધુ વધારવામાં અને લેટન્સી ઘટાડવામાં મદદ કરે છે. AI ફેબ્રિક. જ્યારે AI ફેબ્રિક સક્રિય થાય છે ત્યારે સ્ટોરેજ સિસ્ટમનો પર્ફોર્મન્સ ગેઇન 20% સુધી પહોંચી શકે છે.

નવો ઓશનસ્ટોર પેસિફિક ડિસ્ટ્રિબ્યુટેડ સ્ટોરેજ નોડ શું છે? 5U ફોર્મ ફેક્ટર સોલ્યુશનમાં 120 ડ્રાઇવનો સમાવેશ થાય છે અને તે ત્રણ ક્લાસિક નોડ્સને બદલી શકે છે, જે રેક સ્પેસને બમણી કરતાં વધુ છે. નકલો સંગ્રહિત કરવાના ઇનકારને કારણે, ડ્રાઇવ્સની કાર્યક્ષમતા નોંધપાત્ર રીતે વધે છે (+ 92% સુધી).

અમે એ હકીકત માટે ટેવાયેલા છીએ કે સૉફ્ટવેર-વ્યાખ્યાયિત સ્ટોરેજ એ ક્લાસિક સર્વર પર ઇન્સ્ટોલ કરેલ વિશિષ્ટ સોફ્ટવેર છે. પરંતુ હવે, શ્રેષ્ઠ પરિમાણો પ્રાપ્ત કરવા માટે, આ આર્કિટેક્ચરલ સોલ્યુશનને પણ ખાસ ગાંઠોની જરૂર છે. તેમાં એઆરએમ પ્રોસેસર્સ પર આધારિત બે સર્વર્સનો સમાવેશ થાય છે જે ત્રણ-ઇંચની ડ્રાઇવની શ્રેણીનું સંચાલન કરે છે.

આ સર્વર્સ હાઇપરકન્વર્જ્ડ સોલ્યુશન્સ માટે યોગ્ય નથી. પ્રથમ, એઆરએમ માટે થોડી એપ્લિકેશનો છે, અને બીજું, લોડ બેલેન્સ જાળવવું મુશ્કેલ છે. અમે અલગ સ્ટોરેજ પર સ્વિચ કરવાનું સૂચન કરીએ છીએ: ક્લાસિક અથવા રેક સર્વર્સ દ્વારા રજૂ કરાયેલ કમ્પ્યુટિંગ ક્લસ્ટર અલગથી કાર્ય કરે છે, પરંતુ ઓશનસ્ટોર પેસિફિક સ્ટોરેજ નોડ્સ સાથે જોડાયેલ છે, જે તેમના સીધા કાર્યો પણ કરે છે. અને તે પોતાને ન્યાયી ઠેરવે છે.

ઉદાહરણ તરીકે, ચાલો ક્લાસિક હાઇપરકન્વર્જ્ડ બિગ ડેટા સ્ટોરેજ સોલ્યુશન લઈએ જે 15 સર્વર રેક્સ ધરાવે છે. જો તમે વ્યક્તિગત OceanStor પેસિફિક કોમ્પ્યુટ સર્વર્સ અને સ્ટોરેજ નોડ્સ વચ્ચે લોડને એકબીજાથી અલગ કરીને વિતરિત કરો છો, તો જરૂરી રેક્સની સંખ્યા અડધી થઈ જશે! આ ડેટા સેન્ટરના સંચાલનની કિંમત ઘટાડે છે અને માલિકીની કુલ કિંમત ઘટાડે છે. વિશ્વમાં જ્યાં સંગ્રહિત માહિતીની માત્રા દર વર્ષે 30% વધી રહી છે, આવા લાભો વિખરાયેલા નથી.

***

Huawei સોલ્યુશન્સ અને તેમના એપ્લિકેશન દૃશ્યો વિશે વધુ માહિતી માટે, કૃપા કરીને અમારી મુલાકાત લો સાઇટ અથવા કંપનીના પ્રતિનિધિઓનો સીધો સંપર્ક કરીને.

સોર્સ: www.habr.com