કુબરનેટ્સ ક્લસ્ટરમાં ડેટા સ્ટોર કરી રહ્યાં છે

કુબરનેટ્સ ક્લસ્ટર પર ચાલતી એપ્લિકેશનો માટે ડેટા સ્ટોરેજને ગોઠવવાની ઘણી રીતો છે. તેમાંના કેટલાક પહેલેથી જ જૂના છે, અન્યો તાજેતરમાં દેખાયા હતા. આ લેખમાં, અમે સ્ટોરેજ સિસ્ટમ્સને કનેક્ટ કરવા માટેના ત્રણ વિકલ્પોની વિભાવના જોઈશું, જેમાં સૌથી તાજેતરનો સમાવેશ થાય છે - કન્ટેનર સ્ટોરેજ ઈન્ટરફેસ દ્વારા કનેક્ટ કરવું.

પદ્ધતિ 1: પોડ મેનિફેસ્ટમાં PV નો ઉલ્લેખ કરો

કુબરનેટીસ ક્લસ્ટરમાં પોડનું વર્ણન કરતું લાક્ષણિક મેનિફેસ્ટ:

મેનિફેસ્ટના ભાગો જે વર્ણવે છે કે કયું વોલ્યુમ કનેક્ટ થયેલ છે અને ક્યાં રંગમાં પ્રકાશિત થયેલ છે.

કલમ વોલ્યુમ માઉન્ટ્સ માઉન્ટ પોઈન્ટ્સ (માઉન્ટપાથ) સૂચવો - કન્ટેનરની અંદર કઈ ડિરેક્ટરીમાં કાયમી વોલ્યુમ માઉન્ટ કરવામાં આવશે, તેમજ વોલ્યુમનું નામ.

કલમ x પોડમાં ઉપયોગમાં લેવાતા તમામ વોલ્યુમોની યાદી આપે છે. દરેક વોલ્યુમનું નામ, તેમજ પ્રકાર (અમારા કિસ્સામાં: awsElasticBlockStore) અને કનેક્શન પરિમાણોનો ઉલ્લેખ કરો. મેનિફેસ્ટમાં કયા પરિમાણો સૂચિબદ્ધ છે તે વોલ્યુમ પ્રકાર પર આધારિત છે.

બહુવિધ પોડ કન્ટેનરમાં સમાન વોલ્યુમ એકસાથે માઉન્ટ કરી શકાય છે. આ રીતે, વિવિધ એપ્લિકેશન પ્રક્રિયાઓ સમાન ડેટાને ઍક્સેસ કરી શકે છે.

આ કનેક્શન પદ્ધતિની શોધ ખૂબ જ શરૂઆતમાં કરવામાં આવી હતી, જ્યારે કુબરનેટીસ તેની બાળપણમાં હતી, અને આજે પદ્ધતિ જૂની છે.

તેનો ઉપયોગ કરતી વખતે ઘણી સમસ્યાઓ છે:

1. બધા વોલ્યુમો જાતે જ બનાવવી જોઈએ; કુબરનેટ્સ આપણા માટે કંઈપણ બનાવી શકતા નથી;
2. દરેક વોલ્યુમ માટે એક્સેસ પરિમાણો અનન્ય છે, અને તે વોલ્યુમનો ઉપયોગ કરતા તમામ પોડ્સના મેનિફેસ્ટમાં ઉલ્લેખિત હોવા જોઈએ;
3. સ્ટોરેજ સિસ્ટમ બદલવા માટે (ઉદાહરણ તરીકે, AWS થી Google Cloud પર ખસેડો), તમારે બધા મેનિફેસ્ટમાં સેટિંગ્સ અને માઉન્ટ થયેલ વોલ્યુમનો પ્રકાર બદલવાની જરૂર છે.

આ બધું ખૂબ જ અસુવિધાજનક છે, તેથી વાસ્તવમાં આ પદ્ધતિનો ઉપયોગ ફક્ત અમુક વિશિષ્ટ પ્રકારના વોલ્યુમોને કનેક્ટ કરવા માટે થાય છે: configMap, secret, emptyDir, hostPath:

• configMap અને secret એ સેવા વોલ્યુમો છે જે તમને કન્ટેનરમાં કુબરનેટ્સ મેનિફેસ્ટમાંથી ફાઇલો સાથે વોલ્યુમ બનાવવા માટે પરવાનગી આપે છે.

• emptyDir એ કામચલાઉ વોલ્યુમ છે, જે ફક્ત પોડના જીવનકાળ માટે બનાવવામાં આવ્યું છે. અસ્થાયી ડેટાના પરીક્ષણ અથવા સંગ્રહ માટે વાપરવા માટે અનુકૂળ. જ્યારે પોડ કાઢી નાખવામાં આવે છે, ત્યારે ખાલી ડીર વોલ્યુમ પણ કાઢી નાખવામાં આવે છે અને તમામ ડેટા ખોવાઈ જાય છે.

• hostPath - તમને સર્વરની સ્થાનિક ડિસ્ક પર કોઈપણ ડિરેક્ટરીને માઉન્ટ કરવાની પરવાનગી આપે છે કે જેના પર /etc/kubernetes સહિત એપ્લિકેશન સાથે કન્ટેનરની અંદર એપ્લિકેશન ચાલી રહી છે. આ એક અસુરક્ષિત સુવિધા છે, તેથી સુરક્ષા નીતિઓ સામાન્ય રીતે આ પ્રકારના વોલ્યુમોના ઉપયોગને પ્રતિબંધિત કરે છે. નહિંતર, હુમલાખોરની એપ્લિકેશન તેના કન્ટેનરની અંદર HTC Kubernetes ડિરેક્ટરીને માઉન્ટ કરવામાં સક્ષમ હશે અને તમામ ક્લસ્ટર પ્રમાણપત્રોની ચોરી કરી શકશે. સામાન્ય રીતે, હોસ્ટપાથ વોલ્યુમોને ફક્ત સિસ્ટમ એપ્લિકેશનો દ્વારા જ વાપરવાની મંજૂરી આપવામાં આવે છે જે ક્યુબ-સિસ્ટમ નેમસ્પેસમાં ચાલે છે.

સ્ટોરેજ સિસ્ટમ કે જે કુબરનેટ્સ બોક્સની બહાર કામ કરે છે દસ્તાવેજોમાં આપવામાં આવે છે.

પદ્ધતિ 2. SC/PVC/PV હર્થ સાથે જોડાણ

વૈકલ્પિક કનેક્શન પદ્ધતિ એ સ્ટોરેજ ક્લાસ, પર્સિસ્ટન્ટ વોલ્યુમ ક્લેઈમ, પર્સિસ્ટન્ટ વોલ્યુમનો ખ્યાલ છે.

સંગ્રહ વર્ગ ડેટા સ્ટોરેજ સિસ્ટમમાં કનેક્શન પેરામીટર્સ સ્ટોર કરે છે.

સતત વોલ્યુમ દાવો એપ્લિકેશનને જેની જરૂર છે તેની જરૂરિયાતોનું વર્ણન કરે છે.
પર્સિસ્ટન્ટ વોલ્યુમ ઍક્સેસ પરિમાણો અને વોલ્યુમ સ્ટેટસ સ્ટોર કરે છે.

વિચારનો સાર: પોડ મેનિફેસ્ટમાં તેઓ PersistentVolumeClaim પ્રકારનું વોલ્યુમ દર્શાવે છે અને દાવોનામ પેરામીટરમાં આ એન્ટિટીનું નામ સૂચવે છે.

PersistentVolumeClaim મેનિફેસ્ટ એપ્લીકેશન માટે જરૂરી ડેટાના વોલ્યુમ માટેની આવશ્યકતાઓનું વર્ણન કરે છે. સહિત:

• ડિસ્ક કદ;
• ઍક્સેસ પદ્ધતિ: ReadWriteOnce અથવા ReadWriteMany;
• સ્ટોરેજ ક્લાસની લિંક - જે ડેટા સ્ટોરેજ સિસ્ટમમાં આપણે વોલ્યુમ બનાવવા માંગીએ છીએ.

સ્ટોરેજ ક્લાસ મેનિફેસ્ટ સ્ટોરેજ સિસ્ટમ સાથેના કનેક્શનના પ્રકાર અને પરિમાણોને સ્ટોર કરે છે. ક્યુબેલેટને તેના નોડ પર વોલ્યુમ માઉન્ટ કરવા માટે તેમની જરૂર છે.

પર્સિસ્ટન્ટ વોલ્યુમ મેનિફેસ્ટ ચોક્કસ વોલ્યુમ (વોલ્યુમ ID, પાથ, વગેરે) માટે સ્ટોરેજ ક્લાસ અને એક્સેસ પેરામીટર્સ સૂચવે છે.

PVC બનાવતી વખતે, Kubernetes જુએ છે કે કયા કદના વોલ્યુમ અને કયા સ્ટોરેજ વર્ગની આવશ્યકતા છે, અને મફત પર્સિસ્ટન્ટ વોલ્યુમ પસંદ કરે છે.

જો આવા પીવી ઉપલબ્ધ ન હોય, તો કુબરનેટ્સ એક વિશેષ પ્રોગ્રામ - પ્રોવિઝનર (તેનું નામ સ્ટોરેજ વર્ગમાં દર્શાવેલ છે) શરૂ કરી શકે છે. આ પ્રોગ્રામ સ્ટોરેજ સિસ્ટમ સાથે કનેક્ટ થાય છે, જરૂરી કદનું વોલ્યુમ બનાવે છે, ઓળખકર્તા મેળવે છે અને કુબરનેટ્સ ક્લસ્ટરમાં પર્સિસ્ટન્ટ વોલ્યુમ મેનિફેસ્ટ બનાવે છે, જે પર્સિસ્ટન્ટવોલ્યુમ ક્લેઇમ સાથે સંકળાયેલું છે.

એબ્સ્ટ્રેક્શનનો આ તમામ સેટ તમને એપ્લિકેશન મેનિફેસ્ટ લેવલથી એડમિનિસ્ટ્રેશન લેવલ સુધી એપ્લિકેશન કઈ સ્ટોરેજ સિસ્ટમ સાથે કામ કરી રહી છે તે વિશેની માહિતીને દૂર કરવાની મંજૂરી આપે છે.

ડેટા સ્ટોરેજ સિસ્ટમને કનેક્ટ કરવા માટેના તમામ પરિમાણો સ્ટોરેજ ક્લાસમાં સ્થિત છે, જેના માટે ક્લસ્ટર એડમિનિસ્ટ્રેટર્સ જવાબદાર છે. AWS માંથી Google Cloud પર જતી વખતે તમારે ફક્ત એપ્લીકેશન મેનિફેસ્ટમાં સ્ટોરેજ ક્લાસનું નામ બદલીને PVC કરવાનું છે. પ્રોવિઝનર પ્રોગ્રામનો ઉપયોગ કરીને ક્લસ્ટરમાં ડેટા સ્ટોરેજ માટે પર્સિસ્ટન્સ વોલ્યુમ આપોઆપ બનાવવામાં આવશે.

પદ્ધતિ 3. કન્ટેનર સ્ટોરેજ ઇન્ટરફેસ

તમામ કોડ કે જે વિવિધ સ્ટોરેજ સિસ્ટમ્સ સાથે ક્રિયાપ્રતિક્રિયા કરે છે તે કુબરનેટ્સ કોરનો ભાગ છે. બગ ફિક્સેસ અથવા નવી કાર્યક્ષમતાનું પ્રકાશન નવા પ્રકાશનો સાથે જોડાયેલું છે; કુબરનેટ્સના તમામ સમર્થિત સંસ્કરણો માટે કોડ બદલવો આવશ્યક છે. આ બધું જાળવવું અને નવી કાર્યક્ષમતા ઉમેરવી મુશ્કેલ છે.

સમસ્યાને ઉકેલવા માટે, ક્લાઉડ ફાઉન્ડ્રી, કુબરનેટ્સ, મેસોસ અને ડોકરના વિકાસકર્તાઓએ કન્ટેનર સ્ટોરેજ ઈન્ટરફેસ (CSI) બનાવ્યું - એક સરળ એકીકૃત ઈન્ટરફેસ જે કન્ટેનર મેનેજમેન્ટ સિસ્ટમની ક્રિયાપ્રતિક્રિયાનું વર્ણન કરે છે અને એક વિશિષ્ટ ડ્રાઈવર (CSI ડ્રાઈવર) જે ચોક્કસ સાથે કામ કરે છે. સ્ટોરેજ સિસ્ટમ. સ્ટોરેજ સિસ્ટમ્સ સાથેની ક્રિયાપ્રતિક્રિયા માટેના તમામ કોડ કુબરનેટ્સ કોરમાંથી અલગ સિસ્ટમમાં ખસેડવામાં આવ્યા હતા.

કન્ટેનર સ્ટોરેજ ઇન્ટરફેસ દસ્તાવેજીકરણ.

સામાન્ય રીતે, CSI ડ્રાઇવરમાં બે ઘટકોનો સમાવેશ થાય છે: નોડ પ્લગઇન અને કંટ્રોલર પ્લગઇન.

નોડ પ્લગઇન દરેક નોડ પર ચાલે છે અને વોલ્યુમોને માઉન્ટ કરવા અને તેના પર કામગીરી કરવા માટે જવાબદાર છે. કંટ્રોલર પ્લગઇન સ્ટોરેજ સિસ્ટમ સાથે ક્રિયાપ્રતિક્રિયા કરે છે: વોલ્યુમ બનાવે છે અથવા કાઢી નાખે છે, ઍક્સેસ અધિકારો સોંપે છે, વગેરે.

હમણાં માટે, જૂના ડ્રાઇવરો કુબરનેટસ કર્નલમાં રહે છે, પરંતુ તેનો ઉપયોગ કરવાની ભલામણ કરવામાં આવતી નથી અને દરેકને સલાહ આપવામાં આવે છે કે તેઓ જે સિસ્ટમ સાથે કામ કરશે તે માટે ખાસ કરીને CSI ડ્રાઇવરને ઇન્સ્ટોલ કરે.

નવીનતા એવા લોકોને ડરાવી શકે છે જેઓ પહેલાથી જ સ્ટોરેજ ક્લાસ દ્વારા ડેટા સ્ટોરેજ સેટ કરવા માટે ટેવાયેલા છે, પરંતુ હકીકતમાં કંઇ ભયંકર બન્યું નથી. પ્રોગ્રામરો માટે, ખરેખર કંઈપણ બદલાતું નથી - તેઓએ ફક્ત સ્ટોરેજ ક્લાસ નામ સાથે કામ કર્યું છે, અને તેમ કરવાનું ચાલુ રાખશે. સંચાલકો માટે, સુકાન ચાર્ટ ઇન્સ્ટોલેશન ઉમેરવામાં આવ્યું છે અને સેટિંગ્સનું માળખું બદલાઈ ગયું છે. જો અગાઉ સેટિંગ્સ સીધા સ્ટોરેજ ક્લાસમાં દાખલ કરવામાં આવી હતી, તો હવે તે પહેલા સુકાન ચાર્ટમાં અને પછી સ્ટોરેજ ક્લાસમાં સેટ કરવી આવશ્યક છે. જો તમે તેના પર નજર નાખો, તો કંઈપણ ખરાબ થયું નથી.

CSI ડ્રાઇવરનો ઉપયોગ કરીને Ceph સ્ટોરેજ સિસ્ટમ્સને કનેક્ટ કરવા પર સ્વિચ કરીને તમે જે લાભ મેળવી શકો છો તે જોવા માટે ચાલો એક ઉદાહરણ લઈએ.

Ceph સાથે કામ કરતી વખતે, CSI પ્લગઇન બિલ્ટ-ઇન ડ્રાઇવરો કરતાં સ્ટોરેજ સિસ્ટમ્સ સાથે કામ કરવા માટે વધુ વિકલ્પો પૂરા પાડે છે.

1. ડાયનેમિક ડિસ્ક બનાવટ. સામાન્ય રીતે RBD ડિસ્કનો ઉપયોગ માત્ર RWO મોડમાં થાય છે, પરંતુ Ceph માટે CSI તેમને RWX મોડમાં ઉપયોગ કરવાની મંજૂરી આપે છે. વિવિધ ગાંઠો પરના કેટલાક પોડ્સ તેમના નોડ્સ પર સમાન RDB ડિસ્કને માઉન્ટ કરી શકે છે અને તેમની સાથે સમાંતર કામ કરી શકે છે. વાજબી બનવા માટે, બધું એટલું તેજસ્વી નથી - આ ડિસ્ક ફક્ત બ્લોક ઉપકરણ તરીકે જ કનેક્ટ થઈ શકે છે, જેનો અર્થ છે કે તમારે બહુવિધ એક્સેસ મોડમાં તેની સાથે કામ કરવા માટે એપ્લિકેશનને અનુકૂલિત કરવી પડશે.
2. સ્નેપશોટ બનાવી રહ્યા છીએ. Kubernetes ક્લસ્ટરમાં, તમે સ્નેપશોટ બનાવવાની જરૂરિયાત સાથે મેનિફેસ્ટ બનાવી શકો છો. CSI પ્લગઇન તેને જોશે અને ડિસ્કમાંથી સ્નેપશોટ લેશે. તેના આધારે, તમે બેકઅપ અથવા PersistentVolume ની નકલ બનાવી શકો છો.
3. ડિસ્કનું કદ વધારવું કુબરનેટ્સ ક્લસ્ટરમાં સંગ્રહ અને પર્સિસ્ટન્ટ વોલ્યુમ પર.
4. ક્વોટા. કુબરનેટ્સમાં બનેલા CephFS ડ્રાઇવરો ક્વોટાને સપોર્ટ કરતા નથી, પરંતુ નવીનતમ Ceph Nautilus સાથેના નવા CSI પ્લગઇન્સ CephFS પાર્ટીશનો પર ક્વોટાને સક્ષમ કરી શકે છે.
5. મેટ્રિક્સ. CSI પ્લગઇન પ્રોમિથિયસને વિવિધ મેટ્રિક્સ પ્રદાન કરી શકે છે કે કયા વોલ્યુમો જોડાયેલા છે, કયા સંચાર થઈ રહ્યા છે વગેરે.
6. ટોપોલોજી વાકેફ. તમને ક્લસ્ટર ભૌગોલિક રીતે કેવી રીતે વિતરિત કરવામાં આવે છે તે મેનિફેસ્ટમાં સ્પષ્ટ કરવા દે છે અને એમ્સ્ટરડેમમાં સ્થિત સ્ટોરેજ સિસ્ટમને લંડનમાં ચાલતા પોડ્સ સાથે કનેક્ટ કરવાનું ટાળે છે.

CSI દ્વારા Ceph ને કુબરનેટ્સ ક્લસ્ટર સાથે કેવી રીતે કનેક્ટ કરવું, જુઓ સ્લર્મ સાંજના શાળા વ્યાખ્યાનના વ્યવહારુ ભાગમાં. તમે સબ્સ્ક્રાઇબ પણ કરી શકો છો Ceph વિડિઓ કોર્સ, જે 15મી ઓક્ટોબરે લોન્ચ થશે.

લેખના લેખક: સર્ગેઈ બોંડારેવ, સાઉથબ્રિજ ખાતે પ્રેક્ટિસ કરતા આર્કિટેક્ટ, સર્ટિફાઇડ કુબરનેટ્સ એડમિનિસ્ટ્રેટર, કુબેસ્પ્રેના વિકાસકર્તાઓમાંના એક.

થોડી પોસ્ટ સ્ક્રિપ્ટમ જાહેરાત માટે નહીં, પરંતુ લાભ માટે...

પીએસ સેર્ગેઈ બોંડારેવ બે સઘન અભ્યાસક્રમો તરફ દોરી જાય છે: અપડેટ કુબરનેટ્સ બેઝ સપ્ટેમ્બર 28-30 અને અદ્યતન કુબરનેટ્સ મેગા ઓક્ટોબર 14-16.

સોર્સ: www.habr.com