Yandex.Cloud માટે Kubernetes માં CSI ડ્રાઇવર વિકસાવવાનો અમારો અનુભવ

અમને એ જાહેરાત કરતાં આનંદ થાય છે કે ફ્લેંટ કુબરનેટ્સ માટે મુક્ત સ્ત્રોત સાધનોમાં તેના યોગદાનને વિસ્તરણ કરી રહ્યું છે. CSI ડ્રાઇવરનું આલ્ફા સંસ્કરણ (કન્ટેનર સ્ટોરેજ ઈન્ટરફેસ) Yandex.Cloud માટે.

પરંતુ અમલીકરણ વિગતો તરફ આગળ વધતા પહેલા, ચાલો આ પ્રશ્નનો જવાબ આપીએ કે જ્યારે યાન્ડેક્ષ પાસે પહેલેથી જ સેવા છે ત્યારે આની જરૂર કેમ છે. કુબરનેટ્સ માટે વ્યવસ્થાપિત સેવા.

પરિચય

આ કેમ છે?

અમારી કંપનીની અંદર, ઉત્પાદનમાં કુબરનેટ્સનો ઉપયોગ કરવાની શરૂઆતથી જ (એટલે ​​​​કે હવે ઘણા વર્ષોથી), અમે અમારું પોતાનું સાધન (ડેકહાઉસ) વિકસાવી રહ્યા છીએ, જે રીતે, અમે ટૂંક સમયમાં એક ઓપન સોર્સ પ્રોજેક્ટ તરીકે પણ ઉપલબ્ધ કરાવવાની યોજના બનાવીએ છીએ. . તેની મદદ વડે, અમે અમારા તમામ ક્લસ્ટરોને એકસરખા રૂપરેખાંકિત અને રૂપરેખાંકિત કરીએ છીએ, અને હાલમાં તેમાંથી 100 થી વધુ હાર્ડવેર રૂપરેખાંકનો અને તમામ ઉપલબ્ધ ક્લાઉડ સેવાઓમાં પહેલેથી જ છે.

ડેકહાઉસનો ઉપયોગ કરતા ક્લસ્ટર્સમાં ઓપરેશન માટે જરૂરી તમામ ઘટકો હોય છે: બેલેન્સર્સ, અનુકૂળ ચાર્ટ્સ સાથે મોનિટરિંગ, મેટ્રિક્સ અને ચેતવણીઓ, બધા ડેશબોર્ડ્સની ઍક્સેસ માટે બાહ્ય પ્રદાતાઓ દ્વારા વપરાશકર્તા પ્રમાણીકરણ, વગેરે. મેનેજ્ડ સોલ્યુશનમાં આવા "પમ્પ અપ" ક્લસ્ટરને ઇન્સ્ટોલ કરવાનો કોઈ અર્થ નથી, કારણ કે આ ઘણીવાર અશક્ય હોય છે અથવા અડધા ઘટકોને અક્ષમ કરવાની જરૂરિયાત તરફ દોરી જાય છે.

NB: આ અમારો અનુભવ છે, અને તે એકદમ ચોક્કસ છે. અમે કોઈ પણ રીતે એવું સૂચન કરતા નથી કે દરેક વ્યક્તિએ તૈયાર સોલ્યુશન્સનો ઉપયોગ કરવાને બદલે કુબરનેટ્સ ક્લસ્ટરોને પોતાની રીતે ગોઠવવા જોઈએ. માર્ગ દ્વારા, અમને યાન્ડેક્ષમાંથી કુબરનેટ્સ ચલાવવાનો કોઈ વાસ્તવિક અનુભવ નથી અને અમે આ લેખમાં આ સેવાનું કોઈ મૂલ્યાંકન આપીશું નહીં.

તે શું છે અને કોના માટે છે?

તેથી, અમે કુબરનેટ્સમાં સંગ્રહ માટેના આધુનિક અભિગમ વિશે પહેલેથી જ વાત કરી છે: CSI કેવી રીતે કામ કરે છે? и સમુદાય કેવી રીતે આવ્યો આ અભિગમ માટે.

હાલમાં, ઘણા મોટા ક્લાઉડ સેવા પ્રદાતાઓએ તેમની ક્લાઉડ ડિસ્કનો ઉપયોગ કુબરનેટ્સમાં પર્સિસ્ટન્ટ વોલ્યુમ તરીકે કરવા માટે ડ્રાઇવરો વિકસાવ્યા છે. જો સપ્લાયર પાસે આવા ડ્રાઇવર નથી, પરંતુ તમામ જરૂરી કાર્યો API દ્વારા પ્રદાન કરવામાં આવે છે, તો પછી તમને ડ્રાઇવરને જાતે અમલમાં મૂકવાથી કંઈપણ અટકાવતું નથી. આ Yandex.Cloud સાથે થયું છે.

અમે વિકાસ માટે આધાર તરીકે લીધો DigitalOcean ક્લાઉડ માટે CSI ડ્રાઇવર અને માંથી કેટલાક વિચારો GCP માટે ડ્રાઇવરો, કારણ કે આ વાદળોના API (Google અને Yandex) સાથેની ક્રિયાપ્રતિક્રિયામાં ઘણી સામ્યતાઓ છે. ખાસ કરીને, API અને જીસીપી, અને ખાતે યાન્ડેક્ષ ઑબ્જેક્ટ પરત કરો Operation લાંબા સમયથી ચાલતી કામગીરીની સ્થિતિને ટ્રૅક કરવા માટે (ઉદાહરણ તરીકે, નવી ડિસ્ક બનાવવી). Yandex.Cloud API સાથે ક્રિયાપ્રતિક્રિયા કરવા માટે, ઉપયોગ કરો Yandex.Cloud Go SDK.

કરેલા કામનું પરિણામ GitHub પર પ્રકાશિત અને તે લોકો માટે ઉપયોગી થઈ શકે છે જેઓ, અમુક કારણોસર, Yandex.Cloud વર્ચ્યુઅલ મશીનો પર તેમના પોતાના Kubernetes ઇન્સ્ટોલેશનનો ઉપયોગ કરે છે (પરંતુ તૈયાર સંચાલિત ક્લસ્ટર નથી) અને CSI દ્વારા ડિસ્કનો ઉપયોગ (ઓર્ડર) કરવા માંગે છે.

Реализация

કી સુવિધાઓ

હાલમાં ડ્રાઇવર નીચેના કાર્યોને સપોર્ટ કરે છે:

• ક્લસ્ટરમાં નોડ્સના ટોપોલોજી અનુસાર ક્લસ્ટરના તમામ ઝોનમાં ડિસ્કનો ઓર્ડર આપવો;
• અગાઉ ઓર્ડર કરેલ ડિસ્ક દૂર કરી રહ્યા છીએ;
• ડિસ્ક માટે ઑફલાઇન માપ બદલો (Yandex.Cloud આધાર આપશો નહીં વર્ચ્યુઅલ મશીન પર માઉન્ટ થયેલ ડિસ્કને વધારવી). માપ બદલવાનું શક્ય તેટલું પીડારહિત બનાવવા માટે ડ્રાઇવરને કેવી રીતે સંશોધિત કરવું પડ્યું તેની માહિતી માટે, નીચે જુઓ.

ભવિષ્યમાં, અમે ડિસ્ક સ્નેપશોટ બનાવવા અને કાઢી નાખવા માટે સપોર્ટ અમલમાં મૂકવાની યોજના બનાવીએ છીએ.

મુખ્ય મુશ્કેલી અને તેને કેવી રીતે દૂર કરવી

Yandex.Cloud API માં રીઅલ ટાઇમમાં ડિસ્ક વધારવાની ક્ષમતાનો અભાવ એ એક મર્યાદા છે જે PV (સતત વોલ્યુમ) માટે રીસાઇઝ ઓપરેશનને જટિલ બનાવે છે: આ કિસ્સામાં, તે જરૂરી છે કે એપ્લિકેશન પોડ કે જે ડિસ્કનો ઉપયોગ કરે છે તે બંધ કરવામાં આવે, અને આ ડાઉનટાઇમ એપ્લિકેશનનું કારણ બની શકે છે.

અનુસાર CSI સ્પષ્ટીકરણો, જો CSI નિયંત્રક અહેવાલ આપે છે કે તે ફક્ત "ઓફલાઇન" ડિસ્કનું કદ બદલી શકે છે (VolumeExpansion.OFFLINE), પછી ડિસ્કને વધારવાની પ્રક્રિયા આના જેવી હોવી જોઈએ:

જો પ્લગઇન પાસે જ હોય VolumeExpansion.OFFLINE વિસ્તરણ ક્ષમતા અને વોલ્યુમ હાલમાં પ્રકાશિત અથવા પછી નોડ પર ઉપલબ્ધ છે ControllerExpandVolume બેમાંથી એક પછી જ કૉલ કરવો આવશ્યક છે:

• પ્લગઇનમાં નિયંત્રક છે PUBLISH_UNPUBLISH_VOLUME ક્ષમતા અને ControllerUnpublishVolume સફળતાપૂર્વક બોલાવવામાં આવ્યું છે.

અથવા અન્ય

• પ્લગઇન પાસે નિયંત્રક નથી PUBLISH_UNPUBLISH_VOLUME ક્ષમતા, પ્લગઇન નોડ ધરાવે છે STAGE_UNSTAGE_VOLUME ક્ષમતા, અને NodeUnstageVolume સફળતાપૂર્વક પૂર્ણ થયું છે.

અથવા અન્ય

• પ્લગઇન પાસે નિયંત્રક નથી PUBLISH_UNPUBLISH_VOLUME ક્ષમતા, ન નોડ STAGE_UNSTAGE_VOLUME ક્ષમતા, અને NodeUnpublishVolume સફળતાપૂર્વક પૂર્ણ કર્યું છે.

આનો અર્થ એ છે કે તમારે ડિસ્કને વિસ્તૃત કરતા પહેલા વર્ચ્યુઅલ મશીનમાંથી તેને અલગ કરવાની જરૂર છે.

જો કે, કમનસીબે અમલીકરણ સાઇડકાર દ્વારા CSI સ્પષ્ટીકરણ આ જરૂરિયાતોને પૂર્ણ કરતું નથી:

• સાઇડકાર કન્ટેનરમાં csi-attacher, જે માઉન્ટો વચ્ચેના જરૂરી અંતરની હાજરી માટે જવાબદાર હોવા જોઈએ, આ કાર્યક્ષમતા ફક્ત ઑફલાઇન પુન: માપમાં લાગુ કરવામાં આવતી નથી. આ અંગે ચર્ચા શરૂ થઈ હતી અહીં.
• આ સંદર્ભમાં સાઇડકાર કન્ટેનર બરાબર શું છે? CSI પ્લગઇન પોતે Kubernetes API સાથે ક્રિયાપ્રતિક્રિયા કરતું નથી, પરંતુ માત્ર સાઇડકાર કન્ટેનર દ્વારા તેને મોકલવામાં આવેલ gRPC કોલ્સનો જવાબ આપે છે. નવીનતમ વિકસાવવામાં આવી રહ્યા છે કુબરનેટ્સ સમુદાય દ્વારા.

અમારા કિસ્સામાં (CSI પ્લગઇન), ડિસ્ક વધારવાનું ઑપરેશન આના જેવું લાગે છે:

1. અમને gRPC કૉલ મળે છે ControllerExpandVolume;
2. અમે API માં ડિસ્કને વધારવાનો પ્રયાસ કરી રહ્યા છીએ, પરંતુ અમને ઑપરેશન કરવાની અશક્યતા વિશે ભૂલ પ્રાપ્ત થાય છે કારણ કે ડિસ્ક માઉન્ટ થયેલ છે;
3. અમે ડિસ્ક ઓળખકર્તાને નકશામાં સંગ્રહિત કરીએ છીએ, જેમાં ડિસ્ક હોય છે જેના માટે વધારાની કામગીરી કરવાની જરૂર છે. નીચે, સંક્ષિપ્તતા માટે, અમે આ નકશાને કહીશું volumeResizeRequired;
4. ડિસ્કનો ઉપયોગ કરી રહેલા પોડને મેન્યુઅલી દૂર કરો. કુબરનેટ્સ તેને ફરીથી શરૂ કરશે. જેથી ડિસ્કને માઉન્ટ કરવાનો સમય ન મળે (ControllerPublishVolume) માઉન્ટ કરવાનો પ્રયાસ કરતી વખતે વધારાની કામગીરી પૂર્ણ કરતા પહેલા, અમે તપાસીએ છીએ કે આપેલ ડિસ્ક હજુ પણ અંદર છે volumeResizeRequired અને ભૂલ પરત કરો;
5. CSI ડ્રાઇવર માપ બદલવાની કામગીરીને ફરીથી ચલાવવાનો પ્રયાસ કરે છે. જો ઑપરેશન સફળ થયું હોય, તો પછી ડિસ્કને દૂર કરો volumeResizeRequired;
6. કારણ કે માંથી ડિસ્ક ID ખૂટે છે volumeResizeRequired, ControllerPublishVolume સફળતાપૂર્વક પસાર થાય છે, ડિસ્ક માઉન્ટ થાય છે, પોડ શરૂ થાય છે.

બધું પૂરતું સરળ લાગે છે, પરંતુ હંમેશની જેમ મુશ્કેલીઓ છે. ડિસ્કને મોટું કરે છે બાહ્ય-રિસાઈઝર, જે ઓપરેશન દરમિયાન ભૂલના કિસ્સામાં કતારનો ઉપયોગ કરે છે 1000 સેકન્ડ સુધીના સમયસમાપ્તિ સમયમાં ઘાતાંકીય વધારા સાથે:

func DefaultControllerRateLimiter() RateLimiter {
  return NewMaxOfRateLimiter(
  NewItemExponentialFailureRateLimiter(5*time.Millisecond, 1000*time.Second),
  // 10 qps, 100 bucket size.  This is only for retry speed and its only the overall factor (not per item)
  &BucketRateLimiter{Limiter: rate.NewLimiter(rate.Limit(10), 100)},
  )
}

આ સમયાંતરે ડિસ્ક વિસ્તરણ કામગીરીને 15+ મિનિટ સુધી લંબાવવામાં પરિણમી શકે છે અને આમ, અનુરૂપ પોડ અનુપલબ્ધ છે.

એકમાત્ર વિકલ્પ કે જેણે અમને સંભવિત ડાઉનટાઇમ ઘટાડવા માટે તદ્દન સહેલાઈથી અને પીડારહિત મંજૂરી આપી હતી તે મહત્તમ સમયસમાપ્તિ મર્યાદા સાથે બાહ્ય-રિસાઈઝરના અમારા સંસ્કરણનો ઉપયોગ હતો. 5 સેકન્ડમાં:

workqueue.NewItemExponentialFailureRateLimiter(5*time.Millisecond, 5*time.Second)

અમે તાત્કાલિક ચર્ચા શરૂ કરવી અને બાહ્ય-રિસાઈઝરને પેચ કરવાનું જરૂરી માન્યું નથી, કારણ કે ડિસ્કનું ઓફલાઈન રીસાઈઝ એ થ્રોબેક છે જે ટૂંક સમયમાં તમામ ક્લાઉડ પ્રદાતાઓમાંથી અદૃશ્ય થઈ જશે.

તેનો ઉપયોગ કેવી રીતે શરૂ કરવો?

ડ્રાઇવર Kubernetes આવૃત્તિ 1.15 અને ઉચ્ચ પર આધારભૂત છે. ડ્રાઇવરને કામ કરવા માટે, નીચેની આવશ્યકતાઓને પૂર્ણ કરવી આવશ્યક છે:

• ધ્વજ --allow-privileged મૂલ્ય પર સેટ કરો true API સર્વર અને કુબેલેટ માટે;
• સમાવેશ થાય છે --feature-gates=VolumeSnapshotDataSource=true,KubeletPluginsWatcher=true,CSINodeInfo=true,CSIDriverRegistry=true API સર્વર અને કુબેલેટ માટે;
• માઉન્ટ પ્રચાર (માઉન્ટ પ્રચાર) ક્લસ્ટર પર સક્ષમ હોવું આવશ્યક છે. જ્યારે ડોકર વાપરી રહ્યા હોય, ત્યારે વહેંચાયેલ માઉન્ટોને પરવાનગી આપવા માટે ડિમનને રૂપરેખાંકિત કરવું આવશ્યક છે.

ઇન્સ્ટોલેશન માટે જ તમામ જરૂરી પગલાં README માં વર્ણવેલ છે. ઇન્સ્ટોલેશનમાં મેનિફેસ્ટમાંથી કુબરનેટ્સમાં ઑબ્જેક્ટ્સ બનાવવાનો સમાવેશ થાય છે.

ડ્રાઇવર કામ કરવા માટે તમારે નીચેનાની જરૂર પડશે:

• મેનિફેસ્ટમાં ડિરેક્ટરી ઓળખકર્તાનો ઉલ્લેખ કરો (folder-id) Yandex.Cloud (દસ્તાવેજીકરણ જુઓ);
• Yandex.Cloud API સાથે ક્રિયાપ્રતિક્રિયા કરવા માટે, CSI ડ્રાઇવર સેવા ખાતાનો ઉપયોગ કરે છે. મેનિફેસ્ટમાં, સિક્રેટ પાસ કરવું આવશ્યક છે અધિકૃત કીઓ સેવા ખાતામાંથી. દસ્તાવેજીકરણમાં વર્ણવેલ, સેવા ખાતું કેવી રીતે બનાવવું અને ચાવીઓ કેવી રીતે મેળવવી.

બધા માં બધું - પ્રયાસ કરો, અને અમને પ્રતિસાદ પ્રાપ્ત કરવામાં આનંદ થશે અને નવા મુદ્દાઓ, જો તમને કોઈ સમસ્યા આવે તો!

વધુ આધાર

પરિણામે, અમે એ નોંધવા માંગીએ છીએ કે અમે આ CSI ડ્રાઇવરને Go માં મજાની એપ્લિકેશન લખવાની ઈચ્છાથી નહીં, પરંતુ કંપનીમાં તાત્કાલિક જરૂરિયાતને કારણે લાગુ કર્યું છે. અમારા પોતાના અમલીકરણને જાળવી રાખવું તે અમને વ્યવહારુ લાગતું નથી, તેથી જો યાન્ડેક્ષ રસ બતાવે છે અને ડ્રાઇવરને ટેકો આપવાનું ચાલુ રાખવાનું નક્કી કરે છે, તો અમે તેમને રીપોઝીટરી ટ્રાન્સફર કરવામાં ખુશ થઈશું.

વધુમાં, યાન્ડેક્ષ પાસે કદાચ તેના સંચાલિત કુબરનેટ્સ ક્લસ્ટરમાં CSI ડ્રાઇવરનું પોતાનું અમલીકરણ છે, જે ઓપન સોર્સમાં રિલીઝ થઈ શકે છે. અમે આ વિકાસ વિકલ્પને સાનુકૂળ તરીકે પણ જોઈએ છીએ - સમુદાય સેવા પ્રદાતાના સાબિત ડ્રાઇવરનો ઉપયોગ કરી શકશે, અને તૃતીય-પક્ષ કંપની તરફથી નહીં.

PS

અમારા બ્લોગ પર પણ વાંચો:

• «કુબરનેટ્સ સ્ટોરેજ માટે વોલ્યુમ પ્લગઈન્સ: ફ્લેક્સવોલ્યુમથી CSI સુધી»;
• «અમે કન્ટેનર સ્ટોરેજ ઈન્ટરફેસ સમજીએ છીએ (કુબરનેટ્સમાં અને માત્ર નહીં)»;
• «શું કુબરનેટ્સ ક્લસ્ટર તૈયાર કરવું સરળ અને અનુકૂળ છે? એડઓન-ઓપરેટરની જાહેરાત»;
• «કુબરનેટ્સનું વિસ્તરણ અને પૂરક (વિહંગાવલોકન અને વિડિયો રિપોર્ટ)».

સોર્સ: www.habr.com