કુબરનેટ્સ અને ઓટોમેશનને કારણે બે કલાકમાં ક્લાઉડ પર કેવી રીતે સ્થળાંતર કરવું

URUS કંપનીએ વિવિધ સ્વરૂપોમાં કુબરનેટ્સનો પ્રયાસ કર્યો: Google ક્લાઉડમાં, એકદમ મેટલ પર સ્વતંત્ર જમાવટ, અને પછી તેના પ્લેટફોર્મને Mail.ru ક્લાઉડ સોલ્યુશન્સ (MCS) ક્લાઉડમાં સ્થાનાંતરિત કર્યું. ઇગોર શિશ્કિન કહે છે કે તેઓએ કેવી રીતે નવું ક્લાઉડ પ્રદાતા પસંદ કર્યું અને રેકોર્ડ બે કલાકમાં તેઓ કેવી રીતે તેના પર સ્થળાંતર કરવામાં વ્યવસ્થાપિત થયા (t3ran), URUS ખાતે વરિષ્ઠ સિસ્ટમ એડમિનિસ્ટ્રેટર.

URUS શું કરે છે?

શહેરી વાતાવરણની ગુણવત્તા સુધારવાની ઘણી રીતો છે, અને તેમાંથી એક તેને પર્યાવરણને અનુકૂળ બનાવવાનો છે. URUS - Smart Digital Services કંપની આના પર જ કામ કરી રહી છે. અહીં તેઓ એવા ઉકેલો અમલમાં મૂકે છે જે એન્ટરપ્રાઇઝને મહત્વપૂર્ણ પર્યાવરણીય સૂચકાંકોનું નિરીક્ષણ કરવામાં અને પર્યાવરણ પરની તેમની નકારાત્મક અસર ઘટાડવામાં મદદ કરે છે. સેન્સર્સ હવાની રચના, અવાજનું સ્તર અને અન્ય પરિમાણો પર ડેટા એકત્રિત કરે છે અને પછી વિશ્લેષણ અને ભલામણો કરવા માટે એકીકૃત URUS-Ekomon પ્લેટફોર્મ પર મોકલે છે.

URUS અંદરથી કેવી રીતે કામ કરે છે

URUS નો લાક્ષણિક ક્લાયન્ટ એ રહેણાંક વિસ્તારમાં અથવા તેની નજીક સ્થિત કંપની છે. આ ફેક્ટરી, બંદર, રેલ્વે ડેપો અથવા અન્ય કોઈપણ સુવિધા હોઈ શકે છે. જો અમારા ક્લાયન્ટને પહેલેથી જ ચેતવણી મળી ગઈ હોય, પર્યાવરણીય પ્રદૂષણ માટે દંડ કરવામાં આવ્યો હોય, અથવા ઓછો અવાજ કરવા, હાનિકારક ઉત્સર્જનની માત્રા ઘટાડવા માંગે છે, તો તે અમારી પાસે આવે છે, અને અમે તેને પહેલેથી જ પર્યાવરણીય દેખરેખ માટે તૈયાર સોલ્યુશન ઓફર કરીએ છીએ.

H2S સાંદ્રતા મોનિટરિંગ ગ્રાફ નજીકના પ્લાન્ટમાંથી નિયમિત રાત્રિ ઉત્સર્જન દર્શાવે છે

અમે યુઆરયુએસમાં જે ઉપકરણોનો ઉપયોગ કરીએ છીએ તેમાં ઘણા સેન્સર હોય છે જે પર્યાવરણીય પરિસ્થિતિનું મૂલ્યાંકન કરવા માટે ચોક્કસ ગેસ, અવાજના સ્તર અને અન્ય ડેટાની સામગ્રી વિશેની માહિતી એકત્રિત કરે છે. સેન્સરની ચોક્કસ સંખ્યા હંમેશા ચોક્કસ કાર્ય દ્વારા નક્કી કરવામાં આવે છે.

માપનની વિશિષ્ટતાઓને આધારે, સેન્સરવાળા ઉપકરણો ઇમારતો, ધ્રુવો અને અન્ય મનસ્વી સ્થાનોની દિવાલો પર સ્થિત હોઈ શકે છે. આવા દરેક ઉપકરણ માહિતી એકત્ર કરે છે, તેને એકત્ર કરે છે અને ડેટા પ્રાપ્ત કરનાર ગેટવેને મોકલે છે. ત્યાં અમે લાંબા ગાળાના સ્ટોરેજ માટે ડેટાને સાચવીએ છીએ અને અનુગામી વિશ્લેષણ માટે તેને પૂર્વ-પ્રક્રિયા કરીએ છીએ. વિશ્લેષણના પરિણામે આપણને જે મળે છે તેનું સૌથી સરળ ઉદાહરણ હવા ગુણવત્તા સૂચકાંક છે, જેને AQI તરીકે પણ ઓળખવામાં આવે છે.

સમાંતર રીતે, અન્ય ઘણી સેવાઓ અમારા પ્લેટફોર્મ પર કાર્ય કરે છે, પરંતુ તે મુખ્યત્વે સેવા પ્રકૃતિની છે. ઉદાહરણ તરીકે, નોટિફિકેશન સેવા ક્લાયન્ટને સૂચનાઓ મોકલે છે જો મોનિટર કરાયેલા કોઈપણ પરિમાણો (ઉદાહરણ તરીકે, CO2 સામગ્રી) અનુમતિપાત્ર મૂલ્ય કરતાં વધી જાય.

અમે ડેટા કેવી રીતે સ્ટોર કરીએ છીએ. એકદમ ધાતુ પર કુબરનેટ્સની વાર્તા

URUS પર્યાવરણીય દેખરેખ પ્રોજેક્ટમાં ઘણા ડેટા વેરહાઉસ છે. એકમાં અમે "કાચો" ડેટા રાખીએ છીએ - જે અમને ઉપકરણોમાંથી સીધો પ્રાપ્ત થયો છે. આ સ્ટોરેજ એક "ચુંબકીય" ટેપ છે, જેમ કે જૂની કેસેટ ટેપ પર, તમામ સૂચકાંકોના ઇતિહાસ સાથે. બીજા પ્રકારના સ્ટોરેજનો ઉપયોગ પ્રી-પ્રોસેસ્ડ ડેટા માટે થાય છે - સેન્સર વચ્ચેના કનેક્શન્સ અને ઉપકરણોના રીડિંગ વિશેના મેટાડેટાથી સમૃદ્ધ ઉપકરણોનો ડેટા, સંસ્થાઓ સાથે જોડાણ, સ્થાનો વગેરે. આ માહિતી તમને ગતિશીલ રીતે મૂલ્યાંકન કરવાની મંજૂરી આપે છે કે ચોક્કસ સૂચક કેવી રીતે છે. ચોક્કસ સમયગાળામાં બદલાયેલ છે. જો આવી જરૂરિયાત ઊભી થાય, તો અમે બેકઅપ તરીકે અને પ્રીપ્રોસેસ્ડ ડેટાને પુનઃસ્થાપિત કરવા માટે, અન્ય વસ્તુઓની સાથે "કાચા" ડેટા સ્ટોરેજનો ઉપયોગ કરીએ છીએ.

જ્યારે અમે ઘણા વર્ષો પહેલા અમારી સ્ટોરેજ સમસ્યાને ઉકેલવા માંગતા હતા, ત્યારે અમારી પાસે બે પ્લેટફોર્મ પસંદગીઓ હતી: કુબરનેટ્સ અને ઓપનસ્ટેક. પરંતુ બાદમાં તદ્દન રાક્ષસી લાગે છે (આની ખાતરી કરવા માટે ફક્ત તેના આર્કિટેક્ચરને જુઓ), અમે કુબરનેટ્સ પર સ્થાયી થયા. તેની તરફેણમાં બીજી દલીલ પ્રમાણમાં સરળ સોફ્ટવેર નિયંત્રણ હતી, સંસાધનો અનુસાર હાર્ડવેર નોડ્સને પણ વધુ લવચીક રીતે કાપવાની ક્ષમતા.

કુબરનેટ્સમાં નિપુણતા સાથે સમાંતર, અમે ડેટા સ્ટોર કરવાની રીતોનો પણ અભ્યાસ કર્યો, જ્યારે અમે અમારા તમામ સ્ટોરેજને અમારા પોતાના હાર્ડવેર પર કુબરનેટ્સમાં રાખ્યા, અમને ઉત્તમ કુશળતા પ્રાપ્ત થઈ. કુબરનેટ્સ પર અમે જે કંઈ જીવતા હતા તે બધું: સ્ટેટફુલ સ્ટોરેજ, મોનિટરિંગ સિસ્ટમ, CI/CD. Kubernetes અમારા માટે એક સર્વશ્રેષ્ઠ પ્લેટફોર્મ બની ગયું છે.

પરંતુ અમે કુબરનેટ્સ સાથે સેવા તરીકે કામ કરવા માગીએ છીએ, અને તેના સમર્થન અને વિકાસમાં જોડાવું નથી. ઉપરાંત, અમને ગમ્યું ન હતું કે બેર મેટલ પર તેને જાળવવા માટે અમને કેટલો ખર્ચ થયો છે, અને અમને સતત વિકાસની જરૂર છે! ઉદાહરણ તરીકે, પ્રથમ કાર્યોમાંનું એક કુબરનેટ્સ ઇન્ગ્રેસ નિયંત્રકોને અમારી સંસ્થાના નેટવર્ક ઈન્ફ્રાસ્ટ્રક્ચરમાં એકીકૃત કરવાનું હતું. આ એક બોજારૂપ કાર્ય છે, ખાસ કરીને તે સમયે પ્રોગ્રામેટિક રિસોર્સ મેનેજમેન્ટ જેમ કે DNS રેકોર્ડ્સ અથવા IP એડ્રેસની ફાળવણી માટે કંઈપણ તૈયાર ન હતું તે ધ્યાનમાં લેતાં. બાદમાં અમે એક્સટર્નલ ડેટા સ્ટોરેજ સાથે પ્રયોગ કરવાનું શરૂ કર્યું. અમે પીવીસી કંટ્રોલરને અમલમાં મૂકવાની આસપાસ ક્યારેય નહોતા આવ્યા, પરંતુ તે પછી પણ તે સ્પષ્ટ થઈ ગયું કે આ કાર્યનું એક વિશાળ ક્ષેત્ર હતું જેને સમર્પિત નિષ્ણાતોની જરૂર હતી.

Google Cloud Platform પર સ્વિચ કરવું એ અસ્થાયી ઉકેલ છે

અમને સમજાયું કે આ ચાલુ રાખી શકાતું નથી, અને અમારા ડેટાને બેર મેટલમાંથી Google Cloud Platform પર ખસેડ્યો. હકીકતમાં, તે સમયે રશિયન કંપની માટે ઘણા રસપ્રદ વિકલ્પો નહોતા: ગૂગલ ક્લાઉડ પ્લેટફોર્મ ઉપરાંત, ફક્ત એમેઝોને સમાન સેવા ઓફર કરી હતી, પરંતુ અમે હજી પણ ગૂગલના સોલ્યુશન પર સ્થાયી થયા છીએ. પછી તે અમને વધુ આર્થિક રીતે નફાકારક લાગતું હતું, અપસ્ટ્રીમની નજીક, એ હકીકતનો ઉલ્લેખ ન કરવો કે Google પોતે ઉત્પાદનમાં એક પ્રકારનો PoC કુબરનેટ્સ છે.

જ્યારે અમારો ગ્રાહક આધાર વધતો ગયો તેમ તેમ પ્રથમ મોટી સમસ્યા ક્ષિતિજ પર દેખાઈ. જ્યારે અમને વ્યક્તિગત ડેટા સંગ્રહિત કરવાની જરૂર હતી, ત્યારે અમને પસંદગીનો સામનો કરવો પડ્યો: કાં તો અમે Google સાથે કામ કરીએ છીએ અને રશિયન કાયદાનું ઉલ્લંઘન કરીએ છીએ, અથવા અમે રશિયન ફેડરેશનમાં વિકલ્પ શોધી રહ્યા છીએ. પસંદગી, એકંદરે, અનુમાનિત હતી. 🙂

અમે આદર્શ ક્લાઉડ સેવા કેવી રીતે જોઈ

શોધની શરૂઆત સુધીમાં, અમે પહેલાથી જ જાણતા હતા કે અમે ભાવિ ક્લાઉડ પ્રદાતા પાસેથી શું મેળવવા માંગીએ છીએ. અમે કઈ સેવા શોધી રહ્યા હતા:

• ઝડપી અને લવચીક. જેમ કે આપણે ઝડપથી નવો નોડ ઉમેરી શકીએ અથવા કોઈપણ સમયે કંઈક જમાવી શકીએ.
• સસ્તું. અમે નાણાકીય મુદ્દા વિશે ખૂબ જ ચિંતિત હતા, કારણ કે અમે સંસાધનોમાં મર્યાદિત હતા. અમે પહેલાથી જ જાણતા હતા કે અમે કુબરનેટ્સ સાથે કામ કરવા માંગીએ છીએ, અને હવે કાર્ય આ સોલ્યુશનનો ઉપયોગ કરવાની કાર્યક્ષમતા વધારવા અથવા ઓછામાં ઓછું જાળવવા માટે તેની કિંમત ઘટાડવાનું હતું.
• સ્વયંસંચાલિત. અમે મેનેજરો અને ફોન કૉલ્સ અથવા પરિસ્થિતિઓ કે જ્યાં અમારે ઇમરજન્સી મોડમાં કેટલાક ડઝન નોડ્સ મેન્યુઅલી વધારવાની જરૂર હોય તે વિના API દ્વારા સેવા સાથે કામ કરવાની યોજના બનાવી છે. અમારી મોટાભાગની પ્રક્રિયાઓ સ્વયંસંચાલિત હોવાથી, અમે ક્લાઉડ સેવા પાસેથી તે જ અપેક્ષા રાખીએ છીએ.
• રશિયન ફેડરેશનમાં સર્વર્સ સાથે. અલબત્ત, અમે રશિયન કાયદા અને તે જ 152-એફઝેડનું પાલન કરવાની યોજના બનાવી છે.

તે સમયે, રશિયામાં કુબરનેટ્સ એએએસ પ્રદાતાઓ થોડા હતા, અને પ્રદાતા પસંદ કરતી વખતે, અમારી પ્રાથમિકતાઓ સાથે સમાધાન ન કરવું તે અમારા માટે મહત્વપૂર્ણ હતું. Mail.ru ક્લાઉડ સોલ્યુશન્સ ટીમ, જેની સાથે અમે કામ કરવાનું શરૂ કર્યું છે અને હજુ પણ સહયોગ કરી રહ્યા છીએ, અમને API સપોર્ટ અને અનુકૂળ કંટ્રોલ પેનલ સાથે સંપૂર્ણ સ્વચાલિત સેવા પ્રદાન કરી છે જેમાં Horizon નો સમાવેશ થાય છે - તેની સાથે અમે ઝડપથી નોડ્સની મનસ્વી સંખ્યા વધારી શકીએ છીએ.

અમે કેવી રીતે બે કલાકમાં MCS માં સ્થળાંતર કરવામાં સફળ થયા

આવા પગલામાં, ઘણી કંપનીઓને મુશ્કેલીઓ અને આંચકોનો સામનો કરવો પડે છે, પરંતુ અમારા કિસ્સામાં એવું કોઈ નહોતું. અમે નસીબદાર હતા: સ્થળાંતર શરૂ થાય તે પહેલાં અમે પહેલેથી જ કુબરનેટ્સ પર કામ કરતા હોવાથી, અમે ફક્ત ત્રણ ફાઇલોને સુધારી અને નવા ક્લાઉડ પ્લેટફોર્મ, MCS પર અમારી સેવાઓ શરૂ કરી. ચાલો હું તમને યાદ અપાવી દઉં કે તે સમય સુધીમાં અમે આખરે બેર મેટલ છોડી દીધું હતું અને Google ક્લાઉડ પ્લેટફોર્મ પર રહેતા હતા. તેથી, ચાલમાં બે કલાકથી વધુ સમય લાગ્યો ન હતો, ઉપરાંત થોડો વધુ સમય (લગભગ એક કલાક) અમારા ઉપકરણોમાંથી ડેટાની નકલ કરવામાં ખર્ચવામાં આવ્યો હતો. તે સમયે અમે પહેલાથી જ Spinnaker (સતત ડિલિવરી પૂરી પાડવા માટે એક મલ્ટિ-ક્લાઉડ સીડી સેવા) નો ઉપયોગ કરતા હતા. અમે તેને ઝડપથી નવા ક્લસ્ટરમાં ઉમેર્યું અને હંમેશની જેમ કામ કરવાનું ચાલુ રાખ્યું.

વિકાસ પ્રક્રિયાઓ અને CI/CDના સ્વચાલિતકરણ માટે આભાર, URUS ખાતે કુબરનેટ્સ એક નિષ્ણાત દ્વારા નિયંત્રિત થાય છે (અને તે હું છું). અમુક તબક્કે, અન્ય સિસ્ટમ એડમિનિસ્ટ્રેટરે મારી સાથે કામ કર્યું, પરંતુ પછી તે બહાર આવ્યું કે અમે પહેલેથી જ બધી મુખ્ય દિનચર્યાને સ્વચાલિત કરી દીધી છે અને અમારા મુખ્ય ઉત્પાદનના ભાગ પર વધુ અને વધુ કાર્યો હતા અને તે સંસાધનોને આ તરફ નિર્દેશિત કરવા માટે અર્થપૂર્ણ હતું.

અમે ક્લાઉડ પ્રદાતા પાસેથી જે અપેક્ષા રાખી હતી તે અમને પ્રાપ્ત થયું, કારણ કે અમે ભ્રમણા વિના સહકાર શરૂ કર્યો. જો ત્યાં કોઈ ઘટનાઓ હતી, તો તે મોટે ભાગે તકનીકી હતી અને તે જે સેવાની સંબંધિત તાજગી દ્વારા સરળતાથી સમજાવી શકાય છે. મુખ્ય વસ્તુ એ છે કે MCS ટીમ ઝડપથી ખામીઓને દૂર કરે છે અને સંદેશવાહકોમાં પ્રશ્નોના ઝડપથી જવાબ આપે છે.

જો હું Google Cloud Platform સાથે મારા અનુભવની તુલના કરું, તો તેમના કિસ્સામાં મને ફીડબેક બટન ક્યાં છે તે પણ ખબર ન હતી, કારણ કે તેની કોઈ જરૂર જ ન હતી. અને જો કોઈ સમસ્યા આવી હોય, તો Google પોતે એકતરફી સૂચનાઓ મોકલે છે. પરંતુ MCS ના કિસ્સામાં, મને લાગે છે કે મોટો ફાયદો એ છે કે તેઓ રશિયન ક્લાયંટની શક્ય તેટલી નજીક છે - ભૌગોલિક અને માનસિક બંને રીતે.

આપણે ભવિષ્યમાં વાદળો સાથે કેવી રીતે કામ કરતા જોઈશું

હવે અમારું કાર્ય કુબરનેટ્સ સાથે નજીકથી જોડાયેલું છે, અને તે માળખાકીય કાર્યોના દૃષ્ટિકોણથી અમને સંપૂર્ણપણે અનુકૂળ છે. તેથી, અમે તેમાંથી ક્યાંય પણ સ્થળાંતર કરવાની યોજના નથી બનાવતા, જો કે અમે નિયમિત કાર્યોને સરળ બનાવવા અને નવાને સ્વચાલિત કરવા, સેવાઓની સ્થિરતા અને વિશ્વસનીયતા વધારવા માટે સતત નવી પદ્ધતિઓ અને સેવાઓ દાખલ કરી રહ્યા છીએ... અમે હવે કેઓસ મંકી સેવા (ખાસ કરીને , અમે chaoskube નો ઉપયોગ કરીએ છીએ, પરંતુ આનાથી ખ્યાલ બદલાતો નથી: ), જે મૂળરૂપે Netflix દ્વારા બનાવવામાં આવ્યો હતો. કેઓસ મંકી એક સરળ વસ્તુ કરે છે: તે રેન્ડમ સમયે રેન્ડમ કુબરનેટ્સ પોડને કાઢી નાખે છે. અમારી સેવા સામાન્ય રીતે n–1 દાખલાઓની સંખ્યા સાથે જીવે તે માટે આ જરૂરી છે, તેથી અમે કોઈપણ સમસ્યા માટે તૈયાર રહેવાની જાતને તાલીમ આપીએ છીએ.

હવે હું તૃતીય-પક્ષ ઉકેલોનો ઉપયોગ જોઉં છું - સમાન ક્લાઉડ પ્લેટફોર્મ્સ - યુવાન કંપનીઓ માટે એકમાત્ર યોગ્ય વસ્તુ તરીકે. સામાન્ય રીતે, તેમની મુસાફરીની શરૂઆતમાં, તેઓ માનવ અને નાણાકીય બંને સંસાધનોમાં મર્યાદિત હોય છે અને તેમના પોતાના ક્લાઉડ અથવા ડેટા સેન્ટરનું નિર્માણ અને જાળવણી ખૂબ ખર્ચાળ અને શ્રમ-સઘન હોય છે. ક્લાઉડ પ્રદાતાઓ તમને આ ખર્ચ ઘટાડવાની મંજૂરી આપે છે; તમે તેમની પાસેથી અહીં અને અત્યારે સેવાઓના સંચાલન માટે જરૂરી સંસાધનો ઝડપથી મેળવી શકો છો અને હકીકત પછી આ સંસાધનોની ચૂકવણી કરી શકો છો. URUS કંપનીની વાત કરીએ તો, અમે હમણાં માટે ક્લાઉડમાં કુબરનેટ્સ પ્રત્યે વફાદાર રહીશું. પરંતુ કોણ જાણે છે કે, આપણે ભૌગોલિક રીતે વિસ્તરણ કરવું પડશે, અથવા અમુક ચોક્કસ સાધનોના આધારે ઉકેલોનો અમલ કરવો પડશે. અથવા કદાચ ઉપયોગમાં લેવાતા સંસાધનોની માત્રા પોતાના કુબરનેટ્સને બેર-મેટલ પર ન્યાયી ઠેરવશે, જેમ કે સારા જૂના દિવસોમાં. 🙂

ક્લાઉડ સેવાઓ સાથે કામ કરવાથી અમે શું શીખ્યા

અમે એકદમ મેટલ પર કુબરનેટ્સનો ઉપયોગ કરવાનું શરૂ કર્યું, અને ત્યાં પણ તે તેની પોતાની રીતે સારું હતું. પરંતુ તેની શક્તિ ક્લાઉડમાં aaS ઘટક તરીકે ચોક્કસપણે જાહેર કરવામાં આવી હતી. જો તમે ધ્યેય નક્કી કરો છો અને શક્ય તેટલું બધું સ્વચાલિત કરો છો, તો તમે વિક્રેતા લૉક-ઇનને ટાળી શકશો અને ક્લાઉડ પ્રદાતાઓ વચ્ચે ખસેડવામાં થોડા કલાકો લાગશે, અને ચેતા કોષો અમારી સાથે રહેશે. અમે અન્ય કંપનીઓને સલાહ આપી શકીએ છીએ: જો તમે મર્યાદિત સંસાધનો અને વિકાસ માટે મહત્તમ વેગ ધરાવતાં તમારી પોતાની (ક્લાઉડ) સેવા શરૂ કરવા માંગતા હો, તો ક્લાઉડ સંસાધનો ભાડે લઈને હમણાં જ પ્રારંભ કરો અને ફોર્બ્સ તમારા વિશે લખે તે પછી તમારું ડેટા સેન્ટર બનાવો.

સોર્સ: www.habr.com