કેવી રીતે કુબરનેટ્સમાં પોડ પ્રાથમિકતાઓને કારણે ગ્રાફના લેબ્સમાં ડાઉનટાઇમ થયો

નૉૅધ. અનુવાદ: Grafana ના સર્જકો દ્વારા જાળવવામાં આવેલ ક્લાઉડ સેવામાં તાજેતરના ડાઉનટાઇમના કારણો વિશે અમે તમારા ધ્યાન પર તકનીકી વિગતો રજૂ કરીએ છીએ. ઈન્ફ્રાસ્ટ્રક્ચરની ગુણવત્તાને સુધારવા માટે રચાયેલ નવી અને મોટે ભાગે અત્યંત ઉપયોગી સુવિધા... જો તમે ઉત્પાદનની વાસ્તવિકતાઓમાં તેની એપ્લિકેશનની અસંખ્ય ઘોંઘાટ પૂરી પાડતા નથી તો તે નુકસાન પહોંચાડી શકે છે તેનું આ ઉત્તમ ઉદાહરણ છે. જ્યારે આના જેવી સામગ્રી દેખાય છે જે તમને ફક્ત તમારી ભૂલોમાંથી શીખવાની મંજૂરી આપે છે ત્યારે તે સરસ છે. વિગતો Grafana Labs ના ઉત્પાદનના વાઇસ પ્રેસિડેન્ટ તરફથી આ ટેક્સ્ટના અનુવાદમાં છે.

શુક્રવાર, 19 જુલાઇના રોજ, ગ્રાફના ક્લાઉડમાં હોસ્ટેડ પ્રોમિથિયસ સેવાએ લગભગ 30 મિનિટ સુધી કામ કરવાનું બંધ કરી દીધું. હું આઉટેજથી પ્રભાવિત તમામ ગ્રાહકોની માફી માંગુ છું. અમારું કાર્ય તમને જોઈતા મોનિટરિંગ ટૂલ્સ પ્રદાન કરવાનું છે અને અમે સમજીએ છીએ કે તે ઉપલબ્ધ ન થવાથી તમારું જીવન વધુ મુશ્કેલ બની શકે છે. અમે આ ઘટનાને અત્યંત ગંભીરતાથી લઈએ છીએ. આ નોંધ સમજાવે છે કે શું થયું, અમે કેવી રીતે પ્રતિભાવ આપ્યો અને તે ફરીથી ન થાય તેની ખાતરી કરવા માટે અમે શું કરી રહ્યા છીએ.

પ્રાગૈતિહાસિક

Grafana ક્લાઉડ હોસ્ટેડ પ્રોમિથિયસ સેવા પર આધારિત છે કોર્ટેક્સ - સીએનસીએફ પ્રોજેક્ટ આડી રીતે માપી શકાય તેવી, અત્યંત ઉપલબ્ધ, મલ્ટિ-ટેનન્ટ પ્રોમિથિયસ સેવા બનાવવા માટે. કોર્ટેક્સ આર્કિટેક્ચરમાં વ્યક્તિગત માઇક્રોસર્વિસિસના સમૂહનો સમાવેશ થાય છે, જેમાંથી દરેક તેનું પોતાનું કાર્ય કરે છે: પ્રતિકૃતિ, સંગ્રહ, પ્રશ્નો, વગેરે. Cortex સક્રિય વિકાસ હેઠળ છે અને સતત નવી સુવિધાઓ ઉમેરી રહ્યું છે અને પ્રદર્શન સુધારી રહ્યું છે. અમે નિયમિતપણે નવા કોર્ટેક્સ પ્રકાશનોને ક્લસ્ટરોમાં જમાવીએ છીએ જેથી ગ્રાહકો આ સુવિધાઓનો લાભ લઈ શકે - સદનસીબે, કોર્ટેક્સને ડાઉનટાઇમ વિના અપડેટ કરી શકાય છે.

સીમલેસ અપડેટ્સ માટે, Ingester Cortex સેવાને અપડેટ પ્રક્રિયા દરમિયાન વધારાની Ingester પ્રતિકૃતિની જરૂર છે. (નૉૅધ. અનુવાદ: ઇન્જેસ્ટર - કોર્ટેક્સનો મૂળભૂત ઘટક. તેનું કામ નમૂનાઓનો સતત પ્રવાહ એકત્રિત કરવાનું છે, તેમને પ્રોમિથિયસ હિસ્સામાં જૂથબદ્ધ કરવું અને તેમને ડાયનામોડીબી, બિગટેબલ અથવા કેસાન્ડ્રા જેવા ડેટાબેઝમાં સંગ્રહિત કરવાનું છે.) આ જૂના ઇન્જેસ્ટર્સને વર્તમાન ડેટાને નવા ઇન્જેસ્ટરને ફોરવર્ડ કરવાની મંજૂરી આપે છે. તે નોંધવું યોગ્ય છે કે ઇન્જેસ્ટર્સ સંસાધનની માંગ કરે છે. તેમના કામ કરવા માટે, તમારી પાસે પોડ દીઠ 4 કોરો અને 15 GB મેમરી હોવી જરૂરી છે, એટલે કે. અમારા કુબરનેટ્સ ક્લસ્ટરોના કિસ્સામાં બેઝ મશીનની પ્રોસેસિંગ પાવર અને મેમરીનો 25%. સામાન્ય રીતે, અમારી પાસે સામાન્ય રીતે 4 કોરો અને 15 GB મેમરી કરતાં ક્લસ્ટરમાં ઘણા વધુ બિનઉપયોગી સંસાધનો હોય છે, તેથી અમે અપગ્રેડ દરમિયાન આ વધારાના ઇન્જેસ્ટર્સને સરળતાથી સ્પિન કરી શકીએ છીએ.

જો કે, ઘણીવાર એવું બને છે કે સામાન્ય કામગીરી દરમિયાન કોઈપણ મશીન પાસે આ 25% નહિ વપરાયેલ સંસાધનો હોય છે. હા, અમે પ્રયત્ન પણ કરતા નથી: CPU અને મેમરી હંમેશા અન્ય પ્રક્રિયાઓ માટે ઉપયોગી થશે. આ સમસ્યાને ઉકેલવા માટે, અમે ઉપયોગ કરવાનું નક્કી કર્યું કુબરનેટ્સ પોડ પ્રાથમિકતાઓ. અન્ય (સ્ટેટલેસ) માઇક્રોસર્વિસિસ કરતાં ઇન્જેસ્ટર્સને ઉચ્ચ પ્રાથમિકતા આપવાનો વિચાર છે. જ્યારે અમને વધારાના (N+1) ઇન્જેસ્ટર ચલાવવાની જરૂર હોય, ત્યારે અમે અસ્થાયી રૂપે અન્ય, નાના શીંગો વિસ્થાપિત કરીએ છીએ. આ શીંગો અન્ય મશીનો પર મફત સંસાધનોમાં સ્થાનાંતરિત થાય છે, જે વધારાના ઇન્જેસ્ટરને ચલાવવા માટે પૂરતો મોટો "છિદ્ર" છોડી દે છે.

ગુરુવાર, 18 જુલાઈના રોજ, અમે અમારા ક્લસ્ટરોમાં ચાર નવા પ્રાથમિકતા સ્તરો રજૂ કર્યા: જટિલ, ઉચ્ચ, સરેરાશ и નીચા. લગભગ એક અઠવાડિયા સુધી કોઈ ક્લાયન્ટ ટ્રાફિક વગરના આંતરિક ક્લસ્ટર પર તેમનું પરીક્ષણ કરવામાં આવ્યું હતું. મૂળભૂત રીતે, નિર્દિષ્ટ અગ્રતા વગરના પોડ્સ પ્રાપ્ત થયા સરેરાશ અગ્રતા, વર્ગ Ingesters માટે સાથે સેટ કરવામાં આવ્યો હતો ઉચ્ચ પ્રાથમિકતા. જટિલ મોનિટરિંગ માટે આરક્ષિત હતું (પ્રોમિથિયસ, ચેતવણી વ્યવસ્થાપક, નોડ-નિકાસકાર, ક્યુબે-સ્ટેટ-મેટ્રિક્સ, વગેરે). અમારી રૂપરેખા ખુલ્લી છે, અને તમે PR જોઈ શકો છો અહીં.

અકસ્માત

શુક્રવાર, જુલાઈ 19 ના રોજ, એક એન્જિનિયરે મોટા ક્લાયન્ટ માટે નવું સમર્પિત કોર્ટેક્સ ક્લસ્ટર લોન્ચ કર્યું. આ ક્લસ્ટર માટેની રૂપરેખામાં નવી પોડ પ્રાથમિકતાઓ શામેલ નથી, તેથી તમામ નવા પોડ્સને ડિફોલ્ટ અગ્રતા સોંપવામાં આવી હતી - સરેરાશ.

કુબરનેટ્સ ક્લસ્ટર પાસે નવા કોર્ટેક્સ ક્લસ્ટર માટે પૂરતા સંસાધનો નહોતા, અને હાલના ઉત્પાદન કોર્ટેક્સ ક્લસ્ટરને અપડેટ કરવામાં આવ્યું ન હતું (ઇન્જેસ્ટર્સ વગર છોડી દેવામાં આવ્યા હતા. ઉચ્ચ પ્રાથમિકતા). કારણ કે નવા ક્લસ્ટરના ઇન્જેસ્ટર્સ મૂળભૂત રીતે હતા સરેરાશ પ્રાધાન્યતા, અને ઉત્પાદનમાં હાલના પોડ્સ અગ્રતા વિના કામ કરે છે, નવા ક્લસ્ટરના ઇન્જેસ્ટર્સે હાલના કોર્ટેક્સ પ્રોડક્શન ક્લસ્ટરમાંથી ઇન્જેસ્ટર્સનું સ્થાન લીધું છે.

પ્રોડક્શન ક્લસ્ટરમાં ઇવિક્ટેડ ઇન્જેસ્ટર માટે રેપ્લિકાસેટે બહાર કાઢેલ પોડ શોધી કાઢ્યો અને કૉપિની ઉલ્લેખિત સંખ્યા જાળવવા માટે એક નવું બનાવ્યું. નવું પોડ મૂળભૂત રીતે અસાઇન કરવામાં આવ્યું હતું સરેરાશ અગ્રતા, અને ઉત્પાદનમાં અન્ય "જૂના" ઇન્જેસ્ટરે તેના સંસાધનો ગુમાવ્યા. પરિણામ આવ્યું હિમપ્રપાત પ્રક્રિયા, જે કોર્ટેક્સ ઉત્પાદન ક્લસ્ટરો માટે ઇન્જેસ્ટરમાંથી તમામ શીંગોના વિસ્થાપન તરફ દોરી.

ઇન્જેસ્ટર્સ સ્ટેટફુલ હોય છે અને પાછલા 12 કલાકનો ડેટા સ્ટોર કરે છે. આ અમને તેમને લાંબા ગાળાના સ્ટોરેજ પર લખતા પહેલા વધુ અસરકારક રીતે સંકુચિત કરવાની મંજૂરી આપે છે. આ હાંસલ કરવા માટે, કૉર્ટેક્સ ડિસ્ટ્રિબ્યુટેડ હેશ ટેબલ (DHT) નો ઉપયોગ કરીને સમગ્ર શ્રેણીમાં ડેટાને શાર્ડ કરે છે અને ડાયનેમો-શૈલીની કોરમ સુસંગતતાનો ઉપયોગ કરીને ત્રણ ઇન્જેસ્ટરમાં દરેક શ્રેણીની નકલ કરે છે. Cortex અક્ષમ હોય તેવા ઇન્જેસ્ટરને ડેટા લખતું નથી. આમ, જ્યારે મોટી સંખ્યામાં ઇન્જેસ્ટર્સ DHT છોડી દે છે, ત્યારે કોર્ટેક્સ એન્ટ્રીઓની પૂરતી નકલ પ્રદાન કરી શકતું નથી, અને તે તૂટી જાય છે.

તપાસ અને ઉપાય

"ભૂલ બજેટ" પર આધારિત નવી પ્રોમિથિયસ સૂચનાઓ (ભૂલ-બજેટ-આધારિત — વિગતો ભવિષ્યના લેખમાં દેખાશે) શટડાઉન શરૂ થયાના 4 મિનિટ પછી એલાર્મ વગાડવાનું શરૂ કર્યું. આગલી પાંચ મિનિટ કે તેથી વધુ સમયમાં, અમે કેટલાક ડાયગ્નોસ્ટિક્સ ચલાવ્યા અને નવા અને હાલના ઉત્પાદન ક્લસ્ટરને હોસ્ટ કરવા માટે અંતર્ગત કુબરનેટ્સ ક્લસ્ટરને સ્કેલ કર્યું.

બીજી પાંચ મિનિટ પછી, જૂના ઇન્જેસ્ટર્સે સફળતાપૂર્વક તેમનો ડેટા લખ્યો, નવા સ્ટાર્ટ થયા, અને કોર્ટેક્સ ક્લસ્ટર્સ ફરીથી ઉપલબ્ધ થયા.

કોર્ટેક્સની સામે સ્થિત ઓથેન્ટિકેશન રિવર્સ પ્રોક્સીમાંથી આઉટ-ઓફ-મેમરી (OOM) ભૂલોનું નિદાન કરવામાં અને સુધારવામાં અન્ય 10 મિનિટ ખર્ચવામાં આવી. OOM ભૂલો QPS માં દસ ગણા વધારાને કારણે થઈ હતી (અમે માનીએ છીએ કે ક્લાયંટના પ્રોમિથિયસ સર્વર્સની વધુ પડતી આક્રમક વિનંતીઓને કારણે).

પરિણામો

કુલ ડાઉનટાઇમ 26 મિનિટ હતો. કોઈ ડેટા ખોવાઈ ગયો નથી. ઇન્જેસ્ટર્સે સફળતાપૂર્વક તમામ ઇન-મેમરી ડેટાને લાંબા ગાળાના સ્ટોરેજમાં લોડ કર્યો છે. શટડાઉન દરમિયાન, ક્લાયંટ પ્રોમિથિયસ સર્વર્સ બફર કાઢી નાખવામાં આવ્યા હતા (દૂરસ્થ) નો ઉપયોગ કરીને રેકોર્ડિંગ્સ નવું API remote_write WAL પર આધારિત (લેખક કેલમ સ્ટેયાન ગ્રાફના લેબ્સમાંથી) અને ક્રેશ પછી નિષ્ફળ થયેલા લખાણોનું પુનરાવર્તન કર્યું.

ઉત્પાદન ક્લસ્ટર લેખન કામગીરી

તારણો

આ ઘટનામાંથી શીખવું અને તેની પુનરાવૃત્તિ ટાળવા માટે જરૂરી પગલાં લેવા જરૂરી છે.

પશ્ચાતદૃષ્ટિમાં, આપણે ડિફોલ્ટ સેટ ન કરવું જોઈએ સરેરાશ જ્યાં સુધી ઉત્પાદનમાં તમામ ઇન્જેસ્ટર્સ પ્રાપ્ત ન થાય ત્યાં સુધી અગ્રતા ઉચ્ચ એક અગ્રતા. વધુમાં, અગાઉથી તેમની કાળજી લેવી જરૂરી હતી ઉચ્ચ પ્રાથમિકતા. હવે બધું ઠીક થઈ ગયું છે. અમે આશા રાખીએ છીએ કે અમારો અનુભવ અન્ય સંસ્થાઓને કુબરનેટ્સમાં પોડ અગ્રતાનો ઉપયોગ કરવામાં મદદ કરશે.

અમે કોઈપણ વધારાના ઑબ્જેક્ટ્સની જમાવટ પર નિયંત્રણનું વધારાનું સ્તર ઉમેરીશું કે જેની ગોઠવણી ક્લસ્ટરમાં વૈશ્વિક છે. હવેથી, આવા ફેરફારોનું મૂલ્યાંકન bоવધુ લોકો. વધુમાં, જે ફેરફારને કારણે ક્રેશ થયું હતું તે એક અલગ પ્રોજેક્ટ દસ્તાવેજ માટે ખૂબ જ નાનું માનવામાં આવતું હતું - તેની ચર્ચા માત્ર GitHub મુદ્દામાં કરવામાં આવી હતી. હવેથી, રૂપરેખામાં આવા તમામ ફેરફારો યોગ્ય પ્રોજેક્ટ દસ્તાવેજીકરણ સાથે હશે.

અંતે, અમે જોયેલા ઓવરલોડ OOMને રોકવા માટે ઓથેન્ટિકેશન રિવર્સ પ્રોક્સીનું માપ બદલવાનું સ્વચાલિત કરીશું, અને ભવિષ્યમાં સમાન સમસ્યાઓને રોકવા માટે ફોલબેક અને સ્કેલિંગ સંબંધિત પ્રોમિથિયસ ડિફોલ્ટ સેટિંગ્સની સમીક્ષા કરીશું.

નિષ્ફળતાના કેટલાક હકારાત્મક પરિણામો પણ હતા: જરૂરી સંસાધનો પ્રાપ્ત કર્યા પછી, કોર્ટેક્સ વધારાના હસ્તક્ષેપ વિના આપમેળે સ્વસ્થ થઈ ગયું. અમે સાથે કામ કરવાનો અમૂલ્ય અનુભવ પણ મેળવ્યો ગ્રાફના લોકી - અમારી નવી લોગ એગ્રીગેશન સિસ્ટમ - જેણે નિષ્ફળતા દરમિયાન અને પછી તમામ ઇન્જેસ્ટર્સ યોગ્ય રીતે વર્તે છે તેની ખાતરી કરવામાં મદદ કરી.

અનુવાદક તરફથી પીએસ

અમારા બ્લોગ પર પણ વાંચો:

• «કુબરનેટ્સમાં ઓટોસ્કેલિંગ અને સંસાધન સંચાલન (સમીક્ષા અને વિડિયો રિપોર્ટ)»;
• «કુબરનેટ્સ એડવેન્ચર ડેઇલીમોશન: ક્લાઉડ્સ + ઓન-પ્રિમિસીસમાં ઇન્ફ્રાસ્ટ્રક્ચર બનાવવું»;
• «કુબરનેટ્સમાં ટિન્ડર સંક્રમણ»;
• «ઉત્પાદનમાં કુબરનેટ્સની સફળતાની વાર્તાઓ. ભાગ 10: Reddit».

સોર્સ: www.habr.com