કુબરનેટ્સમાં DNS સાથે સમસ્યાઓ. જાહેર પોસ્ટમોર્ટમ

નૉૅધ અનુવાદ: આ કંપનીના એન્જિનિયરિંગ બ્લોગમાંથી જાહેર પોસ્ટમોર્ટમનો અનુવાદ છે તૈયારી. તે કુબરનેટ્સ ક્લસ્ટરમાં કોન્ટ્રાકની સમસ્યાનું વર્ણન કરે છે, જેના કારણે કેટલીક ઉત્પાદન સેવાઓનો આંશિક ડાઉનટાઇમ થયો હતો.

આ લેખ એવા લોકો માટે ઉપયોગી થઈ શકે છે જેઓ પોસ્ટમોર્ટમ વિશે થોડું વધુ જાણવા અથવા ભવિષ્યમાં કેટલીક સંભવિત DNS સમસ્યાઓને રોકવા માગે છે.

આ DNS નથી
તે DNS ન હોઈ શકે
તે DNS હતું

પ્રેપ્લીમાં પોસ્ટમોર્ટમ અને પ્રક્રિયાઓ વિશે થોડું

પોસ્ટમોર્ટમ ઉત્પાદનમાં ખામી અથવા કોઈ ઘટનાનું વર્ણન કરે છે. પોસ્ટમોર્ટમમાં ઘટનાઓની સમયરેખા, વપરાશકર્તાની અસર, મૂળ કારણ, લીધેલા પગલાં અને શીખેલા પાઠનો સમાવેશ થાય છે.

SRE માંગે છે

પિઝા સાથેની સાપ્તાહિક મીટિંગમાં, ટેક્નિકલ ટીમ વચ્ચે, અમે વિવિધ માહિતી શેર કરીએ છીએ. આવી બેઠકોના સૌથી મહત્વપૂર્ણ ભાગોમાંનું એક પોસ્ટમોર્ટમ છે, જે મોટાભાગે સ્લાઇડ્સ સાથે પ્રસ્તુતિ અને ઘટનાના વધુ ઊંડાણપૂર્વક વિશ્લેષણ સાથે હોય છે. પોસ્ટમોર્ટમ પછી ભલે અમે તાળીઓ ન વગાડતા, અમે "કોઈ દોષ નથી"ની સંસ્કૃતિ વિકસાવવાનો પ્રયાસ કરીએ છીએ (દોષરહિત સંસ્કૃતિ). અમે માનીએ છીએ કે પોસ્ટમોર્ટમ લખવા અને પ્રસ્તુત કરવાથી અમને (અને અન્યોને) ભવિષ્યમાં સમાન ઘટનાઓને રોકવામાં મદદ મળી શકે છે, તેથી જ અમે તેમને શેર કરી રહ્યાં છીએ.

ઘટનામાં સામેલ વ્યક્તિઓને એવું લાગવું જોઈએ કે તેઓ સજા અથવા બદલાના ડર વિના વિગતવાર વાત કરી શકે છે. કોઈ દોષ નથી! પોસ્ટમોર્ટમ લખવું એ સજા નથી, પરંતુ સમગ્ર કંપની માટે શીખવાની તક છે.

CALMS અને DevOps રાખો: S શેરિંગ માટે છે

કુબરનેટ્સમાં DNS સાથે સમસ્યાઓ. પોસ્ટમોર્ટમ

તારીખ: 28.02.2020

લેખકો: એમેટ યુ., એન્ડ્રે એસ., ઇગોર કે., એલેક્સી પી.

સ્થિતિ: સમાપ્ત

સંક્ષિપ્તમાં: કુબરનેટ્સ ક્લસ્ટરમાં કેટલીક સેવાઓ માટે આંશિક DNS અનુપલબ્ધતા (26 મિનિટ).

પ્રભાવ: A, B અને C સેવાઓ માટે 15000 ઇવેન્ટ ગુમાવી

મૂળભૂત કારણ: કુબે-પ્રોક્સી કોન્ટ્રેક ટેબલમાંથી જૂની એન્ટ્રીને યોગ્ય રીતે દૂર કરવામાં અસમર્થ હતું, તેથી કેટલીક સેવાઓ હજી પણ અસ્તિત્વમાં ન હોય તેવા પોડ્સ સાથે કનેક્ટ કરવાનો પ્રયાસ કરી રહી હતી.

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

ટ્રિગર: કુબરનેટીસ ક્લસ્ટરની અંદર ઓછા ભારને લીધે, CoreDNS-autoscaler એ જમાવટમાં પોડ્સની સંખ્યા ત્રણથી ઘટાડીને બે કરી.

ઉકેલ: એપ્લિકેશનની આગામી જમાવટથી નવા નોડ્સ બનાવવાની શરૂઆત થઈ, CoreDNS-autoscaler એ ક્લસ્ટરને સેવા આપવા માટે વધુ પોડ્સ ઉમેર્યા, જેણે કોન્ટ્રાક ટેબલના પુનઃલેખનને ઉત્તેજિત કર્યું.

તપાસ: પ્રોમિથિયસ મોનિટરિંગે A, B અને C સેવાઓ માટે મોટી સંખ્યામાં 5xx ભૂલો શોધી કાઢી અને ફરજ પરના ઇજનેરોને કૉલ શરૂ કર્યો.

કિબાનામાં 5xx ભૂલો

ક્રિયાઓ

અસર
પ્રકાર
જવાબદાર
ઉદ્દેશ

CoreDNS માટે ઓટોસ્કેલરને અક્ષમ કરો
અટકાવ્યું
એમેટ યુ.
DEVOPS-695

કેશીંગ DNS સર્વર સેટ કરો
ઘટાડો
મેક્સ વી.
DEVOPS-665

કોન્ટ્રાક મોનિટરિંગ સેટ કરો
અટકાવ્યું
એમેટ યુ.
DEVOPS-674

પાઠ શીખ્યા

શું સારું થયું:

• મોનીટરીંગ સારી રીતે કામ કર્યું. પ્રતિભાવ ઝડપી અને સંગઠિત હતો
• અમે નોડ્સ પર કોઈ મર્યાદાને હિટ કરી નથી

શું ખોટું હતું:

• હજુ પણ અજ્ઞાત વાસ્તવિક મૂળ કારણ, સમાન ચોક્કસ ભૂલ કોન્ટ્રાકમાં
• બધી ક્રિયાઓ માત્ર પરિણામોને સુધારે છે, મૂળ કારણ (ભૂલ)ને નહીં
• અમે જાણતા હતા કે વહેલા કે પછી અમને DNS સાથે સમસ્યા આવી શકે છે, પરંતુ અમે કાર્યોને પ્રાથમિકતા આપી નથી

જ્યાં અમે નસીબદાર હતા:

• આગામી જમાવટ કોરડીએનએસ-ઓટોસ્કેલર દ્વારા ટ્રિગર કરવામાં આવી હતી, જેણે કોન્ટ્રાક ટેબલને ઓવરરાઈટ કર્યું હતું.
• આ બગ માત્ર કેટલીક સેવાઓને અસર કરે છે

સમયરેખા (EET)

Время
અસર

22:13
CoreDNS-autoscaler એ પોડ્સની સંખ્યા ત્રણથી ઘટાડીને બે કરી

22:18
ફરજ પરના એન્જિનિયરોને મોનિટરિંગ સિસ્ટમમાંથી કોલ આવવા લાગ્યા

22:21
ફરજ પરના ઇજનેરોએ ભૂલોનું કારણ શોધવાનું શરૂ કર્યું.

22:39
ફરજ પરના એન્જિનિયરોએ નવીનતમ સેવાઓમાંથી એકને પાછલા સંસ્કરણ પર પાછા લાવવાનું શરૂ કર્યું

22:40
5xx ભૂલો દેખાવાનું બંધ થઈ ગયું છે, પરિસ્થિતિ સ્થિર થઈ છે

• શોધવાનો સમય: 4 મિનિટ
• ક્રિયા પહેલાં સમય: 21 મિનિટ
• ઠીક કરવાનો સમય: 1 મિનિટ

વધારાની માહિતી

• CoreDNS લૉગ્સ:

  I0228 20:13:53.507780       1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2

• કિબાના (કટ), ગ્રાફના (કટ) ની લિંક્સ
• જ્યાં Linux conntrack હવે તમારો મિત્ર નથી
• kube-proxy સૂક્ષ્મતા: તૂટક તૂટક કનેક્શન રીસેટ ડીબગીંગ
• રેસી કોન્ટ્રાક અને DNS લુકઅપ સમયસમાપ્તિ

CPU ના વપરાશને ઘટાડવા માટે, Linux કર્નલ કંઈકનો ઉપયોગ કરે છે જેને conntrack કહેવાય છે. ટૂંકમાં, આ એક ઉપયોગિતા છે જેમાં NAT રેકોર્ડ્સની સૂચિ છે જે વિશિષ્ટ કોષ્ટકમાં સંગ્રહિત છે. જ્યારે આગલું પેકેટ એ જ પોડથી પહેલાની જેમ સમાન પોડ પર આવે છે, ત્યારે અંતિમ IP સરનામું પુનઃગણતરી કરવામાં આવશે નહીં, પરંતુ કોન્ટ્રાક ટેબલમાંથી લેવામાં આવશે.

કોન્ટ્રાક કેવી રીતે કામ કરે છે

પરિણામો

કેટલીક ઉપયોગી લિંક્સ સાથેના અમારા પોસ્ટમોર્ટમનું આ ઉદાહરણ હતું. ખાસ કરીને આ લેખમાં, અમે એવી માહિતી શેર કરીએ છીએ જે અન્ય કંપનીઓ માટે ઉપયોગી હોઈ શકે. તેથી જ અમે ભૂલો કરવામાં ડરતા નથી અને તેથી જ અમે અમારા પોસ્ટમોર્ટમમાંથી એકને સાર્વજનિક કરીએ છીએ. અહીં કેટલાક વધુ રસપ્રદ જાહેર પોસ્ટમોર્ટમ્સ છે:

• ગિટલેબ: 31 જાન્યુઆરીના ડેટાબેઝ આઉટેજનું પોસ્ટમોર્ટમ
• ડ્રૉપબૉક્સ: આઉટેજ પોસ્ટમોર્ટમ
• સ્પોટિક્સ: DNS સાથે Spotifyનો પ્રેમ/નફરત સંબંધ
• અન્ય ઘણા લોકો તરફથી આ ભાવાર્થ અને ભંડાર કુબરનેટ્સ નિષ્ફળતા વાર્તાઓ
• પણ ઉદાહરણ SRE બુક સાથે જાહેર પોસ્ટમોર્ટમ

સોર્સ: www.habr.com