SRE એન્જિનિયર ઇન્ટર્ન તરીકે મેં એક અઠવાડિયું કેવી રીતે પસાર કર્યું. સોફ્ટવેર એન્જિનિયરની નજર દ્વારા ફરજ

SRE એન્જિનિયર - તાલીમાર્થી

પ્રથમ, હું મારો પરિચય આપું. હું - @tristan.read, જૂથમાં ફ્રન્ટ એન્ડ એન્જિનિયર મોનિટર::સ્વાસ્થ્ય ગિટલેબ. ગયા અઠવાડિયે મને અમારા ઓન-કોલ SRE એન્જિનિયરોમાંથી એક સાથે ઇન્ટરનિંગ કરવાનું સન્માન મળ્યું. ધ્યેય એ અવલોકન કરવાનો હતો કે ઓન-ડ્યુટી ઓફિસર રોજિંદી ઘટનાઓ પર કેવી પ્રતિક્રિયા આપે છે અને નોકરી પર વાસ્તવિક જીવનનો અનુભવ મેળવે છે. અમે ઈચ્છીએ છીએ કે અમારા એન્જિનિયરો વપરાશકર્તાની જરૂરિયાતોને વધુ સારી રીતે સમજે કાર્યો મોનિટર::સ્વાસ્થ્ય.

મારે એક અઠવાડિયા માટે દરેક જગ્યાએ SRE એન્જિનિયરને અનુસરવાનું હતું. એટલે કે, હું હેન્ડઓવર વખતે હાજર હતો, એ જ ચેતવણી ચેનલોનું નિરીક્ષણ કર્યું અને ઘટનાઓ જ્યારે અને ક્યારે બની હોય તેનો જવાબ આપ્યો.

ઘટનાઓ

એક સપ્તાહમાં 2 ઘટનાઓ બની હતી.

1. ક્રિપ્ટોમિનર

બુધવારે GitLab.comના વપરાશમાં ઉછાળો જોવા મળ્યો GitLab રનર'a, ક્રિપ્ટોકરન્સીને માઇન કરવા માટે રનરની મિનિટોનો ઉપયોગ કરવાના પ્રયાસોને કારણે થાય છે. અમારા પોતાના ઉલ્લંઘન તટસ્થતા સાધનનો ઉપયોગ કરીને આ ઘટનાનો સામનો કરવામાં આવ્યો હતો, જે દોડવીરના કાર્યોને અટકાવે છે અને તેની સાથે સંકળાયેલ પ્રોજેક્ટ અને એકાઉન્ટને કાઢી નાખે છે.

જો આ ઘટનાની નોંધ લેવામાં આવી ન હોત, તો સ્વયંસંચાલિત સાધને તેને પકડી લીધો હોત, પરંતુ આ કિસ્સામાં, SRE એન્જિનિયરે પ્રથમ ઉલ્લંઘન જોયું. એક ઘટના કાર્ય બનાવવામાં આવ્યું હતું, પરંતુ તેના પરની માહિતી બંધ છે.

2. કેનેરી અને મુખ્ય એપ્લીકેશનના પ્રદર્શનમાં ઘટાડો

Gitlab.com પર કેનેરી અને મુખ્ય વેબ એપ્લિકેશન્સમાં મંદી અને ભૂલોની વધેલી આવૃત્તિને કારણે આ ઘટના બની હતી. કેટલાક Apdex મૂલ્યોનું ઉલ્લંઘન કરવામાં આવ્યું હતું.

ઘટના કાર્ય ખોલો: https://gitlab.com/gitlab-com/gl-infra/production/issues/1442

કી તારણો

ફરજ પરના મારા અઠવાડિયા દરમિયાન મેં શીખ્યા તે કેટલીક બાબતો અહીં છે.

1. ધોરણમાંથી વિચલનો શોધતી વખતે ચેતવણીઓ સૌથી વધુ ઉપયોગી છે.

ચેતવણીઓને ઘણા પ્રકારોમાં વિભાજિત કરી શકાય છે:

• ચોક્કસ થ્રેશોલ્ડ મૂલ્ય પર આધારિત ચેતવણીઓ, જેમ કે "10 5xx ભૂલો પ્રતિ સેકન્ડ."
• ચેતવણીઓ જેમાં થ્રેશોલ્ડ ટકાવારી મૂલ્ય હોય છે જેમ કે "આવેલા સમયે વિનંતીઓના કુલ વોલ્યુમના 5% દીઠ 10xx ભૂલોની આવર્તન."
• ઐતિહાસિક સરેરાશ પર આધારિત ચેતવણીઓ જેમ કે "5મી પર્સેન્ટાઈલ પર 90xx ભૂલો".

સામાન્ય રીતે કહીએ તો, પ્રકાર 2 અને 3 ફરજ પરના SRE માટે વધુ ઉપયોગી છે, કારણ કે તેઓ પ્રક્રિયામાં ધોરણમાંથી વિચલનો દર્શાવે છે.

2. ઘણી ચેતવણીઓ ઘટનાઓ સુધી ક્યારેય વધતી નથી.

SR ઇજનેરો ચેતવણીઓના સતત પ્રવાહ સાથે વ્યવહાર કરે છે, જેમાંથી ઘણા ખરેખર જટિલ નથી.

તો શા માટે તમારી ચેતવણીઓને ફક્ત ખરેખર મહત્વપૂર્ણ સુધી મર્યાદિત ન કરો? આ અભિગમ સાથે, જો કે, તમે સ્નોબોલને વાસ્તવિક સમસ્યામાં પરિણમશે જે મોટા નુકસાનની ધમકી આપે છે તેના પ્રારંભિક લક્ષણોને તમે ઓળખી શકશો નહીં.

ઓન-કોલ SRE નું કામ એ નક્કી કરવાનું છે કે કઈ ચેતવણીઓ ખરેખર કંઈક ગંભીર સૂચવે છે અને શું તેમને આગળ વધારવાની અને તેની સાથે વ્યવહાર કરવાની જરૂર છે. મને શંકા છે કે આ ચેતવણીઓની અસમર્થતાને કારણે પણ છે: ઉપર વર્ણવેલ પરિસ્થિતિ અનુસાર ચેતવણીઓને ગોઠવવા માટે ઘણા સ્તરો અથવા "સ્માર્ટ" રીતો હોય તો તે વધુ સારું રહેશે.

લક્ષણ સૂચન: https://gitlab.com/gitlab-org/gitlab/issues/42633

3. ફરજ પરના અમારા SRE ઘણા બધા સાધનોનો ઉપયોગ કરે છે.

આંતરિક:

• ગિટલેબ ઇન્ફ્રા પ્રોજેક્ટ: રનબુક્સ અહીં રહે છે, શિફ્ટ/અઠવાડિયાના અસાઇનમેન્ટ્સ, ઘટના પ્રતિસાદ કાર્યો.
• GitLab સમસ્યાઓ: તપાસ, સમીક્ષાઓ અને જાળવણી પણ મુદ્દાઓમાં ટ્રેક કરવામાં આવે છે.
• GitLab લેબલ્સ: ચોક્કસ લેબલ્સનો ઉપયોગ કરીને ઓટોમેશન ટાસ્ક લોન્ચ કરવામાં આવે છે, જેનો ઉપયોગ બૉટો કાર્ય પ્રવૃત્તિને ટ્રૅક કરવા માટે કરે છે.

બાહ્ય:

• પેજરડ્યુટી: ચેતવણીઓ
• Slack: PagerDuty/AlertManager સંદેશ પ્રવાહ અહીં જાય છે. વિવિધ કાર્યો કરવા માટે સ્લેશ આદેશો સાથે એકીકરણ, જેમ કે ચેતવણીને બંધ કરવી અથવા ઘટના તરફ આગળ વધવું.
• ગ્રાફના: લાંબા ગાળાના વલણો પર ધ્યાન કેન્દ્રિત કરીને મેટ્રિક્સનું વિઝ્યુલાઇઝેશન.
• કિબાના: વિઝ્યુલાઇઝેશન/લોગ શોધ આપે છે, ચોક્કસ ઇવેન્ટ્સમાં ઊંડે સુધી ખોદવાની ક્ષમતા.
• ઝૂમ: ઝૂમમાં સતત ચાલતો "બ્રેકઆઉટ રૂમ" છે. આ SRE એન્જિનિયરોને રૂમ બનાવવા અને સહભાગીઓને લિંક કર્યા વિના મૂલ્યવાન સમય બગાડ્યા વિના ઇવેન્ટ્સની ઝડપથી ચર્ચા કરવાની મંજૂરી આપે છે.

અને બીજા ઘણા.

4. GitLab.com ને GitLab સાથે મોનિટર કરવું એ નિષ્ફળતાનો એક મુદ્દો છે

જો GitLab.com મોટી સેવા આઉટેજ અનુભવે છે, તો અમે ઇચ્છતા નથી કે તે સમસ્યાને ઉકેલવાની અમારી ક્ષમતાને અસર કરે. GitLab.com ને મેનેજ કરવા માટે બીજા GitLab ઇન્સ્ટન્સ લોન્ચ કરીને તેને રોકી શકાય છે. હકીકતમાં, આ પહેલેથી જ અમારા માટે કામ કરે છે: https://ops.gitlab.net/.

5. GitLab માં ઉમેરવાની વિચારણા કરવા માટે કેટલીક સુવિધાઓ

• મલ્ટિ-યુઝર કાર્ય સંપાદન, Google ડૉક્સ જેવું જ. આ ઇવેન્ટ દરમિયાનની ઘટનાઓ પરના કાર્યો તેમજ ડિબ્રીફિંગ પરના કાર્યોમાં મદદ કરશે. બંને કિસ્સાઓમાં, ઘણા સહભાગીઓને વાસ્તવિક સમયમાં કંઈક ઉમેરવાની જરૂર પડી શકે છે.
• કાર્યો માટે વધુ વેબહૂક. અંદરથી વિવિધ GitLab વર્કફ્લો સ્ટેપ્સ ચલાવવાની ક્ષમતા Slack એકીકરણ પરની તમારી નિર્ભરતાને ઘટાડવામાં મદદ કરશે. ઉદાહરણ તરીકે, ગિટલેબ ઇશ્યૂમાં સ્લેશ કમાન્ડ દ્વારા PagerDuty માં ચેતવણીને મંજૂરી આપવાની ક્ષમતા.
  નિષ્કર્ષ

SRE એન્જિનિયરોને ઘણી બધી જટિલતાઓ સાથે મુશ્કેલ સમય હોય છે. આ મુદ્દાઓને સંબોધતા વધુ ગિટલેબ ઉત્પાદનો જોવા માટે તે સરસ રહેશે. અમે પહેલેથી જ ઉત્પાદનમાં કેટલાક ઉમેરાઓ પર કામ કરી રહ્યા છીએ જે ઉપર જણાવેલ વર્કફ્લોને સરળ બનાવશે. પર ઉપલબ્ધ વિગતો ઑપ્સ પ્રોડક્ટ વિઝન વિભાગ.

અમે 2020 માં આ તમામ શ્રેષ્ઠ સુવિધાઓને એકસાથે લાવવા માટે ટીમનો વિસ્તાર કરી રહ્યાં છીએ. જો રસ હોય, તો કૃપા કરીને તપાસો ખાલી જગ્યાઓ, અને કોઈપણ પ્રશ્નો સાથે અમારી ટીમના કોઈપણનો સંપર્ક કરવા માટે નિઃસંકોચ.

સોર્સ: www.habr.com