Инженери СРЕ — омузгор
Аввалан, биёед худамро муаррифӣ кунам. ман - , инженери пешка дам дар гурух GitLab. Ҳафтаи гузашта ман шарафи таҷрибаомӯзиро доштам, ки бо яке аз муҳандисони даъватшудаи SRE мо кор кунам. Мақсад аз мушоҳидаи он буд, ки навбатдор ҳар рӯз ба ҳодисаҳо чӣ гуна вокуниш нишон медиҳад ва таҷрибаи воқеии ҳаётро дар кор андӯхтааст. Мо мехоҳем, ки муҳандисони мо ниёзҳои корбаронро беҳтар фаҳманд Монитор:: Тандурустӣ.
Ба ман лозим омад, ки як ҳафта ба муҳандиси SRE дар ҳама ҷо пайравӣ кунам. Яъне, ман дар маросими супурдан ҳузур доштам, ҳамон каналҳои огоҳкунандаро назорат мекардам ва ба ҳодисаҳо, агар ва вақте ки онҳо рух доданд, вокуниш нишон додам.
Ходисахо
Дар давоми як ҳафта 2 ҳодиса рух дод.
1. Криптоминер
GitLab.com рӯзи чоршанбе як ҷаҳиши истифодаро дид 'a, ки дар натиҷаи кӯшиши истифодаи дақиқаҳои даванда барои истихроҷи криптовалюта. Ин ҳодиса бо истифода аз асбоби безараргардонии вайронкунии мо, ки вазифаҳои давандаро қатъ мекунад ва лоиҳа ва ҳисоби бо он алоқамандро нест мекунад, ҳал карда шуд.
Агар ин ходиса пайхас карда намешуд, асбоби автоматй онро дастгир мекард, аммо дар ин сурат инженери СРЕ аввал вайронкуниро пай бурд. Вазифаи ҳодиса таъсис дода шуд, аммо маълумот дар бораи он пӯшида аст.
2. Таназзули иҷрои барномаҳои Canary ва Main
Ҳодиса аз сабаби сустшавӣ ва зиёд шудани басомади хатогиҳо дар канария ва барномаҳои асосии веб дар Gitlab.com ба амал омад. Якчанд арзишҳои Apdex вайрон карда шуданд.
Вазифаи кушодани ҳодиса:
Бозёфтҳои асосӣ
Инҳоянд чанд чизе, ки ман дар давоми ҳафтаи навбатдорӣ омӯхтам.
1. Огоҳӣ ҳангоми ошкор кардани инҳироф аз меъёр муфидтар аст.
Огоҳиҳоро ба якчанд намуд тақсим кардан мумкин аст:
- Огоҳӣ дар асоси арзиши ҳадди муайян, ба монанди "10 хатогии 5xx дар як сония рух дод."
- Огоҳӣ, ки дар он ҳадди ақал арзиши фоизӣ аст, ба монанди "басомади хатогиҳои 5xx барои 10% ҳаҷми умумии дархостҳо дар вақти муайян."
- Огоҳиҳо ба ҳисоби миёнаи таърихӣ, ба монанди "хатои 5xx дар 90 фоизӣ".
Умуман, навъҳои 2 ва 3 барои СРЕ-ҳои навбатдор муфидтаранд, зеро онҳо дар ҷараёни ин раванд дуршавӣ аз меъёрро ошкор мекунанд.
2. Бисёр огоҳиҳо ҳеҷ гоҳ ба ҳодисаҳо афзоиш намеёбанд.
Муҳандисони SR бо ҷараёни доимии огоҳиҳо сарукор доранд, ки бисёре аз онҳо воқеан муҳим нестанд.
Пас чаро огоҳиҳои худро танҳо бо огоҳиҳои воқеан муҳим маҳдуд накунед? Бо ин равиш, шумо наметавонед нишонаҳои аввали он чизеро, ки ба мушкилоти воқеӣ таҳдид мекунад, ки ба зарари ҷиддӣ таҳдид мекунад, эътироф накунед.
Вазифаи SRE-и зангзанӣ муайян кардани он аст, ки кадом огоҳиҳо воқеан чизи ҷиддиро нишон медиҳанд ва оё онҳо бояд афзоиш ва ҳал карда шаванд. Ман гумон мекунам, ки ин ҳам аз сабаби ноустувории огоҳиҳо аст: беҳтар мебуд, агар якчанд сатҳҳо ё роҳҳои "ақлонаи" танзим кардани огоҳиҳо мувофиқи вазъияти дар боло тавсифшуда вуҷуд дошта бошанд.
Пешниҳоди хусусият:
3. СРЕ-хои навбатдории мо аз бисьёр асбобхо истифода мебаранд.
Дохилӣ:
- Лоиҳаи GitLab инфра: runbooks дар ин ҷо зиндагӣ мекунанд, супоришҳои смена/ҳафта, вазифаҳои вокуниш ба ҳодисаҳо.
- Масъалаҳои GitLab: Таҳқиқот, баррасиҳо ва нигоҳдорӣ инчунин дар мушкилот пайгирӣ карда мешаванд.
- Тамғакоғазҳои GitLab: Вазифаҳои автоматизатсия бо истифода аз тамғакоғазҳои мушаххас оғоз карда мешаванд, ки ботҳо барои пайгирии фаъолияти вазифаҳо истифода мебаранд.
беруна:
- PagerDuty: Огоҳӣ
- Лак: Ҷараёни паёмҳои PagerDuty/AlertManager ин ҷо меравад. Интегратсия бо фармонҳои slash барои иҷрои вазифаҳои гуногун, ба монанди бастани огоҳӣ ё афзоиш додани ҳодиса.
- Grafana: визуализатсияи метрика бо таваҷҷӯҳ ба тамоюлҳои дарозмуддат.
- Кибана: Ҷустуҷӯи визуализатсия / гузориш, қобилияти амиқтар кофтани рӯйдодҳои мушаххасро медиҳад.
- Масштаб: Дар Zoom як "ҳуҷраи шикаста" доимо кор мекунад. Ин ба муҳандисони SRE имкон медиҳад, ки бе талафи вақти арзишманд барои эҷоди як ҳуҷра ва пайваст кардани иштирокчиён воқеаҳоро зуд баррасӣ кунанд.
Ва бисьёр дигарон.
4. Мониторинги GitLab.com бо GitLab як нуқтаи ноком аст
Агар GitLab.com як қатъи хидматро аз сар гузаронад, мо намехоҳем, ки он ба қобилияти мо дар ҳалли мушкилот таъсир расонад. Онро тавассути оғози як мисоли дуюми GitLab барои идоракунии GitLab.com қатъ кардан мумкин аст. Дар асл, ин аллакай барои мо кор мекунад: .
5. Якчанд хусусиятҳо барои баррасии илова ба GitLab
- , монанд ба Google Docs. Ин дар иҷрои вазифаҳо оид ба ҳодисаҳо дар давоми як чорабинӣ ва инчунин вазифаҳо оид ба хулосабарорӣ кӯмак хоҳад кард. Дар ҳарду ҳолат, якчанд иштирокчиён метавонанд дар вақти воқеӣ чизе илова кунанд.
- Вебхукҳои бештар барои вазифаҳо. Қобилияти иҷро кардани қадамҳои гуногуни ҷараёни кории GitLab аз дарун ба коҳиш додани эътимоди шумо ба ҳамгироии Slack кӯмак мекунад. Масалан, қобилияти иҷозат додан ба огоҳӣ дар PagerDuty тавассути фармони слэш дар масъалаи GitLab.
хулоса
Муҳандисони SRE бо мушкилоти зиёд душворӣ мекашанд. Бисёр хуб мешуд, ки маҳсулоти бештари GitLab ин масъалаҳоро ҳал кунанд. Мо аллакай дар болои баъзе иловаҳо ба маҳсулот кор карда истодаем, ки равандҳои кории дар боло зикршударо осонтар мекунанд. Тафсилот дар .
Мо дар соли 2020 дастаро васеъ мекунем, то ҳамаи ин хусусиятҳои олиро якҷоя кунем. Агар таваҷҷӯҳ дошта бошед, лутфан санҷед , ва озод бошед, ки бо ягон савол дар дастаи мо тамос гиред.
Манбаъ: will.com