ʻenekinia SRE - mea hoʻomaʻamaʻa
ʻO ka mua, e hoʻolauna wau iaʻu iho. au - , 'enekinia mua ma ka hui GitLab. ʻO ka pule i hala aku nei ua loaʻa iaʻu ka hanohano o ke komo ʻana me kekahi o kā mākou ʻenekini SRE kelepona. ʻO ka pahuhopu ka nānā ʻana i ka pane ʻana o ka luna hana i nā hanana i kēlā me kēia lā a loaʻa ka ʻike maoli ma ka hana. Makemake mākou i kā mākou ʻenekinia e hoʻomaopopo maikaʻi i nā pono o ka mea hoʻohana Nānā::Ke ola kino.
Pono au e hahai i ka ʻenekinia SRE ma nā wahi a pau no hoʻokahi pule. ʻO ia hoʻi, aia wau ma ka hāʻawi ʻana, nānā i nā ala makaʻala like a pane aku i nā hanana inā a i ka wā i hiki mai ai.
Nā hanana
He 2 mau hanana i loko o hoʻokahi pule.
1. ʻO Cryptominer
Ua ʻike ʻo GitLab.com i ka lele ʻana i ka hoʻohana ʻana i ka Pōʻakolu 'a, ma muli o ka ho'āʻo ʻana e hoʻohana i nā minuke o ka mea kukini e mine cryptocurrency. Ua hoʻohana ʻia ka hanana me ka hoʻohana ʻana i kā mākou mea hana hoʻokae hoʻokae ponoʻī, kahi e hoʻōki ai i nā hana a ka mea holo a holoi i ka papahana a me ka moʻokāki e pili ana me ia.
Inā ʻaʻole i ʻike ʻia kēia hanana, ua loaʻa i kahi mea hana maʻalahi, akā i kēia hihia, ʻike mua ka ʻenekinia SRE i ka hewa. Ua hana ʻia kahi hana hanana, akā ua pani ʻia ka ʻike e pili ana.
2. Hoʻohaʻahaʻa i ka hana o nā noi Canary a me Main
ʻO ka hanana i hana ʻia e ka lohi a me ka hoʻonui pinepine ʻana o nā hewa i ka canary a me nā noi pūnaewele nui ma Gitlab.com. Ua uhaki ʻia kekahi mau waiwai Apdex.
Hāmama ka hana hanana:
Nā ʻike nui
Eia kekahi mau mea aʻu i aʻo ai i koʻu pule ma ka hana.
1. ʻOi aku ka maikaʻi o nā mākaʻikaʻi i ka wā e ʻike ai i nā deviations mai ka maʻamau.
Hiki ke hoʻokaʻawale ʻia i nā ʻano like ʻole:
- Nā ʻōlelo aʻoaʻo e pili ana i kekahi waiwai paepae, e like me "10 5xx hewa i loaʻa i kēlā me kēia kekona."
- ʻO nā ʻōlelo aʻoaʻo kahi o ka paepae he helu pākēneka e like me ka "frequency of 5xx errors ma 10% o ka nui o nā noi i ka manawa i hāʻawi ʻia."
- Nā ʻōlelo aʻoaʻo e pili ana i ka awelika mōʻaukala e like me "5xx hewa ma 90th percentile".
ʻO ka ʻōlelo maʻamau, ʻoi aku ka maikaʻi o nā ʻano 2 a me 3 no nā SRE ma ka hana, no ka mea e hōʻike ana lākou i nā deviations mai ka maʻamau i ke kaʻina hana.
2. ʻAʻole piʻi nui nā mākaʻikaʻi i nā hanana.
Hoʻopili nā mea ʻenehana SR i kahi kahe mau o nā makaʻala, ʻaʻole koʻikoʻi ka nui o ia mau mea.
No laila no ke aha e kaupalena ʻole ai i kāu mau makaʻala i nā mea koʻikoʻi wale nō? Me kēia ala, ʻaʻole paha ʻoe e ʻike i nā hōʻailona mua o ka mea e lilo ai ka hau hau i pilikia maoli e hoʻoweliweli ana i ka pōʻino nui.
ʻO ka hana a ka SRE ma ke kelepona ʻana, ʻo ia ka hoʻoholo ʻana i nā mākaʻikaʻi e hōʻike maoli i kahi mea koʻikoʻi, a inā pono e hoʻonui ʻia a mālama ʻia. Manaʻo wau ma muli o ka hiki ʻole o nā mākaʻikaʻi: ʻoi aku ka maikaʻi inā he nui nā pae a i ʻole nā ala "akamai" e hoʻonohonoho i nā mākaʻikaʻi e like me ke kūlana i hōʻike ʻia ma luna.
Manaʻo hiʻohiʻona:
3. Hoʻohana ko mākou mau SRE i ka hana i nā mea hana he nui.
Loko:
- ʻO ka papahana infra GitLab: noho nā puke holo ma aneʻi, nā hana hoʻololi / pule, nā hana pane hanana.
- Nā pilikia GitLab: ʻIke ʻia nā noiʻi, nā loiloi, a me ka mālama ʻana i nā pilikia.
- Nā lepili GitLab: Hoʻomaka ʻia nā hana automation me ka hoʻohana ʻana i nā lepili kikoʻī, kahi e hoʻohana ai nā bots e nānā i ka hana hana.
Kuwaho:
- PagerDuty: Makaala
- Slack: Ke holo nei ka memo PagerDuty/AlertManager maanei. Hoʻohui me nā kauoha slash e hana i nā hana like ʻole, e like me ka pani ʻana i kahi makaʻala a piʻi paha i kahi hanana.
- ʻO Grafana: ka nānā ʻana i nā metric me ka nānā ʻana i nā ʻano lōʻihi.
- Kibana: Hāʻawi i ka ʻimi ʻike/log, hiki ke ʻeli hohonu i nā hanana kikoʻī.
- Zoom: Aia kahi "lumi breakout" e holo mau ana ma Zoom. ʻAe kēia i nā mea ʻenekinia SRE e kūkākūkā wikiwiki i nā hanana me ka ʻole o ka pau ʻole o ka manawa nui e hana i kahi lumi a hoʻopili i nā mea komo.
A he nui na mea e ae.
4. ʻO ka nānā ʻana iā GitLab.com me GitLab kahi wahi o ka hāʻule
Inā ʻike ʻo GitLab.com i kahi hoʻopau lawelawe nui, ʻaʻole mākou makemake e hoʻopilikia i ko mākou hiki ke hoʻoholo i ka pilikia. Hiki ke pani ʻia ma ka hoʻokuʻu ʻana i kahi lua GitLab e hoʻokele iā GitLab.com. ʻOiaʻiʻo, ua hana kēia no mākou: .
5. He mau hiʻohiʻona e noʻonoʻo e hoʻohui iā GitLab
- , e like me Google Docs. E kōkua kēia i nā hana i nā hanana i ka wā o kahi hanana, a me nā hana ma ka hoʻopaʻapaʻa. I nā hihia ʻelua, pono paha kekahi mau mea komo e hoʻohui i kekahi mea i ka manawa maoli.
- ʻOi aku ka pūnaewele puni honua no nā hana. ʻO ka hiki ke holo i nā ʻanuʻu hana ʻokoʻa ʻo GitLab mai loko e kōkua i ka hōʻemi ʻana i kou hilinaʻi ʻana i nā hoʻohui Slack. No ka laʻana, hiki ke ʻae i kahi makaʻala ma PagerDuty ma o kahi kauoha slash i kahi pilikia GitLab.
hopena
He paʻakikī nā mea ʻenekinia SRE me ka nui o nā paʻakikī. He mea maikaʻi ke ʻike i nā huahana GitLab hou e hoʻoponopono ana i kēia mau pilikia. Ke hana nei mākou i kekahi mau mea hoʻohui i ka huahana e maʻalahi nā kaʻina hana i ʻōlelo ʻia ma luna. Loaʻa nā kikoʻī ma .
Ke hoʻonui nei mākou i ka hui ma 2020 e hui pū i kēia mau hiʻohiʻona maikaʻi. Inā hoihoi, e ʻoluʻolu e nānā , a e ʻoluʻolu e hoʻokaʻaʻike aku i kekahi o kā mākou hui me nā nīnau.
Source: www.habr.com