Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com

Makemake kā mākou hui i nā hoʻokolohua. ʻO kēlā me kēia Slurm ʻaʻole ia he hana hou ʻana o nā mea ma mua, akā he noʻonoʻo i ka ʻike a me ka hoʻololi ʻana mai ka maikaʻi i ka maikaʻi. Akā me Slurm SRE ua hoʻoholo mākou e hoʻopili i kahi ʻano hou loa - e hāʻawi i nā kūlana i nā poʻe komo i kahi kokoke i hiki ke "hakakā".

Inā mākou e wehewehe pōkole i nā mea a mākou i hana ai i ka wā o ka papa koʻikoʻi: "Ke kūkulu nei mākou, wāwahi mākou, hoʻoponopono mākou,
ke aʻo nei mākou." He liʻiliʻi ka waiwai o SRE ma ke kumumanaʻo - ka hoʻomaʻamaʻa wale nō, nā hoʻonā maoli, nā pilikia maoli.

Ua hoʻokaʻawale ʻia nā mea komo i nā hui i ʻole e ʻae ka ʻuhane hoʻokūkū ikaika i kekahi e hiamoe a hoʻomaka paha i ka "Angry Birds" ma ka iPhone, ma muli o ke ʻano o Dmitry Anatolyevich.

Ua hāʻawi ʻia nā pilikia, nā pilikia, nā ʻōpala a me nā hana i nā mea komo e nā kumu aʻoaʻo ʻehā. ʻO Ivan Kruglov, Luna Hoʻomohala ma Booking.com (Netherlands). ʻO Ben Tyler, Luna Nui ma Booking.com (USA). Eduard Medvedev, CTO ma Tungsten Labs (Kelemānia). Evgeniy Varavva, mea hoʻomohala maʻamau ma Google (San Francisco).

Eia kekahi, ua māhele ʻia nā mea komo i nā hui a hoʻokūkū kekahi i kekahi. hoihoi?

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
ʻIke ʻo Ivan, Ben, Eduard a me Evgeniy i nā poʻe ʻilihune Slurm SRE me nā leni Leninist maikaʻi ma mua o ka hoʻomaka ʻana o ka hoʻokūkū.

No laila ka hana:

No mākou mākou, e kūkulu mākou i honua hou ...

Aia kahi pūnaewele hōʻiliʻili tiketi kiʻiʻoniʻoni. Hoʻokumu ʻia nā hanana e nā kumu aʻoaʻo i kahi hiʻohiʻona i hana mua ʻia (ʻoiai ʻaʻohe mea e hoʻokaʻawale i ka improvisation maʻalahi a me ka insidious), wehewehe ʻia ka hana o ka pūnaewele e nā metric like ʻole. Hiki i nā pilikia ke ʻokoʻa loa: ʻaʻole i hoʻouka ʻia nā tiketi no ka hale keaka Moulin Rouge i ka waihona; hoʻouka ʻia nā pepa kiʻiʻoniʻoni a me nā hana i loko o ka waihona ma mua o 10 kekona; ka wehewehe ʻana o kahi kiʻiʻoniʻoni hoʻokahi; 0,1% o nā kauoha i mālama ʻia; I kēlā me kēia manawa, hāʻule ka ʻōnaehana hana uku no hoʻokahi minuke a ʻelua paha. A he nui nā mea leʻaleʻa e hiki ke loaʻa i kahi mea komo Slurm SRE ma kāna hana maoli.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
Mākaukau mākou e lawelawe i kekahi mea...a me nā mea a pau.

ʻO kā mākou pūnaewele hoʻomanawanui he mau microservices. ʻO kāna hana ʻo ka hōʻuluʻulu ʻana i nā ʻikepili i nā hōʻike, nā kumukūʻai a me nā noho i loaʻa mai nā hale kiʻiʻoniʻoni a pau; hōʻike ia i nā hoʻolaha kiʻiʻoniʻoni, hiki iā ʻoe ke koho i kahi kiʻiʻoniʻoni, hōʻike, hale a me kahi, puke a uku no nā tiketi. Ma keʻano laulā, nā mea a pau i hiki i ka mea nānā ke moeʻuhane wale. Akā ʻaʻole kānalua ka mea hoʻohana i ke ʻano o ka hakakā titanic no ka paʻa a me ka hiki ʻana o ka pūnaewele e hele nei i loko.

No ka pūnaewele koʻikoʻi, ua hoʻokumu mākou i nā hōʻailona SLO, SLI, SLA, hoʻomohala i ka hoʻolālā a me nā ʻōnaehana, hoʻonohonoho i ka pūnaewele, hoʻonohonoho i ka nānā ʻana a me ka makaʻala. A hele mākou.

SLO, SLI, SLA

SLI - nā hōʻailona pae lawelawe. ʻO nā SLO nā pahuhopu pae lawelawe. SLA - aelike pae lawelawe.

ʻO SLA kahi huaʻōlelo ITIL methodology e hōʻike ana i kahi kuʻikahi maʻamau ma waena o ka mea kūʻai aku o kahi lawelawe a me kāna mea hoʻolako, me ka wehewehe ʻana i ka lawelawe, nā kuleana a me nā kuleana o nā ʻaoʻao a, ʻo ka mea nui loa, ka pae o ka maikaʻi i ʻae ʻia no ka hoʻolako ʻana i kēia. lawelawe.

ʻO kahi SLO kahi pahuhopu pae lawelawe: kahi waiwai pahuhopu a i ʻole ka nui o nā waiwai no kahi pae lawelawe i ana ʻia e ka SLI. ʻO kahi waiwai maʻamau no SLO ʻo "SLI ≤ Target" a i ʻole "Lower Limit ≤ SLI ≤ Upper Limit".

ʻO ka SLI kahi hōʻailona pae lawelawe—he ana i wehewehe pono ʻia o kekahi ʻano o ka pae o ka lawelawe i hāʻawi ʻia. No ka hapa nui o nā lawelawe, ua manaʻo ʻia ke kī SLI he latency noi - pehea ka lōʻihi o ka hoʻihoʻi ʻana i kahi pane i kahi noi. ʻO nā SLI maʻamau ʻē aʻe e pili ana i ka helu hapa, i hōʻike pinepine ʻia ma ke ʻano he hapa o nā noi a pau i loaʻa, a me ka throughput ʻōnaehana, maʻamau i ana ʻia i nā noi i kekona.

ʻO ka mea mua, e uhaʻi mākou i nā mokulele, a laila nā kaikamahine, a laila nā kaikamahine ...

Ua hoʻomaka nā mea i loko a me waho e "hōʻino" iā SLO mai nā minuke mua loa. Ua hāʻule nā ​​​​mea a pau ma luna o nā poʻo o nā luna hoʻomalu - nā hewa o ka mea hoʻomohala, nā hemahema o ka ʻōnaehana, ka nui o nā malihini kipa, a me nā hoʻouka kaua DDoS. ʻO nā mea a pau e hōʻino ana iā SLO.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
"- E nā poʻe hui aloha, wikiwiki wau e ʻoluʻolu iā ʻoe, ʻo ka mea mua āu e hāʻule ai ʻo ... nā mea āpau!"

Ma ke ala, ua kūkākūkā nā mea haʻiʻōlelo i ka kūpaʻa, ka hewa kālā, ka hoʻomaʻamaʻa hoʻāʻo ʻana, ka hoʻokele ʻana i nā hoʻopau a me ka ukana hana.

ʻAʻole mākou he poʻe kālai, ʻaʻole kamana...

A laila hoʻomaka nā mea komo e hoʻoponopono i nā mea - ʻo ka mea nui e hoʻomaopopo i ka mea e hopu mua ai.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
"- E ka Haku, ʻaʻole au i ʻike i ka haki ʻana e like me kēia, ma kēia ʻano a ma kahi kūlana!"

No laila, ua loaʻa kahi pōʻino. Ua haʻahaʻa ka lawelawe hana uku. Pehea e hana ai e hoʻihoʻi i ka hana i ka manawa pōkole loa?

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
ʻO ka poʻe akamai, e nānā aloha ana i ka poʻe komo, ke hoʻomākaukau nei i kahi hoʻopunipuni hou.

Hoʻonohonoho kēlā me kēia hui i ka hana a ka hui e hoʻopau i ka pōʻino - pili i nā hoa hana, hoʻolaha i nā mea makemake (nā mea pili). I ka manawa like, hoʻonohonoho ʻia nā mea nui. Ma kēia ala, ua hoʻomaʻamaʻa ka poʻe i komo e hana ma lalo o ke kaomi ma lalo o nā kūlana manawa palena ʻole.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
"He aha ke ʻano weliweli i puka mai?!"

Exhale ... a hoʻopau i ka hana

Me nā mea haʻiʻōlelo, ma hope o ka hoʻoholo ʻana o kēlā me kēia pilikia a hoʻopaʻa ʻia ka pūnaewele no ka manawa pōkole, ua aʻo ka hui i nā hanana mai kahi ʻike SRE. Ua loiloi mākou i nā pilikia - nā kumu o ka hanana, ka holomua o ka hoʻopau ʻana. Ma hope o kēlā, ua hoʻoholo mākou i nā hoʻoholo e pili ana i ka pale ʻana iā lākou: pehea e hoʻomaikaʻi ai i ka nānā ʻana, pehea e hoʻololi naʻauao ai i ka hoʻolālā, pehea e hoʻoponopono ai i ke ala o ka hoʻomohala ʻana a me ka hana ʻana, pehea e hoʻoponopono ai i nā lula. Ua hōʻike ka poʻe haʻiʻōlelo i ke ʻano o ka mālama ʻana i ka post-mortem.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com
"ʻO wai ka mea makemake i ka ʻeha! - ʻO wau!"

Ua hoʻopaʻa paʻa ʻia nā holomua o nā hui ma ka papa helu uila.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com

No nā wahi mua - he bonus mai nā mea kuleana.

Slurm SRE. He hoʻokolohua piha me nā poʻe akamai mai Booking.com a me Google.com

Source: www.habr.com

Pākuʻi i ka manaʻo hoʻopuka