Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com

Tha an sgioba againn dèidheil air deuchainnean. Chan e ath-aithris statach a th’ anns gach Slurm den fheadhainn a bh’ ann roimhe, ach meòrachadh air an eòlas agus gluasad bho mhath gu nas fheàrr. Ach le Slurm SRE chuir sinn romhainn cruth gu tur ùr a chuir an sàs - gus suidheachaidhean a thoirt dha na com-pàirtichean cho faisg ‘s a ghabhas air“ sabaid ”.

Ma bheir sinn cunntas goirid air na rinn sinn tron ​​​​chùrsa dian: “Bidh sinn a’ togail, a ’briseadh, a’ càradh,
tha sinn ag ionnsachadh." Chan fhiach SRE ach ann an teòiridh - dìreach cleachdadh, fìor fhuasglaidhean, fìor dhuilgheadasan.

Chaidh na com-pàirtichean a roinn ann an sgiobaidhean gus nach leigeadh spiorad farpaiseach làidir le duine tuiteam na chadal no “Angry Birds” a chuir air bhog air an iPhone, a ’leantainn eisimpleir Dmitry Anatolyevich.

Chaidh duilgheadasan, glitches, biastagan agus gnìomhan a thoirt do na com-pàirtichean le ceathrar chomhairlichean. Ivan Kruglov, prìomh leasaiche aig Booking.com (An Òlaind). Ben Tyler, Prìomh leasaiche aig Booking.com (USA). Eduard Medvedev, CTO aig Tungsten Labs (A’ Ghearmailt). Evgeniy Varavva, leasaiche coitcheann aig Google (San Francisco).

A bharrachd air an sin, tha na com-pàirtichean air an roinn ann an sgiobaidhean agus a’ farpais ri chèile. Inntinneach?

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
Bidh Ivan, Ben, Eduard agus Evgeniy a’ toirt sùil air na com-pàirtichean bochda Slurm SRE le squints coibhneil Leninist ro thoiseach na farpais.

Mar sin an obair:

Is sinne sinne, togaidh sinn saoghal ùr...

Tha làrach-lìn cruinneachaidh tiogaidean film ann. Tha tachartasan air an innleachadh le luchd-comhairle ann an suidheachadh ro-obraichte (ged nach eil duine a’ dùnadh a-mach gun ullachadh gu sònraichte ionnsaichte agus brùideil), tha diofar mheatairean a’ toirt cunntas air coileanadh na làraich. Faodaidh na duilgheadasan a bhith gu math eadar-dhealaichte: chan eil tiogaidean airson taigh-cluiche Moulin Rouge air an luchdachadh a-steach don stòr-dàta; postairean de fhilmichean agus thaisbeanaidhean air an luchdachadh a-steach don stòr-dàta ann an còrr is 10 diogan; tha an tuairisgeul air film fa leth a 'reothadh; Tha 0,1% de òrdughan glèidhte mar-thà; Bho àm gu àm bidh an siostam giollachd pàighidh a’ tuiteam airson mionaid no dhà. Agus mòran, mòran, mòran de rudan mì-thlachdmhor a dh’ fhaodadh tachairt mar chom-pàirtiche Slurm SRE san fhìor obair aige.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
Tha sinn deiseil airson rud sam bith a làimhseachadh... agus a h-uile duine.

Tha an làrach-lìn fad-fhulangach againn air a dhèanamh suas de ghrunnan microservices. Is e an obair aige dàta a chruinneachadh mu thaisbeanaidhean, prìsean agus suidheachain a tha rim faighinn bho gach taigh-dhealbh; bidh e a’ sealltainn sanasan film, a’ leigeil leat taigh-dhealbh, taisbeanadh, talla is àite a thaghadh, tiogaidean a ghlèidheadh ​​agus pàigheadh. San fharsaingeachd, tha a h-uile dad nach urrainn don neach-coimhead ach bruadar a dhèanamh. Ach chan eil an neach-cleachdaidh eadhon fo amharas dè a tha strì titanic airson seasmhachd agus ruigsinneachd na làraich a’ dol a-staigh.

Airson an làrach dian, chruthaich sinn comharran SLO, SLI, SLA, leasaich sinn ailtireachd agus bun-structar, chuir sinn an làrach an sàs, stèidhich sinn sgrùdadh agus rabhadh. Agus air falbh tha sinn a 'dol.

SLO, SLI, SLA

SLI - comharran ìre seirbheis. Tha SLOn nan amasan ìre seirbheis. SLA - aonta ìre seirbheis.

Is e teirm modh-obrach ITIL a th’ ann an SLA a tha a’ comharrachadh aonta foirmeil eadar neach-ceannach seirbheis agus an solaraiche aige, anns a bheil tuairisgeul air an t-seirbheis, còraichean agus dleastanasan nam pàrtaidhean agus, nas cudromaiche, an ìre càileachd aontaichte airson an t-seirbheis seo a thoirt seachad. seirbhis.

Is e amas ìre seirbheis a th’ ann an SLO: luach targaid no raon luachan airson ìre seirbheis a tha air a thomhas leis an SLI. Is e luach àbhaisteach airson SLO “SLI ≤ Target” no “Limit Limit ≤ SLI ≤ Upper Limit”.

Tha an SLI na chomharra ìre seirbheis - tomhas cainneachdail air a mhìneachadh gu faiceallach de aon taobh den ìre seirbheis a tha air a thoirt seachad. Airson a’ mhòr-chuid de sheirbheisean, thathas den bheachd gur e latency iarrtas am prìomh SLI - dè cho fada ’s a bheir e gus freagairt ri iarrtas a thilleadh. Tha SLIan cumanta eile a’ gabhail a-steach ìre mhearachdan, gu tric air an cur an cèill mar bloigh de na h-iarrtasan uile a gheibhear, agus trochur siostam, mar as trice air a thomhas ann an iarrtasan gach diog.

An toiseach, brisidh sinn na plèanaichean, agus an uairsin na caileagan, agus an uairsin na caileagan ...

Thòisich factaran a-staigh agus a-muigh a’ “milleadh” SLO bho na ciad mhionaidean. Thuit a h-uile càil air cinn an luchd-rianachd - mearachdan leasaiche, fàilligeadh bun-structair, sruthadh a-steach de luchd-tadhail, agus ionnsaighean DDoS. A h-uile nì a tha nas miosa SLO.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
“- A chom-pàirtichean gràdhach, tha mi a’ dèanamh cabhag gus do thoileachadh, is e a ’chiad rud a dh’ fhailicheas tu ... a h-uile dad! ”

Air an t-slighe, bheachdaich an luchd-labhairt air seasmhachd, buidseat mhearachdan, cleachdadh deuchainn, riaghladh brisidhean agus luchd obrachaidh.

Chan e stòcairean a th’ annainn, chan e saoir...

An uairsin thòisich na com-pàirtichean a 'càradh rudan - is e am prìomh rud tuigsinn dè a gheibh iad an toiseach.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
" - A Thighearna, chan fhaca mi a-riamh e a 'briseadh mar seo, anns a' chruth seo agus ann an suidheachadh mar seo!"

Mar sin, thachair tubaist. Tha an t-seirbheis giollachd pàighidh sìos. Ciamar a nì thu gnìomh gus comas-gnìomh a thoirt air ais anns an ùine as giorra a tha comasach?

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
Tha na h-eòlaichean, a 'coimhead gu gràdhach air na com-pàirtichean, ag ullachadh cleas eile.

Bidh gach sgioba a 'cur air dòigh obair na buidhne gus cur às don tubaist - a' toirt a-steach co-obraichean, a 'toirt fios do dhaoine le ùidh (luchd-ùidh). Aig an aon àm, tha prìomhachasan air an suidheachadh. San dòigh seo, fhuair na com-pàirtichean trèanadh airson a bhith ag obair fo chuideam fo chumhachan ùine glè bheag.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
“Dè an seòrsa uamhas a thàinig a-mach?!”

Exhale ... agus cuir crìoch air an eacarsaich

Còmhla ris an luchd-labhairt, às deidh gach duilgheadas a bhith air a rèiteachadh agus an làrach a dhèanamh seasmhach airson ùine, rinn an sgioba sgrùdadh air na tachartasan bho shealladh SRE. Rinn sinn mion-sgrùdadh air na duilgheadasan - na h-adhbharan airson an tachartas, adhartas cuir às. Às deidh sin, an dà chuid sgioba-air-sgioba agus còmhla, rinn sinn co-dhùnaidhean air mar a bu chòir casg a chuir orra: mar a leasaicheas tu sgrùdadh, mar a leasaicheas tu an ailtireachd gu ciallach, mar a dh’ atharraicheas sinn an dòigh-obrach airson leasachadh agus obrachadh, mar a cheartachadh riaghailtean. Sheall an luchd-labhairt an cleachdadh a bhith a’ dèanamh post-mortem.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com
“Cò eile a tha ag iarraidh cràdh! - Tha mi!"

Bha soirbheasan nan sgiobaidhean air an clàradh gu teann agus gu soilleir air a’ bhòrd-sgòr dealanach.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com

Airson a 'chiad àite - bònas bho luchd-ùidh.

Slurm SRE. Deuchainn iomlan le eòlaichean bho Booking.com agus Google.com

Source: www.habr.com

Cuir beachd ann