Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com

Ẹgbẹ wa nifẹ awọn adanwo. Slurm kọọkan kii ṣe atunwi aimi ti awọn iṣaaju, ṣugbọn iṣaro lori iriri ati iyipada lati dara si dara julọ. Ṣugbọn pẹlu Slurm SRE a pinnu lati lo ọna kika tuntun patapata - lati fun awọn olukopa ni awọn ipo isunmọ bi o ti ṣee ṣe lati “ija”.

Eyin mí basi todohukanji kleun nuhe mí wà to azọ́nplọnmẹ zohunhun tọn lọ whenu: “A nọ gbá, mí gbà, mí nọ vọ́ jlado,
a nkọ." SRE jẹ iye diẹ ni imọran lasan - adaṣe nikan, awọn ojutu gidi, awọn iṣoro gidi.

Awọn olukopa ti pin si awọn ẹgbẹ ki ẹmi ifigagbaga ti o lagbara ko ni gba ẹnikẹni laaye lati sun oorun tabi ṣe ifilọlẹ “Awọn ẹyẹ ibinu” lori iPhone, ni atẹle apẹẹrẹ ti Dmitry Anatolyevich.

Awọn iṣoro, glitches, awọn idun ati awọn iṣẹ-ṣiṣe ni a pese fun awọn olukopa nipasẹ awọn alamọran mẹrin. Ivan Kruglov, Olùgbéejáde akọkọ ni Booking.com (Netherlands). Ben Tyler, Olùgbéejáde Alakoso ni Booking.com (USA). Eduard Medvedev, CTO ni Tungsten Labs (Germany). Evgeniy Varavva, olupilẹṣẹ gbogbogbo ni Google (San Francisco).

Pẹlupẹlu, awọn olukopa ti pin si awọn ẹgbẹ ati dije pẹlu ara wọn. Awon nkan?

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
Ivan, Ben, Eduard ati Evgeniy wo awọn alabaṣepọ Slurm SRE talaka pẹlu awọn squints Leninist ti o dara ṣaaju ibẹrẹ idije naa.

Nitorina iṣẹ naa:

A jẹ tiwa, a yoo kọ aye tuntun kan…

Oju opo wẹẹbu alaropo tikẹti fiimu kan wa. Awọn iṣẹlẹ jẹ idasilẹ nipasẹ awọn alamọran ni oju iṣẹlẹ ti a ti ṣiṣẹ tẹlẹ (botilẹjẹpe ko si ẹnikan ti o yọkuro pataki fafa ati imudara aibikita), iṣẹ ṣiṣe ti aaye naa jẹ apejuwe nipasẹ awọn metiriki pupọ. Awọn iṣoro naa le yatọ pupọ: awọn tikẹti fun ile itage Moulin Rouge ni a ko kojọpọ sinu ibi ipamọ data; posita ti fiimu ati awọn iṣẹ ti wa ni ti kojọpọ sinu database ni diẹ ẹ sii ju 10 aaya; Apejuwe ti fiimu kọọkan didi; 0,1% ti awọn ibere ti wa ni ipamọ tẹlẹ; Lati akoko si akoko awọn eto isanwo ipadanu fun iseju kan tabi meji. Ati ọpọlọpọ, ọpọlọpọ, ọpọlọpọ awọn ohun aibanujẹ ti o le ṣẹlẹ si alabaṣe Slurm SRE ni iṣẹ gidi rẹ.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
A ti ṣetan lati mu ohunkohun ... ati gbogbo eniyan.

Oju opo wẹẹbu wa ti o ni ipamọra ni ọpọlọpọ awọn iṣẹ microservices. Iṣẹ-ṣiṣe rẹ ni lati ṣajọpọ data lori awọn ifihan, awọn idiyele ati awọn ijoko ti o wa lati gbogbo awọn sinima; o ṣafihan awọn ikede fiimu, gba ọ laaye lati yan sinima kan, iṣafihan, gbongan ati aaye, iwe ati sanwo fun awọn tikẹti. Ni gbogbogbo, ohun gbogbo ti oluwo le nikan ala ti. Ṣugbọn olumulo ko paapaa fura kini Ijakadi titanic fun iduroṣinṣin ati iraye si aaye naa n lọ ninu.

Fun aaye aladanla, a ṣe ipilẹṣẹ SLO, SLI, awọn olufihan SLA, faaji ti o dagbasoke ati awọn amayederun, gbe aaye naa, ṣeto ibojuwo ati titaniji. Ati pe a lọ kuro.

SLO, SLI, SLA

SLI - awọn afihan ipele iṣẹ. Awọn SLO jẹ awọn ibi-afẹde ipele iṣẹ. SLA - awọn adehun ipele iṣẹ.

SLA jẹ ọrọ ilana ITIL ti o tọka si adehun deede laarin alabara ti iṣẹ kan ati olupese rẹ, ti o ni apejuwe ti iṣẹ naa, awọn ẹtọ ati awọn adehun ti awọn ẹgbẹ ati, ni pataki julọ, ipele didara ti adehun fun ipese eyi. iṣẹ.

SLO jẹ ibi-afẹde ipele iṣẹ: iye ibi-afẹde tabi iwọn awọn iye fun ipele iṣẹ ti o jẹ iwọn nipasẹ SLI. Iye deede fun SLO jẹ "SLI ≤ Àkọlé" tabi "Iwọn Iwọn ≤ SLI ≤ Oke Ifilelẹ".

SLI jẹ atọka ipele iṣẹ kan—oṣuwọn pipo ti a ti ṣalaye ni pẹkipẹki ti abala kan ti ipele iṣẹ ti a pese. Fun ọpọlọpọ awọn iṣẹ, bọtini SLI ni a gba pe o jẹ airi ibeere - bawo ni o ṣe pẹ to lati da esi pada si ibeere kan. Awọn SLI ti o wọpọ miiran pẹlu oṣuwọn aṣiṣe, nigbagbogbo ṣafihan bi ida kan ti gbogbo awọn ibeere ti o gba, ati ilosi eto, nigbagbogbo ni iwọn ni awọn ibeere fun iṣẹju-aaya.

Ni akọkọ, a yoo fọ awọn ọkọ ofurufu, lẹhinna awọn ọmọbirin, ati lẹhinna awọn ọmọbirin ...

Awọn ifosiwewe inu ati ita bẹrẹ si “ikogun” SLO lati awọn iṣẹju akọkọ akọkọ. Ohun gbogbo ṣubu lori awọn ori awọn alakoso-awọn aṣiṣe olupilẹṣẹ, awọn ikuna amayederun, ṣiṣan ti awọn alejo, ati awọn ikọlu DDoS. Ohun gbogbo ti o buru si SLO.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
"- Olufẹ awọn alabaṣepọ, Mo yara lati wu ọ, ohun akọkọ ti o kuna ni ... ohun gbogbo!"

Ni ọna, awọn agbọrọsọ sọrọ lori iduroṣinṣin, isuna aṣiṣe, adaṣe idanwo, iṣakoso awọn idilọwọ ati fifuye iṣẹ.

A kii ṣe awọn onijagidijagan, kii ṣe awọn gbẹnagbẹna…

Lẹhinna awọn olukopa bẹrẹ lati ṣatunṣe awọn nkan - ohun akọkọ ni lati loye kini lati mu ni akọkọ.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
"- Oluwa, Emi ko tii ri pe o fọ bi eleyi, ni irisi yii ati ni iru ipo bẹẹ!"

Nitorina, ijamba kan ṣẹlẹ. Iṣẹ ṣiṣe isanwo ti lọ silẹ. Bii o ṣe le ṣe lati mu iṣẹ-ṣiṣe pada ni akoko to kuru ju?

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
Awọn amoye, ti n wo ifẹ si awọn olukopa, ngbaradi ẹtan miiran.

Ẹgbẹ kọọkan ṣeto iṣẹ ti ẹgbẹ lati yọkuro ijamba naa - pẹlu awọn ẹlẹgbẹ, sọfun awọn ẹgbẹ ti o nifẹ si (awọn onipindoje). Ni akoko kanna, awọn ayo ti ṣeto. Ni ọna yii, awọn olukopa ṣe ikẹkọ lati ṣiṣẹ labẹ titẹ labẹ awọn ipo akoko to lopin pupọ.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
"Iru ẹru wo ni o ti jade?!"

Exhale...ki o si pari idaraya naa

Paapọ pẹlu awọn agbohunsoke, lẹhin ti iṣoro kọọkan ti yanju ati pe aaye naa ti ni idaduro fun igba diẹ, ẹgbẹ naa ṣe iwadi awọn iṣẹlẹ lati oju-ọna SRE. A ṣe itupalẹ awọn iṣoro ni awọn alaye - awọn idi ti iṣẹlẹ, ilọsiwaju ti imukuro. Lẹhin iyẹn, mejeeji ẹgbẹ-ẹgbẹ ati ni apapọ, a ṣe awọn ipinnu lori bi a ṣe le ṣe idiwọ siwaju sii: bii o ṣe le mu ibojuwo dara si, bawo ni a ṣe le yipada ni ọgbọn, bi o ṣe le ṣatunṣe ọna si idagbasoke ati iṣẹ ṣiṣe, bi o ṣe le ṣe atunṣe awọn ilana. Awọn agbọrọsọ ṣe afihan iṣe ti ifọnọhan ranse si-iku.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com
“Tani miiran fẹ ijiya! - Emi!"

Aṣeyọri awọn ẹgbẹ naa ni o muna ati ti o gbasilẹ ni kedere lori kọnputa ẹrọ itanna.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com

Fun igba akọkọ ibi - a ajeseku lati oro.

Slurm SRE. Ayẹwo pipe pẹlu awọn amoye lati Booking.com ati Google.com

orisun: www.habr.com

Fi ọrọìwòye kun