Slurm SRE ከbooking.com እና Google.com ባለሙያዎች ጋር ቀጣይነት ያለው ሙከራ

ቡድናችን ሙከራዎችን ይወዳል። እያንዳንዱ Slurm የቀድሞዎቹ የማይለዋወጥ ድግግሞሽ አይደለም፣ ነገር ግን የልምድ ነጸብራቅ እና ከጥሩ ወደ ተሻለ ሽግግር። ግን በ Slurm SRE ሙሉ ለሙሉ አዲስ ቅርጸት ለመተግበር ወስነናል - ለተሳታፊዎች በተቻለ መጠን ለ "መዋጋት" ቅርብ የሆኑትን ሁኔታዎች ለመስጠት.

በጥንካሬው ላይ ያደረግነውን በአጭሩ ለመግለጽ፡- “እንገነባለን፣ እንሰብራለን፣ እንጠግናለን፣
አጠናን." SRE በንጹህ ንድፈ ሃሳብ ውስጥ ትንሽ ዋጋ ያለው ነው - ልምምድ ብቻ, እውነተኛ መፍትሄዎች, እውነተኛ ችግሮች.

ተሳታፊዎቹ በቡድን ተከፋፍለው ኃይለኛ የፉክክር መንፈስ ማንም ሰው እንዲተኛ ወይም የዲሚትሪ አናቶሊቪች ምሳሌ በመከተል በ iPhone ላይ "Angry Birds" እንዲጀምር አይፈቅድም.

ችግሮች፣ ጉድለቶች፣ ስህተቶች እና ተግባራት ተሳታፊዎችን አራት አማካሪዎችን ሰጥተዋል። ኢቫን ክሩሎቭ፣ ዋና ገንቢ በ Booking.com (ኔዘርላንድስ)። ቤን ታይለር፣ በ Booking.com (USA) ላይ ዋና ገንቢ። Eduard Medvedev, CTO በ Tungsten Labs (ጀርመን)። ዩጂን ቫራቫቫ ፣ በ Google (ሳን ፍራንሲስኮ) አጠቃላይ ገንቢ።

ከዚህም በላይ ተሳታፊዎች በቡድን ተከፋፍለዋል - እና እርስ በርስ ይወዳደሩ. የሚስብ?

ኢቫን, ቤን, ኤድዋርድ እና ኢቭጄኒ ውድድሩ ከመጀመሩ በፊት ድሆችን የ Slurm SRE ተሳታፊዎችን በደግ ሌኒኒስት ቅኝት ይመለከቷቸዋል.

ስለዚህ ተግባሩ፡-

የኛ ነን አዲስ አለም እንገነባለን...

የፊልም ቲኬት ሰብሳቢ ድር ጣቢያ አለ። ክስተቶች በአማካሪዎች የተፈለሰፉት አስቀድሞ በተዘጋጀ ሁኔታ ነው (ምንም እንኳን ማንም በተለይ የተጣራ እና ተንኮለኛ ማሻሻያ አያካትትም) የጣቢያው አፈጻጸም በተለያዩ ልኬቶች ይገለጻል። ችግሮች በጣም የተለያዩ ሊሆኑ ይችላሉ: የሞውሊን ሩዥ የቲያትር ትኬቶች በመረጃ ቋቱ ውስጥ አልተጫኑም; የፊልም እና የአፈፃፀም ፖስተሮች ከ 10 ሰከንድ በላይ ወደ ዳታቤዝ ይጫናሉ ። የአንድ የተወሰነ ፊልም መግለጫ በረዶ ይሆናል; 0,1% ትዕዛዞች ቀድሞውኑ በተያዙ ቦታዎች ውስጥ ይወድቃሉ; በየጊዜው፣ የክፍያ ማቀናበሪያ ስርዓቱ ለአንድ ወይም ለሁለት ደቂቃ ይወድቃል። እና በእውነተኛ ስራው ውስጥ በ Slurm SRE አባል ላይ ሊወድቁ የሚችሉ ብዙ፣ ብዙ፣ ብዙ ደስ የማይሉ ነገሮች።

ሁሉንም ነገር ለመቆጣጠር ዝግጁ ነን ... እና ሁሉንም.

ረጅም ትዕግስት ያለው ጣቢያችን በርካታ ጥቃቅን አገልግሎቶችን ያቀፈ ነው። ተግባሩ ከሁሉም ሲኒማ ቤቶች የማጣሪያ፣የዋጋ እና የነጻ መቀመጫ መረጃዎችን ማሰባሰብ ነው፣የፊልም ማስታወቂያዎችን ያሳያል፣ሲኒማ፣ማሳያ፣አዳራሽ እና መቀመጫ ለመምረጥ፣መጽሐፍ እና ለትኬት ክፍያ ይከፍላል። በአጠቃላይ፣ ተመልካቹ የሚያልመው ነገር ሁሉ። አሁን ብቻ ተጠቃሚው ለጣቢያው መረጋጋት እና ተገኝነት የታይታኒክ ትግል ምን እንደሆነ እንኳን አይጠራጠርም።

ለተጠናከረ ቦታ፣ SLO፣ SLI፣ SLA አመላካቾችን መስርተናል፣ አርክቴክቸር እና መሠረተ ልማት አውጥተናል፣ ቦታውን ዘርግተናል፣ ክትትል እና ማስጠንቀቂያ አዘጋጅተናል። እና እንሄዳለን.

SLO፣ SLI፣ SLA

SLI - የአገልግሎት ደረጃ አመልካቾች. SLO - የአገልግሎት ደረጃ ዓላማዎች. SLAs የአገልግሎት ደረጃ ስምምነቶች ናቸው።

SLA የ ITIL ዘዴ ቃል ሲሆን በአገልግሎት ደንበኛው እና በአቅራቢው መካከል መደበኛ ውልን የሚያመለክት ፣ የአገልግሎቱ መግለጫ ፣ የተከራካሪ ወገኖች መብቶች እና ግዴታዎች ፣ እና ከሁሉም በላይ ፣ ለዚህ ​​አቅርቦት ስምምነት የተደረሰበት የጥራት ደረጃ አገልግሎት.

SLO የአገልግሎት ደረጃ ግብ ነው፡ በSLI የሚለካ የአገልግሎት ደረጃ የታለመው እሴት ወይም የእሴቶች ክልል። የ SLO መደበኛ እሴት "SLI ≤ ዒላማ" ወይም "የታችኛው ወሰን ≤ SLI ≤ የላይኛው ወሰን" ነው።

SLI የአገልግሎት ደረጃ አመልካች ነው፣ እየቀረበ ያለው የአገልግሎት ደረጃ አንድ ገጽታ በጥንቃቄ የተገለጸ የመጠን መለኪያ ነው። ለአብዛኛዎቹ አገልግሎቶች ቁልፉ SLI የጥያቄ መዘግየት ነው - ለጥያቄ ምላሽ ለመመለስ ምን ያህል ጊዜ ይወስዳል። ሌሎች የተለመዱ SLIዎች የስህተት ተመኖችን ያካትታሉ፣ ብዙ ጊዜ ከተቀበሉት የጥያቄዎች ሁሉ ክፍልፋይ እና የስርዓት ውፅዓት፣ አብዛኛውን ጊዜ በሰከንድ ጥያቄዎች ይለካሉ።

በመጀመሪያ ፣ አውሮፕላኖቹን እንሰብራለን ፣ ግን ሴት ልጆች ፣ እና ከዚያ ሴት ልጆች…

ከመጀመሪያዎቹ ደቂቃዎች ውስጣዊ እና ውጫዊ ሁኔታዎች SLO "መበላሸት" ጀመሩ. ሁሉም ነገር በአስተዳዳሪዎች ጭንቅላት ላይ ወደቀ - የገንቢ ስህተቶች፣ የመሠረተ ልማት ውድቀቶች፣ የጎብኝዎች ፍሰት እና የDDoS ጥቃቶች። SLO ን የሚያባብስ ማንኛውም ነገር።

"- ውድ ተሳታፊዎች ፣ እርስዎን ለማስደሰት እቸኩላለሁ ፣ መጀመሪያ የሚያደርጉት ነገር መውደቅ ነው ... ሁሉም ነገር!"

በመንገድ ላይ, ተናጋሪዎቹ ስለ መረጋጋት, የስህተት በጀት, የፈተና ልምዶች, የማቋረጥ አስተዳደር እና የአሠራር ጭነት ተወያይተዋል.

እኛ ጠራቢዎች አይደለንም፣ አናፂዎችም አይደለንም…

ከዚያም ተሳታፊዎች መጠገን ጀመሩ - ዋናው ነገር በመጀመሪያ ምን እንደሚይዝ መረዳት ነው.

“- ጌታ ሆይ፣ እንደዚህ በመሰለ መልክ እና አቀማመጥ ሲሰበር አይቼው አላውቅም!”

ስለዚህ, አንድ አደጋ ነበር. የክፍያ ሂደት አገልግሎት በተቻለ መጠን በአጭር ጊዜ ውስጥ አፈጻጸምን ወደነበረበት ለመመለስ እንዴት እርምጃ መውሰድ ይቻላል?

ተሳታፊዎቹን በፍቅር የሚመለከቱ ባለሙያዎች ሌላ ብልሃትን እያዘጋጁ ነው።

እያንዳንዱ ቡድን የአደጋውን ፈሳሽ ቡድን ሥራ ያደራጃል - ባልደረቦቹን ያገናኛል, ባለድርሻ አካላትን (ባለድርሻ አካላትን) ያሳውቃል. በተመሳሳይ ጊዜ ቅድሚያ የሚሰጣቸው ነገሮች ይሰለፋሉ. ስለዚህ ተሳታፊዎቹ በጣም ውስን በሆነ ጊዜ ጫና ውስጥ ሆነው እንዲሰሩ ሠልጥነዋል።

"- ምን አይነት አስፈሪ ነገር ወጣ?!"

መተንፈስ ... እና መልመጃውን ጨርስ

ከድምጽ ማጉያዎቹ ጋር, እያንዳንዱ ችግር ከተፈታ እና ጣቢያው ለጊዜው ከተረጋጋ በኋላ, ቡድኑ ከ SRE እይታ አንጻር ክስተቶቹን ያጠናል. ችግሮቹን በዝርዝር ተንትነናል - የመከሰቱ መንስኤዎች, የማስወገጃ ሂደት. ከዚያ በኋላ በቡድን እና በቡድን ሆነው ተጨማሪ መከላከያቸውን እንዴት ማሻሻል እንደሚቻል ፣ እንዴት የስነ-ህንፃውን በብቃት መለወጥ እንደሚቻል ፣ የእድገት እና የአሠራር አቀራረብን እንዴት ማስተካከል እንደሚቻል ፣ መመሪያዎችን እንዴት ማረም እንደሚቻል ውሳኔ ሰጡ ። ተናጋሪዎቹ የድህረ ሞትን የማካሄድ ልምድ አሳይተዋል።

" ሌላ ማነው ስቃይን የሚፈልግ! - እኔ!"

የቡድኖቹ ስኬቶች በኤሌክትሮኒክ የውጤት ሰሌዳ ላይ በጥብቅ እና በግልጽ ተመዝግበዋል.

ለመጀመሪያዎቹ ቦታዎች - ከባለድርሻ አካላት ጉርሻ.

ምንጭ: hab.com