HighLoad ++, Evgeniy Kuzovlev (EcommPay IT): dè a nì thu nuair a chosgas mionaid de dh ’ùine downt $ 100000

Bidh a h-uile duine a 'bruidhinn mu na pròiseasan leasachaidh agus deuchainn, a' trèanadh luchd-obrach, a 'meudachadh togradh, ach chan eil na pròiseasan sin gu leòr nuair a chosgas mionaid de dh' ùine downt seirbheis mòran airgid. Dè a nì thu nuair a nì thu gnothaichean ionmhais fo SLA teann? Mar a mheudaicheas tu earbsachd agus fulangas lochdan do shiostaman, a’ toirt air adhart leasachadh agus deuchainn a-mach às a’ cho-aontar?

Thèid an ath cho-labhairt HighLoad ++ a chumail air 6 agus 7 Giblean, 2020 ann an St. Mion-fhiosrachadh agus tiogaidean airson cheangal. 9 Samhain, 18:00. HighLoad++ Moscow 2018, talla Delhi + Kolkata. tràchdais agus taisbeanadh.

Evgeniy Kuzovlev (an-seo - EC): - A charaidean, hello! Is e m ’ainm Kuzovlev Evgeniy. Tha mi bhon chompanaidh EcommPay, is e roinn sònraichte EcommPay IT, roinn IT na buidhne chompanaidhean. Agus an-diugh bruidhnidh sinn mu amannan downt - mu mar as urrainn dhut an seachnadh, mu mar as urrainn dhaibh na buaidhean aca a lughdachadh mura h-urrainnear a sheachnadh. Tha an cuspair air a ràdh mar a leanas: “Dè a nì thu nuair a chosgas mionaid de dh’ ùine downt $100”? A’ coimhead air adhart, tha na h-àireamhan againn coimeasach.

Dè a bhios EcommPay IT a’ dèanamh?

Cò sinn? Carson a tha mi nam sheasamh an seo air do bheulaibh? Carson a tha còir agam rudeigin innse dhuibh an seo? Agus dè a bhios sinn a 'bruidhinn mu dheidhinn an seo ann am barrachd mionaideachd?

Tha buidheann chompanaidhean EcommPay na neach-ceannach eadar-nàiseanta. Bidh sinn a 'pròiseas pàighidhean air feadh an t-saoghail - anns an Ruis, san Roinn Eòrpa, taobh an ear-dheas Àisia (Air feadh an t-Saoghail). Tha 9 oifisean againn, 500 neach-obrach uile gu lèir, agus tha timcheall air beagan nas lugha na leth dhiubh nan eòlaichean IT. A h-uile rud a nì sinn, a h-uile càil a nì sinn airgead, rinn sinn sinn fhìn.

Sgrìobh sinn na stuthan againn gu lèir (agus tha tòrr dhiubh againn - anns an loidhne de thoraidhean IT mòr againn tha timcheall air 16 diofar phàirtean againn) sinn fhìn; Bidh sinn a’ sgrìobhadh sinn fhìn, bidh sinn gar leasachadh fhèin. Agus an-dràsta bidh sinn a’ dèanamh timcheall air millean gnothach gach latha (is dòcha gur e milleanan an dòigh cheart air a ràdh). 'S e companaidh gu math òg a th' annainn - chan eil sinn ach mu shia bliadhna a dh'aois.

6 bliadhna air ais bha e na thoiseach tòiseachaidh nuair a thàinig na balaich còmhla ris a’ ghnìomhachas. Bha iad aonaichte le beachd (cha robh dad eile ann ach beachd), agus ruith sinn. Coltach ri toiseach tòiseachaidh sam bith, ruith sinn na bu luaithe... Dhuinne, bha astar nas cudromaiche na càileachd.

Aig àm air choreigin stad sinn: thuig sinn nach b’ urrainn dhuinn dòigh air choireigin a bhith beò aig an astar sin agus leis a’ chàileachd sin agus dh’ fheumadh sinn fòcas a chuir air càileachd an toiseach. Aig an àm seo, chuir sinn romhainn àrd-ùrlar ùr a sgrìobhadh a bhiodh ceart, scalable agus earbsach. Thòisich iad a 'sgrìobhadh an àrd-ùrlar seo (thòisich iad a' tasgadh, a 'leasachadh leasachadh, a' dèanamh deuchainn), ach aig àm air choreigin thuig iad nach do leig leasachadh agus deuchainn leinn ìre ùr de chàileachd seirbheis a ruighinn.

Bidh thu a’ dèanamh toradh ùr, bidh thu ga chur ann an cinneasachadh, ach fhathast thèid rudeigin ceàrr am badeigin. Agus an-diugh bruidhnidh sinn mu mar a ruigeas sinn ìre càileachd ùr (mar a rinn sinn e, mun eòlas againn), a’ toirt leasachadh agus deuchainn a-mach às a’ cho-aontar; Bruidhnidh sinn mu na tha ri fhaighinn airson obrachadh - dè as urrainn obrachadh leis fhèin, dè as urrainn dha a thabhann airson deuchainn gus buaidh a thoirt air càileachd.

Amannan crìonadh. Òrdughan obrachaidh.

An-còmhnaidh na phrìomh chlach-oisinn, is e an rud air am bi sinn a’ bruidhinn an-diugh ùine downt. Facal uamhasach. Ma tha ùine downt againn, tha a h-uile dad dona dhuinn. Tha sinn a’ ruith gus a thogail, tha an luchd-rianachd a’ cumail an fhrithealaiche - nar leigeadh Dia nach tuit e, mar a chanas iad anns an òran sin. Seo na bhios sinn a’ bruidhinn an-diugh.

Nuair a thòisich sinn air ar dòighean-obrach atharrachadh, chruthaich sinn 4 àitheantan. Tha iad air an taisbeanadh agam air na sleamhnagan:

Tha na h-òrdughan sin gu math sìmplidh:

• Comharraich an duilgheadas gu sgiobalta.
• Faigh cuidhteas e eadhon nas luaithe.
• Cuidich le bhith a 'tuigsinn an adhbhar (nas fhaide air adhart, airson luchd-leasachaidh).
• Agus àbhaisteachadh dòighean-obrach.

Bu mhath leam ur n-aire a tharraing gu puing Àir. 2. Tha sinn a' faighinn cuidhteas an trioblaid, gun a bhith ga fuasgladh. Tha co-dhùnadh àrd-sgoile. Dhuinne, is e am prìomh rud gu bheil an neach-cleachdaidh air a dhìon bhon duilgheadas seo. Bidh e ann an àrainneachd iomallach air choreigin, ach cha bhi ceangal sam bith aig an àrainneachd seo ris. Gu fìrinneach, thèid sinn tro na ceithir buidhnean de dhuilgheadasan sin (cuid nas mionaidiche, cuid nas mionaidiche), innsidh mi dhut dè a bhios sinn a’ cleachdadh, dè an t-eòlas iomchaidh a th’ againn ann am fuasglaidhean.

Fuasgladh dhuilgheadasan: cuin a bhios iad a 'tachairt agus dè a nì thu mun deidhinn?

Ach tòisichidh sinn a-mach à òrdugh, tòisichidh sinn le puing Àir. 2 - ciamar a gheibh thu cuidhteas an duilgheadas gu sgiobalta? Tha duilgheadas ann - feumaidh sinn a cheartachadh. “Dè bu chòir dhuinn a dhèanamh mu dheidhinn seo?” - a 'phrìomh cheist. Agus nuair a thòisich sinn a 'smaoineachadh air mar a bu chòir an duilgheadas a rèiteachadh, leasaich sinn dhuinn fhìn cuid de riatanasan a dh'fheumas fuasgladh cheistean a leantainn.

Gus na riatanasan sin a chuir ri chèile, chuir sinn romhainn a’ cheist fhaighneachd dhuinn fhìn: “Cuin a bhios duilgheadasan againn”? Agus tha duilgheadasan, mar a thàinig e a-mach, a 'nochdadh ann an ceithir cùisean:

• Fàilligeadh bathar-cruaidh.
• Dh'fhàillig seirbheisean taobh a-muigh.
• Ag atharrachadh an dreach bathar-bog (an aon cleachdadh).
• Fàs luchdan spreadhaidh.

Cha bhith sinn a’ bruidhinn mun chiad dhà. Faodar duilgheadas bathar-cruaidh a rèiteachadh gu sìmplidh: feumaidh tu a h-uile dad a dhùblachadh. Mas e diosgan a tha seo, feumaidh na diosgan a bhith air an cruinneachadh ann an RAID; mas e frithealaiche a tha seo, feumaidh am frithealaiche a bhith air a dhùblachadh; ma tha bun-structar lìonra agad, feumaidh tu dàrna leth-bhreac de bhun-structair an lìonraidh a thoirt seachad, is e sin, bheir thu leat e agus dùblachadh e. Agus ma dh’ fhailicheas rudeigin, gluaisidh tu gu cumhachd a ghleidheadh. Tha e duilich dad a bharrachd a ràdh an seo.

Is e an dàrna fear fàilligeadh seirbheisean taobh a-muigh. Airson a 'mhòr-chuid, chan eil an siostam na dhuilgheadas idir, ach chan ann dhuinne. Leis gu bheil sinn a 'giullachd phàighidhean, tha sinn nar cruinneachaidh a tha a' seasamh eadar an neach-cleachdaidh (a chuireas a-steach dàta a 'chairt aige) agus bancaichean, siostaman pàighidh (Visa, MasterCard, Mira, msaa). Tha ar seirbheisean taobh a-muigh (siostaman pàighidh, bancaichean) buailteach a bhith a’ fàiligeadh. Chan urrainn dhuinne no thusa (ma tha seirbheisean mar sin agad) buaidh a thoirt air seo.

Dè a nì thu an uairsin? Tha dà roghainn an seo. An toiseach, mas urrainn dhut, bu chòir dhut an t-seirbheis seo a dhùblachadh ann an dòigh air choireigin. Mar eisimpleir, mas urrainn dhuinn, bidh sinn a’ gluasad trafaic bho aon sheirbheis gu seirbheis eile: mar eisimpleir, chaidh cairtean a phròiseasadh tro Sberbank, tha duilgheadasan aig Sberbank - bidh sinn a’ gluasad trafaic [gu cumhach] gu Raiffeisen. Is e an dàrna rud as urrainn dhuinn a dhèanamh a bhith mothachail air fàiligeadh seirbheisean taobh a-muigh gu math luath, agus mar sin bruidhnidh sinn mu astar freagairt san ath phàirt den aithisg.

Gu dearbh, de na ceithir sin, is urrainn dhuinn gu sònraichte buaidh a thoirt air atharrachadh dreachan bathar-bog - ceumannan a ghabhail a bheir piseach air an t-suidheachadh ann an co-theacsa cleachdadh agus ann an co-theacsa fàs spreadhaidh ann an luchd. Gu fìrinneach, is e sin a rinn sinn. Seo, a-rithist, nota beag...

De na ceithir duilgheadasan sin, thèid grunn fhuasgladh sa bhad ma tha sgòth agad. Ma tha thu anns na sgòthan Microsoft Azhur, Ozone, no ma chleachdas tu na sgòthan againn, bho Yandex no Mail, an uairsin co-dhiù thig mì-ghnàthachadh bathar-cruaidh gu bhith na dhuilgheadas dhaibh agus bidh a h-uile dad ceart dhut sa bhad ann an co-theacsa dìth bathar-cruaidh.

Is e companaidh rud beag neo-ghnàthach a th’ annainn. An seo tha a h-uile duine a 'bruidhinn mu dheidhinn "Kubernets", mu sgòthan - chan eil "Kubernets" no sgòthan againn. Ach tha racaichean de bhathar-cruaidh againn ann am mòran ionadan dàta, agus feumaidh sinn a bhith beò air a’ bhathar-cruaidh seo, feumaidh sinn a bhith cunntachail airson a h-uile càil. Mar sin, bruidhnidh sinn sa cho-theacsa seo. Mar sin, mu na duilgheadasan. Chaidh a’ chiad dhà a thoirt a-mach à camagan.

Ag atharrachadh an dreach bathar-bog. Bunait

Chan eil cothrom aig an luchd-leasachaidh againn air cinneasachadh. Carson a tha sin? Is e dìreach gu bheil sinn le teisteanas PCI DSS, agus gu sìmplidh chan eil còir aig an luchd-leasachaidh againn faighinn a-steach don “bhathar”. Sin e, ùine. Idir idir. Mar sin, tha uallach leasachaidh a’ tighinn gu crìch dìreach aig an àm nuair a bhios leasachadh a’ cur a-steach an togalach airson a leigeil ma sgaoil.

Is e an dàrna bunait a th’ againn, a tha cuideachd gar cuideachadh gu mòr, às aonais eòlas gun samhail. Tha mi an dòchas gu bheil e an aon rud dhutsa. Oir mura h-eil seo fìor, bidh duilgheadasan agad. Bidh duilgheadasan ag èirigh nuair nach eil an t-eòlas gun samhail seo an làthair aig an àm cheart san àite cheart. Canaidh sinn gu bheil aon neach agad aig a bheil fios mar a chleachdas tu pàirt sònraichte - chan eil an neach ann, tha e air saor-làithean no tinn - sin e, tha duilgheadasan agad.

Agus an treas bonn gus an tàinig sinn. Thàinig sinn thuige tro phian, fuil, deòir - thàinig sinn chun cho-dhùnadh gu bheil mearachdan ann an gin de na togalaichean againn, eadhon ged a tha e saor bho mhearachdan. Cho-dhùin sinn seo dhuinn fhìn: nuair a chleachdas sinn rudeigin, nuair a chuireas sinn rudeigin a-steach gu cinneasachadh, tha togalach againn le mearachdan. Tha sinn air na riatanasan a chruthachadh a dh’ fheumas an siostam againn a shàsachadh.

Riatanasan airson an tionndadh bathar-bog atharrachadh

Tha trì riatanasan ann:

• Feumaidh sinn an cleachdadh a thoirt air ais gu sgiobalta.
• Feumaidh sinn a’ bhuaidh a th’ aig cleachdadh neo-shoirbheachail a lughdachadh.
• Agus feumaidh sinn a bhith comasach air cleachdadh gu sgiobalta aig an aon àm.
  Dìreach san òrdugh sin! Carson? Air sgàth, an toiseach, nuair a bhios tu a’ cleachdadh dreach ùr, chan eil astar cudromach, ach tha e cudromach dhutsa, ma thèid rudeigin ceàrr, gun till thu air ais gu sgiobalta agus nach bi ach glè bheag de bhuaidh agad. Ach ma tha seata de dhreachan agad ann an riochdachadh, airson a bheil e coltach gu bheil mearachd ann (a-mach às an gorm, cha robh cleachdadh ann, ach tha mearachd ann) - tha astar an cleachdadh às deidh sin cudromach dhut. Dè a rinn sinn gus coinneachadh ris na h-iarrtasan sin? Chleachd sinn air an dòigh-obrach a leanas:

  
  
  Tha e gu math aithnichte, cha do chruthaich sinn a-riamh e - is e seo cleachdadh Gorm / Uaine. Dè th' ann? Feumaidh leth-bhreac a bhith agad airson gach buidheann de luchd-frithealaidh air a bheil na h-aplacaidean agad air an stàladh. Tha an leth-bhreac “blàth”: chan eil trafaic ann, ach aig àm sam bith faodar an trafaic seo a chuir chun leth-bhreac seo. Tha an tionndadh roimhe seo anns a' lethbhreac seo. Agus aig àm an cleachdadh, bidh thu a’ sgaoileadh a’ chòd gu leth-bhreac neo-ghnìomhach. An uairsin tionndaidhidh tu pàirt den trafaic (no a h-uile càil) chun dreach ùr. Mar sin, gus an trafaic atharrachadh bhon t-seann dreach chun an fhear ùr, feumaidh tu dìreach aon ghnìomh a dhèanamh: feumaidh tu an cothromachadh atharrachadh anns an t-sruth, atharraich an stiùireadh - bho aon suas an abhainn gu fear eile. Tha seo gu math goireasach agus a ’fuasgladh na duilgheadas a thaobh atharrachadh luath agus gluasad air ais gu sgiobalta.

  An seo is e am fuasgladh don dàrna ceist lughdachadh: chan urrainn dhut ach pàirt den trafaic agad a chuir gu loidhne ùr, gu loidhne le còd ùr (leig leis a bhith, mar eisimpleir, 2%). Agus chan eil an 2% seo 100%! Ma chaill thu 100% den trafaic agad mar thoradh air cleachdadh neo-shoirbheachail, tha sin eagallach; ma chaill thu 2% den trafaic agad, tha sin mì-thlachdmhor, ach chan eil e eagallach. A bharrachd air an sin, is dòcha nach mothaich luchd-cleachdaidh eadhon seo, oir ann an cuid de chùisean (chan ann gu h-iomlan) thèid an aon neach-cleachdaidh, le putadh air F5, a thoirt gu dreach obrach eile.

  Cleachdadh gorm/uaine. Ruith

  Ach, chan eil a h-uile dad cho sìmplidh “Cleachdadh Gorm / Uaine”... Faodar na pàirtean againn uile a roinn ann an trì buidhnean:

  • is e seo an aghaidh (duilleagan pàighidh a chì ar teachdaichean);
  • cridhe giollachd;
  • adapter airson a bhith ag obair le siostaman pàighidh (bancaichean, MasterCard, Visa ...).

  Agus tha nuance an seo - tha an nuance na laighe anns an t-slighe eadar na loidhnichean. Ma tha thu dìreach ag atharrachadh 100% den trafaic, chan eil na duilgheadasan sin agad. Ach ma tha thu airson 2% atharrachadh, tòisichidh tu a’ faighneachd cheistean: “Ciamar a nì thu seo?” Tha an rud as sìmplidh dìreach: faodaidh tu Round Robin a stèidheachadh ann an nginx le roghainn air thuaiream, agus tha 2% agad air an taobh chlì, 98% air an taobh cheart. Ach chan eil seo an-còmhnaidh freagarrach.

  Mar eisimpleir, anns a 'chùis againn, bidh neach-cleachdaidh ag eadar-obrachadh leis an t-siostam le barrachd air aon iarrtas. Tha seo àbhaisteach: 2, 3, 4, 5 iarrtas - faodaidh na siostaman agad a bhith mar an ceudna. Agus ma tha e cudromach dhutsa gun tig a h-uile iarrtas bhon neach-cleachdaidh chun an aon loidhne air an tàinig a’ chiad iarrtas, no (dàrna puing) thig gach iarrtas bhon neach-cleachdaidh chun loidhne ùr às deidh an suidse (dh’ fhaodadh e a bhith air tòiseachadh ag obair na bu thràithe leis an siostam, ron tionndadh), - an uairsin chan eil an cuairteachadh air thuaiream seo freagarrach dhut. An uairsin tha na roghainnean a leanas ann:

  
  
  Tha a 'chiad roghainn, as sìmplidh, stèidhichte air crìochan bunaiteach an neach-dèiligidh (IP Hash). Tha IP agad, agus bidh thu ga roinn bho dheas gu clì le seòladh IP. An uairsin obraichidh an dàrna cùis a mhìnich mi dhut, nuair a thachair an cleachdadh, dh’ fhaodadh an neach-cleachdaidh tòiseachadh ag obair leis an t-siostam agad mar-thà, agus bhon mhionaid a thèid a chleachdadh thèid a h-uile iarrtas gu loidhne ùr (chun an aon fhear, can).

  Mura h-eil seo freagarrach dhut airson adhbhar air choireigin agus feumaidh tu iarrtasan a chuir chun loidhne far an tàinig a’ chiad iarrtas aig a’ chleachdaiche, tha dà roghainn agad...
  A’ chiad roghainn: faodaidh tu nginx+ pàighte a cheannach. Tha uidheamachd seiseanan Sticky ann, a bhios, air iarrtas tùsail an neach-cleachdaidh, a’ sònrachadh seisean don neach-cleachdaidh agus ga cheangal ri fear no fear eile shuas an abhainn. Thèid a h-uile iarrtas cleachdaiche às deidh sin taobh a-staigh beatha an t-seisein a chuir chun aon taobh shuas an abhainn far an deach an seisean a phostadh.

  Cha robh seo freagarrach dhuinn oir bha nginx cunbhalach againn mu thràth. Chan e atharrachadh gu nginx + gu bheil e daor, is e dìreach gu robh e rudeigin goirt dhuinn agus nach robh e gu math ceart. Cha do dh’obraich “Seiseanan Bata”, mar eisimpleir, dhuinne airson an adhbhair shìmplidh nach eil “Seiseanan Bata” a’ ceadachadh slighe stèidhichte air “An dàrna cuid no”. An sin is urrainn dhut na bhios sinn “Sticks Sessions” a’ dèanamh a shònrachadh, mar eisimpleir, le seòladh IP no le seòladh IP agus briosgaidean no le postparameter, ach tha “An dàrna cuid no” nas toinnte an sin.

  Mar sin, thàinig sinn chun cheathramh roghainn. Ghabh sinn nginx air steroids (tha seo fosgailte) - is e seo an aon nginx, a tha cuideachd a 'toirt taic do bhith a' toirt a-steach na sgriobtaichean mu dheireadh. Faodaidh tu sgriobt mu dheireadh a sgrìobhadh, thoir “fois fhosgailte” dha, agus thèid an sgriobt mu dheireadh seo a chuir gu bàs nuair a thig iarrtas neach-cleachdaidh.

  Agus sgrìobh sinn, gu dearbh, tha a leithid de sgriobt, a’ suidheachadh “openresti” dhuinn fhìn agus anns an sgriobt seo bidh sinn a’ rèiteach 6 diofar pharaimearan le concatenation “Or”. A rèir làthaireachd aon no paramadair eile, tha fios againn gun tàinig an neach-cleachdaidh gu aon duilleag no fear eile, aon loidhne no tè eile.

  Cleachdadh gorm/uaine. Buannachdan agus eas-bhuannachdan

  Gu dearbh, is dòcha gu robh e comasach a dhèanamh beagan nas sìmplidh (cleachd na h-aon “Seiseanan Gluasadach”), ach tha an leithid de nuance againn cuideachd nach e a-mhàin gu bheil an neach-cleachdaidh ag eadar-obrachadh leinn taobh a-staigh frèam aon ghiollachd de aon ghnothach ... Ach bidh siostaman pàighidh cuideachd ag eadar-obrachadh leinn: Às deidh dhuinn an gnothach a phròiseasadh (le bhith a’ cur iarrtas chun t-siostam pàighidh), gheibh sinn cùl-taic.
  Agus canaidh sinn, mas urrainn dhuinn taobh a-staigh ar cuairte seòladh IP an neach-cleachdaidh a chuir air adhart anns a h-uile iarrtas agus luchd-cleachdaidh a roinn stèidhichte air an t-seòladh IP, chan innis sinn don aon “Visa”: “Dude, tha sinn nar companaidh retro, tha sinn a’ coimhead coltach. a bhith eadar-nàiseanta (air an làrach-lìn agus anns an Ruis)... Feuch an toir thu dhuinn seòladh IP an neach-cleachdaidh ann an raon a bharrachd, tha am protocol agad àbhaisteach”! Tha e soilleir nach aontaich iad.

  
  
  Mar sin, cha do dh'obraich seo dhuinn - rinn sinn fosgailteachd. A rèir sin, le bhith a’ seòladh fhuair sinn rudeigin mar seo:

  Tha na buannachdan agus na h-eas-bhuannachdan aig cleachdadh Gorm/Uaine, a rèir sin.

  Dà eas-bhuannachdan:

  • feumaidh tu dragh a chur air slighe;
  • Is e an dàrna prìomh eas-bhuannachd cosgais.

  Feumaidh tu a dhà uimhir de luchd-frithealaidh, feumaidh tu a dhà uimhir de ghoireasan obrachaidh, feumaidh tu a dhà uimhir de oidhirp a dhèanamh gus an sù iomlan seo a chumail suas.

  Co-dhiù, am measg nam buannachdan tha aon rud eile nach do dh’ ainmich mi roimhe: tha tèarmann agad gun fhios nach bi luchdan a’ fàs. Ma tha fàs spreadhaidh agad ann an luchd, tha àireamh mhòr de luchd-cleachdaidh agad, an uairsin bidh thu dìreach a’ toirt a-steach an dàrna loidhne anns an cuairteachadh 50 gu 50 - agus tha frithealaichean x2 agad sa bhuidheann agad sa bhad gus am faigh thu fuasgladh air an duilgheadas a thaobh barrachd luchd-frithealaidh a bhith agad.

  Ciamar a nì thu cleachdadh luath?

  Bhruidhinn sinn mu mar a dh ’fhuasglas sinn an duilgheadas a thaobh lughdachadh agus gluasad air ais gu sgiobalta, ach tha a’ cheist ann fhathast: “Ciamar a chleachdas tu gu sgiobalta?”

  
  
  Tha e goirid agus sìmplidh an seo.

  • Feumaidh siostam CD a bhith agad (Lìbhrigeadh Leantainneach) - chan urrainn dhut a bhith beò às aonais. Ma tha aon fhrithealaiche agad, faodaidh tu a chleachdadh le làimh. Tha timcheall air mìle gu leth frithealaiche againn agus mìle gu leth làmh, gu dearbh - is urrainn dhuinn roinn meud an t-seòmair seo a chuir dìreach airson a chuir a-steach.
  • Feumaidh an cleachdadh a bhith co-shìnte. Ma tha an cleachdadh sreathach agad, tha a h-uile dad dona. Tha aon fhrithealaiche àbhaisteach, bidh thu a’ cleachdadh mìle gu leth frithealaiche fad an latha.
  • A-rithist, airson luathachadh, is dòcha nach eil seo riatanach tuilleadh. Rè cleachdadh, mar as trice bidh am pròiseact air a thogail. Tha pròiseact lìn agad, tha pàirt aghaidh ann (bidh tu a’ dèanamh pasgan lìn an sin, bidh thu a’ cur ri chèile npm - rudeigin mar sin), agus tha am pròiseas seo, ann am prionnsapal, geàrr-ùine - 5 mionaidean, ach faodaidh na 5 mionaidean sin bi èiginneach. Sin as coireach, mar eisimpleir, nach bi sinn a’ dèanamh sin: thug sinn air falbh na 5 mionaidean sin, bidh sinn a’ cleachdadh artifacts.

    Dè a th’ ann an artifact? Is e togail cruinn a th’ ann an artifact anns a bheil a h-uile pàirt cruinneachaidh air a chrìochnachadh mu thràth. Bidh sinn a’ stòradh an artifact seo ann an stòradh artifact. Aig aon àm chleachd sinn dà stòradh mar sin - b’ e Nexus a bh’ ann agus a-nis jFrog Artiffactory) Chleachd sinn “Nexus” an toiseach oir thòisich sinn air an dòigh-obrach seo a chleachdadh ann an tagraidhean java (bha e iomchaidh gu math). An uairsin chuir iad cuid de na h-aplacaidean sgrìobhte ann am PHP a-steach an sin; agus cha robh “Nexus” freagarrach tuilleadh, agus mar sin thagh sinn jFrog Artefactory, as urrainn cha mhòr a h-uile càil a dhèanamh. Tha sinn eadhon air a thighinn chun na h-ìre gu bheil sinn anns an stòr artifact seo a’ stòradh ar pasganan dà-chànanach a bhios sinn a’ tional airson frithealaichean.

  Fàs luchdan spreadhaidh

  Bhruidhinn sinn mu bhith ag atharrachadh an dreach bathar-bog. Is e an ath rud a th’ againn àrdachadh spreadhaidh san luchd. An seo, is dòcha gu bheil mi a’ ciallachadh le fàs spreadhaidh den luchd chan e sin an rud ceart...

  Sgrìobh sinn siostam ùr - tha e stèidhichte air seirbheis, fasanta, brèagha, luchd-obrach anns a h-uile àite, ciudha anns a h-uile àite, asyncronach anns a h-uile àite. Agus ann an leithid de shiostaman, faodaidh dàta sruthadh tro shruthan eadar-dhealaichte. Airson a 'chiad ghnothach, faodar an 1mh, an 3mh, an 10mh neach-obrach a chleachdadh, airson an dàrna gnothach - an 2na, an 4mh, an 5mh. Agus an-diugh, canaidh sinn, sa mhadainn tha sruth dàta agad a bhios a’ cleachdadh a’ chiad triùir luchd-obrach, agus air an fheasgar bidh e ag atharrachadh gu mòr, agus bidh a h-uile càil a’ cleachdadh an triùir luchd-obrach eile.

  Agus an seo tha e a ’tionndadh a-mach gum feum thu an luchd-obrach a sgèileadh ann an dòigh air choreigin, feumaidh tu dòigh air choireigin a dhèanamh air na seirbheisean agad, ach aig an aon àm casg a chuir air bloat ghoireasan.

  
  
  Tha sinn air na riatanasan againn a mhìneachadh. Tha na riatanasan sin gu math sìmplidh: gum bi lorg seirbheis, parameterization - tha a h-uile dad àbhaisteach airson a bhith a’ togail a leithid de shiostaman scalable, ach a-mhàin aon phuing - ìsleachadh ghoireasan. Thuirt sinn nach eil sinn deiseil airson goireasan a chur am meud gus am bi na frithealaichean a’ teasachadh an èadhair. Ghabh sinn "Consul", ghabh sinn "Nomad", a tha a 'stiùireadh ar luchd-obrach.

  Carson a tha seo na dhuilgheadas dhuinn? Leigamaid air ais beagan. Tha timcheall air 70 siostam pàighidh againn a-nis air ar cùlaibh. Anns a 'mhadainn, trafaig a' dol tro Sberbank, an uair sin thuit Sberbank, mar eisimpleir, agus tha sinn ga atharrachadh gu siostam pàighidh eile. Bha 100 neach-obrach againn ro Sberbank, agus às deidh sin feumaidh sinn àrdachadh mòr a thoirt air 100 neach-obrach airson siostam pàighidh eile. Agus tha e ion-mhiannaichte gun tachair seo uile às aonais com-pàirt daonna. Oir ma tha com-pàirteachadh daonna ann, bu chòir innleadair a bhith na shuidhe an sin 24/7, nach bu chòir a bhith a ’dèanamh seo ach, leis gu bheil fàilligidhean mar sin, nuair a tha 70 siostam air do chùlaibh, a’ tachairt gu cunbhalach.

  Mar sin, thug sinn sùil air Nomad, aig a bheil IP fosgailte, agus sgrìobh sinn an rud againn fhìn, Scale-Nomad - ScaleNo, a bhios a’ dèanamh timcheall air na leanas: bidh e a’ cumail sùil air fàs a’ chiudha agus a’ lughdachadh no ag àrdachadh an àireamh de luchd-obrach a rèir an daineamaigs. den ciudha. Nuair a rinn sinn e, smaoinich sinn: "Is dòcha gun urrainn dhuinn stòr fhosgladh?" An uairsin choimhead iad oirre - bha i cho sìmplidh ri dà kopecks.

  Gu ruige seo chan eil sinn air a bhith fosgailte, ach ma tha e gu h-obann às deidh na h-aithisg, às deidh dhut tuigsinn gu bheil feum agad air a leithid, tha feum agad air, tha an luchd-aithne agam anns an t-sleamhnag mu dheireadh - feuch an sgrìobh thu thugam. Ma tha co-dhiù 3-5 neach ann, bheir sinn taic dha.

  
  
  Ciamar a tha e ag obair? Bheir sinn sùil! A 'coimhead air adhart: air an taobh chlì tha pìos sgrùdaidh againn: is e seo aon loidhne, aig a' mhullach tha àm giollachd tachartais, sa mheadhan tha an àireamh de ghnothaichean, aig a 'bhonn tha an àireamh de luchd-obrach.

  Ma sheallas tu, tha glitch san dealbh seo. Air a 'chlàr gu h-àrd, thuit aon de na clàran ann an 45 diogan - chaidh aon de na siostaman pàighidh sìos. Sa bhad, chaidh trafaic a thoirt a-steach ann an 2 mhionaid agus thòisich an ciudha a’ fàs air siostam pàighidh eile, far nach robh luchd-obrach ann (cha do chleachd sinn goireasan - air an làimh eile, chuir sinn às don ghoireas gu ceart). Cha robh sinn airson teasachadh - bha àireamh as lugha ann, timcheall air 5-10 neach-obrach, ach cha b’ urrainn dhaibh dèiligeadh.

  Tha an graf mu dheireadh a’ sealltainn “croit”, a tha dìreach a’ ciallachadh gun do dhùblaich “Skaleno” an t-suim seo. Agus an uairsin, nuair a thuit an graf beagan, lughdaich e e beagan - chaidh an àireamh de luchd-obrach atharrachadh gu fèin-ghluasadach. Sin mar a tha an rud seo ag obair. Bhruidhinn sinn mu phuing àireamh 2 - “Mar a gheibh thu cuidhteas adhbharan gu sgiobalta.”

  A' cumail sùil. Ciamar a dh'aithnicheas tu an duilgheadas gu luath?

  A-nis is e a’ chiad phuing “Ciamar a dh’ aithnicheas tu an duilgheadas gu sgiobalta? ” A’ cumail sùil! Feumaidh sinn rudan sònraichte a thuigsinn gu sgiobalta. Dè na rudan a bu chòir dhuinn a thuigsinn gu sgiobalta?

  
  
  Trì rudan!

  • Feumaidh sinn coileanadh ar goireasan fhèin a thuigsinn agus a thuigsinn gu sgiobalta.
  • Feumaidh sinn fàilligidhean a thuigsinn gu sgiobalta agus sùil a chumail air coileanadh shiostaman a tha taobh a-muigh dhuinn.
  • Is e an treas puing a bhith ag aithneachadh mhearachdan loidsigeach. Seo nuair a bhios an siostam ag obair dhut, tha a h-uile dad àbhaisteach a rèir a h-uile taisbeanair, ach thèid rudeigin ceàrr.

  Is dòcha nach innis mi dhut dad a tha fionnar an seo. Bidh mi nam Chaiptean Obvious. Choimhead sinn airson na bha air a’ mhargaidh. Tha “sùgh spòrsail” againn. Seo an seòrsa sù a th’ againn a-nis:

  
  
  Bidh sinn a’ cleachdadh Zabbix airson sùil a chumail air bathar-cruaidh, gus sùil a chumail air prìomh chomharran frithealaichean. Bidh sinn a’ cleachdadh Okmeter airson stòran-dàta. Bidh sinn a’ cleachdadh “Grafana” agus “Prometheus” airson a h-uile taisbeanair eile nach eil a’ freagairt air a’ chiad dhà, cuid le “Grafana” agus “Prometheus”, agus cuid le “Grafana” le “Influx” agus Telegraf.

  O chionn bliadhna bha sinn airson New Relic a chleachdadh. Rud fionnar, is urrainn dha a h-uile càil a dhèanamh. Ach cho mòr 's as urrainn dhi a h-uile càil a dhèanamh, tha i cho daor. Nuair a dh’ fhàs sinn gu àireamh de 1,5 mìle frithealaiche, thàinig neach-reic thugainn agus thuirt e: “Nì sinn aonta airson na h-ath bhliadhna.” Thug sinn sùil air a’ phrìs agus thuirt sinn nach robh, cha dèan sinn sin. A-nis gu bheil sinn a’ trèigsinn New Relic, tha timcheall air 15 frithealaichean againn air fhàgail fo sgrùdadh New Relic. Thionndaidh a’ phrìs a-mach gu bhith gu tur fiadhaich.

  Agus tha aon inneal ann a chuir sinn an gnìomh sinn fhìn - is e seo Debugger. An toiseach thug sinn “Bagger” air, ach an uairsin chaidh tidsear Beurla seachad, a’ gàireachdainn gu fiadhaich, agus thug e “Debagger” air. Dè th' ann? Is e inneal a tha seo a bhios, gu dearbh, ann an 15-30 diogan air gach pàirt, mar “bogsa dubh” den t-siostam, a’ ruith dheuchainnean air coileanadh iomlan a ’phàirt.

  Mar eisimpleir, ma tha duilleag taobh a-muigh (duilleag pàighidh), bidh e dìreach ga fosgladh agus a ’coimhead air mar a bu chòir dha coimhead. Ma tha seo ga ghiullachd, bidh e a’ cur “gnìomh” deuchainn agus a’ dèanamh cinnteach gun ruig an “gnìomh” seo. Mas e ceangal a tha seo ri siostaman pàighidh, bidh sinn a’ losgadh iarrtas deuchainn a rèir sin, far an urrainn dhuinn, agus a’ faicinn gu bheil a h-uile dad ceart gu leòr leinn.

  Dè na comharran a tha cudromach airson sgrùdadh?

  Dè a bhios sinn a’ cumail sùil sa mhòr-chuid? Dè na comharran a tha cudromach dhuinn?

  
  

  • Tha ùine freagairt / RPS air beulaibh na chomharra fìor chudromach. Fhreagair e sa bhad gu bheil rudeigin ceàrr ort.
  • An àireamh de theachdaireachdan giullaichte anns a h-uile ciudha.
  • Àireamh de luchd-obrach.
  • Slatan-tomhais ceartais bunaiteach.

  Is e am puing mu dheireadh meatrach “gnìomhachas”, “gnìomhachas”. Ma tha thu airson sùil a chumail air an aon rud, feumaidh tu aon no dhà a mhìneachadh a tha nam prìomh chomharran dhut. Is e ar meatrach trochur (is e seo an co-mheas eadar an àireamh de ghnothaichean soirbheachail agus an sruth malairt iomlan). Ma dh'atharraicheas rudeigin ann an eadar-ama de 5-10-15 mionaidean, tha e a 'ciallachadh gu bheil duilgheadasan againn (ma dh'atharraicheas e gu mòr).

  Tha cò ris a tha e coltach dhuinne na eisimpleir de aon de na bùird againn:

  
  
  Air an taobh chlì tha 6 grafaichean, tha seo a rèir nan loidhnichean - an àireamh de luchd-obrach agus an àireamh de theachdaireachdan anns na ciudha. Air an taobh dheas - RPS, RTS. Gu h-ìosal tha an aon mheatrach “gnìomhachas”. Agus anns a’ mheatrach “gnìomhachas” chì sinn sa bhad gun deach rudeigin ceàrr anns an dà ghraf mheadhanach... Seo dìreach siostam eile a tha air ar cùlaibh a tha air tuiteam.

  B’ e an dàrna rud a bha againn ri dhèanamh sùil a chumail air tuiteam nan siostaman pàighidh bhon taobh a-muigh. An seo ghabh sinn OpenTracing - inneal, àbhaisteach, paradigm a leigeas leat siostaman sgaoilte a lorg; agus dh'atharraicheadh ​​beagan. Tha am paradigm àbhaisteach OpenTracing ag ràdh gun tog sinn lorg airson gach iarrtas fa leth. Cha robh feum againn air seo, agus phaisg sinn e ann an geàrr-chunntas, lorg cruinneachaidh. Rinn sinn inneal a leigeas leinn sùil a chumail air astar nan siostaman air ar cùlaibh.

  
  
  Tha an graf a 'sealltainn dhuinn gun do thòisich aon de na siostaman pàighidh a' freagairt ann an 3 diogan - tha duilgheadasan againn. A bharrachd air an sin, bidh an rud seo a 'freagairt nuair a thòisicheas duilgheadasan, le eadar-ama de 20-30 diogan.

  Agus is e sgrùdadh loidsigeach an treas clas de mhearachdan sgrùdaidh.

  Gus a bhith onarach, cha robh fios agam dè a tharraing air an t-sleamhnag seo, oir bha sinn air a bhith a’ coimhead airson ùine mhòr air a’ mhargaidh airson rudeigin a bhiodh iomchaidh dhuinn. Cha do lorg sinn dad, agus mar sin bha againn ri dhèanamh sinn fhìn.

  
  
  Dè tha mi a’ ciallachadh le sgrùdadh loidsigeach? Uill, smaoinich: nì thu siostam dhut fhèin (mar eisimpleir, clon Tinder); rinn thu e, chuir thu air bhog e. Chuir am manaidsear soirbheachail Vasya Pupkin e air a’ fòn aige, chì e nighean an sin, is toil leatha i ... Bidh am manaidsear a’ dol sìos an staidhre, agus an uairsin a’ cnuasachadh: “Carson a tha an geàrd tèarainteachd Mikhalych seo a’ gàireachdainn cho tlachdmhor air? ”

  Ann an leithid de shuidheachaidhean... Dhuinne, tha an suidheachadh seo beagan eadar-dhealaichte, oir (sgrìobh mi) is e call cliù a tha seo a tha gu neo-dhìreach a’ leantainn gu call ionmhais. Tha an suidheachadh againn a chaochladh: dh’ fhaodadh sinn call ionmhasail dìreach fhulang - mar eisimpleir, ma rinn sinn gnothach cho soirbheachail, ach cha robh e soirbheachail (no a chaochladh). B’ fheudar dhomh an inneal agam fhìn a sgrìobhadh a bhios a’ cumail sùil air an àireamh de ghnothaichean soirbheachail thar ùine a’ cleachdadh comharran gnìomhachais. Cha do lorg mi dad air a’ mhargaidh! Is e seo dìreach am beachd a bha mi airson a chuir an cèill. Chan eil dad air a’ mhargaidh airson fuasgladh fhaighinn air an t-seòrsa duilgheadas seo.

  Bha seo mu dheidhinn mar a dh'aithnicheas tu an duilgheadas gu luath.

  Mar a nì thu co-dhùnadh air na h-adhbharan airson cleachdadh

  Is e an treas buidheann de dhuilgheadasan a dh’ fhuasglas sinn às deidh dhuinn an duilgheadas a chomharrachadh, às deidh dhuinn faighinn cuidhteas e, bhiodh e math an adhbhar airson leasachadh a thuigsinn, airson deuchainn, agus rudeigin a dhèanamh mu dheidhinn. A rèir sin, feumaidh sinn sgrùdadh a dhèanamh, feumaidh sinn na logaichean a thogail.

  
  
  Ma tha sinn a 'bruidhinn mu dheidhinn logaichean (b' e logaichean am prìomh adhbhar), tha a 'mhòr-chuid de na logaichean againn ann an ELK Stack - tha an aon rud aig cha mhòr a h-uile duine. Dha cuid, is dòcha nach eil e ann an ELK, ach ma sgrìobhas tu logaichean ann an gigabytes, an uairsin nas luaithe no nas fhaide thig thu gu ELK. Bidh sinn gan sgrìobhadh ann an terabytes.

  
  
  Tha duilgheadas an seo. Chàirich sinn e, cheartaich sinn mearachd an neach-cleachdaidh, thòisich sinn a’ cladhach na bha ann, dhìrich sinn a-steach do Kibana, chaidh sinn a-steach don ID malairt an sin agus fhuair sinn aodach-coise mar seo (a’ sealltainn tòrr). Agus gu dearbh chan eil dad soilleir anns an aodach-coise seo. Carson? Tha, a chionn 's nach eil e soilleir dè am pàirt a bhuineas don neach-obrach, dè am pàirt a bhuineas don phàirt sin. Agus aig an àm sin thuig sinn gu robh feum againn air lorg - an aon OpenTracing air an do bhruidhinn mi.

  Bha sinn a 'smaoineachadh seo o chionn bliadhna, thionndaidh sinn ar n-aire chun a' mhargaidh, agus bha dà inneal ann - "Zipkin" agus "Jaeger". Tha "Jager" gu dearbh na oighre ideòlach, na neach-leantainn ideòlach air "Zipkin". Tha a h-uile dad math ann an Zipkin, ach a-mhàin nach eil fios aige ciamar a thèid a chruinneachadh, chan eil fios aige ciamar a chuireas tu logaichean a-steach don lorg, dìreach lorg ùine. Agus thug “Jager” taic dha seo.

  Choimhead sinn air “Jager”: faodaidh tu tagraidhean ionnstramaid, faodaidh tu sgrìobhadh ann an Api (cha deach an inbhe Api airson PHP aig an àm sin, ge-tà, aontachadh - bha seo bliadhna air ais, ach a-nis tha e air aontachadh), ach an sin cha robh e dha-rìribh neach-dèiligidh. “Ceart gu leòr,” smaoinich sinn, agus sgrìobh an neach-dèiligidh againn fhèin. Dè fhuair sinn? Seo mar a tha e coltach:

  
  
  Ann an Jaeger, thèid rèisean a chruthachadh airson gach teachdaireachd. Is e sin, nuair a dh'fhosglas neach-cleachdaidh an siostam, chì e aon bhloca no dhà airson gach iarrtas a tha a 'tighinn a-steach (1-2-3 - an àireamh de dh'iarrtasan a tha a' tighinn a-steach bhon neach-cleachdaidh, an àireamh de bhlocaichean). Gus a dhèanamh nas fhasa do luchd-cleachdaidh, chuir sinn tagaichean ris na logaichean agus comharran ùine. Mar sin, ma thachras mearachd, comharraichidh an tagradh againn an log leis an taga Mearachd iomchaidh. Faodaidh tu sìoladh le taga Mearachd agus cha tèid ach rèisean anns a bheil am bloc seo le mearachd a thaisbeanadh. Seo cò ris a bhios e coltach ma leudaicheas sinn an rèis:

  
  
  Taobh a-staigh an rèis tha seata de lorgan. Anns a 'chùis seo, is iad sin trì comharran deuchainn, agus tha an treas lorg ag innse dhuinn gun do thachair mearachd. Aig an aon àm, an seo chì sinn lorg ùine: tha sgèile ùine againn aig a’ mhullach, agus chì sinn dè an ùine a chaidh seo no an loga sin a chlàradh.

  A rèir sin, chaidh cùisean gu math dhuinn. Sgrìobh sinn an leudachadh againn fhèin agus dh’fhosgail sinn e. Ma tha thu airson a bhith ag obair le lorg, ma tha thu airson a bhith ag obair le “Jager” ann am PHP, tha an leudachadh againn, fàilte a chleachdadh, mar a chanas iad:

  
  
  Tha an leudachadh seo againn - tha e na neach-dèiligidh airson an OpenTracing Api, tha e air a dhèanamh mar php-extention, is e sin, feumaidh tu a chruinneachadh agus a stàladh air an t-siostam. O chionn bliadhna cha robh dad eadar-dhealaichte ann. A-nis tha teachdaichean eile ann a tha coltach ri co-phàirtean. Seo e an urra riut fhèin: an dàrna cuid bidh thu a’ pumpadh a-mach na pàirtean le sgrìobhadair-ciùil, no bidh thu a’ cleachdadh leudachadh suas riut.

  Inbhean corporra

  Labhair sinn mu na tri àitheantaibh. Is i a’ cheathramh àithne dòighean-obrach a riaghailteachadh. Cò mu dheidhinn a tha seo? Tha e mu dheidhinn seo:

  
  
  Carson a tha am facal “corporra” an seo? Chan ann a chionn 's gur e companaidh mòr neo biùrocratach a th' annainn, chan eil! Bha mi airson am facal “corporra” a chleachdadh an seo anns a ’cho-theacsa gum bu chòir na h-inbhean fhèin a bhith aig a h-uile companaidh, a h-uile toradh, thusa nam measg. Dè na h-inbhean a th’ againn?

  
  

  • Tha riaghailtean cleachdadh againn. Chan eil sinn a’ gluasad àite sam bith às aonais, chan urrainn dhuinn. Bidh sinn gan cleachdadh timcheall air 60 uair san t-seachdain, is e sin, bidh sinn gan cleachdadh cha mhòr an-còmhnaidh. Aig an aon àm, tha sinn, mar eisimpleir, anns na riaghailtean cleachdadh taboo air cleachdadh Dihaoine - ann am prionnsapal, chan eil sinn a’ cleachdadh.
  • Feumaidh sinn sgrìobhainnean. Chan eil aon phàirt ùr a’ dol a-steach gu cinneasachadh mura h-eil sgrìobhainnean ann air a shon, eadhon ged a rugadh e fo pheann ar n-eòlaichean RnD. Feumaidh sinn stiùireadh cleachdadh bhuapa, mapa sgrùdaidh agus tuairisgeul garbh (uill, mar as urrainn do luchd-prògramaidh sgrìobhadh) air mar a tha am pàirt seo ag obair, mar a nì iad fuasgladh air.
  • Chan eil sinn a 'fuasgladh adhbhar na duilgheadas, ach an duilgheadas - na thuirt mi mu thràth. Tha e cudromach dhuinn an neach-cleachdaidh a dhìon bho dhuilgheadasan.
  • Tha fuadaichean againn. Mar eisimpleir, chan eil sinn ga mheas mar downtime ma chaill sinn 2% de thrafaig taobh a-staigh dà mhionaid. Gu bunaiteach chan eil seo air a ghabhail a-steach anns na staitistig againn. Ma tha e nas motha ann an teirmean sa cheud no sealach, bidh sinn a’ cunntadh mu thràth.
  • Agus bidh sinn an-còmhnaidh a’ sgrìobhadh postmortems. Ge bith dè a thachras dhuinn, bidh suidheachadh sam bith far an robh cuideigin modhail ann an cinneasachadh ri fhaicinn san post-mortem. Is e sgrìobhainn a th’ ann am postmortem anns a bheil thu a’ sgrìobhadh na thachair dhut, clàr-ama mionaideach, dè rinn thu airson a cheartachadh agus (is e bloc èigneachail a tha seo!) dè nì thu gus nach tachair seo san àm ri teachd. Tha seo riatanach agus riatanach airson mion-sgrùdadh às deidh sin.

  Dè a th’ air a mheas mar ùine downt?

  
  
  Dè a dh'adhbhraich seo uile?

  Dh’ adhbhraich seo gu robh (bha duilgheadasan sònraichte againn le seasmhachd, cha robh seo a’ freagairt air teachdaichean no sinne) thar nan 6 mìosan a dh’ fhalbh b’ e an comharra seasmhachd againn 99,97. Faodaidh sinn a ràdh nach eil seo gu mòr. Tha, tha rudeigin againn ri strì air a shon. Den t-slat-tomhais seo, tha timcheall air leth an t-seasmhachd, mar gum biodh, chan ann bhuainne, ach de bhalla-teine ​​​​an tagraidh lìn againn, a tha air beulaibh oirnn agus air a chleachdadh mar sheirbheis, ach chan eil dragh aig teachdaichean mu dheidhinn seo.

  Dh'ionnsaich sinn cadal air an oidhche. Mu dheireadh thall! O chionn sia mìosan cha b’ urrainn dhuinn. Agus air an nota seo leis na toraidhean, bu mhath leam aon nota a dhèanamh. An-raoir bha aithris mhìorbhaileach ann mun t-siostam smachd airson reactair niùclasach. Ma chluinneas na daoine a sgrìobh an siostam seo mi, na dìochuimhnich na thuirt mi mu dheidhinn “Chan e ùine downt a th’ ann an 2%. Dhaibh, tha 2% na ùine downt, eadhon ged a bhiodh e airson dà mhionaid!

  Sin e! Na ceistean agad.

  
  

  Mu dheidhinn cothromadairean agus imrich stòr-dàta

  Ceist bhon luchd-èisteachd (an-seo - B): - Feasgar math. Tapadh leibh gu mòr airson a leithid de aithisg rianachd! Ceist ghoirid mu do luchd-cothromachaidh. Dh’ainmich thu gu bheil WAF agad, is e sin, mar a tha mi ga thuigsinn, bidh thu a’ cleachdadh seòrsa de chothromachadh bhon taobh a-muigh ...

  EK: - Chan e, bidh sinn a’ cleachdadh ar seirbheisean mar chothromaiche. Anns a 'chùis seo, chan eil ann an WAF ach inneal dìon DDoS dhuinn.

  AT: - An urrainn dhut beagan fhaclan a ràdh mu luchd-cothromachaidh?

  EK: - Mar a thuirt mi mu thràth, is e seo buidheann de luchd-frithealaidh ann an openresty. Tha 5 buidhnean tèarmann againn a-nis a bhios a’ freagairt a-mhàin... is e sin, frithealaiche a bhios a’ ruith fosgailte a-mhàin, chan eil ann ach trafaic proxies. Mar sin, gus tuigse fhaighinn air na tha againn: tha sruth trafaic cunbhalach againn a-nis de cheudan megabits. Bidh iad a 'dèiligeadh, tha iad a' faireachdainn math, chan eil iad eadhon a 'cur dragh orra fhèin.

  AT: - Ceist shìmplidh cuideachd. Seo cleachdadh Gorm/Uaine. Dè nì thu, mar eisimpleir, le imrich stòr-dàta?

  EK: - Deagh cheist! Seall, ann an cleachdadh Gorm/Uaine tha ciudha fa leth againn airson gach loidhne. Is e sin, ma tha sinn a’ bruidhinn air ciudhaichean tachartais a thèid a ghluasad bho neach-obrach gu neach-obrach, tha ciudhaichean fa-leth ann airson an loidhne ghorm agus airson an loidhne uaine. Ma tha sinn a’ bruidhinn mun stòr-dàta fhèin, an uairsin rinn sinn a dh’aona ghnothach a chaolachadh sìos cho mòr ‘s a b’ urrainn dhuinn, ghluais sinn a h-uile càil gu practaigeach ann an ciudha; anns an stòr-dàta cha bhith sinn a’ stòradh ach stac de ghnothaichean. Agus tha an stac malairt againn an aon rud airson a h-uile loidhne. Leis an stòr-dàta sa cho-theacsa seo: chan eil sinn ga roinn ann an gorm is uaine, oir feumaidh fios a bhith aig an dà dhreach den chòd dè tha a’ tachairt leis a’ ghnothach.

  A chàirdean, tha duais bheag agam cuideachd airson ur brosnachadh - leabhar. Agus bu chòir dhomh a thoirt seachad airson a 'cheist as fheàrr.

  AT: - Halò. Mòran taing airson an aithris. Is i a’ cheist seo. Bidh thu a' cumail sùil air pàighidhean, bidh thu a' cumail sùil air na seirbheisean leis am bi thu a' conaltradh... Ach ciamar a nì thu sgrùdadh gus an tàinig duine dòigh air choireigin chun duilleag pàighidh agad, gun do rinn e pàigheadh, agus gun tug am pròiseact airgead dha? Is e sin, ciamar a nì thu sgrùdadh gu bheil am caismeachd ri fhaighinn agus air gabhail ris a’ ghairm air ais agad?

  EK: - Tha “Merchant” dhuinne sa chùis seo dìreach mar an aon sheirbheis bhon taobh a-muigh ris an t-siostam pàighidh. Bidh sinn a’ cumail sùil air astar freagairt a’ cheannaiche.

  Mu chrioptachadh stòr-dàta

  AT: - Halò. Tha ceist beagan co-cheangailte rium. Tha dàta mothachail PCI DSS agad. Bha mi airson faighinn a-mach ciamar a bhios tu a’ stòradh PANn ann an ciudha a dh’ fheumas tu gluasad a-steach? Am bi thu a’ cleachdadh crioptachadh sam bith? Agus tha seo a 'leantainn chun an dàrna ceist: a rèir PCI DSS, feumar an stòr-dàta ath-chrioptachadh bho àm gu àm gun fhios nach bi atharrachaidhean ann (a' cur às do luchd-rianachd, msaa) - dè a thachras do ruigsinneachd sa chùis seo?

  
  
  EK: - Ceist sgoinneil! An toiseach, cha bhith sinn a’ stòradh PANn ann an ciudha. Chan eil a 'chòir againn PAN a stòradh an àite sam bith ann an cruth soilleir, ann am prionnsabal, agus mar sin bidh sinn a' cleachdadh seirbheis shònraichte (ris an canar "Kademon") - is e seirbheis a tha seo nach dèan ach aon rud: bidh e a 'faighinn teachdaireachd mar chuir a-steach agus a' cur air falbh e. cuir a-mach teachdaireachd crioptaichte. Agus bidh sinn a’ stòradh a h-uile càil leis an teachdaireachd chrioptaichte seo. Mar sin, tha ar prìomh fhaid fo kilobyte, gus am bi seo fìor agus earbsach.

  AT: - A bheil feum agad air 2 kilobytes a-nis?

  EK: - Tha e coltach dìreach an-dè bha e 256... Uill, càite eile?!

  A rèir sin, is e seo a 'chiad fhear. Agus san dàrna h-àite, am fuasgladh a th’ ann, tha e a’ toirt taic don mhodh ath-chrioptachaidh - tha dà phaidhir de “keks” (iuchraichean), a tha a’ toirt seachad “decks” a tha a’ crioptachadh (is e iuchair na h-iuchraichean, tha deic mar thoradh air na h-iuchraichean a chrioptaicheas) . Agus ma thèid am modh-obrach a thòiseachadh (bidh e a 'tachairt gu cunbhalach, bho 3 mìosan gu ± cuid), bidh sinn a' luchdachadh sìos paidhir "cèicean" ùr, agus bidh sinn ag ath-chrioptachadh an dàta. Tha seirbheisean fa-leth againn a bhios a’ reubadh an dàta gu lèir agus a chrioptachadh ann an dòigh ùr; Tha an dàta air a stòradh ri taobh aithnichear na h-iuchrach leis a bheil e air a chrioptachadh. Mar sin, cho luath ‘s a chrioptaicheas sinn an dàta le iuchraichean ùra, sguabaidh sinn às an t-seann iuchair.

  Uaireannan feumar pàighidhean a dhèanamh le làimh ...

  AT: - Is e sin, ma tha ath-dhìoladh air ruighinn airson beagan obrachaidh, am bi thu fhathast ga dhì-chrioptachadh leis an t-seann iuchair?

  EK: - Tha.

  AT: - An uairsin aon cheist bheag eile. Nuair a thachras fàilligeadh, tuiteam no tachartas de sheòrsa air choreigin, feumar an gnothach a phutadh tron ​​​​ghnothach le làimh. Tha leithid de shuidheachadh ann.

  EK: - Tha, uaireannan.

  AT: - Cò às a gheibh thu an dàta seo? No am bi thu fhèin a’ dol don ghoireas stòraidh seo?

  EK: - Chan e, uill, gu dearbh, tha seòrsa de shiostam cùl-oifis againn anns a bheil eadar-aghaidh airson ar taic. Mura h-eil fios againn dè an inbhe anns a bheil an gnothach (mar eisimpleir, gus an do fhreagair an siostam pàighidh le ùine a-mach), chan eil fios againn air priori, is e sin, bidh sinn a’ sònrachadh an inbhe dheireannach a-mhàin le làn mhisneachd. Anns a 'chùis seo, bidh sinn a' sònrachadh a 'ghnothaich gu inbhe shònraichte airson làimhseachadh làimhe. Anns a 'mhadainn, an ath latha, cho luath' sa gheibh an taic fiosrachadh gu bheil a leithid de ghnothaichean fhathast anns an t-siostam pàighidh, bidh iad gan làimhseachadh le làimh san eadar-aghaidh seo.

  
  
  AT: - Tha ceist no dhà agam. Is e aon dhiubh a bhith a’ leantainn air adhart leis an raon PCI DSS: ciamar a chlàraicheas tu an cuairt aca? Tha a’ cheist seo air sgàth gum faodadh an leasaiche a bhith air dad a chuir anns na logaichean! An dàrna ceist: ciamar a chuireas tu a-mach hotfixes? Is e aon roghainn a th’ ann an làmhan san stòr-dàta, ach dh’ fhaodadh gum bi fuasgladh teth an-asgaidh ann - dè an dòigh-obrach a th’ ann? Agus is dòcha gu bheil an treas ceist co-cheangailte ri RTO, RPO. Bha an cothrom agad 99,97, faisg air ceithir nines, ach mar a tha mi ga thuigsinn, tha dàrna ionad dàta agad, treas ionad dàta, agus còigeamh ionad dàta ... Ciamar a nì thu sioncronadh orra, gan ath-riochdachadh, agus a h-uile càil eile?

  EK: - Feuch an tòisich sinn leis a 'chiad fhear. An e a’ chiad cheist a bh’ ann mu logaichean? Nuair a bhios sinn a’ sgrìobhadh logaichean, tha còmhdach againn a tha a’ falach a h-uile dàta mothachail. Bidh i a’ coimhead air an masg agus air na raointean a bharrachd. A rèir sin, tha na logaichean againn a’ tighinn a-mach le dàta falaichte mu thràth agus cuairt PCI DSS. Is e seo aon de na gnìomhan cunbhalach a chaidh a shònrachadh don roinn deuchainn. Feumaidh iad sgrùdadh a dhèanamh air gach gnìomh, a ’toirt a-steach na logaichean a bhios iad a’ sgrìobhadh, agus is e seo aon de na gnìomhan cunbhalach rè lèirmheasan còd, gus smachd a chumail air nach do sgrìobh an leasaiche rudeigin sìos. Bidh an roinn tèarainteachd fiosrachaidh a’ dèanamh sgrùdaidhean às deidh sin gu cunbhalach timcheall air aon uair san t-seachdain: thèid logaichean airson an latha mu dheireadh a ghabhail gu roghnach agus thèid an ruith tro inneal-anailisiche sònraichte bho luchd-frithealaidh deuchainn gus sgrùdadh a dhèanamh air a h-uile càil.
  Mu dheidhinn fuasglaidhean teth. Tha seo air a ghabhail a-steach anns na riaghailtean cleachdadh againn. Tha clàs air leth againn mu dheidhinn hotfixes. Tha sinn a’ creidsinn gum bi sinn a’ cleachdadh hotfixes timcheall a’ ghleoc nuair a bhios feum againn air. Cho luath ‘s a thèid an dreach a chruinneachadh, cho luath‘ s a thèid a ruith, cho luath ‘s a bhios artifact againn, tha rianadair siostam againn a tha fo dhleastanas air gairm bho thaic, agus bidh e ga chleachdadh aig an àm a tha feum air.

  Mu "ceithir nines". Tha am figear a tha sinn a-nis air a choileanadh dha-rìribh, agus rinn sinn ar dìcheall air a shon ann an ionad dàta eile. A-nis tha dàrna ionad dàta againn, agus tha sinn a’ tòiseachadh air an t-slighe eatorra, agus tha cùis ath-riochdachadh ionad dàta dha-rìribh na cheist nach eil cho beag. Dh'fheuch sinn ri fhuasgladh aig aon àm a 'cleachdadh diofar dhòighean: dh'fheuch sinn ris an aon "Tarantula" a chleachdadh - cha do dh'obraich e dhuinn, innsidh mi dhut anns a' bhad. Sin as coireach gun do chuir sinn crìoch air an “sens” òrdachadh le làimh. Gu dearbh, bidh gach tagradh san t-siostam againn a’ ruith an sioncronadh “atharrachadh - dèante” riatanach eadar ionadan dàta gu co-shìnte.

  AT: – Ma fhuair thu dàrna fear, carson nach d’ fhuair thu an treas fear? Leis nach eil eanchainn roinnte aig duine fhathast ...

  EK: - Ach chan eil Split Brain againn. Leis gu bheil gach tagradh air a stiùireadh le ioma-mhaighstir, chan eil e gu diofar dhuinn cò an t-ionad a thàinig an t-iarrtas. Tha sinn deiseil airson ma dh'fhàilligeas aon de na h-ionadan dàta againn (tha sinn an urra ri seo) agus ann am meadhan iarrtas neach-cleachdaidh a 'gluasad chun dàrna ionad dàta, tha sinn deiseil airson an neach-cleachdaidh seo a chall, gu dearbh; ach bidh iad sin nan aonadan, aonadan iomlan.

  AT: - Feasgar math. Mòran taing airson an aithris. Bhruidhinn thu mun debugger agad, a bhios a’ ruith cuid de ghnothaichean deuchainn ann an cinneasachadh. Ach innis dhuinn mu ghnothaichean deuchainn! Dè cho domhainn 'sa tha e a' dol?

  EK: - Bidh e a ’dol tro chearcall iomlan a’ phàirt gu lèir. Airson co-phàirt, chan eil eadar-dhealachadh sam bith eadar gnothach deuchainn agus gnothach cinneasachaidh. Ach bho shealladh loidsigeach, is e dìreach pròiseact air leth a tha seo san t-siostam, air nach eil ach gnothaichean deuchainn air an ruith.

  AT: - Càite an gearr thu dheth e? An seo chuir Core ...

  EK: - Tha sinn air cùl “Kor” anns a ’chùis seo airson gnothaichean deuchainn... Tha an leithid de rud againn ri slighe: tha fios aig “Kor” dè an siostam pàighidh airson a chuir - bidh sinn a ’cur gu siostam pàighidh meallta, a bheir dìreach comharra http agus Sin e.

  AT: - Innis dhomh, mas e do thoil e, an robh an tagradh agad sgrìobhte ann an aon monolith mòr, no an do gheàrr thu e ann an cuid de sheirbheisean no eadhon meanbh-sheirbheisean?

  EK: - Chan eil monolith againn, gu dearbh, tha tagradh againn a tha stèidhichte air seirbheis. Tha sinn a 'magadh gu bheil an t-seirbheis againn air a dhèanamh de monoliths - tha iad gu math mòr. Tha e duilich microservices a ghairm dheth, ach is iad sin seirbheisean anns am bi luchd-obrach innealan sgaoilte ag obair.

  Ma tha an t-seirbheis air an fhrithealaiche ann an cunnart...

  AT: - An uairsin tha an ath cheist agam. Eadhon ged a b ’e monolith a bh’ ann, thuirt thu fhathast gu bheil mòran de na frithealaichean sa bhad sin agad, bidh iad uile gu bunaiteach a ’giullachd dàta, agus is e a’ cheist: “Ma thachras co-rèiteachadh bho aon de na frithealaichean sa bhad no tagradh, ceangal fa leth sam bith , a bheil seòrsa de smachd ruigsinneachd aca? Cò dhiubh as urrainn dè a dhèanamh? Cò air am bu chòir dhomh fios a chur airson dè am fiosrachadh?

  
  
  EK: - Tha, gu cinnteach. Tha na riatanasan tèarainteachd gu math trom. An toiseach, tha gluasadan dàta fosgailte againn, agus chan eil anns na puirt ach an fheadhainn tro bheil sinn an dùil gluasad trafaic ro-làimh. Ma bhios co-phàirt a’ conaltradh ris an stòr-dàta (can, le Muskul) tro 5-4-3-2, cha bhith ach 5-4-3-2 fosgailte dha, agus cha bhi puirt eile agus stiùiridhean trafaic eile rim faighinn. A bharrachd air an sin, feumaidh tu tuigsinn gu bheil timcheall air 10 lùban tèarainteachd eadar-dhealaichte anns an riochdachadh againn. Agus eadhon ged a bha an tagradh ann an dòigh air choireigin, nar leigeadh Dia, cha bhith e comasach don neach-ionnsaigh faighinn gu consol riaghlaidh an fhrithealaiche, oir is e raon tèarainteachd lìonra eadar-dhealaichte a tha seo.

  AT: - Agus anns a 'cho-theacsa seo, is e an rud a tha nas inntinniche dhomh gu bheil cùmhnantan sònraichte agad le seirbheisean - dè as urrainn dhaibh a dhèanamh, tro na "gnìomhan" as urrainn dhaibh fios a chur gu chèile ... Agus ann an sruth àbhaisteach, bidh cuid de sheirbheisean sònraichte ag iarraidh cuid sreath, liosta de “ghnìomhan” air an taobh eile. Chan eil e coltach gu bheil iad a’ tionndadh gu daoine eile ann an suidheachadh àbhaisteach, agus tha raointean dleastanais eile aca. Ma tha fear dhiubh ann an cunnart, am bi e comasach dha dragh a chuir air “gnìomhan” na seirbheis sin?..

  EK: - Tha mi a’ tuigsinn. Mas ann ann an suidheachadh àbhaisteach le frithealaiche eile a bha conaltradh ceadaichte idir, tha. A rèir cùmhnant SLA, cha bhith sinn a’ cumail sùil nach eil cead agad ach a’ chiad 3 “gnìomhan”, agus chan eil cead agad na 4 “gnìomhan”. Is dòcha gu bheil seo gun fheum dhuinn, oir tha siostam dìon 4-ìre againn mu thràth, ann am prionnsapal, airson cuairtean. Is fheàrr leinn sinn fhèin a dhìon leis na cumaidhean, seach aig ìre an taobh a-staigh.

  Mar a tha Visa, MasterCard agus Sberbank ag obair

  AT: - Tha mi airson puing a shoilleireachadh mu bhith ag atharrachadh neach-cleachdaidh bho aon ionad dàta gu ionad eile. Cho fad ‘s as aithne dhomh, bidh Visa agus MasterCard ag obair a’ cleachdadh protocol sioncronaich binary 8583, agus tha measgachadh ann an sin. Agus bha mi airson faighinn a-mach, a-nis tha sinn a 'ciallachadh atharrachadh - an e "Visa" agus "MasterCard" a th' ann gu dìreach no ro shiostaman pàighidh, mus tèid an giullachd?

  EK: - Tha seo ro na measgachaidhean. Tha na measgachaidhean againn suidhichte anns an aon ionad dàta.

  AT: - Gu ìre mhòr, a bheil aon phuing ceangail agad?

  EK: - "Visa" agus "MasterCard" - tha. Dìreach air sgàth ‘s gu bheil Visa agus MasterCard a’ feumachdainn tasgaidhean gu math dona ann am bun-structar gus cùmhnantan eadar-dhealaichte a thoirt gu crìch gus dàrna paidhir de mheasgachaidhean fhaighinn, mar eisimpleir. Tha iad glèidhte taobh a-staigh aon ionad dàta, ach ma tha Dia a’ toirmeasg, bidh an ionad dàta againn, far a bheil measgachadh airson ceangal ri Visa agus MasterCard, a’ bàsachadh, bidh ceangal againn ri Visa agus MasterCard air chall.

  AT: - Ciamar a thèid an glèidheadh? Tha fios agam nach eil Visa a’ ceadachadh ach aon cheangal ann am prionnsapal!

  EK: - Bidh iad a’ toirt seachad an uidheamachd iad fhèin. Ann an suidheachadh sam bith, fhuair sinn uidheamachd a tha gu tur gun fheum a-staigh.

  AT: - Mar sin tha an stand bhon Connects Orange aca? ..

  EK: - Tha.

  AT: - Ach dè mun chùis seo: ma thèid an ionad dàta agad à sealladh, ciamar as urrainn dhut leantainn ort ga chleachdadh? No a bheil an trafaic dìreach a’ stad?

  EK: - Chan eil. Anns a 'chùis seo, bidh sinn dìreach ag atharrachadh an trafaig gu sianal eile, a bhios, gu nàdarra, nas daoire dhuinne agus nas daoire don luchd-dèiligidh againn. Ach cha tèid an trafaic tron ​​​​cheangal dhìreach againn ri Visa, MasterCard, ach tron ​​​​chumhachd Sberbank (fìor fhìor).

  Tha mi duilich a dhèanamh ma rinn mi eucoir air luchd-obrach Sberbank. Ach a rèir ar staitistig, am measg na Ruis bancaichean, Sberbank a 'tuiteam mar as trice. Chan eil mìos a’ dol seachad gun rudeigin a’ tuiteam dheth aig Sberbank.

  
  
  

  

  Cuid de shanasan 🙂

  Tapadh leibh airson fuireach còmhla rinn. An toil leat na h-artaigilean againn? A bheil thu airson susbaint nas inntinniche fhaicinn? Thoir taic dhuinn le bhith a’ cur òrdugh no a’ moladh do charaidean, sgòth VPS airson luchd-leasachaidh bho $4.99, analog sònraichte de luchd-frithealaidh ìre inntrigidh, a chaidh a chruthachadh leinn dhut: An fhìrinn gu lèir mu VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps bho $ 19 no ciamar a roinn thu frithealaiche? (ri fhaighinn le RAID1 agus RAID10, suas ri 24 cores agus suas ri 40GB DDR4).

  Dell R730xd 2x nas saoire ann an ionad dàta Equinix Tier IV ann an Amsterdam? A-mhàin an seo 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV bho $199 anns an Òlaind! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - bho $99! Leugh mu dheidhinn Ciamar a thogail bun-structair Corp. clas le bhith a’ cleachdadh frithealaichean Dell R730xd E5-2650 v4 luach 9000 iùro airson sgillinn?

Source: www.habr.com