HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

Labhraíonn gach duine faoi na próisis forbartha agus tástála, oiliúint foirne, spreagadh a mhéadú, ach ní leor na próisis seo nuair a chosnaíonn nóiméad downtime seirbhíse méideanna ollmhóra airgid. Cad atá le déanamh nuair a dhéanann tú idirbhearta airgeadais faoi CLS dian? Conas iontaofacht agus lamháltas lochtanna do chórais a mhéadú, ag cur forbairt agus tástáil as an gcothromóid?

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

Tionólfar an chéad chomhdháil HighLoad++ eile ar 6 agus 7 Aibreán, 2020 i St. Sonraí agus ticéid le haghaidh nasc. 9 Samhain, 18:00. HighLoad++ Moscó 2018, halla Deilí + Kolkata. Tráchtais agus cur i láthair.

Evgeniy Kuzovlev (dá ngairfear anseo feasta – CE): - A chairde, Dia dhaoibh! Is é mo ainm Kuzovlev Evgeniy. Is ón gcuideachta EcommPay mé, rannóg ar leith is ea EcommPay IT, rannán TF an ghrúpa cuideachtaí. Agus inniu beimid ag caint faoi downtimes - faoi conas iad a sheachaint, faoi conas a n-iarmhairtí a íoslaghdú más rud é nach féidir é a sheachaint. Luaitear an topaic mar a leanas: “Cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100”? Ag féachaint romhainn, tá ár n-uimhreacha inchomparáide.

Cad a dhéanann EcommPay IT?

Cé sinne? Cén fáth a bhfuil mé i mo sheasamh anseo os do chomhair? Cén fáth a bhfuil an ceart agam rud éigin a insint duit anseo? Agus cad a bheidh muid ag caint faoi anseo níos mine?

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

Is faighteoir idirnáisiúnta é grúpa cuideachtaí EcommPay. Próiseálaimid íocaíochtaí ar fud an domhain - sa Rúis, san Eoraip, san Oirdheisceart na hÁise (Ar fud an Domhain). Tá 9 n-oifig againn, 500 fostaithe san iomlán, agus is speisialtóirí TF iad timpeall beagán níos lú ná leath díobh. Gach rud a dhéanaimid, gach rud a dhéanaimid airgead astu, rinne muid féin.

Scríobhamar ár gcuid táirgí go léir (agus tá go leor acu - inár líne de tháirgí móra TF tá thart ar 16 chomhpháirt éagsúil againn) sinn féin; Scríobhaimid féin, déanaimid forbairt orainn féin. Agus faoi láthair déanaimid thart ar mhilliún idirbheart in aghaidh an lae (is dócha gurb é an bealach ceart é na milliúin a rá). Is cuideachta measartha óg muid - nílimid ach timpeall sé bliana d'aois.

6 bliana ó shin bhí sé chomh tosaithe nuair a tháinig na guys chomh maith leis an ngnó. Bhí siad aontaithe ag smaoineamh (ní raibh aon rud eile ach smaoineamh), agus ritheamar. Cosúil le haon tosaithe, ritheamar níos tapúla ... Dúinne, bhí luas níos tábhachtaí ná cáilíocht.

Stopamar ag pointe éigin: thuig muid nach bhféadfaimis maireachtáil ar bhealach éigin ag an luas sin agus leis an gcáilíocht sin a thuilleadh agus b'éigean dúinn díriú ar cháilíocht ar dtús. Ag an nóiméad seo, shocraigh muid ardán nua a scríobh a bheadh ​​ceart, inscálaithe agus iontaofa. Thosaigh siad ag scríobh an ardáin seo (thosaigh siad ag infheistiú, ag forbairt forbairt, ag tástáil), ach ag pointe éigin thuig siad nach raibh forbairt agus tástáil ar ár gcumas leibhéal nua cáilíochta seirbhíse a bhaint amach.

Déanann tú táirge nua, cuireann tú isteach é i dtáirgeadh, ach fós beidh rud éigin mícheart áit éigin. Agus inniu beimid ag caint faoi conas leibhéal cáilíochta nua a bhaint amach (conas a rinneamar é, faoinár dtaithí), forbairt agus tástáil a bhaint as an gcothromóid; beidh muid ag caint faoi cad atá ar fáil le hoibriú - cad is féidir oibríocht a dhéanamh í féin, cad is féidir é a thairiscint le haghaidh tástála chun tionchar a imirt ar cháilíocht.

Amanna downt. Orduithe oibríochta.

Is é an bhunchloch is mó i gcónaí, is é an rud a labhróimid i ndáiríre faoi inniu ná aga neamhfhónaimh. Focal uafásach. Má tá downtime againn, tá gach rud dona dúinn. Táimid ag rith chun é a ardú, tá an freastalaí i seilbh na riarthóirí - ná bac le Dia é, mar a deir siad san amhrán sin. Is é seo a bheidh muid ag caint faoi inniu.

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

Nuair a thosaigh muid ar ár gcur chuige a athrú, rinneamar 4 ordú. Tá siad curtha i láthair agam ar na sleamhnáin:

Tá na horduithe seo simplí go leor:

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

  • Aithnigh an fhadhb go tapa.
  • Faigh réidh leis fiú níos tapúla.
  • Cabhair tuiscint a fháil ar an gcúis (níos déanaí, d'fhorbróirí).
  • Agus cuir chuige a chaighdeánú.

Ba mhaith liom d’aird a tharraingt ar phointe Uimh. 2. Táimid ag fáil réidh leis an bhfadhb, ní ag réiteach na faidhbe. Tá cinneadh tánaisteach. Maidir le linn, is é an rud bunscoile go bhfuil an t-úsáideoir a chosaint ón fhadhb seo. Beidh sé ann i dtimpeallacht iargúlta éigin, ach ní bheidh aon teagmháil ag an timpeallacht seo leis. I ndáiríre, déanfaimid dul tríd na ceithre ghrúpa fadhbanna seo (cuid acu níos mionsonraithe, cuid acu níos lú), inseoidh mé duit cad a úsáidimid, cén taithí ábhartha atá againn i réitigh.

Fabhtcheartú: Cathain a tharlaíonn siad agus cad atá le déanamh fúthu?

Ach tosóimid as ord, cuirfimid tús le pointe Uimh. 2 - conas fáil réidh leis an bhfadhb go tapa? Tá fadhb ann - ní mór dúinn é a shocrú. “Cad ba cheart dúinn a dhéanamh faoi seo?” - an phríomhcheist. Agus nuair a thosaigh muid ag smaoineamh ar conas an fhadhb a réiteach, d'fhorbraíomar dúinn féin roinnt ceanglais a chaithfidh fabhtcheartaithe a leanúint.

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

Chun na riachtanais seo a chur le chéile, bheartaíomar an cheist a chur orainn féin: “Cathain a bhíonn fadhbanna againn”? Agus tarlaíonn fadhbanna, mar a d'éirigh sé amach, i gceithre chás:

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

  • Teip crua-earraí.
  • Theip ar sheirbhísí seachtracha.
  • Leagan na mbogearraí a athrú (an t-imscaradh céanna).
  • Fás ualach pléascach.

Ní bheidh muid ag caint faoin gcéad dá. Is féidir mífheidhmiú crua-earraí a réiteach go simplí: ní mór duit gach rud a mhacasamhlú. Más dioscaí iad seo, ní mór na dioscaí a chur le chéile i RAID; más freastalaí é seo, ní mór an freastalaí a dhúbailt; má tá bonneagar líonra agat, caithfidh tú an dara cóip den bhonneagar líonra a sholáthar, is é sin, glacann tú é agus dúbailt é. Agus má theipeann ar rud éigin, aistríonn tú chuig cumhacht cúltaca. Tá sé deacair aon rud níos mó a rá anseo.

Is é an dara ceann teip na seirbhísí seachtracha. Don chuid is mó, ní fadhb é an córas ar chor ar bith, ach ní fadhb dúinne é. Ós rud é go ndéanaimid íocaíochtaí a phróiseáil, is comhbhailitheoir muid a sheasann idir an t-úsáideoir (a chuireann sonraí a chárta isteach) agus bainc, córais íocaíochta (Víosa, MasterCard, Mira, etc.). Is gnách go dteipeann ar ár seirbhísí seachtracha (córais íocaíochta, bainc). Ní féidir linne ná tusa (má tá seirbhísí den sórt sin agat) tionchar a imirt air seo.

Cad atá le déanamh ansin? Tá dhá rogha anseo. Ar dtús, más féidir leat, ba cheart duit an tseirbhís seo a dhúbailt ar bhealach éigin. Mar shampla, más féidir linn, aistrímid trácht ó sheirbhís amháin go ceann eile: mar shampla, próiseáladh cártaí trí Sberbank, tá fadhbanna ag Sberbank - aistrímid trácht [go coinníollach] go Raiffeisen. Is é an dara rud is féidir linn a dhéanamh ná teip na seirbhísí seachtracha a thabhairt faoi deara go han-tapa, agus mar sin labhróimid faoi luas freagartha sa chéad chuid eile den tuarascáil.

Go deimhin, as na ceithre cinn seo, is féidir linn tionchar sonrach a imirt ar athrú na leaganacha bogearraí - bearta a dhéanamh a dtiocfaidh feabhas ar an gcás i gcomhthéacs imlonnaithe agus i gcomhthéacs fás pléascach ar ualach. I ndáiríre, sin an méid a rinne muid. Seo, arís, nóta beag...

As na ceithre fhadhb seo, réitítear roinnt acu láithreach má tá scamall agat. Má tá tú i scamaill Microsoft Azhur, Ózóin, nó má úsáideann tú ár scamaill, ó Yandex nó Mail, ansin ar a laghad beidh mífheidhmiú crua-earraí ina fhadhb agus éiríonn gach rud ceart duit láithreach i gcomhthéacs mífheidhm crua-earraí.

Is cuideachta beagán neamhghnáthúil muid. Anseo tá gach duine ag caint faoi "Kubernets", faoi scamaill - níl "Kubernets" ná scamaill againn. Ach tá racaí crua-earraí againn i go leor ionaid sonraí, agus tá iallach orainn maireachtáil ar na crua-earraí seo, tá iallach orainn a bheith freagrach as go léir. Dá bhrí sin, beimid ag caint sa chomhthéacs seo. Mar sin, faoi na fadhbanna. Tógadh an chéad dá cheann as lúibíní.

Athrú ar an leagan bogearraí. Bunanna

Níl rochtain ag ár bhforbróirí ar tháirgeadh. Cén fáth é sin? Níl ann ach go bhfuil muid deimhnithe PCI DSS, agus níl an ceart ag ár bhforbróirí dul isteach sa “táirge”. Sin é, tréimhse. Ar chor ar bith. Mar sin, tagann deireadh leis an bhfreagracht forbartha go díreach faoi láthair nuair a chuireann forbairt an tógáil isteach lena scaoileadh.

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

Is é an dara bunús atá againn, rud a chabhraíonn go mór linn freisin, ná easpa eolais uathúil gan doiciméad. Tá súil agam go bhfuil sé mar an gcéanna duitse. Toisc mura bhfuil sé seo amhlaidh, beidh fadhbanna agat. Tiocfaidh fadhbanna chun cinn nuair nach mbíonn an t-eolas uathúil seo gan doiciméadú i láthair ag an am ceart san áit cheart. Ligean le rá go bhfuil duine amháin agat a bhfuil a fhios aige conas comhpháirt ar leith a imscaradh - níl an duine ann, tá sé ar laethanta saoire nó tinn - sin é, tá fadhbanna agat.

Agus an tríú bonn ar a bhfuil muid tagtha. Tháinig muid chuige trí phian, fuil, deora - tháinig muid ar an tátal go bhfuil earráidí in aon cheann dár bhfoirgnimh, fiú má tá sé saor ó earráidí. Shocraigh muid é seo dúinn féin: nuair a dhéanaimid rud éigin a imscaradh, nuair a dhéanaimid rud éigin a rolladh isteach i dtáirgeadh, tá tógáil againn le hearráidí. Tá na ceanglais déanta againn nach mór dár gcóras a shásamh.

Riachtanais chun an leagan bogearraí a athrú

Tá trí riachtanas ann:

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

  • Ní mór dúinn an t-imscaradh a thabhairt ar ais go tapa.
  • Ní mór dúinn an tionchar a bhíonn ag imscaradh nár éirigh leis a íoslaghdú.
  • Agus ní mór dúinn a bheith in ann imscaradh go tapa ag an am céanna.
    Go díreach san ord sin! Cén fáth? Mar gheall ar an gcéad dul síos, nuair a bhíonn leagan nua á imscaradh, níl an luas tábhachtach, ach tá sé tábhachtach duit, má théann rud éigin mícheart, rolladh siar go tapa agus tionchar íosta a bheith agat. Ach má tá sraith leaganacha agat i dtáirgeadh, as a dtagann sé amach go bhfuil earráid ann (as an gorm, ní raibh aon imscaradh ann, ach tá earráid ann) - tá luas an imscaradh ina dhiaidh sin tábhachtach duit. Cad atá déanta againn chun freastal ar na héilimh seo? Bhaineamar leas as an modheolaíocht seo a leanas:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Tá sé ar eolas go maith, níor cheap muid riamh é - is é seo imscaradh Gorm/Glas. An rud atá ann? Ní mór cóip a bheith agat do gach grúpa freastalaithe ar a bhfuil d’fheidhmchláir suiteáilte. Tá an chóip “te”: níl aon trácht air, ach is féidir an trácht seo a sheoladh chuig an gcóip seo tráth ar bith. Tá an leagan roimhe seo sa chóip seo. Agus tráth an imlonnaithe, déanann tú an cód a rolladh amach go cóip neamhghníomhach. Ansin aistríonn tú cuid den trácht (nó an trácht ar fad) go dtí an leagan nua. Mar sin, chun an sreabhadh tráchta a athrú ón seanleagan go dtí an leagan nua, ní mór duit ach gníomh amháin a dhéanamh: ní mór duit an t-iarmhéid in aghaidh an tsrutha a athrú, an treo a athrú - ó cheann amháin in aghaidh an tsrutha go ceann eile. Tá sé seo an-áisiúil agus réitíonn sé an fhadhb a bhaineann le hathrú tapa agus le haischur tapa.

    Anseo is é an réiteach ar an dara ceist ná íoslaghdú: ní féidir leat ach cuid de do thrácht a sheoladh chuig líne nua, chuig líne le cód nua (bíodh sé, mar shampla, 2%). Agus níl na 2% seo 100%! Má chaill tú 100% de do thrácht mar gheall ar imscaradh nár éirigh leis, tá sé sin scanrúil; má chaill tú 2% de do thrácht, níl sé sin taitneamhach, ach níl sé scanrúil. Thairis sin, is dóichí nach dtabharfaidh úsáideoirí faoi deara fiú é seo, mar i gcásanna áirithe (ní i ngach cás) tógfar an t-úsáideoir céanna, ag brú F5, chuig leagan eile, atá ag obair.

    Imscaradh Gorm/Glas. Ródú

    Mar sin féin, níl gach rud chomh simplí “Imscaradh Gorm/Glas”... Is féidir ár gcomhpháirteanna go léir a roinnt i dtrí ghrúpa:

    • is é seo an t-éadan (leathanaigh íocaíochta a fheiceann ár gcliaint);
    • croí próiseála;
    • cuibheoir le haghaidh oibriú le córais íocaíochta (bainc, MasterCard, Visa...).

    Agus tá nuance anseo - luíonn an nuance sa ródú idir na línte. Mura n-aistríonn tú ach 100% den trácht, ní bheidh na fadhbanna seo agat. Ach más mian leat 2% a athrú, tosaíonn tú ag cur ceisteanna: “Conas é seo a dhéanamh?” Is é an rud is simplí díreach ar aghaidh: is féidir leat Round Robin in nginx a bhunú trí rogha randamach, agus tá 2% agat ar chlé, 98% ar dheis. Ach níl sé seo oiriúnach i gcónaí.

    Mar shampla, inár gcás, idirghníomhaíonn úsáideoir leis an gcóras le níos mó ná iarratas amháin. Tá sé seo gnáth: 2, 3, 4, 5 iarratas - d'fhéadfadh do chórais a bheith mar an gcéanna. Agus má tá sé tábhachtach duit go dtagann iarratais uile an úsáideora go dtí an líne chéanna ar ar tháinig an chéad iarratas, nó (dara pointe) go dtagann iarratais uile an úsáideora chuig an líne nua tar éis an lasc (d'fhéadfadh sé a bheith tosaithe ag obair níos luaithe leis an córas, roimh an lasc), - ansin níl an dáileadh randamach seo oiriúnach duit. Ansin tá na roghanna seo a leanas:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Tá an chéad rogha, an ceann is simplí, bunaithe ar bhunpharaiméadair an chliaint (IP Hash). Tá IP agat, agus roinneann tú é ó dheas go clé trí sheoladh IP. Ansin oibreoidh an dara cás ar a ndearna mé cur síos duit, nuair a tharla an t-imscaradh, d'fhéadfadh an t-úsáideoir tosú ag obair le do chóras cheana féin, agus ón nóiméad imlonnaithe beidh gach iarratas ag dul chuig líne nua (go dtí an ceann céanna, abair).

    Más rud é nach n-oireann sé seo duit ar chúis éigin agus go gcaithfidh tú iarratais a sheoladh chuig an líne inar tháinig an t-iarratas tosaigh, tá dhá rogha agat...
    An chéad rogha: is féidir leat nginx íoctha a cheannach. Tá meicníocht seisiúin Greamaitheach ann, a sannann, ar iarratas tosaigh an úsáideora, seisiún don úsáideoir agus a nascann le ceann amháin nó ceann eile in aghaidh an tsrutha é. Seolfar gach iarratas úsáideora ina dhiaidh sin laistigh de shaolré an tseisiúin chuig an gcéanna réamhtheachtacha inar postáladh an seisiún.

    Ní raibh sé seo oiriúnach dúinn mar bhí nginx rialta againn cheana féin. Ní hionann aistriú go nginx+ go bhfuil sé costasach, níl ann ach go raibh sé beagán pianmhar dúinn agus nach bhfuil sé an-ceart. Níor oibrigh “Seisiúin Bataí”, mar shampla, dúinn ar an gcúis shimplí nach gceadaíonn “Seisiúin Bataí” ródú bunaithe ar “Cheachtar nó”. Is féidir leat a shonrú ansin cad a dhéanann muid “Seisiúin Bataí”, mar shampla, trí sheoladh IP nó trí sheoladh IP agus fianáin nó trí iarphariméadar, ach tá “Ceachtar nó” níos casta ansin.

    Dá bhrí sin, thángamar ar an gceathrú rogha. Ghlacamar nginx ar stéaróidigh (is openresty é seo) - is é seo an nginx céanna, a thacaíonn freisin le cuimsiú na scripteanna seo caite. Is féidir leat script dheireanach a scríobh, “fos oscailte” a thabhairt dó, agus déanfar an script dheireanach seo a fhorghníomhú nuair a thagann an t-iarratas úsáideora.

    Agus scríobh muid, i ndáiríre, a leithéid de script, a leagtar "openresti" dúinn féin agus sa script seo a shórtáil trí pharaiméadair éagsúla trí chomhchaintí "Nó". Ag brath ar láithreacht paraiméadar amháin nó eile, tá a fhios againn gur tháinig an t-úsáideoir go dtí leathanach amháin nó go ceann eile, líne amháin nó eile.

    Imscaradh Gorm/Glas. Buntáistí agus míbhuntáistí

    Ar ndóigh, is dócha go bhféadfaí é a dhéanamh beagán níos simplí (bain úsáid as na “Seisiúin Ghreamaitheacha chéanna”), ach tá an nuance sin againn freisin go n-idirghníomhaíonn an t-úsáideoir linn, ní hamháin laistigh de chreat próiseála amháin d’idirbheart amháin... Ach idirghníomhaíonn córais íocaíochta linn freisin: Tar éis dúinn an t-idirbheart a phróiseáil (trí iarratas a sheoladh chuig an gcóras íocaíochta), faighimid aisfhuascailt.
    Agus lig dúinn a rá, más rud é laistigh dár gciorcad is féidir linn seoladh IP an úsáideora a chur ar aghaidh i ngach iarratas agus úsáideoirí a roinnt bunaithe ar an seoladh IP, ansin ní inseoimid an “Víosa” céanna: “A dhuine uasail, is cuideachta retro muid, is cosúil. le bheith idirnáisiúnta (ar an suíomh Gréasáin agus sa Rúis)... Tabhair dúinn seoladh IP an úsáideora i réimse breise, tá do phrótacal caighdeánaithe”! Is léir nach n-aontóidh siad.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Mar sin, níor oibrigh sé seo dúinn - rinneamar openresty. Dá réir sin, le ródú fuaireamar rud mar seo:

    Dá réir sin, tá buntáistí agus míbhuntáistí ag baint le himscaradh Gorm/Glas a luaigh mé.

    Dhá mhíbhuntáiste:

    • ní mór duit bac a chur ar ródú;
    • is é an dara príomh-mhíbhuntáiste an costas.

    Ní mór duit dhá oiread freastalaithe, tá dhá oiread acmhainní oibriúcháin ag teastáil uait, ní mór duit a dhá oiread iarracht a chaitheamh chun an zú iomlán seo a chothabháil.

    Dála an scéil, i measc na buntáistí tá rud amháin eile nach bhfuil luaite agam roimhe seo: tá cúlchiste agat i gcás fás ualaigh. Má tá fás pléascach ar ualach agat, tá líon mór úsáideoirí agat, ansin ní mór duit ach an dara líne a áireamh sa dáileadh 50 go 50 - agus tá freastalaithe x2 agat láithreach i do bhraisle go dtí go réitíonn tú an fhadhb a bhaineann le níos mó freastalaithe a bheith agat.

    Conas imscaradh tapa a dhéanamh?

    Labhair muid faoi conas an fhadhb a réiteach maidir le híoslaghdú agus rolladh siar tapa, ach tá an cheist fós: "Conas imscaradh go tapa?"

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Tá sé gearr agus simplí anseo.

    • Caithfidh córas CD a bheith agat (Seachadadh Leanúnach) - ní féidir leat maireachtáil gan é. Má tá freastalaí amháin agat, is féidir leat imscaradh de láimh. Tá thart ar mhíle go leith freastalaí againn agus míle go leith lámh, ar ndóigh - is féidir linn roinn de mhéid an tseomra seo a phlandáil ach le himscaradh.
    • Ní mór an t-imscaradh a bheith comhthreomhar. Má tá d'imscaradh seicheamhach, ansin tá gach rud dona. Freastalaí amháin is gnáth, beidh míle go leith freastalaí á imscaradh agat an lá ar fad.
    • Arís, le haghaidh luasghéarú, is dócha nach bhfuil sé seo riachtanach a thuilleadh. Le linn imscaradh, is gnách go dtógtar an tionscadal. Tá tionscadal gréasáin agat, tá cuid tosaigh ann (déanann tú pacáiste gréasáin ann, tiomsaíonn tú npm - rud éigin mar sin), agus tá an próiseas seo, i bprionsabal, gearr-chónaí - 5 nóiméad, ach is féidir leis na 5 nóiméad seo. bheith criticiúil. Sin an fáth, mar shampla, nach ndéanaimid é sin: bhaineamar na 5 nóiméad sin amach, imscaraimid déantáin.

      Cad is déantán ann? Is éard is déantán ann ná tógáil le chéile ina bhfuil na páirteanna cóimeála go léir críochnaithe cheana féin. Stóráilimid an déantán seo sa stóráil déantán. Ag am amháin d'úsáideamar dhá stóras den sórt sin - Nexus a bhí ann agus anois jFrog Artiffactory) D'úsáideamar "Nexus" ar dtús mar thosaigh muid ag cleachtadh an chur chuige seo i bhfeidhmchláir java (d'oir go maith é). Ansin chuir siad roinnt de na hiarratais scríofa i PHP isteach ann; agus ní raibh “Nexus” oiriúnach a thuilleadh, agus dá bhrí sin roghnaigh muid jFrog Artefactory, a fhéadfaidh beagnach gach rud a chur i bhfeidhm. Táimid tar éis teacht ar an bpointe fiú go stórálann muid ár bpacáistí dénártha féin sa stór déantúsán seo a bhailímid le haghaidh freastalaithe.

    Fás ualach pléascach

    Labhair muid faoi leagan na mbogearraí a athrú. Is é an chéad rud eile atá againn ná méadú pléascach ar ualach. Anseo, is dócha go gciallaíonn mé le fás pléascach ar an ualach nach bhfuil an rud ceart go leor...

    Scríobhamar córas nua - tá sé seirbhís-dhírithe, faiseanta, álainn, oibrithe i ngach áit, scuainí i ngach áit, asynchrony i ngach áit. Agus i gcórais den sórt sin, is féidir le sonraí sreabhadh trí shreafaí éagsúla. Maidir leis an gcéad idirbheart, is féidir an 1ú, 3ú, 10ú oibrí a úsáid, don dara idirbheart - an 2ú, 4ú, 5ú. Agus inniu, lig dúinn a rá, ar maidin tá sreabhadh sonraí agat a úsáideann na chéad trí oibrí, agus sa tráthnóna athraíonn sé go mór, agus úsáideann gach rud na trí oibrí eile.

    Agus anseo tharlaíonn sé go gcaithfidh tú na hoibrithe a scála ar bhealach, ní mór duit do sheirbhísí a scála ar bhealach, ach ag an am céanna cosc ​​a chur ar bloat acmhainní.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Tá ár riachtanais sainmhínithe againn. Tá na ceanglais seo simplí go leor: go bhfuil Seirbhís fionnachtain, parameterization - tá gach rud caighdeánach le haghaidh tógáil córais Inscálaithe den sórt sin, ach amháin i gcás pointe amháin - dímheas acmhainní. Dúirt muid nach bhfuilimid réidh acmhainní a amúchadh ionas go mbeidh na freastalaithe ag teas an aer. Thógamar "Consul", ghlacamar "Nomad", a bhainistíonn ár n-oibrithe.

    Cén fáth gur fadhb dúinne é seo? A ligean ar backtrack beagán. Tá thart ar 70 córas íocaíochta taobh thiar dúinn anois. Ar maidin, téann an trácht trí Sberbank, ansin thit Sberbank, mar shampla, agus aistrímid é chuig córas íocaíochta eile. Bhí 100 oibrí againn roimh Sberbank, agus ina dhiaidh sin ní mór dúinn 100 oibrí a mhéadú go géar le haghaidh córas íocaíochta eile. Agus tá sé inmhianaithe go dtarlódh sé seo go léir gan rannpháirtíocht an duine. Mar má tá rannpháirtíocht dhaonna ann, ba chóir go mbeadh innealtóir ina shuí ann 24/7, nár cheart dó ach é seo a dhéanamh, toisc go dtarlaíonn teipeanna den sórt sin, nuair a bhíonn 70 córas taobh thiar duit, go rialta.

    Mar sin, d'fhéachamar ar Nomad, a bhfuil IP oscailte aige, agus scríobh sé ár rud féin, Scale-Nomad - ScaleNo, a dhéanann thart ar an méid seo a leanas: déanann sé monatóireacht ar fhás na scuaine agus laghdaítear nó méadaíonn sé líon na n-oibrithe ag brath ar an dinimic. den scuaine. Nuair a rinneamar é, cheapamar: “B'fhéidir gur féidir linn foinse a oscailt?” Ansin d'fhéach siad ar a - bhí sí chomh simplí le dhá kopecks.

    Go dtí seo níl foinse oscailte againn, ach más rud é go tobann tar éis na tuarascála, tar éis a thuiscint go bhfuil a leithéid de dhíth ort, tá sé de dhíth ort, tá mo theagmhálaithe sa sleamhnán deireanach - scríobh chugam le do thoil. Má tá 3-5 duine ar a laghad ann, déanfaimid urraíocht air.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Conas a oibríonn sé? A ligean ar a fháil breathnú! Ag féachaint amach romhainn: ar an taobh clé tá píosa dár monatóireachta: is é seo líne amháin, ag an mbarr is é an t-am a bhaineann le próiseáil imeachtaí, sa lár tá líon na n-idirbheart, ag an mbun tá líon na n-oibrithe.

    Má fhéachann tú, tá glitch sa phictiúr seo. Ar an gcairt barr, thit ceann de na cairteacha i 45 soicind - chuaigh ceann de na córais íocaíochta síos. Láithreach, tugadh isteach trácht i 2 nóiméad agus thosaigh an scuaine ag fás ar chóras íocaíochta eile, i gcás nach raibh aon oibrithe (ní raibh muid úsáid as acmhainní - ar a mhalairt, rinneamar an acmhainn a dhiúscairt i gceart). Ní raibh muid ag iarraidh teas - bhí líon íosta, thart ar 5-10 oibrí, ach ní raibh siad in ann déileáil.

    Taispeánann an graf deireanach “cronán”, rud a chiallaíonn gur dúbail “Skaleno” an méid seo. Agus ansin, nuair a thit an graf beagán, laghdaigh sé beagán - athraíodh líon na n-oibrithe go huathoibríoch. Sin mar a oibríonn an rud seo. Labhair muid faoi phointe uimhir 2 - “Conas fáil réidh le cúiseanna go tapa.”

    Monatóireacht. Conas an fhadhb a aithint go tapa?

    Anois is é an chéad phointe ná "Conas an fhadhb a aithint go tapa?" Monatóireacht! Ní mór dúinn rudaí áirithe a thuiscint go tapa. Cad iad na rudaí ba cheart dúinn a thuiscint go tapa?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Trí rud!

    • Ní mór dúinn feidhmíocht ár n-acmhainní féin a thuiscint agus a thuiscint go tapa.
    • Ní mór dúinn teipeanna a thuiscint go tapa agus monatóireacht a dhéanamh ar fheidhmíocht na gcóras atá lasmuigh dúinn.
    • Is é an tríú pointe ná earráidí loighciúla a aithint. Seo nuair a bhíonn an córas ag obair duit, tá gach rud gnáth de réir gach táscairí, ach téann rud éigin mícheart.

    Is dócha nach n-inseoidh mé aon rud iontach duit anseo. Beidh mé i mo Chaptaen Obvious. D'fhéachamar le haghaidh cad a bhí ar an margadh. Tá “zú spraíúil” againn. Seo é an cineál zú atá againn anois:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Bainimid úsáid as Zabbix chun monatóireacht a dhéanamh ar chrua-earraí, chun monatóireacht a dhéanamh ar phríomhtháscairí freastalaithe. Bainimid úsáid as Okmeter le haghaidh bunachair shonraí. Bainimid úsáid as “Grafana” agus “Prometheus” le haghaidh gach táscairí eile nach n-oireann don chéad dá, cuid acu le “Grafana” agus “Prometheus”, agus cuid le “Grafana” le “Influx” agus Telegraf.

    Bliain ó shin bhíomar ag iarraidh New Relic a úsáid. Rud Cool, is féidir é a dhéanamh gach rud. Ach an oiread agus is féidir léi gach rud a dhéanamh, tá sí chomh costasach. Nuair a d’fhás muid go líon 1,5 míle freastalaí, tháinig díoltóir chugainn agus dúirt: “Déanaimis comhaontú don bhliain seo chugainn.” D'fhéachamar ar an bpraghas agus dúirt nach ea, ní dhéanfaimid é sin. Anois agus muid ag tréigean New Relic, tá thart ar 15 fhreastalaí fágtha againn faoi mhonatóireacht New Relic. An praghas iompaigh amach a bheith fíor fiáin.

    Agus tá uirlis amháin ann a chuireamar féin i bhfeidhm - is é seo Dífhabhtóir. Ar dtús thugamar “Bagger” air, ach ansin chuaigh múinteoir Béarla thart, gáire fiáin, agus athainmníodh é mar “Debagger.” An rud atá ann? Is uirlis é seo a dhéanann, i ndáiríre, i 15-30 soicind ar gach comhpháirt, cosúil le “bosca dubh” an chórais, tástálacha ar fheidhmíocht iomlán an chomhpháirte.

    Mar shampla, má tá leathanach seachtrach (leathanach íocaíochta), osclaíonn sé go simplí é agus féachann sé conas ba chóir dó breathnú. Má tá sé seo á phróiseáil, seolann sé “idirbheart” tástála agus cinntíonn sé go dtagann an “idirbheart” seo. Más nasc é seo le córais íocaíochta, cuirimid iarratas tástála trí thine dá réir sin, nuair is féidir linn, agus feicimid go bhfuil gach rud go breá linn.

    Cad iad na táscairí atá tábhachtach le haghaidh monatóireachta?

    Cad a dhéanaimid monatóireacht go príomha? Cad iad na táscairí atá tábhachtach dúinn?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    • Is táscaire an-tábhachtach é am freagartha / RPS ar aghaidheanna. Freagraíonn sé láithreach go bhfuil rud éigin cearr leat.
    • Líon na dteachtaireachtaí próiseáilte i ngach scuaine.
    • Líon na n-oibrithe.
    • Bun-mhéadracht cruinnis.

    Is é an pointe deireanach ná méadrach “gnó”, “gnó”. Más mian leat monatóireacht a dhéanamh ar an rud céanna, ní mór duit méadracht amháin nó dhó a shainiú atá mar phríomhtháscairí duit. Is tréchur é ár méadrach (is é seo an cóimheas idir líon na n-idirbheart rathúil agus an sreabhadh idirbheart iomlán). Má athraíonn rud éigin ann ag eatramh de 5-10-15 nóiméad, ciallaíonn sé go bhfuil fadhbanna againn (má athraíonn sé ó bhonn).

    Is sampla é an chuma atá orainne de cheann dár mbord:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Ar an taobh clé tá 6 ghraf, tá sé seo de réir na línte - líon na n-oibrithe agus líon na dteachtaireachtaí sna scuainí. Ar an taobh dheis - RPS, RTS. Anseo thíos tá an méadrach “gnó” céanna. Agus sa mhéadracht “gnó” is féidir linn a fheiceáil láithreach go ndeachaigh rud éigin mícheart sa dá ghraf láir... Níl anseo ach córas eile atá taobh thiar dínn atá tite.

    Ba é an dara rud a bhí le déanamh againn ná monatóireacht a dhéanamh ar thitim na gcóras íocaíochta seachtracha. Anseo ghlacamar OpenTracing - meicníocht, caighdeánach, paradigm a ligeann duit córais dáilte a rianú; agus athraíodh é beagán. Deir paradigm caighdeánach OpenTracing go dtógfaimid rian do gach iarratas aonair. Ní raibh sé seo ag teastáil uainn, agus fillteamar é i rian achoimre, comhiomlánaithe. Rinneamar uirlis a ligeann dúinn luas na gcóras taobh thiar dínn a rianú.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Léiríonn an graf dúinn gur thosaigh ceann de na córais íocaíochta ag freagairt i 3 soicind - tá fadhbanna againn. Thairis sin, imoibríonn an rud seo nuair a thosaíonn fadhbanna, ag eatramh de 20-30 soicind.

    Agus is é an tríú rang earráidí monatóireachta atá ann ná monatóireacht loighciúil.

    Le bheith macánta, ní raibh a fhios agam cad ba cheart a tharraingt ar an sleamhnán seo, mar bhí muid ag lorg le fada an lá ar an margadh le haghaidh rud éigin a d’oirfeadh dúinn. Ní bhfuaireamar aon rud, mar sin bhí orainn é a dhéanamh sinn féin.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Cad atá i gceist agam le monatóireacht loighciúil? Bhuel, samhlaigh: déanann tú córas duit féin (mar shampla, clón Tinder); rinne tú é, sheol tú é. Chuir an bainisteoir rathúil Vasya Pupkin ar a ghuthán é, feiceann sé cailín ann, taitníonn sé léi ... agus ní théann a leithéid chuig an gcailín - téann a leithéid chuig an garda slándála Mikhalych ón ionad gnó céanna. Téann an bainisteoir thíos staighre, agus ansin fiafraíonn sé: “Cén fáth a ndéanann an garda slándála Mikhalych meangadh gáire air?”

    I gcásanna den sórt sin ... Maidir linne, fuaimeanna an scéal seo beagán difriúil, mar gheall (scríobh mé) tá sé seo le caillteanas clú agus go hindíreach mar thoradh ar chaillteanais airgeadais. Is a mhalairt ar fad atá ár gcás: d’fhéadfaimis caillteanais dhíreacha airgeadais a fhulaingt - mar shampla, má rinneamar idirbheart rathúil, ach níor éirigh leis (nó vice versa). Bhí orm m'uirlis féin a scríobh a rianaíonn líon na n-idirbheart rathúla le himeacht ama ag baint úsáide as táscairí gnó. Ní bhfuaireas aon rud ar an margadh! Is é seo go díreach an smaoineamh a theastaigh uaim a chur in iúl. Níl aon rud ar an margadh chun fadhb den chineál seo a réiteach.

    Bhain sé seo le conas an fhadhb a aithint go tapa.

    Conas na cúiseanna le himscaradh a chinneadh

    Is é an tríú grúpa fadhbanna a réitímid tar éis dúinn an fhadhb a aithint, tar éis dúinn fáil réidh leis, bheadh ​​​​sé go maith an chúis atá le forbairt a thuiscint, le haghaidh tástála, agus rud éigin a dhéanamh faoi. Dá réir sin, ní mór dúinn imscrúdú a dhéanamh, ní mór dúinn na logaí a ardú.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Má tá muid ag caint faoi logs (is é an chúis is mó logs), tá an chuid is mó dár logs i ELK Stack - tá beagnach gach duine mar an gcéanna. Do roinnt, b'fhéidir nach bhfuil sé in ELK, ach má scríobhann tú logaí i ghigibheart, ansin luath nó mall tiocfaidh tú chuig ELK. Scríobhaimid iad i terabytes.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Tá fadhb anseo. D'éirigh linn é a shocrú, ceartaíodh an earráid don úsáideoir, thosaigh sé ag tochailt amach cad a bhí ann, dhreapamar isteach i Kibana, tháinig an t-aitheantas idirbhirt ansin agus fuair sé éadach coise mar seo (léiríonn go leor). Agus níl aon rud soiléir san éadach coise seo. Cén fáth? Sea, mar níl sé soiléir cén chuid lena mbaineann cén oibrí, cén chuid lena mbaineann cén chomhpháirt. Agus ag an nóiméad sin thuig muid go raibh gá againn a rianú - an OpenTracing céanna ar labhair mé faoi.

    Shíl muid é seo bliain ó shin, d'iompaigh ár n-aird ar an margadh, agus bhí dhá uirlis ann - "Zipkin" agus "Jaeger". Is oidhre ​​idé-eolaíoch den sórt sin é “Jager”, comharba idé-eolaíoch ar “Zipkin”. Tá gach rud go maith i Zipkin, ach amháin nach bhfuil a fhios aige conas a chomhiomlánú, níl a fhios aige conas logaí a áireamh sa rian, ach rian ama. Agus thacaigh “Jager” leis seo.

    D'fhéachamar ar "Jager": is féidir leat feidhmchláir ionstraime, is féidir leat scríobh i Api (ní raibh an caighdeán API do PHP ag an am sin ceadaithe - bhí sé seo bliain ó shin, ach anois tá sé ceadaithe cheana féin), ach tá ní raibh aon chliant ann. “Ceart go leor,” shíl muid, agus scríobh ár gcliant féin. Cad a fuair muid? Is é seo go garbh an chuma atá air:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    In Jaeger, cruthaítear raonta do gach teachtaireacht. Is é sin, nuair a osclaíonn úsáideoir an córas, feiceann sé bloc amháin nó dhó do gach iarratas a thagann isteach (1-2-3 - líon na n-iarratas isteach ón úsáideoir, líon na mbloic). Chun é a dhéanamh níos éasca d’úsáideoirí, chuireamar clibeanna leis na logaí agus na rianta ama. Dá réir sin, i gcás earráide, marcálfaidh ár n-iarratas an logáil leis an gclib Earráid chuí. Is féidir leat scagadh de réir clib Earráide agus ní thaispeánfar ach raonta a bhfuil an bloc seo ina bhfuil earráid. Seo an chuma a bheidh air má leathnaímid an réise:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Taobh istigh den réise tá sraith rianta. Sa chás seo, is trí rian tástála iad seo, agus cuireann an tríú rian in iúl dúinn gur tharla earráid. Ag an am céanna, feicimid rian ama anseo: tá scála ama againn ag an mbarr, agus feicimid cén t-eatramh ama a taifeadadh é seo nó an loga sin.

    Dá réir sin, chuaigh rudaí go maith dúinn. Scríobhamar ár síneadh féin agus chuireamar foinse oscailte air. Más mian leat oibriú le rianú, más mian leat oibriú le “Jager” i PHP, tá ár síneadh ann, fáilte romhat a úsáid, mar a deir siad:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Tá an síneadh seo againn - is cliant é don OpenTracing Api, déantar é mar php-extention, is é sin, beidh ort é a chur le chéile agus é a shuiteáil ar an gcóras. Bliain ó shin ní raibh aon rud difriúil. Anois tá cliaint eile atá cosúil le comhpháirteanna. Is fút féin atá sé: caidéalann tú na comhpháirteanna le cumadóir, nó úsáideann tú síneadh suas chugat.

    Caighdeáin chorparáideacha

    Labhair muid faoi na trí commandments. Is é an ceathrú ordú ná cuir chuige a chaighdeánú. Cad faoi seo? Tá sé faoi seo:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Cén fáth a bhfuil an focal “corparáideach” anseo? Ní mar gur cuideachta mhór nó mhaorlathach muid, ní hea! Theastaigh uaim an focal “corparáideach” a úsáid anseo sa chomhthéacs gur cheart go mbeadh a caighdeáin féin ag gach cuideachta, gach táirge, tú féin san áireamh. Cad iad na caighdeáin atá againn?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    • Tá rialacháin imscaradh againn. Nílimid ag bogadh áit ar bith gan é, ní féidir linn. Déanaimid imscaradh timpeall 60 uair sa tseachtain, is é sin, déanaimid imscaradh beagnach i gcónaí. Ag an am céanna, ní mór dúinn, mar shampla, sna rialacháin imscaradh taboo ar imscaradh ar an Aoine - i bprionsabal, ní dhéanaimid imscaradh.
    • Teastaíonn doiciméadú uainn. Ní dhéantar aon chomhpháirt nua amháin a tháirgeadh mura bhfuil doiciméadú ar bith ann, fiú má rugadh é faoi pheann ár speisialtóirí RnD. Teastaíonn uainn treoracha imlonnaithe uathu, léarscáil monatóireachta agus cur síos garbh (bhuel, mar is féidir le ríomhchláraitheoirí scríobh) ar an gcaoi a n-oibríonn an chomhpháirt seo, conas é a réiteach.
    • Réitímid ní cúis na faidhbe, ach an fhadhb - rud a dúirt mé cheana féin. Tá sé tábhachtach dúinn an t-úsáideoir a chosaint ó fhadhbanna.
    • Tá imréitigh againn. Mar shampla, ní mheasaimid gur aga neamhfhónaimh é má chailleamar 2% den trácht laistigh de dhá nóiméad. Go bunúsach níl sé seo san áireamh inár staitisticí. Má tá sé níos mó i dtéarmaí céatadáin nó sealadach, táimid ag comhaireamh cheana féin.
    • Agus scríobhaimid iarbháis i gcónaí. Cibé rud a tharlaíonn dúinn, léireofar sa scrúdú iarbháis aon chás inar iompraíocht duine neamhghnách i dtáirgeadh. Is doiciméad é iarbháis ina scríobhann tú cad a tharla duit, uainiú mionsonraithe, cad a rinne tú chun é a cheartú agus (bloc éigeantach é seo!) cad a dhéanfaidh tú chun é seo a chosc amach anseo. Tá sé seo éigeantach agus riachtanach le haghaidh anailíse ina dhiaidh sin.

    Cad a mheastar aga neamhfhónaimh?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Cad ba chúis leis seo go léir?

    Ba é an toradh a bhí air seo ná (bhí fadhbanna áirithe againn le cobhsaíocht, ní raibh sé seo oiriúnach dúinne ná do chliaint) le 6 mhí anuas ba é ár dtáscaire cobhsaíochta ná 99,97. Is féidir linn a rá nach bhfuil sé seo go mór. Sea, tá rud éigin le déanamh againn. As an táscaire seo, is ionann tuairim is leath den chobhsaíocht, mar a bhí, ní hé seo ár gcuid féin, ach ár mballa dóiteáin feidhmchlár gréasáin, a sheasann os ár gcomhair agus a úsáidtear mar sheirbhís, ach is cuma le cliaint faoi seo.

    D’fhoghlaimíomar codladh na hoíche. Ar deireadh! Sé mhí ó shin ní raibh muid in ann. Agus ar an nóta seo leis na torthaí, ba mhaith liom nóta amháin a dhéanamh. Aréir bhí tuairisc iontach faoin gcóras rialaithe d’imoibreoir núicléach. Más féidir leis na daoine a scríobh an córas seo mé a chloisteáil, déan dearmad, le do thoil, ar an méid a dúirt mé faoi “Ní am neamhfhónaimh é 2%. Ar do shon, is downtime é 2%, fiú más ar feadh dhá nóiméad!

    Sin é an méid! Do cheisteanna.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Maidir le cothromóirí agus imirce bunachar sonraí

    Ceist ón lucht éisteachta (dá ngairfear anseo feasta – B): – Oíche mhaith. Go raibh míle maith agat as a leithéid de thuairisc riaracháin! Ceist ghairid faoi do chuid comhardaithe. Luaigh tú go bhfuil WAF agat, is é sin, de réir mar a thuigim é, go n-úsáideann tú cothromaíocht sheachtrach de shaghas éigin...

    EK: – Ní hea, úsáidimid ár seirbhísí mar chothromóir. Sa chás seo, is uirlis chosanta DDoS amháin é WAF dúinn.

    In: – An féidir leat cúpla focal a rá faoi chothromóirí?

    EK: – Mar a dúirt mé cheana, is grúpa freastalaithe é seo in openresty. Tá 5 ghrúpa cúltaca againn anois a fhreagraíonn go heisiach ... is é sin, freastalaí a ritheann go heisiach oscailte, ní dhéanann sé ach seachfhreastalaí ar thrácht. Dá réir sin, chun tuiscint a fháil ar cé mhéad atá againn: tá sruth tráchta rialta de na céadta meigeavata againn anois. Déileálann siad, mothaíonn siad go maith, ní chuireann siad brú orthu féin fiú.

    In: – Ceist shimplí freisin. Seo imscaradh Gorm/Glas. Cad a dhéanann tú, mar shampla, le haistrithe bunachar sonraí?

    EK: - Ceist mhaith! Féach, san imscaradh Gorm/Glas tá scuainí ar leith againn do gach líne. Is é sin, má táimid ag caint faoi scuainí imeachta a tharchuirtear ó oibrí go hoibrí, tá scuainí ar leith ann don líne ghorm agus don líne ghlas. Má tá muid ag caint faoin mbunachar sonraí féin, ansin rinneamar é a chúngú d'aon ghnó an oiread agus a d'fhéadfaimis, bhog muid gach rud go praiticiúil i scuainí; sa bhunachar sonraí ní stóraimid ach stoc idirbheart. Agus is é ár stack idirbheart mar an gcéanna do gach líne. Leis an mbunachar sonraí sa chomhthéacs seo: ní dhéanaimid é a roinnt ina ghorm agus glas, mar ní mór go mbeadh a fhios ag an dá leagan den chód cad atá ag tarlú leis an idirbheart.

    A chairde, tá duais bheag agam le spíonadh ort freisin - leabhar. Agus ba cheart dom é a bhronnadh ar an gceist is fearr.

    In: - Dia dhuit. Go raibh maith agat as an tuarascáil. Is í an cheist seo. Déanann tú monatóireacht ar íocaíochtaí, déanann tú monatóireacht ar na seirbhísí lena ndéanann tú cumarsáid... Ach conas a dhéanann tú monatóireacht ionas go dtáinig duine ar bhealach éigin chuig do leathanach íocaíochta, go ndearna sé íocaíocht, agus gur chuir an tionscadal airgead chun sochair dó? Is é sin, conas a dhéanann tú monatóireacht go bhfuil an marchant ar fáil agus gur ghlac tú le do aisghlao?

    EK: – Is í an tseirbhís sheachtrach chéanna go díreach atá ag “Merchant” dúinne sa chás seo agus atá sa chóras íocaíochta. Déanaimid monatóireacht ar luas freagartha an cheannaí.

    Maidir le criptiú bunachar sonraí

    In: - Dia dhuit. Tá ceist beagán gaolmhar agam. Tá sonraí íogaire PCI DSS agat. Bhí mé ag iarraidh a fháil amach conas a stórálann tú PANanna i scuainí ar gá duit aistriú isteach iontu? An úsáideann tú aon chriptiú? Agus tá an dara ceist mar thoradh air seo: de réir PCI DSS, is gá an bunachar sonraí a athchriptiú go tréimhsiúil i gcás athruithe (dífhostú riarthóirí, etc.) - cad a tharlaíonn don inrochtaineacht sa chás seo?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    EK: - Ceist iontach! Ar an gcéad dul síos, ní stórálaimid PANanna i scuainí. Níl an ceart againn PAN a stóráil in áit ar bith i bhfoirm shoiléir, i bprionsabal, mar sin úsáidimid seirbhís speisialta (tugaimid "Kademon" air") - is seirbhís í seo nach ndéanann ach rud amháin: faigheann sé teachtaireacht mar ionchur agus seolann amach teachtaireacht criptithe. Agus stóráilimid gach rud leis an teachtaireacht criptithe seo. Dá réir sin, tá ár n-eochair fad faoi kilobyte, ionas go mbeidh sé seo tromchúiseach agus iontaofa.

    In: – An bhfuil 2 cilibheart ag teastáil uait anois?

    EK: – Is cosúil gur inné a bhí sé 256... Bhuel, cá háit eile?!

    Dá réir sin, is é seo an chéad cheann. Agus ar an dara dul síos, an réiteach atá ann, tacaíonn sé leis an nós imeachta ath-chriptithe - tá dhá phéire “keks” (eochracha), a thugann “decks” a chriptíonn (is iad na heochracha na heochracha, is díorthaigh de na heochracha a chriptíonn deasc) . Agus má thionscnaítear an nós imeachta (tarlaíonn sé go rialta, ó 3 mhí go ± cuid), íoslódálann muid péire nua “cácaí”, agus athchripimid na sonraí. Tá seirbhísí ar leith againn a sracadh amach na sonraí go léir agus a chriptiú ar bhealach nua; Stóráiltear na sonraí in aice le haitheantóir na heochrach lena bhfuil sé criptithe. Dá réir sin, chomh luath agus a chripimid na sonraí le heochracha nua, scriosaimid an seaneochair.

    Uaireanta is gá íocaíochtaí a dhéanamh de láimh...

    In: – Is é sin, má tá aisíocaíocht faighte le haghaidh oibríocht éigin, an ndéanfaidh tú é a dhíchriptiú fós leis an seaneochair?

    EK: - Sea.

    In: – Ansin ceist bheag amháin eile. Nuair a tharlaíonn teip, titim nó teagmhas de shaghas éigin, is gá an t-idirbheart a bhrú tríd an idirbheart de láimh. Tá a leithéid de chás ann.

    EK: - Sea, uaireanta.

    In: – Cad as a bhfaigheann tú na sonraí seo? Nó an dtéann tú chuig an áis stórála seo tú féin?

    EK: – Ní hea, bhuel, ar ndóigh, tá córas cúloifige de chineál éigin againn ina bhfuil comhéadan dár dtacaíocht. Mura bhfuil a fhios againn cén stádas atá ag an idirbheart (mar shampla, go dtí gur fhreagair an córas íocaíochta le teorainn ama), níl a fhios againn a priori, is é sin, sannaimid an stádas deiridh ach amháin le muinín iomlán. Sa chás seo, sannaimid an t-idirbheart chuig stádas speisialta le haghaidh próiseála láimhe. Ar maidin, an lá dár gcionn, a luaithe a fhaigheann tacaíocht faisnéis go bhfanann idirbhearta den sórt sin agus den sórt sin sa chóras íocaíochta, déanann siad iad a phróiseáil de láimh sa chomhéadan seo.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    In: – Tá cúpla ceist agam. Ceann acu is ea leanúint ar aghaidh leis an gcrios PCI DSS: conas a dhéanann tú a gciorcad a logáil? Tá an cheist seo toisc go bhféadfadh an forbróir aon rud a chur sna logaí! An dara ceist: conas a dhéantar réitigh te a rolladh amach? Is rogha amháin é lámha a úsáid sa bhunachar sonraí, ach d'fhéadfadh go mbeadh réitigh te saor in aisce ann - cad é an nós imeachta atá ann? Agus is dócha go mbaineann an tríú ceist le RTO, RPO. Ba é an infhaighteacht a bhí agat ná 99,97, beagnach ceithre nines, ach de réir mar a thuigim é, tá an dara ionad sonraí, an tríú lárionad sonraí, agus an cúigiú ionad sonraí agat... Conas a dhéanann tú iad a shioncronú, iad a mhacasamhlú, agus gach rud eile?

    EK: - Let tús leis an gcéad cheann. An raibh an chéad cheist faoi logs? Nuair a scríobhaimid logaí, tá ciseal againn a chumhdaíonn na sonraí íogaire go léir. Féachann sí ar an masc agus ar na réimsí breise. Dá réir sin, tagann ár logaí amach le sonraí atá clúdaithe cheana féin agus ciorcad PCI DSS. Seo ceann de na tascanna rialta a thugtar don roinn tástála. Iarrtar orthu gach tasc a sheiceáil, lena n-áirítear na logaí a scríobhann siad, agus tá sé seo ar cheann de na tascanna rialta le linn athbhreithnithe cód, chun a rialú nach ndearna an forbróir rud éigin a scríobh síos. Déanann an roinn slándála faisnéise seiceálacha ina dhiaidh sin go rialta timpeall uair sa tseachtain: tógtar logaí don lá deiridh go roghnach agus reáchtáiltear iad trí anailíseoir speisialta scanóir ó na freastalaithe tástála chun gach rud a sheiceáil.
    Maidir le réitigh te. Tá sé seo san áireamh inár rialacháin imlonnaithe. Tá clásal ar leith againn maidir le ceartúcháin. Creidimid go n-imscaraimid hotfixes timpeall an chloig nuair is gá dúinn é. Chomh luath agus a chuirtear an leagan le chéile, chomh luath agus a reáchtálfar é, a luaithe a bhíonn déantán againn, tá riarthóir córais againn ar dualgas ar ghlao ó thacaíocht, agus imscarann ​​sé é faoi láthair nuair is gá.

    Maidir le "ceithre nines". Tá an figiúr atá againn anois bainte amach go fírinneach, agus rinneamar ár ndícheall é i lárionad sonraí eile. Anois tá an dara lárionad sonraí againn, agus táimid ag tosú ar an mbealach a dhéanamh eatarthu, agus is ceist neamhfhánach í an tsaincheist maidir le macasamhlú lárionad sonraí a thrasnú. Rinneamar iarracht é a réiteach ag aon am amháin ag baint úsáide as modhanna éagsúla: rinneamar iarracht an “Tarantula” céanna a úsáid - níor oibrigh sé amach dúinn, inseoidh mé duit ar an bpointe boise. Sin an fáth dar críoch muid suas a ordú an "sens" de láimh. Go deimhin, ritheann gach feidhmchlár inár gcóras an sioncronú “athrú – déanta” riachtanach idir ionaid sonraí go neamhshioncronach.

    In: – Má fuair tú an dara ceann, cén fáth nach bhfuair tú an tríú ceann? Toisc nach bhfuil inchinn scoilte ag éinne go fóill...

    EK: - Ach níl Scoilt Brain againn. Toisc go bhfuil gach iarratas á thiomáint ag ilmháistir, is cuma linn cén t-ionad ar tháinig an t-iarratas chuige. Táimid réidh le haghaidh má theipeann ar cheann dár n-ionaid sonraí (bímid ag brath air seo) agus i lár iarratas úsáideora aistríonn go dtí an dara ionad sonraí, táimid réidh leis an úsáideoir seo a chailleadh, go deimhin; ach aonaid, aonaid iomlána a bheidh iontu seo.

    In: - Tráthnóna maith. Go raibh maith agat as an tuarascáil. Labhair tú faoi do dífhabhtóir, a ritheann roinnt idirbheart tástála i dtáirgeadh. Ach inis dúinn faoi idirbhearta tástála! Cé chomh domhain a théann sé?

    EK: – Téann sé trí thimthriall iomlán an chomhpháirte iomláin. Maidir le comhpháirt, níl aon difríocht idir idirbheart tástála agus idirbheart táirgthe. Ach ó thaobh loighciúil de, níl anseo ach tionscadal ar leith sa chóras, ar a reáchtáiltear idirbhearta tástála amháin.

    In: -Cá ghearrann tú é? Sheol Core anseo...

    EK: – Táimid taobh thiar de “Kor” sa chás seo maidir le hidirbhearta tástála... Tá a leithéid de rud againn agus ródú: tá a fhios ag “Kor” cén córas íocaíochta le seoladh chuige - seolann muid chuig córas íocaíochta bréige, rud a thugann comhartha http agus Sin é an méid.

    In: – Inis dom, le do thoil, an raibh d’iarratas scríofa i monolith ollmhór amháin, nó ar ghearr tú isteach i roinnt seirbhísí nó fiú micriseirbhísí é?

    EK: - Níl monolith againn, ar ndóigh, tá feidhmchlár atá dírithe ar sheirbhís againn. Táimid ag magadh go bhfuil ár seirbhís déanta as monoliths - tá siad i ndáiríre sách mór. Tá sé deacair micreasheirbhísí a thabhairt air, ach is seirbhísí iad seo ina n-oibríonn oibrithe meaisíní dáilte.

    Má tá an tseirbhís ar an bhfreastalaí i mbaol...

    In: - Ansin tá an chéad cheist eile agam. Fiú dá mba monolith é, dúirt tú go fóill go bhfuil go leor de na freastalaithe meandracha seo agat, go bunúsach próiseálann siad sonraí, agus is í an cheist ná: “I gcás comhréiteach ar cheann de na freastalaithe meandracha nó feidhmchlár, aon nasc aonair , an bhfuil cineál éigin rialaithe rochtana acu? Cé acu díobh is féidir a dhéanamh? Cé leis ar cheart dom dul i dteagmháil le cén fhaisnéis?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    EK: - Sea, cinnte. Tá na ceanglais slándála tromchúiseach go leor. Ar an gcéad dul síos, tá gluaiseachtaí sonraí oscailte againn, agus níl sna calafoirt ach na cinn trína mbeimid ag súil le gluaiseacht tráchta roimh ré. Má dhéanann comhpháirt cumarsáid leis an mbunachar sonraí (abair, le Muskul) trí 5-4-3-2, ní bheidh ach 5-4-3-2 ar oscailt dó, agus ní bheidh calafoirt eile agus treoracha tráchta eile ar fáil. Ina theannta sin, ní mór duit a thuiscint go bhfuil thart ar 10 lúb slándála éagsúla inár dtáirgeadh. Agus fiú má bhí an t-iarratas i gcontúirt ar bhealach éigin, Dia forbid, ní bheidh an ionsaitheoir in ann rochtain a fháil ar an consól bainistíochta freastalaí, toisc go bhfuil sé seo crios slándála líonra éagsúla.

    In: – Agus sa chomhthéacs seo, an rud atá níos suimiúla domsa ná go bhfuil conarthaí áirithe agat le seirbhísí - cad is féidir leo a dhéanamh, trí na “gníomhartha” ar féidir leo teagmháil a dhéanamh lena chéile... Agus i ngnáthshreabhadh, iarrann roinnt seirbhísí sonracha roinnt as a chéile, liosta “gníomhartha” ar an taobh eile. Ní cosúil go n-iompaíonn siad ar dhaoine eile i ngnáthstaid, agus tá réimsí eile freagrachta acu. Má chuirtear duine acu i gcontúirt, an mbeidh sé in ann cur isteach ar “ghníomhartha” na seirbhíse sin?..

    EK: - Tuigim. Más rud é i ngnáthstaid le freastalaí eile ceadaíodh cumarsáid ar chor ar bith, ansin bhí. De réir an chonartha CLS, ní dhéanaimid monatóireacht ar nach gceadaítear duit ach na chéad 3 “ghníomh”, agus nach bhfuil na 4 “ghníomh” ceadaithe duit. Is dócha go bhfuil sé seo iomarcach dúinn, toisc go bhfuil córas cosanta 4-leibhéal againn cheana féin, i bprionsabal, le haghaidh ciorcaid. Is fearr linn sinn féin a chosaint leis na comhrianta, seachas ag leibhéal an taobh istigh.

    Conas a oibríonn Visa, MasterCard agus Sberbank

    In: – Ba mhaith liom pointe a shoiléiriú maidir le húsáideoir a aistriú ó ionad sonraí amháin go ceann eile. Chomh fada agus is eol dom, oibríonn Visa agus MasterCard ag baint úsáide as prótacal sioncrónach dénártha 8583, agus tá meascáin ann. Agus bhí mé ag iarraidh a fháil amach, anois tá i gceist againn aistriú - an "Víosa" agus "MasterCard" go díreach nó roimh chórais íocaíochta, roimh phróiseáil?

    EK: - Tá sé seo roimh na meascáin. Tá ár meascáin lonnaithe san ionad sonraí céanna.

    In: – Go garbh, an bhfuil pointe nasctha amháin agat?

    EK: – “Víosa” agus “MasterCard” - tá. Níl ort ach toisc go dteastaíonn infheistíochtaí tromchúiseacha go leor i mbonneagar ó Visa agus MasterCard chun conarthaí ar leith a thabhairt i gcrích chun an dara péire meascáin a fháil, mar shampla. Tá siad curtha in áirithe laistigh d'aon ionad sonraí amháin, ach más rud é, a Dhia, go n-éagann ár n-ionad sonraí, áit a bhfuil meascáin chun nascadh le Visa agus MasterCard, beidh nasc againn le Visa agus MasterCard caillte...

    In: – Conas is féidir iad a chur in áirithe? Tá a fhios agam nach gceadaíonn Visa ach nasc amháin i bprionsabal!

    EK: – Soláthraíonn siad an trealamh iad féin. In aon chás, fuair muid trealamh atá go hiomlán iomarcach taobh istigh.

    In: – Mar sin tá an seastán óna Connects Orange?..

    EK: - Sea.

    In: – Ach cad faoin gcás seo: má imíonn d’ionad sonraí, conas is féidir leat leanúint ar aghaidh á úsáid? Nó an stopann an trácht?

    EK: - Ní hea. Sa chás seo, déanfaimid an trácht a aistriú go cainéal eile, rud a bheidh, go nádúrtha, níos costasaí dúinn agus níos costasaí dár gcliaint. Ach ní bheidh an trácht dul tríd ár nasc díreach chuig Visa, MasterCard, ach tríd an Sberbank coinníollach (an-áibhéalacha).

    Gabhaim mo leithscéal go fiáin má chiontaigh mé fostaithe Sberbank. Ach de réir ár staitisticí, i measc na mbanc na Rúise, is minic a thiteann Sberbank. Ní théann mí ar aghaidh gan rud éigin ag titim amach ag Sberbank.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): cad atá le déanamh nuair a chosnaíonn nóiméad aga neamhfhónaimh $100000

    Roinnt fógraí 🙂

    Go raibh maith agat as fanacht linn. An maith leat ár n-alt? Ar mhaith leat ábhar níos suimiúla a fheiceáil? Tacaigh linn trí ordú a dhéanamh nó moladh a thabhairt do chairde, scamall VPS d'fhorbróirí ó $4.99, analóg uathúil de fhreastalaithe leibhéal iontrála, a cheap muid duit: An fhírinne iomlán a insint faoi VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps ó $19 nó conas freastalaí a roinnt? (ar fáil le RAID1 agus RAID10, suas le 24 croíleacan agus suas le 40GB DDR4).

    Dell R730xd 2x níos saoire i lárionad sonraí Equinix Tier IV in Amstardam? Ach anseo 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 teilifíse ó $199 san Ísiltír! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - ó $99! Léigh faoi Conas corprú bonneagair a thógáil. rang le húsáid freastalaithe Dell R730xd E5-2650 v4 fiú 9000 euro ar phingin?

Foinse: will.com

Add a comment