Hi Habr!
Ann an 2017, air Dihaoine Dubh, chaidh an luchd suas cha mhòr uair gu leth, agus bha na frithealaichean againn aig an ìre as àirde. Thar na bliadhna, tha an àireamh de luchd-dèiligidh air a dhol suas gu mòr, agus dh’ fhàs e soilleir, às aonais ullachadh ro-làimh faiceallach, gur dòcha nach seas an àrd-ùrlar ri luchdan 2018.
Shuidhich sinn an amas as adhartaiche a bha comasach: bha sinn airson a bhith làn ullaichte airson gnìomhachd gnìomhachd sam bith, eadhon na h-àrdachaidhean as cumhachdaiche agus thòisich sinn air comasan ùra a chuir air bhog ro-làimh tron bhliadhna.
An CTO againn Andrey Chizh () ag innse mar a rinn sinn ullachadh airson Dihaoine Dubh 2018, dè na ceumannan a ghabh sinn gus easan a sheachnadh, agus, gu dearbh, toraidhean ullachadh cho faiceallach.
An-diugh tha mi airson bruidhinn mu dheidhinn ullachaidhean airson Black Friday 2018. Carson a-nis, nuair a tha a 'mhòr-chuid de phrìomh reic air ar cùlaibh? Thòisich sinn ag ullachadh timcheall air bliadhna ro thachartasan mòra, agus tro dheuchainn agus mearachd lorg sinn am fuasgladh as fheàrr. Tha sinn a’ moladh dhut aire a thoirt do na ràithean teth ro-làimh agus casg a chuir air sgamannan a dh’ fhaodadh nochdadh aig an àm as neo-iomchaidh.
Bidh an stuth feumail don h-uile duine a tha airson an prothaid as motha fhaighinn bho leithid de stoc, oir Chan eil taobh theicnigeach na cùise nas ìsle na an taobh margaidheachd an seo.
Feartan trafaic aig fèilltean mòra
A dh 'aindeoin creideas mòr-chòrdte, chan e dìreach aon latha sa bhliadhna a th' ann an Dihaoine Dubh, ach cha mhòr seachdain air fad: thig a 'chiad thairgsean lasachaidh 7-8 latha ron reic. Bidh trafaic làrach-lìn a’ tòiseachadh a ’fàs gu rèidh tron t-seachdain, a’ ruighinn an ìre as àirde air Dihaoine agus a ’tuiteam gu math luath Disathairne gu ìrean àbhaisteach a’ bhùth.
Tha seo cudromach beachdachadh: bidh stòran air-loidhne gu sònraichte mothachail air “slowdowns” sam bith san t-siostam. A bharrachd air an sin, thàinig àrdachadh mòr air ar loidhne cuairt-litir puist-d anns an àireamh de thagraidhean.
Tha e cudromach gu ro-innleachdail dhuinn a dhol tro Dhihaoine Dubh gun thubaistean, oir... Tha an gnìomh as cudromaiche de làraich-lìn agus cuairt-litrichean stòr an urra ri gnìomhachd an àrd-ùrlar, is iad sin:
- A’ cumail sùil air agus a’ cur a-mach molaidhean toraidh,
- Cur a-mach stuthan co-cheangailte (mar eisimpleir, ìomhaighean de dhealbhadh bhlocaichean molaidh, leithid saighdean, suaicheantasan, ìomhaighean agus eileamaidean lèirsinneach eile),
- A’ toirt seachad ìomhaighean toraidh den mheud a tha a dhìth (airson na h-adhbharan sin tha “ImageResizer" againn - fo-shiostam a bhios a’ luchdachadh sìos ìomhaigh bho fhrithealaiche na bùtha, ga dhlùthadh chun mheud a tha a dhìth agus, tro bhith a’ caching frithealaichean, a’ toirt a-mach ìomhaighean den mheud a tha a dhìth airson gach toradh ann an gach bloca molaidh).
Gu dearbh, rè Dihaoine Dubh 2019, chaidh an luchd air an t-seirbheis suas 40%, i.e. tha an àireamh de thachartasan a bhios an siostam Retail Rocket a’ leantainn agus a’ pròiseasadh air làraich stòran air-loidhne air a dhol suas bho 5 gu 8 mìle iarrtas gach diog. Leis gu robh sinn ag ullachadh airson luchdan nas miosa, thàinig sinn beò gu furasta le àrdachadh mar sin.
Ullachadh coitcheann
Tha Dihaoine Dubh na àm trang airson a h-uile reic agus e-malairt gu sònraichte. Tha an àireamh de luchd-cleachdaidh agus an gnìomhachd aig an àm seo a 'fàs gu mòr, agus mar sin tha sinn, mar a bha e an-còmhnaidh, air ullachadh gu math airson na h-ùine thrang seo. Nach cuir sinn ris an seo gu bheil mòran stòran air-loidhne againn ceangailte chan ann a-mhàin san Ruis, ach cuideachd san Roinn Eòrpa, far a bheil an othail tòrr nas àirde, agus bidh sinn a’ faighinn ìre de dhealas nas miosa na an t-sreath Brazilach. Dè a dh'fheumar a dhèanamh gus a bhith deiseil airson àrdachadh luchdan?
Ag obair le frithealaichean
An toiseach, bha e riatanach faighinn a-mach dè dìreach a bha a dhìth oirnn gus cumhachd an fhrithealaiche àrdachadh. A-cheana san Lùnastal, thòisich sinn ag òrdachadh frithealaichean ùra gu sònraichte airson Dihaoine Dubh - gu h-iomlan chuir sinn 10 innealan a bharrachd ris. Ron t-Samhain bha iad gu tur an sàs ann an sabaid.
Aig an aon àm, chaidh cuid de na h-innealan togail ath-shuidheachadh airson an cleachdadh mar luchd-frithealaidh tagraidh. Dh'ullaich sinn iad sa bhad airson diofar dhleastanasan a chleachdadh: an dà chuid airson molaidhean a chuir a-mach agus airson seirbheis ImageResizer, gus, a rèir an seòrsa luchd, gum faodadh gach fear dhiubh a bhith air a chleachdadh airson aon de na dreuchdan sin. Ann am modh àbhaisteach, tha gnìomhan soilleir aig na frithealaichean Iarrtas agus ImageResizer: tha na molaidhean cùise a bh’ ann roimhe, an dàrna fear a’ toirt seachad ìomhaighean airson litrichean agus blocaichean molaidh air làraich-lìn bhùthan air-loidhne. Mar ullachadh airson Dihaoine Dubh, chaidh co-dhùnadh a h-uile seirbheisiche dà-adhbhar a dhèanamh gus trafaic a chothromachadh eatorra a rèir an seòrsa luchdachadh sìos.
An uairsin chuir sinn dà sheirbheisiche mòr ris airson Kafka (Apache Kafka) agus fhuair sinn cruinneachadh de 5 innealan cumhachdach. Gu mì-fhortanach, cha deach a h-uile càil cho rèidh ‘s a bu mhath leinn: rè a’ phròiseas sioncronaidh dàta, bha dà inneal ùr a ’fuireach air leud iomlan an t-seanail lìonra, agus bha againn ri faighinn a-mach gu h-èiginneach mar a bu chòir dhuinn am pròiseas cur-ris a dhèanamh gu sgiobalta agus gu sàbhailte airson an t-sianail lìonraidh. bun-structair gu lèir. Gus a’ chùis seo fhuasgladh, bha aig ar luchd-rianachd ri na deireadh-sheachdainean aca a thoirt seachad gu dùrachdach.
Obraich le dàta
A bharrachd air frithealaichean, chuir sinn romhainn na faidhlichean a mheudachadh gus an luchd a lughdachadh agus b’ e ceum mòr dhuinn eadar-theangachadh fhaidhlichean statach. Chaidh a h-uile faidhle statach a chaidh a chumail roimhe air frithealaichean a ghluasad gu S3 + Cloudfront. Tha sinn air a bhith ag iarraidh seo a dhèanamh airson ùine mhòr, leis gu robh an luchd air an fhrithealaiche faisg air na luachan crìche, agus a-nis tha deagh chothrom air èirigh.
Seachdain ro Dihaoine Dubh, mheudaich sinn an ùine tasgaidh dhealbhan gu 3 latha, gus an deidheadh ìomhaighean a chaidh a thasgadh roimhe seo a thoirt air ais bhon cdn nan tuiteadh ImageResizer. Lùghdaich e cuideachd an luchd air na frithealaichean againn, leis mar as fhaide a thèid an ìomhaigh a stòradh, is ann as trice a dh’ fheumas sinn goireasan a chosg air ath-mheudachadh.
Agus mu dheireadh ach chan e as ìsle: 5 latha ro Dihaoine Dubh, chaidh moratorium ainmeachadh mu bhith a’ cleachdadh gnìomh ùr sam bith, a bharrachd air obair sam bith leis a’ bhun-structar - tha a h-uile aire ag amas air dèiligeadh ri barrachd luchdan.
Planaichean airson dèiligeadh ri suidheachaidhean duilich
Ge bith dè cho àrd sa tha an ullachadh, tha fakaps an-còmhnaidh comasach. Agus tha sinn air 3 planaichean freagairt a leasachadh airson suidheachaidhean èiginneach a dh’ fhaodadh a bhith ann:
- lughdachadh luchd,
- cuid de sheirbheisean a chur à comas,
- dùnadh iomlan na seirbheis.
Plana A: Lùghdaich an luchd. Bu chòir a bhith air a chuir an gnìomh nam biodh, mar thoradh air àrdachadh ann an luchd, na frithealaichean againn a’ dol seachad air amannan freagairt iomchaidh. Anns a ’chùis seo, tha sinn air dòighean ullachadh airson an luchd a lughdachadh mean air mhean le bhith ag atharrachadh pàirt den trafaic gu frithealaichean Amazon, a bhiodh dìreach a’ freagairt a h-uile iarrtas le “200 OK” agus a bheireadh freagairt falamh. Bha sinn a’ tuigsinn gur e ìsleachadh a bha seo air càileachd na seirbheis, ach tha an roghainn eadar nach eil an t-seirbheis ag obair idir no nach eil i a’ nochdadh mholaidhean airson timcheall air 10% de thrafaig follaiseach.
Plana B: Seirbheisean a chur à comas. A’ ciallachadh gun deach an t-seirbheis a mhilleadh gu ìre. Mar eisimpleir, lughdaich astar àireamhachadh mholaidhean pearsanta gus cuid de stòran-dàta agus seanalan conaltraidh a luchdachadh. Anns a 'mhodh àbhaisteach, tha molaidhean air an tomhas ann an àm fìor, a' cruthachadh dreach eadar-dhealaichte den bhùth air-loidhne airson gach neach-tadhail, ach fo chumhachan àrdachadh luchdan, le bhith a 'lùghdachadh an astair a' leigeil le prìomh sheirbheisean eile cumail orra ag obair.
Plana C: ann an cùis Armageddon. Ma tha fàilligeadh siostam iomlan, tha sinn air plana ullachadh a leigeas leinn a bhith air ar sgaradh gu sàbhailte bhon luchd-ceannach againn. Bidh luchd-ceannach stòran dìreach a’ stad air molaidhean fhaicinn; cha bhith coileanadh a ’bhùth air-loidhne a’ fulang ann an dòigh sam bith. Gus seo a dhèanamh, dh'fheumamaid ar faidhle amalachaidh ath-shuidheachadh gus an stadadh luchd-cleachdaidh ùr a bhith ag eadar-obrachadh leis an t-seirbheis. Is e sin, chuireadh sinn à comas ar prìomh chòd tracadh, stadadh an t-seirbheis bho bhith a’ cruinneachadh dàta agus a’ tomhas mholaidhean, agus bhiodh an neach-cleachdaidh dìreach a’ faicinn duilleag gun bhlocaichean molaidh. Dhaibhsan uile a fhuair faidhle amalachaidh roimhe seo, tha sinn air an roghainn a thoirt seachad an clàr DNS atharrachadh gu Amazon agus an 200 OK stub.
Builean
Làimhseachadh sinn an luchd gu lèir eadhon gun fheum air innealan togail a bharrachd a chleachdadh. Agus mar thoradh air ullachadh ro-làimh, cha robh feum againn air gin de na planaichean freagairt leasaichte. Ach tha an obair gu lèir a chaidh a dhèanamh na eòlas luachmhor a chuidicheas sinn gus dèiligeadh ris an t-sruth trafaic as motha ris nach robh dùil agus as motha.
Mar ann an 2017, chaidh an luchd air an t-seirbheis suas 40%, agus chaidh an àireamh de luchd-cleachdaidh ann an stòran air-loidhne suas 60% air Dihaoine Dubh. Thachair a h-uile duilgheadas agus mearachd rè na h-ùine ullachaidh, a shàbhail sinn fhèin agus ar teachdaichean bho shuidheachaidhean ris nach robh dùil.
Ciamar a tha thu a’ dèiligeadh ri Dihaoine Dubh? Ciamar a bhios tu ag ullachadh airson luchdan èiginneach?
Source: www.habr.com