4 innealtóir, 7000 freastalaí agus paindéim dhomhanda amháin

Hey Habr! Cuirim i láthair d'aistriúchán ar an alt "4 Innealtóir, 7000 Freastalaí, Agus Paindéim Dhomhanda Amháin" le Adib Daw.

Mura gcuireann an ceannlíne sin crith beag síos do dhroim, ba chóir duit dul ar aghaidh chuig an gcéad alt eile nó cuairt a thabhairt ar ár leathanach atá tiomnaithe do gairme sa chuideachta - ba mhaith linn labhairt.

Cé atáimid

Is foireann de cheathrar penguins muid ar breá leo cód a scríobh agus a bheith ag obair le crua-earraí. Inár gcuid ama spártha, táimid freagrach as cabhlach de bhreis is 4 freastalaí fisiceach a ritheann Linux a imscaradh, a chothabháil agus a oibriú, scaipthe thar 7000 ionad sonraí éagsúla ar fud na Stát Aontaithe.

Bhí deis againn freisin é seo a dhéanamh 10 km ó shuímh, ó chompord ár n-oifige féin, atá suite tamall gairid ón trá ar an Meánmhuir.

Fadhbanna scála

Cé go ndéanann sé ciall do ghnólacht tosaithe tosú ag óstáil a bhonneagair sa scamall mar gheall ar an infheistíocht tosaigh réasúnta íseal, shocraigh muid ag Outbrain ár freastalaithe féin a úsáid. Rinneamar é seo toisc go bhfuil costais an bhonneagair néil i bhfad níos airde ná na costais a bhaineann le ár dtrealamh féin a oibriú atá lonnaithe in ionaid sonraí tar éis forbartha go leibhéal áirithe. Ina theannta sin, soláthraíonn do fhreastalaí an leibhéal is airde cumais rialaithe agus fabhtcheartaithe.

Agus muid ag forbairt, tá fadhbanna i gcónaí in aice láimhe. Thairis sin, de ghnáth tagann siad i ngrúpaí. Teastaíonn féinfheabhsú leanúnach le bainistiú saolré an fhreastalaí ionas go mbeifear in ann feidhmiú i gceart i gcomhthéacs an mhéadaithe mhear ar líon na bhfreastalaithe. Éiríonn modhanna bogearraí chun grúpaí freastalaí a bhainistiú in ionaid sonraí go han-tapa. Éiríonn le teipeanna a bhrath, a réiteach agus a mhaolú agus caighdeáin QoS á gcomhlíonadh ina n-ábhar chun eagair thar a bheith éagsúil crua-earraí, ualaí oibre éagsúla, amanna uasghrádaithe, agus rudaí deasa eile nach mian le duine ar bith a bheith buartha fúthu.

Máistir do Fearainn

Chun go leor de na fadhbanna seo a réiteach, bhriseamar saolré an fhreastalaí in Outbrain ina phríomhchodanna agus thugamar fearainn orthu. Mar shampla, clúdaíonn réimse amháin riachtanais trealaimh, clúdaíonn ceann eile lóistíocht a bhaineann le saolré an fhardail, agus clúdaíonn an tríú cuid cumarsáid le pearsanra allamuigh. Tá ceann eile ann maidir le hinbhraiteacht crua-earraí, ach ní chuirfimid síos ar na pointí go léir. Ba é an sprioc a bhí againn ná réimsí a staidéar agus a shainiú ionas go bhféadfaí iad a astarraingt trí chód a úsáid. Nuair a fhorbraítear astarraingt oibre, aistrítear é chuig próiseas láimhe a imscartar, a thástáiltear agus a dhéantar é a scagadh. Ar deireadh, tá an fearann ​​cumraithe chun comhtháthú le fearainn eile trí APIanna, rud a fhoirmíonn córas saolré crua-earraí iomlánaíoch, dinimiciúil agus atá ag athrú de shíor agus atá in-imscartha, intástáilte agus inbhraite. Cosúil lenár gcórais táirgthe eile go léir.

Ghlac an cur chuige seo deis dúinn go leor fadhbanna a réiteach i gceart - trí uirlisí agus uathoibriú a chruthú.

Fearann ​​​​gá

Cé gur bealach inmharthana iad ríomhphoist agus scarbhileoga chun freastal ar an éileamh sna laethanta tosaigh, níor éirigh leis an réiteach, go háirithe nuair a shroich líon na bhfreastalaithe agus líon na n-iarratas isteach leibhéal áirithe. Chun iarratais a tháinig isteach a eagrú agus a chur in ord tosaíochta níos fearr in aghaidh an fhairsingithe mhear, bhí orainn córas ticéadaithe a úsáid a d’fhéadfadh na nithe seo a leanas a thairiscint:

  • Cumas an radharc a shaincheapadh ar réimsí ábhartha amháin (simplí)
  • Oscail APInna (sínte)
  • Ar eolas ag ár bhfoireann (tuigthe)
  • Comhtháthú lenár sreafaí oibre reatha (aontaithe)

Ós rud é go n-úsáideann muid Jira chun ár sprints agus tascanna inmheánacha a bhainistiú, shocraigh muid tionscadal eile a chruthú a chuideodh lenár gcliaint ticéid a chur isteach agus a gcuid torthaí a rianú. Trí úsáid a bhaint as Jira le haghaidh iarratas isteach agus chun tascanna inmheánacha a bhainistiú, bhí ar ár gcumas bord Kanban amháin a chruthú a thug deis dúinn breathnú ar na próisis go léir ina n-iomláine. Ní fhaca ár “chliaint” inmheánacha ach iarratais ar threalamh, gan dul i ngleic leis na sonraí nach raibh chomh suntasach maidir le tascanna breise (amhail uirlisí a fheabhsú, fabhtanna a shocrú).

4 innealtóir, 7000 freastalaí agus paindéim dhomhanda amháin
bord Kanban i Jira

Mar bhónas, toisc go raibh scuainí agus tosaíochtaí le feiceáil anois ag gach duine, bhíothas in ann a thuiscint “cá háit sa scuaine” a raibh iarratas ar leith agus cad a tháinig roimhe. Cheadaigh sé seo d’úinéirí a gcuid iarratas féin a chur in ord tosaíochta gan teagmháil a dhéanamh linn. Tarraing é agus sin é. Thug sé deis dúinn freisin monatóireacht agus meastóireacht a dhéanamh ar ár CLSanna de réir cineálacha iarratas bunaithe ar an méadracht a gineadh i Jira.

Fearann ​​Saolré Trealaimh

Déan iarracht a shamhlú castacht na crua-earraí a úsáidtear i ngach raca freastalaí a bhainistiú. Is é an rud atá níos measa fós ná gur féidir go leor píosaí crua-earraí (RAM, ROM) a aistriú ón stóras go dtí an seomra freastalaí agus ar ais. Teipeann orthu freisin nó díscríobhtar iad agus athsholáthraítear iad agus cuirtear ar ais chuig an soláthraí iad lena n-athsholáthar/a dheisiú. Ní mór é seo ar fad a chur in iúl d'fhostaithe na seirbhíse comhlonnaithe a bhfuil baint acu le cothabháil fhisiciúil an trealaimh. Chun na fadhbanna seo a réiteach, chruthaigh muid uirlis inmheánach ar a dtugtar Floppy. Is é an tasc atá aige ná:

  • Bainistíocht ar chumarsáid le pearsanra allamuigh, comhiomlánú na faisnéise go léir;
  • Na sonraí “stórais” a nuashonrú tar éis gach jab cothabhála trealaimh críochnaithe agus fíoraithe.

Léirítear an stóras, ina dhiaidh sin, ag baint úsáide as Grafana, a úsáidimid chun ár méadracht go léir a bhreacadh. Mar sin, úsáidimid an uirlis chéanna le haghaidh léirshamhlú stórais agus le haghaidh riachtanais táirgthe eile.

4 innealtóir, 7000 freastalaí agus paindéim dhomhanda amháinPainéal rialaithe trealaimh stórais i Grafana

Maidir le gléasanna freastalaí atá faoi bharántas, úsáidimid uirlis eile ar a dtugaimid Dispatcher. sé:

  • Bailíonn logaí córais;
  • Gineann sé tuarascálacha san fhormáid a éilíonn an díoltóir;
  • Cruthaíonn sé iarratas ón díoltóir trí API;
  • Aitheantóir an fheidhmchláir a fháil agus a stóráil chun a dhul chun cinn a rianú tuilleadh.

Nuair a ghlactar lenár n-éileamh (de ghnáth laistigh d’uaireanta gnó), seoltar an chuid spártha chuig an ionad sonraí cuí agus glacann an fhoireann leis.

4 innealtóir, 7000 freastalaí agus paindéim dhomhanda amháin
Aschur consól Jenkins

Fearann ​​​​Cumarsáide

Chun coimeád suas le fás tapa ár ngnó, rud a éilíonn acmhainn atá ag méadú i gcónaí, bhí orainn an bealach a n-oibrímid le speisialtóirí teicniúla in ionaid sonraí áitiúla a oiriúnú. Más rud é ar dtús gur ghá freastalaithe nua a cheannach, tar éis tionscadal comhdhlúthaithe (bunaithe ar an aistriú go Kubernetes) tháinig sé go hiomlán difriúil. Ár éabhlóid ó “racaí a chur leis” go “freastalaithe a athúsáid.”

Bhí gá le huirlisí nua freisin le húsáid a bhaint as cur chuige nua a d'fhág gur féidir idirghníomhú ar bhealach níos compordaí le pearsanra an ionaid sonraí. Bhí na huirlisí seo ag teastáil chun:

  • Simplíocht;
  • Féinriail;
  • Éifeachtúlacht;
  • Iontaofacht.

Bhí orainn sinn féin a eisiamh ón slabhra agus an obair a struchtúrú ionas go bhféadfadh teicneoirí oibriú go díreach le trealamh freastalaí. Gan ár n-idirghabháil agus gan na saincheisteanna seo go léir a ardú go rialta maidir le hualach oibre, uaireanta oibre, infhaighteacht trealaimh, etc.

Chun é seo a bhaint amach, chuireamar iPadanna isteach i ngach ionad sonraí. Tar éis nascadh leis an bhfreastalaí, tarlóidh na rudaí seo a leanas:

  • Deimhníonn an gléas go bhfuil gá le roinnt oibre ón bhfreastalaí seo;
  • Tá feidhmchláir a ritheann ar an bhfreastalaí dúnta (más gá);
  • Cuirtear sraith treoracha oibre suas ar chainéal Slack ina mínítear na céimeanna atá ag teastáil;
  • Ar chríochnú na hoibre, seiceálann an gléas cruinneas staid deiridh an fhreastalaí;
  • Atosaíonn sé feidhmchláir más gá.

Ina theannta sin, d'ullmhaigh muid bot Slack freisin chun cabhrú leis an teicneoir. A bhuíochas le raon leathan cumais (bhíomar ag leathnú an fheidhmiúlacht i gcónaí), rinne an bot a gcuid oibre níos éasca, agus rinne sé ár saol i bhfad níos éasca. Ar an mbealach seo rinneamar an chuid is mó den phróiseas chun freastalaithe a athúsáid agus a chothabháil, rud a dhíbirt ón sreabhadh oibre.

4 innealtóir, 7000 freastalaí agus paindéim dhomhanda amháin
iPad i gceann dár n-ionaid sonraí

Fearann ​​Crua-earraí

Teastaíonn infheictheacht mhaith i ngach comhpháirt chun ár mbonneagar ionad sonraí a scálú go hiontaofa, mar shampla:

  • Teip crua-earraí a bhrath
  • Staideanna freastalaí (gníomhach, óstáilte, zombie, etc.)
  • Tomhaltas Cumhachta
  • Leagan firmware
  • Anailísíocht don ghnó seo ar fad

Ligeann ár réitigh dúinn cinntí a dhéanamh faoi conas, cá háit agus cathain le trealamh a cheannach, uaireanta fiú sula mbíonn gá leis. Chomh maith leis sin, trí leibhéal an ualaigh ar threalamh éagsúla a chinneadh, bhíomar in ann leithdháileadh feabhsaithe acmhainní a bhaint amach. Go háirithe, tomhaltas fuinnimh. Is féidir linn cinntí eolasacha a dhéanamh anois maidir le socrúchán freastalaí sula gcuirtear isteach sa raca é agus go nasctar é le foinse cumhachta, ar feadh a shaolré agus go dtí go scoirfidh sé faoi dheireadh.

4 innealtóir, 7000 freastalaí agus paindéim dhomhanda amháin
Painéal Fuinnimh i Grafana

Agus ansin bhí an chuma ar COVID-19...

Cruthaíonn ár bhfoireann teicneolaíochtaí a chumasaíonn cuideachtaí meán agus foilsitheoirí ar líne chun cabhrú le cuairteoirí teacht ar ábhar, táirgí agus seirbhísí ábhartha a bhféadfadh spéis a bheith acu iontu. Tá ár mbonneagar deartha chun freastal ar thrácht a ghintear nuair a eisítear nuacht spreagúil.

Mar gheall ar dhianchlúdach na meán a bhain le COVID-19, mar aon leis an méadú ar thrácht, bhí géarghá orainn foghlaim conas déileáil leis na brúnna seo go práinneach. Ina theannta sin, b’éigean é seo ar fad a dhéanamh le linn géarchéime domhanda, nuair a cuireadh isteach ar shlabhraí soláthair agus nuair a bhí formhór na foirne sa bhaile.

Ach, mar a dúirt muid, glacann ár múnla leis cheana féin:

  • Níl an trealamh inár n-ionaid sonraí, don chuid is mó, inrochtana go fisiciúil dúinn;
  •  Déanaimid beagnach gach obair fhisiciúil go cianda;
  • Déantar an obair go neamhshioncronach, go neamhspleách agus ar scála mór;
  • Freastalaímid ar an éileamh ar threalamh ag baint úsáide as an modh "tógáil ó chodanna" in ionad trealamh nua a cheannach;
  • Tá stóras againn a ligeann dúinn rud éigin nua a chruthú, agus ní hamháin deisiúcháin rialta a dhéanamh.

Mar sin, is beag an tionchar a bhí ag na srianta domhanda a chuir cosc ​​ar go leor cuideachtaí rochtain fhisiciúil a fháil ar a n-ionad sonraí.Agus maidir le páirteanna breise agus freastalaithe, rinneamar iarracht oibriú cobhsaí an trealaimh a chinntiú. Ach rinneadh é seo leis an aidhm teagmhais fhéideartha a chosc nuair a tharlaíonn sé go tobann nach bhfuil píosa crua-earraí ar fáil. Chinntigh muid gur líonadh ár gcúlchiste gan iarracht a dhéanamh freastal ar an éileamh reatha.

Go hachomair, ba mhaith liom a rá go gcruthaíonn ár gcur chuige maidir le bheith ag obair i dtionscal na n-ionad sonraí gur féidir prionsabail an dea-dhearaidh chóid a chur i bhfeidhm ar bhainistíocht fhisiciúil lárionad sonraí. Agus b'fhéidir go mbeidh tú suimiúil.

Bunaidh: tits

Foinse: will.com

Add a comment