Forás na hailtireachta ar an gcóras trádála agus imréitigh an Malartán Moscó. Cuid 1

Dia duit gach duine! Sergey Kostanbaev is ainm dom, ag an Malartán tá mé ag forbairt croí an chórais trádála.

Nuair a thaispeánann scannáin Hollywood Stocmhalartán Nua-Eabhrac, bíonn sé mar seo i gcónaí: na sluaite daoine, tá gach duine ag béicíl, páipéir a shnámh, tá caos iomlán ag tarlú. Níor tharla sé seo riamh anseo ar Mhalartán Moscó, toisc go ndearnadh trádáil go leictreonach ón tús agus tá sé bunaithe ar dhá phríomh-ardán - Spectra (margadh forex) agus ASTS (margadh eachtrach, stoc agus airgead). Agus inniu ba mhaith liom labhairt faoi éabhlóid ailtireacht an chórais trádála agus imréitigh ASTS, faoi réitigh agus torthaí éagsúla. Beidh an scéal fada, mar sin bhí orm é a bhriseadh ina dhá chuid.

Táimid ar cheann den bheagán malartuithe ar domhan a thrádálann sócmhainní de gach aicme agus a sholáthraíonn raon iomlán seirbhísí malartaithe. Mar shampla, an bhliain seo caite rangaithe againn sa dara háit ar domhan i dtéarmaí toirt trádála bannaí, áit 25 i measc na malartuithe stoc, 13ú áit i caipitlithe i measc na malartuithe poiblí.

I gcás rannpháirtithe gairmiúla trádála, tá paraiméadair ar nós am freagartha, cobhsaíocht an dáileadh ama (giodam) agus iontaofacht an choimpléasc iomláin ríthábhachtach. Próiseálaimid na mílte idirbheart in aghaidh an lae faoi láthair. Glacann próiseáil gach idirbhirt ag eithne an chórais na mílte soicind. Ar ndóigh, tá ualach oibre níos airde ag oibreoirí teileafón soghluaiste Oíche Chinn Bhliana nó innill chuardaigh féin ná mar atá againne, ach i dtéarmaí ualach oibre, in éineacht leis na tréithe thuasluaite, is beag duine atá in ann comparáid a dhéanamh linn, feictear domsa. Ag an am céanna, tá sé tábhachtach dúinn nach mhoillíonn an córas ar feadh soicind, go n-oibríonn sé go hiomlán cobhsaí, agus go bhfuil gach úsáideoir ar chomhchéim.

Stair beag

I 1994, seoladh córas ASTS na hAstráile ar Mhalartán Airgeadra Idirbhainc Moscó (MICEX), agus ón nóiméad sin is féidir stair trádála leictreonaí na Rúise a chomhaireamh. I 1998, rinneadh an ailtireacht malartaithe a nuachóiriú chun trádáil Idirlín a thabhairt isteach. Ó shin i leith, níl ach móiminteam á fháil ag luas cur i bhfeidhm réitigh nua agus athruithe ailtireachta i ngach córas agus fochóras.

Sna blianta sin, d'oibrigh an córas malairte ar chrua-earraí ard-deireadh - freastalaithe ultra-iontaofa HP Superdome 9000 (tógtha ar an PA-RISC), ina ndearnadh gach rud a mhacasamhlú: fochórais ionchuir/aschuir, líonra, RAM (go deimhin, bhí sraith RAID de RAM), próiseálaithe (te-swappable). Bhíothas in ann comhpháirt freastalaí ar bith a athrú gan an meaisín a stopadh. Bhraith muid ar na gléasanna seo agus mheasamar iad beagnach gan teip-sábháilte. Córas Unix-mhaith HP UX a bhí sa chóras oibriúcháin.

Ach ó thart ar 2010, tá feiniméan tagtha chun cinn ar a dtugtar trádáil ard-minicíochta (HFT), nó trádáil ard-minicíochta - go simplí, robots stocmhalartán. I díreach 2,5 bliain, tá an t-ualach ar ár freastalaithe méadaithe 140 uair.

Níorbh fhéidir ualach den sórt sin a sheasamh leis an sean-ailtireacht agus trealamh. Bhí sé riachtanach a oiriúnú ar bhealach.

Tosaigh

Is féidir iarratais ar an gcóras malairte a roinnt ina dhá chineál:

• Idirbhearta. Más mian leat dollar, scaireanna nó rud éigin eile a cheannach, seolann tú idirbheart chuig an gcóras trádála agus faigheann tú freagra faoi rath.
• Iarratais ar fhaisnéis. Más mian leat an praghas reatha a fháil amach, féach ar an leabhar ordaithe nó ar na hinnéacsanna, ansin seol iarratais faisnéise.

Go scéimreach, is féidir croí an chórais a roinnt ina thrí leibhéal:

• An leibhéal cliant, ag a n-oibríonn bróicéirí agus cliaint. Idirghníomhaíonn siad go léir le freastalaithe rochtana.
• Is iad freastalaithe tairsí ná freastalaithe taisce a phróiseálann go háitiúil gach iarratas ar fhaisnéis. Ar mhaith leat a fháil amach cén praghas atá ar scaireanna Sberbank ag trádáil faoi láthair? Téann an t-iarratas chuig an bhfreastalaí rochtana.
• Ach más mian leat scaireanna a cheannach, téann an t-iarratas chuig an bhfreastalaí lárnach (Inneall Trádála). Tá freastalaí amháin den sórt sin ann do gach cineál margaidh, tá ról ríthábhachtach acu, is dóibh siúd a chruthaigh muid an córas seo.

Is bunachar sonraí cliste i gcuimhne é croílár an chórais trádála ina bhfuil gach idirbheart ina n-idirbheart malairte. Scríobhadh an bonn i C, ba é an leabharlann libc na spleáchais sheachtracha amháin agus ní raibh aon leithdháileadh cuimhne dinimiciúil ann ar chor ar bith. Chun an t-am próiseála a laghdú, tosaíonn an córas le sraith statach eagair agus le hathlonnú sonraí statach: ar dtús, déantar na sonraí go léir don lá reatha a luchtú isteach sa chuimhne, agus ní dhéantar rochtain bhreise ar dhiosca, ní dhéantar an obair ar fad ach amháin sa chuimhne. Nuair a thosaíonn an córas, tá na sonraí tagartha go léir curtha in eagar cheana féin, mar sin oibríonn an cuardach go han-éifeachtach agus ní thógann sé mórán ama in am rite. Déantar na táblaí go léir le liostaí ionsáiteacha agus crainn le haghaidh struchtúir sonraí dinimiciúla ionas nach dteastaíonn leithdháileadh cuimhne orthu ag am rite.

A ligean ar dul go hachomair ar stair na forbartha ar ár gcóras trádála agus imréitigh.
Tógadh an chéad leagan d'ailtireacht an chórais trádála agus imréitigh ar an idirghníomhaíocht Unix mar a thugtar air: baineadh úsáid as cuimhne roinnte, semaphores agus scuainí, agus bhí snáithe amháin i ngach próiseas. Bhí an cur chuige seo forleathan go luath sna 1990idí.

Sa chéad leagan den chóras bhí dhá leibhéal Gateway agus freastalaí lárnach den chóras trádála. Bhí an sreabhadh oibre mar seo:

• Seolann an cliant iarratas, a shroicheann an Geata. Seiceálann sé bailíocht na formáide (ach ní na sonraí féin) agus diúltaíonn sé idirbhearta mícheart.
• Má tá iarratas faisnéise seolta, déantar é a fhorghníomhú go háitiúil; má tá muid ag caint faoi idirbheart, ansin tá sé a atreorú chuig an bhfreastalaí lárnach.
• Ansin déanann an t-inneall trádála an t-idirbheart a phróiseáil, modhnaítear cuimhne áitiúil, agus cuireann sé freagra ar an idirbheart agus ar an idirbheart féin le haghaidh macasamhlú ag baint úsáide as inneall macasamhlaithe ar leith.
• Faigheann an Geata an freagra ón nód lárnach agus cuireann sé ar aghaidh chuig an gcliant é.
• Tar éis roinnt ama, faigheann an Geata an t-idirbheart tríd an meicníocht macasamhlaithe, agus an uair seo déanann sé é a fhorghníomhú go háitiúil, ag athrú a struchtúir sonraí ionas go dtaispeánfaidh na chéad iarratais faisnéise eile na sonraí is déanaí.

Go deimhin, cuireann sé síos ar shamhail macasamhlú ina ndearna an Geata na gníomhartha a rinneadh sa chóras trádála a mhacasamhlú go hiomlán. Chinntigh cainéal macasamhlaithe ar leith gur cuireadh idirbhearta i gcrích san ord céanna thar nóid rochtana iolracha.

Ós rud é go raibh an cód aon-snáithithe, baineadh úsáid as scéim clasaiceach le forcanna próisis chun freastal ar go leor cliant. Mar sin féin, bhí sé an-chostasach forcanna a dhéanamh ar an mbunachar sonraí iomlán, agus mar sin baineadh úsáid as próisis seirbhíse éadroma a bhailigh paicéid ó sheisiúin TCP agus a d'aistrigh go scuaine amháin iad (Scuaine Teachtaireachta SystemV). Níor oibrigh Gateway and Trade Engine ach leis an scuaine seo, ag tógáil idirbhearta as sin lena gcur i gcrích. Níorbh fhéidir freagra a chur chuige a thuilleadh, mar ní raibh sé soiléir cén próiseas seirbhíse ar cheart é a léamh. Mar sin chuaigh muid i muinín cleas: chruthaigh gach próiseas forked scuaine freagartha dó féin, agus nuair a tháinig iarratas isteach sa scuaine ag teacht isteach, cuireadh clib don scuaine freagartha láithreach leis.

Cruthaíodh fadhbanna de shíor ag cóipeáil méideanna móra sonraí ó scuaine go scuaine, go háirithe na hiarrataí ar fhaisnéis is gnách. Mar sin, d’úsáideamar cleas eile: chomh maith leis an scuaine freagartha, chruthaigh gach próiseas cuimhne roinnte (SystemV Shared Memory). Cuireadh na pacáistí féin ann, agus níor stóráladh ach clib sa scuaine, rud a chuir ar chumas duine an pacáiste bunaidh a aimsiú. Chuidigh sé seo le sonraí a stóráil i dtaisce an phróiseálaí.

Cuimsíonn SystemV IPC fóntais chun staid rudaí scuaine, cuimhne agus semaphore a fheiceáil. D'úsáideamar é seo go gníomhach chun tuiscint a fháil ar an méid a bhí ag tarlú sa chóras ag am ar leith, áit a raibh paicéid carntha, cad a bhí bac, etc.

An chéad nuachóiriú

Ar an gcéad dul síos, fuaireamar réidh leis an nGeata aonphróisis. Ba é an míbhuntáiste suntasach a bhí leis ná go bhféadfadh sé idirbheart macasamhlaithe amháin nó iarratas amháin ar fhaisnéis ó chliant a láimhseáil. Agus de réir mar a mhéadaíonn an t-ualach, tógfaidh Gateway níos faide chun iarratais a phróiseáil agus ní bheidh sé in ann an sreabhadh macasamhlaithe a phróiseáil. Ina theannta sin, má sheol an cliant idirbheart, ansin ní mór duit ach a bhailíocht a sheiceáil agus é a chur ar aghaidh tuilleadh. Mar sin, chuireamar ilchodanna in ionad an phróisis Geata aonair ar féidir iad a reáchtáil go comhthreomhar: próisis faisnéise agus idirbheart il-snáithithe ag rith go neamhspleách ar a chéile ar limistéar cuimhne roinnte ag baint úsáide as glasáil RW. Agus ag an am céanna thugamar isteach próisis seolta agus macasamhlaithe.

Tionchar Trádála Ard-Minicíochta

Bhí an leagan thuas den ailtireacht ann go dtí 2010. Idir an dá linn, ní raibh muid sásta a thuilleadh le feidhmíocht freastalaithe HP Superdome. Ina theannta sin, bhí an ailtireacht PA-RISC beagnach marbh; níor thairg an díoltóir aon nuashonruithe suntasacha. Mar thoradh air sin, thosaigh muid ag bogadh ó HP UX/PA RISC go Linux/x86. Thosaigh an t-aistriú le freastalaithe rochtana a oiriúnú.

Cén fáth go raibh orainn an ailtireacht a athrú arís? Is é an fírinne gur athraigh trádáil ard-minicíochta go mór an próifíl ualaigh ar chroílár an chórais.

Ligean le rá go bhfuil idirbheart beag againn a ba chúis le hathrú praghais suntasach - cheannaigh duine leath billiún dollar. Tar éis cúpla milleasoicind, tugann rannpháirtithe uile an mhargaidh faoi deara é seo agus tosaíonn siad ar cheartú a dhéanamh. Ar ndóigh, tá iarrataí ag teacht suas i scuaine ollmhór, a dtógfaidh an córas tamall fada le glanadh.

Ag an eatramh 50 ms seo, is é an meánluas thart ar 16 míle idirbheart in aghaidh an tsoicind. Má laghdaítear an fhuinneog go 20 ms, faighimid meánluas de 90 míle idirbheart in aghaidh an tsoicind, agus 200 míle idirbheart ag an mbuaic. I bhfocail eile, níl an t-ualach seasmhach, le pléasctha tobann. Agus ní mór scuaine na n-iarratas a phróiseáil go tapa i gcónaí.

Ach cén fáth a bhfuil scuaine ann ar chor ar bith? Mar sin, inár sampla, thug go leor úsáideoirí an t-athrú praghais faoi deara agus sheol siad idirbhearta dá réir sin. Tagann siad go Gateway, cuireann sé sraithuimhir orthu, leagann sé ord áirithe amach agus cuireann sé chuig an líonra iad. Suaitheann ródairí na paicéid agus cuireann siad ar aghaidh iad. Cé leis a tháinig an pacáiste ar dtús, “bhuaigh an t-idirbheart sin”. Mar thoradh air sin, thosaigh cliaint malairte ag tabhairt faoi deara dá gcuirfí an t-idirbheart céanna ó roinnt Geataí, ansin tháinig méadú ar an seans go ndéanfaí é a phróiseáil go tapa. Go gairid, thosaigh robots malairte bombarding Gateway le hiarratais, agus d'eascair avalanche na n-idirbheart.

Sraith nua éabhlóid

Tar éis tástáil agus taighde fairsing, d'athraigh muid go dtí eithne an chórais oibriúcháin fíor-ama. Chuige seo roghnaigh muid RedHat Enterprise MRG Linux, áit a seasann MRG do ghreille fíor-ama teachtaireachtaí. Is é an buntáiste a bhaineann le paistí fíor-ama ná go ndéanann siad an córas a bharrfheabhsú chun an cur i gcrích is tapúla agus is féidir: tá na próisis go léir líneáilte i scuaine FIFO, is féidir croíleacáin a aonrú, gan aon ejection, próiseáiltear na hidirbhearta go léir i seicheamh docht.

Dearg - ag obair le scuaine i eithne rialta, glas - ag obair i eithne fíor-ama.

Ach níl sé chomh héasca sin latency íseal a bhaint amach ar fhreastalaithe rialta:

• Cuireann an modh TBS, atá san ailtireacht x86 mar bhunús le bheith ag obair le forimeallaigh tábhachtacha, isteach go mór. Déanann an firmware próiseáil ar gach cineál imeachtaí crua-earraí agus bainistíocht comhpháirteanna agus feistí sa mhodh trédhearcach TBS mar a thugtar air, nach bhfeiceann an córas oibriúcháin cad atá á dhéanamh ag an bhfirmware ar chor ar bith. De ghnáth, cuireann na díoltóirí móra go léir síntí speisialta ar fáil do fhreastalaithe firmware a ligeann laghdú ar an méid próiseála TBS.
• Níor cheart go mbeadh aon rialú dinimiciúil ar mhinicíocht an phróiseálaí, rud a fhágann go mbeidh aga neamhfhónaimh breise ann.
• Nuair a dhéantar logáil an chórais comhad a shruthlú, tarlaíonn próisis áirithe san eithne a chruthaíonn moilleanna dothuartha.
• Ní mór duit aird a thabhairt ar rudaí cosúil le Cleamhnas LAP, Cleamhnas Idirbhriseadh, NUMA.

Caithfidh mé a rá go bhfuil alt ar leith tuillte ag an ábhar a bhaineann le crua-earraí agus eithne Linux a bhunú le haghaidh próiseála fíor-ama. Chaitheamar go leor ama ag triail agus ag déanamh taighde sular bhaineamar amach toradh maith.

Nuair a bhog muid ó fhreastalaithe PA-RISC go x86, ní raibh orainn go praiticiúil cód an chórais a athrú i bhfad, rinneamar é a oiriúnú agus a athchumrú. Ag an am céanna, shocraigh muid roinnt bugs. Mar shampla, tháinig na hiarmhairtí ar an bhfíric go raibh PA RISC ina chóras endian Mór, agus x86 ina chóras Little endian, dromchla tapa: mar shampla, bhí sonraí a léamh mícheart. Ba é an fabht is deacra a úsáideann PA RISC comhsheasmhach comhsheasmhach (Comhsheasmhach seicheamhach) rochtain chuimhne, ach is féidir le x86 oibríochtaí léite a athordú, agus mar sin briseadh cód a bhí bailí go hiomlán ar ardán amháin ar ardán eile.

Tar éis athrú go x86, tháinig méadú beagnach faoi thrí ar fheidhmíocht, laghdaigh an meán-am próiseála idirbheart go 60 μs.

Breathnaímis anois ar na príomhathruithe atá déanta ar ailtireacht an chórais.

eipiciúil cúlchiste te

Agus muid ag aistriú chuig freastalaithe tráchtearraí, bhí a fhios againn nach raibh siad chomh hiontaofa. Mar sin, nuair a bhí ailtireacht nua á cruthú againn, ghlacamar a priori leis an bhféidearthacht go dteipfeadh ar nód amháin nó níos mó. Mar sin, bhí gá le córas te fuireachas a d'fhéadfadh aistriú go han-tapa chuig meaisíní cúltaca.

Ina theannta sin, bhí ceanglais eile ann:

• Níor cheart go gcaillfeá idirbhearta próiseáilte in imthosca ar bith.
• Caithfidh an córas a bheith iomlán trédhearcach dár mbonneagar.
• Níor cheart do chliaint naisc thit a fheiceáil.
• Níor cheart go gcuirfeadh áirithintí moill shuntasach isteach toisc gur fachtóir ríthábhachtach é seo don mhalartú.

Agus córas te fuireachas á chruthú, níor mheasamar cásanna den sórt sin mar theipeanna dúbailte (mar shampla, stop an líonra ar fhreastalaí amháin ag obair agus froze an príomhfhreastalaí); níor mheas siad go bhféadfadh earráidí a bheith sna bogearraí toisc go n-aithnítear iad le linn tástála; agus níor mheas sé oibriú mícheart na crua-earraí.

Mar thoradh air sin, thángamar ar an scéim seo a leanas:

• Rinne an príomhfhreastalaí idirghníomhú go díreach leis na freastalaithe Gateway.
• Rinneadh gach idirbheart a fuarthas ar an bpríomhfhreastalaí a mhacasamhlú láithreach chuig an bhfreastalaí cúltaca trí chainéal ar leith. Chomhordaigh an t-eadránaí (Gobharnóir) an lascadh má tháinig aon fhadhbanna chun cinn.

  

• Phróiseáil an príomhfhreastalaí gach idirbheart agus d'fhan sé le deimhniú ón bhfreastalaí cúltaca. Chun an foighne a choinneáil chomh híseal agus is féidir, sheachain muid fanacht leis an idirbheart a chur i gcrích ar an bhfreastalaí cúltaca. Ós rud é go raibh an t-am a thóg sé ar idirbheart taisteal trasna an líonra inchomparáide leis an am forghníomhaithe, níor cuireadh aon fhoighne breise leis.
• Ní fhéadfaimis ach stádas próiseála na bpríomhfhreastalaí agus na bhfreastalaithe cúltaca a sheiceáil don idirbheart roimhe sin, agus ní raibh fios stádas próiseála an idirbhirt reatha. Ós rud é go raibh muid fós ag baint úsáide as próisis aon-snáithithe, bheadh ​​​​ag fanacht le freagra ó Chúltaca tar éis an sreabhadh próiseála iomlán a mhoilliú, agus mar sin rinneamar comhréiteach réasúnta: rinneamar seiceáil ar thoradh an idirbhirt roimhe seo.

D'oibrigh an scéim mar seo a leanas.

Ligean le rá stopann an príomhfhreastalaí ag freagairt, ach leanann na Geataí ag cumarsáid. Tarlaíonn teorainn ama ar an bhfreastalaí cúltaca, déanann sé teagmháil leis an nGobharnóir, a shannann ról an phríomhfhreastalaí dó, agus aistríonn na Geata go léir go dtí an príomhfhreastalaí nua.

Má thagann an príomhfhreastalaí ar ais ar líne, spreagann sé teorainn ama inmheánach freisin, mar níor cuireadh aon ghlaonna ar an bhfreastalaí ón Gheata le tamall áirithe. Ansin casann sé chuig an nGobharnóir freisin, agus fágann sé as an scéim é. Mar thoradh air sin, oibríonn an malartú le freastalaí amháin go dtí deireadh na tréimhse trádála. Ós rud é go bhfuil an dóchúlacht go dteipfeadh ar fhreastalaí sách íseal, measadh go raibh an scéim seo inghlactha go leor; ní raibh loighic chasta ann agus bhí sé éasca a thástáil.

Le leanúint.

Foinse: will.com