Kobcinta qaab-dhismeedka ganacsiga iyo nidaamka nadiifinta ee Isweydaarsiga Moscow. Qaybta 1

Salaamu calaykum! Magacaygu waa Sergey Kostanbaev, Isweydaarsiga waxaan horumarinayaa xudunta u ah nidaamka ganacsiga.

Marka filimada Hollywood ay muujiyaan New York Stock Exchange, had iyo jeer waxay u egtahay sidan: dad badan, qof kastaa wuxuu ku qaylinayaa wax, waraaqo lulaya, fowdo dhamaystiran ayaa dhacaya. Tani waligeed ma dhicin halkan sarrifka Moscow, sababtoo ah ganacsiga ayaa si elektaroonik ah loo sameeyay bilawgii hore wuxuuna ku salaysan yahay laba goobood oo waaweyn - Spectra (suuqa forex) iyo ASTS (sarifka lacagaha qalaad, saamiyada iyo lacagta). Maantana waxaan rabaa in aan ka hadlo horumarinta qaab-dhismeedka ASTS ganacsiga iyo nidaamka nadiifinta, oo ku saabsan xalalka iyo natiijooyinka kala duwan. Sheekadu way dheeraan doontaa, markaa waxay noqotay inaan laba qaybood u kala qaado.

Waxaan nahay mid ka mid ah dhowrka sariflayaasha adduunka ee ka ganacsada hantida dhammaan fasallada oo bixiya adeegyo kala beddelasho oo dhammaystiran. Tusaale ahaan, sannadkii hore waxaan ka galnay kaalinta labaad ee adduunka marka loo eego mugga ganacsiga curaarta, kaalinta 25aad ee dhammaan sariflayaasha saamiyada, kaalinta 13-aad ee suuq-weynaynta sarifka dadweynaha.

Ka qaybgalayaasha ganacsiga xirfadleyda ah, sida cabbirrada sida waqtiga jawaabta, xasilloonida qaybinta waqtiga (jitter) iyo isku halaynta dhammaan isku-dhafka ayaa muhiim ah. Waxaan hadda maamulnaa tobanaan milyan oo macaamil ganacsi maalintii. Ka baaraandegidda wax kala iibsi kasta by kernel system-ku wuxuu qaadanayaa tobanaan ilbiriqsi. Dabcan, hawl-wadeennada mobilada ee sannadka cusub ama matoorada raadinta laftooda waxay leeyihiin shaqo ka badan kuwayaga, laakiin marka la eego culeyska shaqada, oo ay weheliyaan sifooyinka kor ku xusan, wax yar ayaa nala barbar dhigi kara, waxay ila tahay aniga. Isla mar ahaantaana, waxaa muhiim noo ah in nidaamku aanu hoos u dhicin hal ilbiriqsi, si buuxda u shaqeeyo, dhammaan isticmaalayaashuna waxay ku siman yihiin siman.

Taariikh yar

Sannadkii 1994-kii, nidaamka ASTS ee Australiya ayaa laga bilaabay Moscow Interbank Currency Exchange (MICEX), laga bilaabo wakhtigaas taariikhda Ruushka ee ganacsiga elektaroonigga ah waa la tirin karaa. Sannadkii 1998-kii, qaab-dhismeedka sarrifka ayaa la casriyeeyay si loo soo bandhigo ganacsiga internetka. Tan iyo markaas, xawaaraha hirgelinta xalalka cusub iyo isbeddellada qaab dhismeedka dhammaan nidaamyada iyo nidaamyada hoose ayaa kaliya sii kordhayay.

Sannadahaas, nidaamka sarrifka ayaa ka shaqeeyay hi-end hardware - ultra-reliable HP Superdome 9000 server (oo lagu dhisay PA-RISC), kaas oo gabi ahaanba wax walba lagu soo koobay: Nidaam-hoosaadyada wax-gelinta/soo-saarka, shabakadda, RAM (xaqiiqda, waxaa jiray RAID array RAM ah), soo-saareyaal (kulul-is-beddelasho). Waxaa suurtagal ahayd in la beddelo qayb kasta oo server ah iyada oo aan la joojin mishiinka. Waxaan ku tiirsanay aaladahan waxaanan u aragnay inay yihiin kuwo guuldarraystay-ammaan. Nidaamka qalliinku waxa uu ahaa Unix-like HP UX.

Laakiin ilaa 2010kii, waxa soo baxay ifafaale loo yaqaan ganacsi-ganacsi-sare (HFT), ama ganacsi joogto ah - si fudud loo dhigo, robots sarrifka saamiyada. Kaliya 2,5 sano, culeyska saaran server-yadayada ayaa kordhay 140 jeer.

Ma ahayn wax aan suurtagal ahayn in ay u adkeyso culeyska noocaas ah ee naqshadihii hore iyo qalabkii. Waxay ahayd lagama maarmaan in si uun la qabsado.

Начало

Codsiyada nidaamka sarrifka waxa loo qaybin karaa laba nooc:

• Wax kala iibsiga Haddii aad rabto inaad iibsato dollars, saamiyo ama wax kale, waxaad u dirtaa macaamil ganacsi nidaamka ganacsiga oo aad hesho jawaab ku saabsan guusha.
• Codsiyada macluumaadka. Haddii aad rabto inaad ogaato qiimaha hadda, arag buugga dalabka ama tusmooyinka, ka dib u soo dir codsiyada macluumaadka.

Nidaam ahaan, xudunta nidaamka waxa loo qaybin karaa saddex heer:

• Heerka macmiilka, kaas oo dilaaliinta iyo macaamiishu ku shaqeeyaan. Dhammaantood waxay la falgalaan server-yada gelitaanka.
• Seerfarrada Gateway waa kaydiyayaal ka shaqeeya maxalli ahaan dhammaan codsiyada macluumaadka. Ma rabtaa inaad ogaato qiimaha saamiyada Sberbank ay hadda ku ganacsanayaan? Codsigu wuxuu aadaa server-ka gelitaanka
• Laakiin haddii aad rabto inaad iibsato saamiyo, markaa codsigu wuxuu tagayaa server-ka dhexe (Trade Engine). Waxaa jira mid ka mid ah server-yada noocaas ah nooc kasta oo suuq ah, waxay ka ciyaaraan door muhiim ah, iyaga ayaa u abuurnay nidaamkan.

Xudunta u ah nidaamka ganacsigu waa xog xariif ah oo ku jirta kaydka xogta oo dhammaan wax kala iibsiga ay yihiin wax kala beddelasho. Saldhiggu wuxuu ku qoran yahay C, ku tiirsanaanta dibadda oo keliya ayaa ahayd maktabadda libka mana jirin meelayn xusuus firfircoon ah oo dhan. Si loo dhimo wakhtiga habaynta, nidaamku wuxuu ku bilaabmaa qaab-dhismeed joogto ah iyo dib-u-dejin xogta joogtada ah: marka hore, dhammaan xogta maalinta hadda la joogo waxaa lagu shubaa xusuusta, mana jirto marin dheeri ah oo disk ah, dhammaan shaqada waxaa lagu fuliyaa oo keliya xusuusta. Marka nidaamku bilaabmo, dhammaan xogta tixraaca mar hore ayaa la kala soocay, sidaas darteed raadinta waxay u shaqeysaa si hufan waxayna qaadataa waqti yar wakhtiga runtime. Dhammaan miisaska waxaa lagu sameeyay liisaska soo dhexgalaya iyo geedo loogu talagalay qaabdhismeedka xogta firfircoon si aysan ugu baahnayn qoondaynta xusuusta wakhtiga runtime.

Aynu si kooban u dul istaagno sooyaalka horumarinta habkeena ganacsi iyo nadiifinta.
Nooca ugu horreeya ee qaab dhismeedka nidaamka ganacsiga iyo nadiifinta waxaa lagu dhisay waxa loogu yeero isdhexgalka Unix: xusuusta la wadaago, semaphores iyo safafka ayaa la isticmaalay, nidaam kastaa wuxuu ka kooban yahay hal dun. Habkani wuxuu ahaa mid baahsan horraantii 1990-aadkii.

Nooca ugu horreeya ee nidaamka wuxuu ka kooban yahay laba heer oo Gateway ah iyo server-ka dhexe ee nidaamka ganacsiga. Socodkii shaqadu wuxuu ahaa sidan:

• Macmiilku waxa uu soo diraa codsi, kaas oo gaadhaya Gateway. Waxay hubisaa ansaxnimada qaabka (laakiin ma aha xogta lafteeda) waxayna diidaysaa macaamilka khaldan.
• Haddii codsi macluumaad la soo diro, waxaa lagu fuliyaa gudaha; Haddii aan ka hadlayno macaamil ganacsi, ka dibna waxaa loo wareejiyaa server-ka dhexe.
• Matoorka ganacsigu markaa waxa uu socodsiiyaa wax kala iibsiga, waxa uu wax ka beddelaa xusuusta maxaliga ah,waxana uu u soo diraa jawaab celinta wax kala iibsiga iyo macaamilka laftiisa si uu u soo rogo isaga oo isticmaalaya matoor taransiin oo gooni ah.
• Gateway-ku waxa uu ka helaa jawaabta qanjidhka dhexe oo u sii gudbiya macmiilka.
• Muddo ka bacdi, Gateway-ku waxa uu wax kala iibsiga ku helayaa habka ku celcelinta, oo markan waxa uu ku fulinayaa gudaha, isaga oo beddelaya qaab-dhismeedkiisa xogta si codsiyada macluumaadka soo socda u muujiyaan xogtii ugu dambaysay.

Dhab ahaantii, waxay qeexaysaa qaabka ku-noqoshada kaas oo Gateway uu si buuxda u soo celiyay ficilada lagu sameeyay nidaamka ganacsiga. Kanaalka ku celcelinta goonida ah waxa uu hubiyay in wax kala iibsiga lagu fuliyay si isku mid ah iyada oo loo marayo qanjidhada gelitaanka badan.

Maadaama koodku ahaa hal xadhig, nidaam caadi ah oo leh fargeeto habraac ah ayaa loo isticmaalay in loogu adeego macaamiil badan. Si kastaba ha ahaatee, aad bay qaali u ahayd in fargeeto xogta oo dhan, sidaas awgeed hababka adeegga miisaanka yar ayaa la isticmaalay kuwaas oo baakadaha laga soo ururiyay fadhiyada TCP oo loo wareejiyay hal saf (SystemV Message Queue). Gateway iyo Matoorka Ganacsiga waxa ay la shaqeeyeen safkan, iyaga oo wax kala iibsi ka qaadanaya halkaas si loo fuliyo. Suuragal ma ahayn in jawaab loo soo diro, sababtoo ah ma cadda habka adeegga ay tahay inuu akhriyo. Markaa waxaanu isticmaalnay khiyaano: hab kasta oo fargeeto ah ayaa naftiisa u abuuray safka jawaabta, markii codsi soo galay safka soo galayay, isla markiiba waxa lagu daray calaamadda safka jawaabta.

Si joogto ah u koobiyaynta tiro badan oo xog ah safka ilaa safka ayaa abuurtay dhibaatooyin, gaar ahaan kuwa caadiga ah ee codsiyada macluumaadka. Sidaa darteed, waxaan isticmaalnay khiyaano kale: marka lagu daro safka jawaabta, nidaam kastaa wuxuu sidoo kale abuuray xusuusta la wadaago (SystemV Shared Memory). Baakadaha laftooda ayaa lagu dhejiyay, oo kaliya calaamad ayaa lagu kaydiyay safka, taas oo u oggolaanaysa mid ka mid ah inuu helo xirmada asalka ah. Tani waxay gacan ka gaysatay in lagu kaydiyo xogta kaydiyaha processor-ka.

SystemV IPC waxa ku jira utility si loo eego xaaladda safka, xusuusta, iyo walxaha semaphore. Waxaan si firfircoon u isticmaalnay tan si aan u fahamno waxa ka dhacaya nidaamka waqti gaar ah, halka baakadaha la uruuriyay, waxa la xiray, iwm.

Casriyeynta koowaad

Marka hore, waxaan ka saarnay kadinkii hal-abuuray. Ciladdeeda muhiimka ah waxay ahayd inay xamili karto mid ka mid ah macaamil ganacsi ama hal codsi oo macluumaad ah oo macmiil ah. Iyo marka uu culeysku kordho, Gateway waxay qaadan doontaa waqti dheer si loo socodsiiyo codsiyada mana awoodi doono inay socodsiiso socodka soo noqnoqda. Intaa waxaa dheer, haddii macmiilku soo diro macaamil ganacsi, markaa waxaad u baahan tahay oo kaliya inaad hubiso ansaxnimadeeda oo aad u sii gudbiso. Sidaa darteed, waxaan ku bedelnay habka kaliya ee Gateway oo leh qaybo badan oo u socon kara si isbarbar socda: macluumaad badan oo taxane ah iyo hababka wax kala iibsiga oo si madaxbannaan midba midka kale ugu socda meel xusuusta la wadaago iyadoo la adeegsanayo qufulka RW. Isla mar ahaantaana waxaanu soo bandhignay hababka diritaanka iyo ku celcelinta.

Saamaynta Ganacsiga Joogtada Sare

Nooca kore ee qaab-dhismeedka wuxuu jiray ilaa 2010. Dhanka kale, kuma qanacsanayn waxqabadka server-yada HP Superdome. Intaa waxaa dheer, qaab-dhismeedka PA-RISC wuxuu ahaa mid dhintay; iibiyuhu ma bixin wax cusbooneysiin ah oo muhiim ah. Natiijo ahaan, waxaan bilownay inaan ka guurno HP UX/PA RISC una gudubno Linux/x86. Kala-guurka ayaa ku bilaabmay la qabsiga adeegayaasha gelitaanka.

Maxay tahay sababta aan u bedelnay dhismaha mar kale? Xaqiiqdu waxay tahay in ganacsiga-soo noqnoqda sare uu si weyn u beddelay astaanta culeyska ee nidaamka nidaamka.

Aynu nidhaahno waxaynu leenahay wax kala beddelasho yar oo sababay isbeddel qiimo leh - qof iibsaday nus bilyan doolar. Dhawr millise ilbiriqsi ka dib, dhammaan ka qaybgalayaasha suuqa ayaa tan ogaanaya oo bilaabay inay saxaan. Dabcan, codsiyadu waxay ku jiraan saf weyn, kaas oo nidaamku qaadan doono waqti dheer si loo nadiifiyo.

Inta u dhaxaysa 50 ms, celceliska xawaaruhu waa ilaa 16 kun oo macaamil ilbiriqsikii. Haddii aan hoos u dhigno daaqada ilaa 20 ms, waxaan heleynaa celcelis ahaan xawaaraha 90 kun ee xawaalad ilbiriqsi kasta, iyada oo 200 kun oo macaamil ganacsi ah ay ugu sarreyso. Si kale haddii loo dhigo, culeysku ma aha mid joogto ah, oo leh dillaacyo lama filaan ah. Oo safka codsiyada waa in had iyo jeer si degdeg ah looga baaraandegay.

Laakiin maxaa saf u jira gabi ahaanba? Marka, tusaale ahaan, isticmaaleyaal badan ayaa ogaaday isbeddelka qiimaha waxayna u direen macaamil ganacsi si waafaqsan. Waxay yimaaddaan Gateway, way taxaysaa, oo waxay dejisaa amar gaar ah waxayna u dirtaa shabakadda. Routers ayaa isku shaandheyn baakidhka oo u sii gudbiya. Xirmadiisu markii hore timi, wax kala iibsigu "guulaystay". Natiijo ahaan, macaamiisha sarrifka ah waxay bilaabeen inay ogaadaan in haddii macaamil isku mid ah laga soo diro dhowr Gateways, markaa fursadaha wax-qabadkeeda degdega ah ayaa kordhay. Wax yar ka dib, robots-yada is-weydaarsiga ayaa bilaabay inay duqeeyaan Gateway iyagoo codsiyo wata, waxaana kacay wax kala iibsi xad dhaaf ah.

Wareeg cusub oo horumar ah

Tijaabooyin iyo cilmi baaris dheer ka dib, waxaan u wareegnay kernelka nidaamka hawlgalka waqtiga-dhabta ah. Taas awgeed waxaan u dooranay RedHat Enterprise MRG Linux, halkaas oo MRG u taagan tahay fariimaha wakhtiga dhabta ah. Faa'iidada balastar-waqtiga dhabta ah waa in ay hagaajiyaan nidaamka fulinta ugu dhaqsaha badan ee suurtogalka ah: dhammaan geeddi-socodyada waxaa lagu dhejiyaa safka FIFO, koofiyadaha waa la go'doomin karaa, wax ka-saarid ah, dhammaan macaamilada waxaa loo habeeyaa si isdaba-joog ah.

Casaan - la shaqeynta safka kernel caadiga ah, cagaar - ka shaqeynta kernel-waqtiga dhabta ah.

Laakiin gaaritaanka daahitaanka hooseeya ee server-yada caadiga ah ma aha mid fudud:

• Habka SMI, kaas oo ku jira qaab-dhismeedka x86 waa saldhigga u ah la shaqeynta qaybaha muhiimka ah, si weyn u farageliya. Ka-hortagga dhammaan noocyada dhacdooyinka hardware-ka iyo maareynta qaybaha iyo aaladaha waxaa sameeya firmware-ka qaabka loogu yeero qaabka SMI ee hufan, kaas oo nidaamka qalliinka uusan arkin waxa firmware-ku qabanayo gabi ahaanba. Sida caadiga ah, dhammaan iibiyeyaasha waaweyn waxay bixiyaan kordhin gaar ah oo loogu talagalay server-yada firmware-ka kuwaas oo u oggolaanaya dhimista qadarka habka SMI.
• Ma jiro wax xakameyn firfircoon oo soo noqnoqda processor-ka, tani waxay keenaysaa waqti-dhimis dheeraad ah.
• Marka nidaamka faylka la nadiifiyo, habab gaar ah ayaa ku dhaca kernel-ka kuwaas oo sababa dib u dhac aan la saadaalin karin.
• Waxaad u baahan tahay inaad fiiro gaar ah u yeelato waxyaabaha ay ka midka yihiin Affinity CPU, Affinity Interrupt, NUMA.

Waa inaan sheegaa in mawduuca dejinta qalabka Linux iyo kernel si loo farsameeyo waqtiga dhabta ah uu mudan yahay maqaal gaar ah. Waxaan ku bixinay waqti badan tijaabo iyo cilmi baaris ka hor inta aan la gaarin natiijo wanaagsan.

Markii aan ka soo guurnay server-yada PA-RISC una guurnay x86, dhab ahaantii uma baahnid inaan wax badan ka bedelno koodhka nidaamka, kaliya waan la qabsanay oo dib u habeynay. Isla mar ahaantaana, waxaan hagaajinnay dhowr cayayaanka. Tusaale ahaan, cawaaqibka xaqiiqda ah in PA RISC uu ahaa nidaam weyn oo endian ah, iyo x86 wuxuu ahaa nidaam yar oo endian ah, si dhakhso ah ayuu u soo baxay: tusaale ahaan, xogta ayaa loo akhriyay si khaldan. Cayayaanka ugu dhibka badan wuxuu ahaa in PA RISC isticmaasho joogto ah oo joogto ah (Si isdaba joog ahHelitaanka xusuusta, halka x86 ay dib u habayn karto hawlgallada akhrinta, markaa koodka gebi ahaanba ku shaqaynaya hal madal ayaa mid kale ku jabay.

Ka dib markii loo beddelay x86, waxqabadku wuxuu kordhay ku dhawaad ​​saddex laab, celceliska wakhtiga habaynta wax kala iibsiga ayaa hoos u dhacay 60 μs.

Aynu hadda si qoto dheer u eegno isbeddellada muhiimka ah ee lagu sameeyay hab-dhismeedka nidaamka.

Xidhiidhka kaydka kulul

Markii aan u wareegnay server-yada badeecadaha, waxaan la soconay in ay yihiin kuwo aan la isku halayn karin. Sidaa darteed, marka la abuurayo naqshad cusub, waxaan mudnaanta siinnay suurtagalnimada guuldarada hal ama ka badan oo nood ah. Sidaa darteed, waxaa loo baahday nidaam heegan oo kulul oo si degdeg ah ugu beddeli kara mishiinnada kaydinta.

Intaa waxaa dheer, waxaa jiray shuruudo kale:

• Xaaladna ma aha inaad lumiso macaamil ganacsi oo la farsameeyay.
• Nidaamku waa inuu noqdaa mid hufan oo kaabayasheenna ah.
• Macaamiishu waa in aanay arkin xidhiidhada la tuuray.
• Boos-qabsigu waa inaysan keenin dib u dhac weyn sababtoo ah tani waa arrin muhiim u ah is-weydaarsiga.

Marka la abuurayo nidaam heegan ah oo kulul, uma tixgelinin xaaladahan oo kale sida laba guuldarrooyin (tusaale ahaan, shabakadda hal server ayaa joojisay shaqada iyo server-kii ugu weynaa); ma tixgelin suurtagalnimada khaladaadka software-ka sababtoo ah waxaa la aqoonsaday inta lagu jiro baaritaanka; oo aan ka fiirsan shaqada khaldan ee qalabka.

Natiijo ahaan, waxaanu nimid qorshahan soo socda:

• Server-ka ugu weyn wuxuu si toos ah ula falgalay adeegayaasha Gateway.
• Dhammaan wax-is-weydaarsiyada laga helay server-ka ugu muhiimsan ayaa isla markiiba lagu soo koobay kaydka kaydka iyada oo loo sii marayo kanaal gooni ah. Garqaadka (Gudoomiyaha) ayaa isku dubariday bedelka haddii ay wax dhibaato ahi timaado.

  

• Server-ka ugu weyn ayaa farsameeyay wax kala iibsi kasta wuxuuna sugayay xaqiijinta kaydka kaydka. Si aad u ilaaliso daahitaanka ugu yaraan, waxaan ka fogaanay sugidda macaamilka si loo dhamaystiro server-ka kaydka ah. Tan iyo markii ay qaadatay wax kala iibsiga si loogu socdaalo shabakadaha oo dhan waxay la mid tahay wakhtiga fulinta, wax daahsoon oo dheeraad ah laguma darin.
• Waxaan kaliya eegi karnaa heerka habbaynta ee adeegaha muhiimka ah iyo kaydka ee wax kala iibsiga hore, iyo heerka habbaynta macaamilka hadda lama garanayn. Maadaama aan wali isticmaaleyno habab hal-xadhigle ah, sugitaanka jawaabta kaabta ayaa hoos u dhigi lahayd dhammaan socodka socodsiinta, sidaas darteed waxaan sameynay tanaasul macquul ah: waxaan hubinay natiijada macaamilkii hore.

Nidaamku wuxuu u shaqeeyay sida soo socota.

Aynu nidhaahno seerfarka ugu wayn ayaa joojinaya ka jawaabista, laakiin Gatewaysku way sii wadayaan xidhiidhka. Wakhtiga kama dambaysta ahi waxa uu ku dhacaa server-ka kaydka ah, waxa uu la xidhiidhaa Guddoomiyaha Gobolka, kaas oo u xilsaaray doorka server-ka ugu weyn, dhammaan Gateways-yada waxa ay u beddelanayaan server-ka cusub ee cusub.

Haddii server-ka ugu weyn uu dib ugu soo laabto khadka, sidoo kale wuxuu kiciyaa wakhti gudaha ah, sababtoo ah ma jiraan wax wicitaan ah oo laga soo wacay serferka Gateway wakhti go'an. Kadibna wuxuu u soo jeestaa Guddoomiyaha, oo wuxuu ka saarayaa qorshaha. Natiijo ahaan, sarrifka ayaa la shaqeeya hal server ilaa dhammaadka xilliga ganacsiga. Maadaama ay suurtogalnimada fashilka server-ku aad u hooseeyo, nidaamkan waxa loo tixgaliyey mid la aqbali karo; kumayna koobnayn caqli-gal adag oo way fududahay in la tijaabiyo.

In la sii wado.

Source: www.habr.com