Wannan ci gaba ne na dogon labari game da hanyarmu mai banƙyama don ƙirƙirar tsari mai ƙarfi, mai ɗaukar nauyi wanda ke tabbatar da aikin musayar. Kashi na farko yana nan:
Kuskure mai ban mamaki
Bayan gwaje-gwaje da yawa, an shigar da sabunta tsarin ciniki da sharewa, kuma mun ci karo da wani kwaro game da abin da za mu iya rubuta labarin gaibu-sufi.
Ba da daɗewa ba bayan ƙaddamar da babban uwar garken, ɗaya daga cikin ma'amaloli da aka sarrafa tare da kuskure. Koyaya, komai yayi kyau akan sabar madadin. Ya juya cewa aikin lissafi mai sauƙi na ƙididdige ma'anar a kan babban uwar garken ya ba da sakamako mara kyau daga ainihin hujja! Mun ci gaba da bincikenmu, kuma a cikin rajistar SSE2 mun sami bambanci a cikin bit guda ɗaya, wanda ke da alhakin zagayawa yayin aiki tare da lambobi masu iyo.
Mun rubuta ƙaƙƙarfan mai amfani na gwaji don ƙididdige juzu'i tare da saitin bit ɗin zagaye. Ya bayyana cewa a cikin nau'in RedHat Linux da muka yi amfani da shi, akwai matsala a cikin aiki tare da aikin lissafi lokacin da aka shigar da rashin lafiya. Mun ba da rahoton hakan ga RedHat, bayan ɗan lokaci mun sami faci daga wurinsu kuma muka fitar da shi. Kuskuren ya daina faruwa, amma ba a san inda wannan ɗan ya fito ba? Aikin ya kasance alhakinsa fesetround daga harshen C. Mun bincika lambar mu a hankali don neman kuskuren da ake zaton: mun bincika duk yanayin da zai yiwu; duba duk ayyukan da suka yi amfani da zagaye; yayi ƙoƙarin sake haifar da zaman da bai yi nasara ba; amfani da masu tarawa daban-daban tare da zaɓuɓɓuka daban-daban; An yi amfani da bincike mai tsayi da tsauri.
Ba a iya gano dalilin kuskuren ba.
Daga nan sai suka fara duba kayan aikin: sun gudanar da gwajin lodin na'urorin; duba RAM; Har ma mun gudanar da gwaje-gwaje don yanayin da ba zai yuwu ba na kuskuren-bit da yawa a cikin tantanin halitta ɗaya. Babu wani amfani.
A ƙarshe, mun zauna a kan wata ka'ida daga duniyar ilimin kimiyyar makamashi mai ƙarfi: wasu ƙwayoyin makamashi masu ƙarfi sun tashi zuwa cibiyar bayananmu, suka huda bangon harka, suka buga na'ura mai sarrafawa kuma ya haifar da latch ɗin faɗakarwa ya tsaya a cikin wannan ɗan kaɗan. An kira wannan ka'idar maras kyau da "neutrino." Idan kun kasance da nisa daga ilimin kimiyyar lissafi: neutrinos kusan ba sa hulɗa tare da duniyar waje, kuma tabbas ba za su iya shafar aikin mai sarrafawa ba.
Tun da yake ba a iya gano dalilin rashin nasarar ba, an cire uwar garken "mai laifi" daga aiki kawai idan akwai.
Bayan wani lokaci, mun fara inganta tsarin madadin zafi: mun gabatar da abin da ake kira "warm reserves" (dumi) - asynchronous replicas. Sun karɓi rafi na ma'amaloli waɗanda za a iya kasancewa a cikin cibiyoyin bayanai daban-daban, amma warms ba su yi hulɗa da wasu sabobin ba.
Me yasa aka yi haka? Idan uwar garken ajiyar ta kasa, to, dumi, wanda ke daura da babban uwar garken, ya zama sabon madadin. Wato, bayan gazawar, tsarin ba ya kasancewa tare da babban uwar garken guda ɗaya har zuwa ƙarshen zaman ciniki.
Kuma lokacin da aka gwada sabon sigar tsarin kuma aka fara aiki, kuskuren zagaye ya sake faruwa. Bugu da ƙari, tare da karuwa a cikin adadin sabobin dumi, kuskuren ya fara bayyana sau da yawa. A lokaci guda kuma, dillalin ba shi da wani abin da zai nuna, tun da babu wata kwakkwarar shaida.
A lokacin bincike na gaba na halin da ake ciki, ka'idar ta taso cewa matsalar na iya kasancewa da alaka da OS. Mun rubuta tsari mai sauƙi wanda ke kiran aiki a cikin madauki mara iyaka fesetround, yana tunawa da halin da ake ciki yanzu kuma yana duba shi ta hanyar barci, kuma ana yin haka a yawancin zaren gasa. Bayan zaɓar sigogi don barci da adadin zaren, mun fara ci gaba da haifar da gazawar bit bayan kusan mintuna 5 na tafiyar da kayan amfani. Duk da haka, tallafin Red Hat ya kasa sake haifar da ita. Gwajin sauran sabar mu ya nuna cewa kawai waɗanda ke da wasu na'urori masu sarrafawa ne kawai ke iya kamuwa da kuskure. A lokaci guda, canzawa zuwa sabon kwaya ya warware matsalar. A ƙarshe, kawai mun maye gurbin OS, kuma ainihin dalilin kwaro ya kasance ba a sani ba.
Kuma ba zato ba tsammani a bara an buga labarin Habré “" Halin da aka bayyana a cikinsa ya yi kama da namu, amma marubucin ya ci gaba da binciken kuma ya gabatar da ka'idar cewa kuskuren yana cikin microcode. Kuma lokacin da aka sabunta kernels na Linux, masana'antun kuma suna sabunta microcode.
Ƙarin ci gaba na tsarin
Kodayake mun kawar da kuskuren, wannan labarin ya tilasta mana mu sake yin la'akari da tsarin gine-gine. Bayan haka, ba a kiyaye mu daga maimaita irin waɗannan kurakurai ba.
Ka'idoji masu zuwa sun kafa tushe don haɓakawa na gaba ga tsarin ajiyar kuɗi:
- Ba za ku iya amincewa da kowa ba. Sabar ba zata yi aiki yadda ya kamata ba.
- Mafi yawan tanadi.
- Tabbatar da ijma'i. A matsayin ƙari mai ma'ana ga yawancin ajiyar kuɗi.
- Rashin gazawa sau biyu yana yiwuwa.
- Muhimmanci. Sabon tsarin jiran aiki mai zafi bai kamata ya kasance mafi muni fiye da na baya ba. Ya kamata ciniki ya ci gaba ba tare da katsewa ba har sai uwar garken ƙarshe.
- Ƙaruwa kaɗan a cikin latti. Duk wani lokacin raguwa yana haifar da asarar kuɗi mai yawa.
- Ƙananan hulɗar hanyar sadarwa don kiyaye latency a matsayin ƙasa mai yiwuwa.
- Zaɓin sabon uwar garken uwar garken a cikin daƙiƙa guda.
Babu wani mafita da ake samu a kasuwa da ya dace da mu, kuma ka'idar Raft ta kasance a cikin ƙuruciya, don haka mun ƙirƙiri namu mafita.
Sadarwar sadarwa
Baya ga tsarin ajiyar kuɗi, mun fara sabunta hulɗar hanyar sadarwa. Tsarin I/O ya ƙunshi matakai da yawa, waɗanda ke da mafi munin tasiri akan jitter da latency. Tare da ɗaruruwan hanyoyin tafiyar da hanyoyin haɗin TCP, an tilasta mana mu canzawa koyaushe tsakanin su, kuma akan sikelin microsecond wannan aiki ne mai cin lokaci. Amma mafi munin abin shine lokacin da tsari ya karɓi fakiti don sarrafawa, ya aika shi zuwa layin SystemV guda ɗaya sannan ya jira wani taron daga wani layin SystemV. Duk da haka, lokacin da akwai adadi mai yawa na nodes, zuwan sabon fakitin TCP a cikin tsari ɗaya da kuma karɓar bayanai a cikin jerin gwano a wani yana wakiltar abubuwa biyu masu gasa ga OS. A wannan yanayin, idan babu na'urori masu sarrafawa na zahiri don ayyukan biyu, za a sarrafa ɗaya, kuma na biyu za a sanya shi cikin jerin gwano. Ba shi yiwuwa a yi hasashen sakamakon.
A irin waɗannan yanayi, ana iya amfani da sarrafa fifikon tsari mai ƙarfi, amma wannan zai buƙaci yin amfani da kiran tsarin mai ƙarfi. Sakamakon haka, mun canza zuwa zaren guda ɗaya ta amfani da epoll classic, wannan ya ƙara saurin sauri kuma ya rage lokacin sarrafa ma'amala. Har ila yau, mun kawar da hanyoyin sadarwa na hanyar sadarwa daban-daban da sadarwa ta hanyar SystemV, rage yawan yawan kiran tsarin kuma mun fara sarrafa abubuwan da ake bukata na ayyuka. A kan tsarin I/O kadai, yana yiwuwa a adana kusan 8-17 micro seconds, ya danganta da yanayin. An yi amfani da wannan makirci mai zare guda ɗaya bai canza ba tun lokacin; zaren epoll guda ɗaya tare da gefe ya isa ya yi amfani da duk haɗin gwiwa.
Gudanar da Ma'amala
Girman nauyin da ke kan tsarin mu yana buƙatar haɓaka kusan dukkanin abubuwan da ke ciki. Amma, da rashin alheri, tabarbarewar haɓakar saurin agogon processor a cikin 'yan shekarun nan ya daina ba da damar haɓaka ayyukan gaba-gaba. Saboda haka, mun yanke shawarar raba tsarin Injin zuwa matakai uku, tare da mafi yawan su shine tsarin bincikar haɗari, wanda ke kimanta samun kuɗi a cikin asusun kuma ya haifar da ma'amala da kansu. Amma kuɗi na iya zama a cikin agogo daban-daban, kuma ya zama dole don gano kan menene ya kamata a raba sarrafa buƙatun.
Maganin ma'ana shine a raba shi ta hanyar kuɗi: ɗaya uwar garken yana cinikin dala, wani a fam, da na uku a cikin Yuro. Amma idan, tare da irin wannan makirci, ana aika ma'amaloli biyu don siyan kuɗi daban-daban, to, matsalar lalata walat ɗin zai taso. Amma aiki tare yana da wahala da tsada. Saboda haka, zai zama daidai a yi shard daban ta walat kuma daban ta kayan aiki daban. Af, yawancin musanya ta Yamma ba su da aikin duba haɗari kamar yadda muke yi, don haka galibi ana yin hakan ta layi. Muna buƙatar aiwatar da tabbatarwa akan layi.
Bari mu yi bayani da misali. Mai ciniki yana so ya saya $ 30, kuma buƙatar ta tafi zuwa tabbatar da ma'amala: muna duba ko an yarda da wannan mai ciniki zuwa wannan yanayin ciniki kuma ko yana da haƙƙin da ake bukata. Idan komai yana cikin tsari, buƙatar ta tafi zuwa tsarin tabbatar da haɗari, watau. don duba isasshiyar kuɗi don kammala ciniki. Akwai bayanin cewa adadin da ake buƙata yana toshe a halin yanzu. Sannan ana tura buƙatar zuwa tsarin ciniki, wanda ya yarda ko ya ƙi cinikin. Bari mu ce an amince da ma'amala - to, tsarin tabbatar da haɗari ya nuna cewa ba a katange kuɗin ba, kuma rubles ya juya zuwa daloli.
Gabaɗaya, tsarin bincika haɗarin yana ƙunshe da hadaddun algorithms kuma yana aiwatar da adadi mai yawa na ƙididdige yawan albarkatu, kuma ba wai kawai duba “ma’auni” ba, kamar yadda ake iya gani da farko.
Lokacin da muka fara rarraba tsarin Injin zuwa matakai, mun ci karo da matsala: lambar da ke akwai a lokacin ta yi amfani da rayayye iri ɗaya na bayanai a matakan tabbatarwa da tabbatarwa, waɗanda ke buƙatar sake rubuta duk tushen lambar. A sakamakon haka, mun aro wata dabara don sarrafa umarnin daga na'urori na zamani: kowannensu ya kasu kashi cikin ƙananan matakai kuma ana aiwatar da ayyuka da yawa a cikin layi daya.
Bayan ƙaramin daidaitawa na lambar, mun ƙirƙiri bututun don sarrafa ma'amala a layi daya, wanda aka raba ma'amala zuwa matakai 4 na bututun: hulɗar cibiyar sadarwa, tabbatarwa, aiwatarwa da buga sakamakon.
Bari mu kalli misali. Muna da tsarin sarrafawa guda biyu, serial da parallel. Ma'amala ta farko ta zo kuma an aika don tabbatarwa a cikin tsarin biyu. Ma'amala ta biyu ta zo nan da nan: a cikin tsarin layi ɗaya nan da nan an ɗauke shi zuwa aiki, kuma a cikin tsarin tsari an sanya shi a cikin jerin gwano yana jiran ciniki na farko ya wuce matakin sarrafawa na yanzu. Wato babban fa'idar sarrafa bututun shine mu sarrafa layin ciniki cikin sauri.
Wannan shine yadda muka fito da tsarin ASTS+.
Gaskiya, ba komai ba ne mai santsi tare da masu jigilar kaya ko dai. Bari mu ce muna da ma'amala da ke shafar tsararrun bayanai a cikin ma'amalar maƙwabta; wannan yanayi ne na yau da kullun na musayar. Ba za a iya aiwatar da irin wannan ciniki a cikin bututun mai ba saboda yana iya shafar wasu. Ana kiran wannan yanayin haɗari na bayanai, kuma ana sarrafa irin waɗannan ma'amaloli kawai daban: lokacin da ma'amaloli na "sauri" a cikin jerin gwanon ya ƙare, bututun ya tsaya, tsarin yana aiwatar da ma'amalar "hankali", sa'an nan kuma sake fara bututun. Abin farin ciki, rabon irin waɗannan ma'amaloli a cikin ma'amalar gabaɗaya kaɗan ne, don haka bututun yana tsayawa da kyar ta yadda ba ya shafar aikin gabaɗaya.
Daga nan sai muka fara magance matsalar daidaita zaren kisa guda uku. Sakamakon shine tsarin da ya dogara akan majinin zobe tare da ƙayyadaddun ƙwayoyin sel. A cikin wannan tsarin, komai yana ƙarƙashin saurin sarrafawa; ba a kwafin bayanai ba.
- Duk fakitin cibiyar sadarwa masu shigowa suna shiga matakin rarrabawa.
- Muna sanya su a cikin tsararru kuma mu yi musu alama a matsayin samuwa don mataki #1.
- Ma'amala ta biyu ta iso, tana sake samuwa don mataki na 1.
- Zaren sarrafawa na farko yana ganin kasuwancin da ake da su, yana sarrafa su, kuma yana motsa su zuwa mataki na gaba na zaren sarrafawa na biyu.
- Sannan tana aiwatar da ma'amala ta farko kuma tana tuta tantanin halitta daidai
deleted- yanzu yana samuwa don sabon amfani.
Ana sarrafa dukkan layin ta wannan hanya.
Sarrafa kowane mataki yana ɗaukar raka'a ko dubun micro seconds. Kuma idan muka yi amfani da daidaitattun tsare-tsaren aiki tare na OS, za mu rasa ƙarin lokaci akan aiki tare da kanta. Shi ya sa muka fara amfani da spinlock. Duk da haka, wannan mummunan tsari ne a cikin tsarin lokaci na ainihi, kuma RedHat ba ya bada shawarar yin wannan, don haka muna amfani da spinlock don 100 ms, sa'an nan kuma mu canza zuwa yanayin semaphore don kawar da yiwuwar matsewa.
A sakamakon haka, mun sami aiki na kusan ma'amaloli miliyan 8 a cikin dakika guda. Kuma a zahiri bayan watanni biyu in game da LMAX Disruptor mun ga bayanin da'ira mai aiki iri ɗaya.
Yanzu ana iya samun zaren kisa da yawa a mataki ɗaya. An aiwatar da duk ma'amaloli daya bayan daya, a cikin tsari da aka karba. A sakamakon haka, aikin koli ya karu daga 18 dubu 50 zuwa XNUMX ma'amaloli a cikin dakika guda.
Musanya tsarin kula da haɗari
Babu iyaka ga kamala, kuma nan da nan mun sake fara zamani: a cikin tsarin ASTS +, mun fara matsar da tsarin gudanar da haɗari da tsarin ayyukan sasantawa zuwa sassa masu cin gashin kansu. Mun ƙirƙiri wani sassauƙan gine-gine na zamani da sabon ƙirar haɗarin matsayi, kuma mun yi ƙoƙarin amfani da aji a duk inda zai yiwu fixed_point maimakon double.
Amma matsala ta taso nan da nan: yadda za a daidaita duk dabarun kasuwanci da ke aiki shekaru da yawa kuma canza shi zuwa sabon tsarin? A sakamakon haka, an yi watsi da sigar farko ta samfurin sabon tsarin. Siga na biyu, wanda a halin yanzu yana aiki a samarwa, yana dogara ne akan wannan lambar, wanda ke aiki a cikin duka sassan ciniki da haɗari. A lokacin haɓakawa, abu mafi wahala da za a yi shine git haɗuwa tsakanin nau'ikan biyu. Abokin aikinmu Evgeniy Mazurenok ya yi wannan tiyata a kowane mako kuma duk lokacin da ya daɗe yana zagi.
Lokacin zabar sabon tsari, nan da nan dole ne mu magance matsalar hulɗa. Lokacin zabar bas ɗin bayanai, ya zama dole don tabbatar da kwanciyar hankali da ƙarancin jinkiri. Cibiyar sadarwa ta InfiniBand RDMA ta fi dacewa da wannan: matsakaicin lokacin sarrafawa shine sau 4 ƙasa da na cibiyoyin sadarwa na 10 G Ethernet. Amma abin da ya burge mu da gaske shine bambancin kashi - 99 da 99,9.
Tabbas, InfiniBand yana da ƙalubalensa. Da fari dai, API daban-daban - ibverbs maimakon kwasfa. Na biyu, kusan babu buɗaɗɗen hanyoyin saƙon saƙon da ake samu a ko'ina. Mun yi ƙoƙarin yin namu samfurin, amma ya zama mai wahala, don haka mun zaɓi hanyar kasuwanci - Confinity Low Latency Message (tsohon IBM MQ LLM).
Sa'an nan kuma aikin rarraba tsarin haɗari daidai ya tashi. Idan kawai ka cire Injin Hadarin kuma kada ka ƙirƙiri kulli na tsaka-tsaki, to ana iya haɗa ma'amaloli daga tushe guda biyu.
Abubuwan da ake kira Ultra Low Latency Solutions suna da yanayin sake yin oda: ana iya shirya ma'amaloli daga tushe guda biyu a cikin tsarin da ake buƙata akan karɓa; ana aiwatar da wannan ta amfani da tashar daban don musayar bayanai game da oda. Amma har yanzu ba mu yi amfani da wannan yanayin ba: yana rikitar da tsarin gaba ɗaya, kuma a cikin adadin mafita ba a tallafawa kwata-kwata. Bugu da kari, kowace ma'amala dole ne a sanya tambura masu dacewa, kuma a cikin tsarinmu wannan tsarin yana da matukar wahala a aiwatar da shi daidai. Saboda haka, mun yi amfani da tsarin gargajiya tare da dillalin saƙo, wato, tare da mai aikawa da ke rarraba saƙonni tsakanin Injin Risk.
Matsala ta biyu tana da alaƙa da samun damar abokin ciniki: idan akwai Ƙofar Haɗari da yawa, abokin ciniki yana buƙatar haɗi zuwa kowane ɗayansu, kuma wannan yana buƙatar canje-canje ga layin abokin ciniki. Mun so mu rabu da wannan a wannan matakin, don haka ƙirar Ƙofar Haɗari na yanzu tana aiwatar da dukkan rafin bayanai. Wannan yana iyakance iyakar abin da ake buƙata, amma yana sauƙaƙa haɗin tsarin sosai.
kwafi
Kada tsarin mu ya kasance yana da maki guda na gazawa, wato, duk abubuwan da aka gyara dole ne a kwafi su, gami da dillalin saƙo. Mun magance wannan matsala ta hanyar amfani da tsarin CLLM: yana dauke da gungu na RCMS wanda masu aikawa guda biyu zasu iya aiki a cikin yanayin bawa, kuma idan daya ya kasa, tsarin yana canzawa ta atomatik zuwa ɗayan.
Aiki tare da madadin bayanai cibiyar
An inganta InfiniBand don aiki azaman hanyar sadarwa ta gida, wato, don haɗa kayan aikin rack-mount, kuma cibiyar sadarwar InfiniBand ba za a iya shimfiɗa ta tsakanin cibiyoyin bayanai guda biyu da aka rarraba a ƙasa ba. Sabili da haka, mun aiwatar da gada / mai aikawa, wanda ke haɗawa zuwa ajiyar saƙo ta hanyar cibiyoyin sadarwa na Ethernet na yau da kullum kuma yana ba da duk ma'amaloli zuwa cibiyar sadarwar IB ta biyu. Lokacin da muke buƙatar ƙaura daga cibiyar bayanai, za mu iya zaɓar wace cibiyar bayanai za mu yi aiki da ita yanzu.
Sakamakon
Duk abubuwan da ke sama ba a yi su lokaci ɗaya ba; ya ɗauki matakai da yawa don haɓaka sabon gine-gine. Mun ƙirƙiri samfurin a cikin wata ɗaya, amma ya ɗauki fiye da shekaru biyu don samun shi cikin yanayin aiki. Mun yi ƙoƙarin cimma mafi kyawun sasantawa tsakanin haɓaka lokacin sarrafa ma'amala da haɓaka amincin tsarin.
Tun da an sabunta tsarin sosai, mun aiwatar da dawo da bayanai daga tushe guda biyu masu zaman kansu. Idan kantin sayar da saƙon ba ya aiki daidai saboda wasu dalilai, zaku iya ɗaukar log ɗin ma'amala daga tushe na biyu - daga Injin Risk. Ana lura da wannan ka'ida a cikin tsarin.
Daga cikin wasu abubuwa, mun sami damar adana API ɗin abokin ciniki ta yadda babu dillalai ko wani da zai buƙaci sake yin aiki mai mahimmanci don sabon gine-gine. Dole ne mu canza wasu musaya, amma babu buƙatar yin manyan canje-canje ga tsarin aiki.
Mun kira sigar dandalinmu na yanzu Rebus - a matsayin taƙaitaccen sabbin abubuwa guda biyu da aka fi sani a gine-gine, Injin Hadarin da BUS.
Da farko, muna so mu ware ɓangaren sharewa kawai, amma sakamakon shine babban tsarin rarraba. Abokan ciniki yanzu suna iya yin mu'amala da ko dai Ƙofar Kasuwanci, Kofar sharewa, ko duka biyun.
Abin da muka cim ma a ƙarshe:
Rage matakin jinkiri. Tare da ƙananan ƙananan ma'amaloli, tsarin yana aiki daidai da sigar da ta gabata, amma a lokaci guda yana iya tsayayya da babban nauyi.
Ayyukan kololuwa sun karu daga dubu 50 zuwa ma'amaloli dubu 180 a sakan daya. Ƙarin haɓaka yana samun cikas ta hanyar madaidaicin tsari kawai.
Akwai hanyoyi guda biyu don ƙarin haɓakawa: daidaita daidaitattun daidaitawa da canza yadda yake aiki tare da Ƙofar. Yanzu duk Ƙofar kofofin suna aiki ne bisa tsarin kwafi, wanda, a ƙarƙashin irin wannan nauyin, ya daina aiki akai-akai.
A ƙarshe, zan iya ba da shawara ga waɗanda ke kammala tsarin kasuwancin:
- Kasance cikin shiri don mafi muni a kowane lokaci. Matsaloli kullum suna tasowa ba zato ba tsammani.
- Yawancin lokaci ba zai yiwu a sake yin gine-gine da sauri ba. Musamman idan kuna buƙatar cimma matsakaicin dogaro a cikin maƙasudai da yawa. Yawancin nodes, ƙarin albarkatun da ake buƙata don tallafi.
- Duk mafita na al'ada da na mallaka zasu buƙaci ƙarin albarkatu don bincike, tallafi da kiyayewa.
- Kada ku kashe warware matsalolin amincin tsarin da dawowa bayan gazawar; yi la'akari da su a matakin ƙirar farko.
source: www.habr.com