Har yanzu daga fim din "Uniyoyin Sirrin Mu: Rayuwar Hidden na Tantanin halitta"

Sana’ar zuba jari na daya daga cikin mafi sarkakkiya a cikin harkokin banki, domin ba rance, rance da ajiya ba kadai, har ma da Securities, Currency, Commodities, Derivatives da kowane nau’i na sarkakkiya ta hanyar samar da tsari.

Kwanan nan, mun ga karuwar ilimin kudi na yawan jama'a. Mutane da yawa suna shiga cikin ciniki a cikin kasuwannin tsaro. Asusun saka hannun jari ɗaya ya bayyana ba da daɗewa ba. Suna ba ku damar kasuwanci da kasuwannin tsaro kuma ko dai karɓar cire haraji ko kuma guje wa biyan haraji. Kuma duk abokan cinikin da suka zo wurinmu suna son sarrafa fayil ɗin su kuma su ga rahoto a ainihin lokacin. Bugu da ƙari, galibi wannan fayil ɗin samfura ne da yawa, wato, mutane abokan ciniki ne na layin kasuwanci daban-daban.

Bugu da ƙari, bukatun masu gudanarwa, na Rasha da na waje, suna girma.

Don saduwa da buƙatun yanzu da aza harsashin haɓakawa na gaba, mun haɓaka ginshiƙan kasuwancin saka hannun jari bisa Tarantool.

Wasu ƙididdiga. Kasuwancin zuba jari na Alfa-Bank yana ba da sabis na dillalai ga daidaikun mutane da ƙungiyoyin doka don ba da damar yin ciniki a kasuwannin tsaro daban-daban, sabis na ajiya don ajiyar kuɗi, sabis na sarrafa amintaccen sabis ga mutane masu zaman kansu da manyan jari, sabis don ba da tsaro ga sauran kamfanoni. . Kasuwancin zuba jari na Alfa-Bank ya haɗa da ƙididdiga sama da dubu 3 a cikin daƙiƙa guda, waɗanda ake zazzage su daga dandamali daban-daban na ciniki. A cikin ranar aiki, fiye da 300 dubu 5 ma'amaloli aka kammala a kan kasuwanni a madadin banki ko abokan ciniki. Har zuwa XNUMX dubu biyar oda a cikin dakika yana faruwa akan dandamali na waje da na ciki. A lokaci guda, duk abokan ciniki, na ciki da na waje, suna son ganin matsayinsu a ainihin lokacin.

prehistory

Wani wuri daga farkon 2000s, mu yankunan da zuba jari kasuwanci ci gaba da kansa: musayar ciniki, dillalai sabis, tsabar kudi ciniki, kan-da-counter ciniki a Securities da daban-daban daban-daban. A sakamakon haka, mun fada cikin tarkon rijiyoyin aiki. Menene shi? Kowane layi na kasuwanci yana da nasa tsarin da ke kwafin ayyukan juna. Kowane tsarin yana da nasa samfurin bayanan, kodayake suna aiki tare da ra'ayoyi iri ɗaya: ma'amaloli, kayan aiki, abokan hulɗa, ƙididdiga, da sauransu. Kuma yayin da kowane tsarin ya samo asali da kansa, nau'ikan fasahar fasahar kere kere sun fito.

Bugu da kari, tushen code na tsarin ya riga ya tsufa, saboda wasu samfuran sun samo asali ne a tsakiyar shekarun 1990. Kuma a wasu wuraren wannan ya rage tafiyar matakai na ci gaba, kuma akwai matsalolin aiki.

Bukatun don sabon bayani

Kasuwanci sun fahimci cewa canjin fasaha yana da mahimmanci don ci gaba. An ba mu ayyuka:

1. Tattara duk bayanan kasuwanci a cikin guda ɗaya, ma'ajiyar sauri kuma a cikin ƙirar bayanai ɗaya.
2. Kada mu rasa ko canza wannan bayanin.
3. Wajibi ne a sigar bayanan, saboda a kowane lokaci mai gudanarwa na iya neman kididdigar shekarun da suka gabata.
4. Dole ne mu ba kawai kawo wasu sababbin DBMS na zamani ba, amma ƙirƙirar dandamali don magance matsalolin kasuwanci.

Bugu da kari, masu gine-ginen mu sun kafa nasu yanayi:

1. Dole ne sabon mafita ya zama nau'in kasuwanci, wato, dole ne a riga an gwada shi a wasu manyan kamfanoni.
2. Ya kamata yanayin aiki na maganin ya zama manufa mai mahimmanci. Wannan yana nufin cewa dole ne mu kasance a cikin cibiyoyin bayanai da yawa a lokaci guda kuma mu tsira cikin natsuwa daga katsewar cibiyar bayanai ɗaya.
3. Dole ne tsarin ya zama mai daidaitawa a kwance. Gaskiyar ita ce, duk tsarin mu na yanzu yana da tsayin daka kawai, kuma mun riga mun buga rufin saboda ƙarancin haɓakar ƙarfin kayan aiki. Sabili da haka, lokacin ya zo lokacin da muke buƙatar samun tsarin sikelin a kwance don tsira.
4. Daga cikin wasu abubuwa, an gaya mana cewa dole ne maganin ya zama mai arha.

Mun bi daidaitattun hanyar: mun tsara abubuwan da ake buƙata kuma mun tuntubi sashen sayayya. Daga can mun sami jerin sunayen kamfanoni waɗanda, a gaba ɗaya, suna shirye su yi mana wannan. Mun gaya wa kowa matsalar, kuma mun sami tantance hanyoyin magance su daga shida.

A banki, ba ma ɗaukar maganar kowa; muna son gwada komai da kanmu. Don haka, yanayin da ya wajaba na gasar tamu shine mu ci jarabawar lodi. Mun tsara ayyukan gwajin lodi, kuma uku daga cikin kamfanoni shida sun riga sun amince da aiwatar da wani tsari na samfur wanda ya dogara da fasahar ƙwaƙwalwar ajiya a kuɗin kansu don gwada shi.

Ba zan gaya muku yadda muka gwada komai da tsawon lokacin da aka ɗauka ba, zan taƙaita kawai: mafi kyawun aiki a cikin gwaje-gwajen lodi ya nuna ta hanyar samfurin samfuri dangane da Tarantool daga ƙungiyar ci gaban Rukunin Mail.ru. Mun sanya hannu kan yarjejeniya kuma muka fara ci gaba. Akwai mutane hudu daga Rukunin Mail.ru, kuma daga Alfa-Bank akwai masu haɓakawa uku, masu nazarin tsarin guda uku, masanin injiniyan bayani, mai samfurin da kuma Scrum master.

Na gaba zan gaya muku game da yadda tsarinmu ya girma, yadda ya samo asali, abin da muka yi da kuma dalilin da yasa daidai wannan.

Ƙaddamarwa

Tambayar farko da muka yi wa kanmu ita ce yadda ake samun bayanai daga tsarinmu na yanzu. Mun yanke shawarar cewa HTTP ya dace da mu, saboda duk tsarin yau da kullun yana sadarwa da juna ta hanyar aika XML ko JSON akan HTTP.

Muna amfani da uwar garken HTTP da aka gina a cikin Tarantool saboda ba ma buƙatar dakatar da zaman SSL, kuma aikin sa ya ishe mu.

Kamar yadda na fada a baya, dukkanin tsarinmu suna rayuwa ne a cikin nau'ikan bayanai daban-daban, kuma a lokacin shigarwa muna buƙatar kawo abu zuwa samfurin da muke kwatanta kanmu. An bukaci yaren da ya ba da damar canza bayanai. Mun zaɓi Lua mai mahimmanci. Muna gudanar da duk lambar musayar bayanai a cikin akwatin yashi - wannan wuri ne mai aminci wanda bayan haka lambar gudu ba ta zuwa. Don yin wannan, muna kawai loda lambar da ake buƙata, ƙirƙirar yanayi tare da ayyuka waɗanda ba za su iya toshewa ko sauke wani abu ba.

Bayan tuba, dole ne a duba bayanan don dacewa da ƙirar da muke ƙirƙira. Mun daɗe mun tattauna abin da samfurin ya kamata ya zama da kuma wane harshe da za mu yi amfani da shi don kwatanta shi. Mun zaɓi Apache Avro saboda harshen yana da sauƙi kuma yana da tallafi daga Tarantool. Sabbin nau'ikan samfurin da lambar al'ada za a iya sanya su aiki sau da yawa a rana, ko da a ƙarƙashin kaya ko ba tare da, a kowane lokaci na rana, kuma su dace da canje-canje da sauri.

Bayan tabbatarwa, dole ne a adana bayanan. Muna yin wannan ta amfani da vshard (muna da kwafin shards da aka tarwatsa).

Bugu da ƙari, ƙayyadaddun ƙayyadaddun shine yawancin tsarin da ke aiko mana da bayanai ba su damu ba ko mun karɓa ko a'a. Shi ya sa muka aiwatar da layin gyara tun daga farko. Menene shi? Idan saboda wasu dalilai wani abu bai sami canjin bayanai ko tabbatarwa ba, har yanzu muna tabbatar da karɓar, amma a lokaci guda ajiye abu a cikin layin gyarawa. Yana da daidaito kuma yana cikin babban ɗakin ajiyar bayanan kasuwanci. Nan da nan muka rubuta masa abin dubawar mai gudanarwa, ma'auni daban-daban da faɗakarwa. A sakamakon haka, ba mu rasa bayanai. Ko da wani abu ya canza a cikin tushen, idan tsarin bayanan ya canza, za mu gano shi nan da nan kuma za mu iya daidaitawa.

Yanzu kuna buƙatar koyon yadda ake dawo da bayanan da aka adana. Mun yi nazarin tsarinmu a hankali kuma muka ga cewa babban jigon Java da Oracle dole ne ya ƙunshi wani nau'in ORM wanda ke canza bayanai daga alaƙa zuwa abu. Don haka me yasa ba a ba da abubuwa nan da nan ga tsarin a cikin nau'i na jadawali ba? Don haka da farin ciki muka karɓi GraphQL, wanda ya biya dukkan bukatunmu. Yana ba ku damar karɓar bayanai a cikin nau'i na jadawali kuma ku fitar da abin da kuke buƙata kawai. Hakanan kuna iya sigar API ɗin tare da sassauci mai yawa.

Kusan nan take muka fahimci cewa bayanan da muke cirowa ba su wadatar ba. Mun ƙirƙira ayyuka waɗanda za a iya haɗa su da abubuwa a cikin ƙirar - ainihin, filayen ƙididdiga. Wato, muna haɗa wani aiki zuwa filin, wanda, alal misali, ƙididdige matsakaicin farashin ƙididdiga. Kuma mabukaci na waje wanda ke buƙatar bayanan bai ma san cewa wannan filin ƙididdiga ba ne.

An aiwatar da tsarin tantancewa.

Sai muka lura cewa ayyuka da yawa sun yi tasiri a shawararmu. Matsayi shine nau'in tara ayyuka. Yawanci, matsayin yana da bayanan amfanin kayan aiki daban-daban:

• T-Haɗa: yana sarrafa haɗin mai shigowa, CPU iyakance, ƙarancin ƙwaƙwalwar ajiya, mara ƙasa.
• IB-Core: yana canza bayanan da yake karɓa ta hanyar ka'idar Tarantool, wato, yana aiki tare da tebur. Hakanan baya adana jihar kuma yana iya daidaitawa.
• Adana: kawai adana bayanai, baya amfani da kowane dabaru. Wannan rawar tana aiwatar da mafi sauƙi musaya. Scalable godiya ga vshard.

Wato, ta yin amfani da matsayin, mun raba sassa daban-daban na gungu daga juna, waɗanda za a iya daidaita su ba tare da juna ba.

Don haka, mun ƙirƙiri rikodi na kwararar bayanan ma'amala asynchronous da layin gyara tare da keɓancewar mai gudanarwa. Rikodin ya kasance asynchronous daga ra'ayi na kasuwanci: idan an ba mu tabbacin rubuta bayanai ga kanmu, ko da a ina, to za mu tabbatar da shi. Idan ba a tabbatar ba, to wani abu ya ɓace kuma ana buƙatar aika bayanan. Wannan shine rikodin asynchronous.

Gwaji

Tun daga farkon aikin, mun yanke shawarar cewa za mu yi ƙoƙarin aiwatar da ci gaban gwaji. Muna rubuta gwajin naúrar a cikin Lua ta amfani da tsarin tarantool/tap, da gwaje-gwajen haɗin kai a Python ta amfani da tsarin pytest. A lokaci guda, muna haɗa duka biyu masu haɓakawa da manazarta wajen rubuta gwajin haɗin kai.

Ta yaya muke amfani da ci gaban gwaji?

Idan muna son sabon fasalin, muna ƙoƙarin rubuta gwaji don shi da farko. Lokacin da muka gano kwaro, muna tabbatar da rubuta gwaji da farko, sannan kawai mu gyara shi. Da farko yana da wuya a yi aiki kamar wannan, akwai rashin fahimta daga bangaren ma'aikata, har ma da zagon kasa: "Bari mu hanzarta gyara shi yanzu, yi sabon abu, sannan mu rufe shi da gwaje-gwaje." Sai kawai wannan “daga baya” kusan bai taɓa zuwa ba.

Don haka, kuna buƙatar tilasta wa kanku rubuta gwaje-gwaje da farko kuma ku nemi wasu su yi. Ku yi imani da ni, ci gaban gwajin gwaji yana kawo fa'idodi ko da a cikin ɗan gajeren lokaci. Za ku ji cewa rayuwar ku ta sami sauƙi. Muna jin cewa kashi 99% na lambar yanzu an rufe ta da gwaje-gwaje. Wannan yana kama da yawa, amma ba mu da wata matsala: gwaje-gwaje na gudana akan kowane alƙawarin.

Koyaya, abin da muka fi so shine gwajin lodi; muna la'akari da shi mafi mahimmanci kuma muna aiwatar da shi akai-akai.

Zan ba ku ɗan labari game da yadda muka aiwatar da matakin farko na gwajin lodi na ɗaya daga cikin sigar farko. Mun shigar da tsarin a kan kwamfutar tafi-da-gidanka na mai haɓakawa, kunna kaya kuma mun sami 4 dubu ma'amaloli a sakan daya. Kyakkyawan sakamako ga kwamfutar tafi-da-gidanka. Mun shigar da shi akan benci mai ɗaukar nauyi na sabobin guda huɗu, mai rauni fiye da samarwa. An tura zuwa ƙarami. Muna gudanar da shi, kuma muna samun sakamako mafi muni fiye da kan kwamfutar tafi-da-gidanka a cikin zaren daya. Abin mamaki.

Mun yi baƙin ciki sosai. Muna kallon nauyin uwar garken, amma ya zama marasa aiki.

Muna kiran masu haɓakawa, kuma suna bayyana mana, mutanen da suka fito daga duniyar Java, cewa Tarantool mai zaren guda ɗaya ne. Za a iya amfani da shi yadda ya kamata ta hanyar sarrafawa guda ɗaya da ke ƙarƙashin kaya. Sa'an nan kuma mun ƙaddamar da iyakar yiwuwar adadin Tarantool akan kowane uwar garken, kunna kaya kuma mun riga mun karbi 14,5 dubu ma'amaloli a sakan daya.

Bari in sake yin bayani. Saboda rarrabuwar kai zuwa matsayin da ke amfani da albarkatu daban-daban, ayyukanmu da ke da alhakin sarrafa haɗin kai da canjin bayanai an ɗora su ne kawai na'ura mai sarrafawa, kuma daidai gwargwado ga lodi.

A wannan yanayin, an yi amfani da ƙwaƙwalwar ajiya kawai don sarrafa haɗin da ke shigowa da abubuwa na wucin gadi.

Akasin haka, akan sabar ma'adana, kayan aikin na'ura ya karu, amma a hankali fiye da sabar da ke aiwatar da haɗin gwiwa.

Kuma amfani da ƙwaƙwalwar ajiya ya ƙaru daidai gwargwadon adadin bayanan da aka ɗora.

Ayyuka

Don haɓaka sabon samfurin mu musamman azaman dandamali na aikace-aikacen, mun ƙirƙiri wani sashi don tura ayyuka da ɗakunan karatu akansa.

Sabis ba ƙananan lambobi ba ne kawai waɗanda ke aiki akan wasu filayen. Za su iya zama manya-manyan sifofi masu sarƙaƙƙiya waɗanda ke ɓangare na tari, bincika bayanan tunani, gudanar da dabarun kasuwanci da mayar da martani. Muna kuma fitar da tsarin sabis ɗin zuwa GraphQL, kuma mabukaci yana karɓar wurin samun damar duniya zuwa bayanan, tare da zurfafawa cikin ɗaukacin samfurin. Yana da dadi sosai.

Tunda ayyuka sun ƙunshi ƙarin ayyuka da yawa, mun yanke shawarar cewa ya kamata a sami ɗakunan karatu waɗanda za mu motsa lambar da ake yawan amfani da su. Mun kara su cikin yanayin tsaro, tun da a baya mun bincika cewa bai karya mana komai ba. Kuma yanzu za mu iya ba da ƙarin yanayi don ayyuka a cikin nau'i na ɗakunan karatu.

Mun so mu sami dandamali ba kawai don ajiya ba, har ma don kwamfuta. Kuma tun da mun riga mun sami ɗimbin kwafi da shards, mun aiwatar da wani nau'in kwamfuta da aka rarraba kuma muka kira shi rage taswira, saboda ya zama kama da ainihin taswirar rage.

Tsohon tsarin

Ba duk tsarin gadonmu ba ne zai iya kiran mu ta HTTP kuma ya yi amfani da GraphQL, kodayake suna goyan bayan ƙa'idar. Don haka, mun ƙirƙiri wani tsari wanda zai ba da damar yin kwafin bayanai zuwa waɗannan tsarin.

Idan wani abu ya canza mana, ana haifar da abubuwa na musamman a cikin Matsayin Adanawa kuma saƙon tare da canje-canje yana ƙarewa a cikin layin sarrafawa. Ana aika shi zuwa tsarin waje ta amfani da keɓantaccen rawar mai kwafi. Wannan rawar ba ta adana jihar.

Sabbin haɓakawa

Kamar yadda kuka tuna, daga mahangar kasuwanci, mun yi rikodin asynchronous. Amma sai suka gane cewa ba zai isa ba, saboda akwai nau'ikan tsarin da ke buƙatar samun amsa nan da nan game da matsayin aikin. Don haka mun tsawaita GraphQL ɗin mu kuma muka ƙara maye gurbi. A zahiri sun dace da yanayin da ake ciki na aiki tare da bayanai. A gare mu, wannan batu ɗaya ne na duka karatu da rubutu don wani nau'in tsarin.

Mun kuma gane cewa sabis kadai ba zai ishe mu ba, saboda akwai rahotanni masu nauyi da ke buƙatar ginawa sau ɗaya a rana, mako, wata. Wannan na iya ɗaukar lokaci mai tsawo, kuma rahotanni na iya toshe madauki na taron Tarantool. Saboda haka, mun ƙirƙiri ayyuka daban-daban: mai tsarawa da mai gudu. Masu gudu ba sa adana jihar. Suna gudanar da ayyuka masu nauyi waɗanda ba za mu iya ƙididdige su ba a kan tashi. Kuma aikin mai tsarawa yana lura da jadawalin ƙaddamar da waɗannan ayyuka, wanda aka bayyana a cikin tsari. Ayyukan da kansu ana adana su a wuri ɗaya da bayanan kasuwanci. Lokacin da lokacin da ya dace ya zo, mai tsarawa ya ɗauki aikin, ya ba da shi ga wasu masu gudu, wanda ya ƙidaya shi kuma ya adana sakamakon.

Ba duk ayyuka ba ne ake buƙatar gudanar da su akan jadawali. Ana buƙatar karanta wasu rahotanni akan buƙata. Da zaran wannan bukata ta zo, an ƙirƙiri wani aiki a cikin akwatin yashi kuma a aika zuwa ga mai gudu don aiwatarwa. Bayan ɗan lokaci, mai amfani yana karɓar amsa asynchronous cewa an ƙididdige komai kuma an shirya rahoton.

Da farko, mun bi tsarin adana duk bayanan, yin sigar da ba share su ba. Amma a rayuwa, daga lokaci zuwa lokaci har yanzu dole ne ku share wani abu, galibi danye ko matsakaicin bayanai. Dangane da ƙarewar aiki, mun ƙirƙiri hanyar tsaftace ma'ajiyar bayanai daga tsoffin bayanai.

Mun kuma fahimci cewa ba dade ko ba dade wani yanayi zai zo lokacin da ba za a sami isasshen sarari don adana bayanai a cikin ƙwaƙwalwar ajiya ba, amma duk da haka dole ne a adana bayanan. Don waɗannan dalilai, ba da daɗewa ba za mu yi ajiyar diski.

ƙarshe

Mun fara da aikin loda bayanai zuwa samfuri ɗaya kuma mun shafe watanni uku muna haɓaka su. Muna da tsarin samar da bayanai guda shida. Gabaɗayan lambar canza canji zuwa samfuri ɗaya kusan layuka dubu 30 ne a cikin Lua. Kuma yawancin aikin yana nan gaba. Wani lokaci ana samun rashin kuzari daga ƙungiyoyin maƙwabta, kuma akwai yanayi da yawa waɗanda ke dagula aikin. Idan kun taɓa fuskantar irin wannan aiki, to, ku ninka lokacin da kuke ganin kamar al'ada a gare ku don aiwatar da shi da uku, ko ma huɗu.

Hakanan ku tuna cewa matsalolin da ake dasu a cikin hanyoyin kasuwanci ba za'a iya magance su ta amfani da sabon DBMS ba, har ma da inganci. Me nake nufi? A farkon aikin mu, mun haifar da ra'ayi tsakanin abokan ciniki cewa yanzu za mu kawo sabon bayanan sauri kuma za mu rayu! Hanyoyin za su yi sauri, duk abin da zai yi kyau. A gaskiya, fasaha ba ta magance matsalolin da hanyoyin kasuwanci ke da su ba, saboda tsarin kasuwanci mutane ne. Kuma kuna buƙatar yin aiki tare da mutane, ba fasaha ba.

Ci gaban gwajin gwaji na iya zama mai raɗaɗi da cin lokaci a farkon matakan. Amma ingantaccen tasirinsa zai zama sananne har ma a cikin ɗan gajeren lokaci, lokacin da ba kwa buƙatar yin wani abu don gudanar da gwajin gwagwarmaya.

Yana da matukar mahimmanci don gudanar da gwajin nauyi a duk matakan ci gaba. Da zarar ka lura da wasu kurakurai a cikin gine-ginen, zai zama sauƙi don gyara shi, wanda zai adana lokaci mai yawa a nan gaba.

Babu laifi Lua. Kowa zai iya koyon rubutu a ciki: Java developer, JavaScript developer, Python developer, gaba-gaba ko baya-karshen. Hatta manazartan mu suna rubutu akai.

Idan muka yi magana game da cewa ba mu da SQL, yana tsoratar da mutane. "Ta yaya kuke samun bayanai ba tare da SQL ba? Shin hakan zai yiwu? Tabbas. A cikin tsarin ajin OLTP, ba a buƙatar SQL. Akwai madadin a cikin nau'in wani nau'in harshe wanda nan da nan zai dawo da ku zuwa ra'ayi mai ma'ana da takarda. Misali, GraphQL. Kuma akwai madadin a cikin nau'i na rarraba kwamfuta.

Idan kun fahimci cewa kuna buƙatar sikelin, sannan ku tsara maganin ku akan Tarantool ta yadda zai iya gudana a layi daya akan yawancin lokuta Tarantool. Idan ba ku yi wannan ba, zai zama da wahala kuma mai raɗaɗi daga baya, tunda Tarantool zai iya yin amfani da mahimmancin processor guda ɗaya kawai.

source: www.habr.com