HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

Kowane mutum yana magana game da hanyoyin haɓakawa da gwaji, ma'aikatan horarwa, haɓaka haɓakawa, amma waɗannan hanyoyin ba su isa ba lokacin da minti ɗaya na raguwar sabis ke kashe kuɗi mai yawa. Me za ku yi lokacin da kuke aiwatar da ma'amalar kuɗi a ƙarƙashin tsauraran SLA? Ta yaya za a ƙara aminci da haƙurin kuskuren tsarin ku, ɗaukar haɓakawa da gwaji daga ma'auni?

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

Za a gudanar da taron HighLoad++ na gaba a ranar 6 da 7 ga Afrilu, 2020 a St. Petersburg. Cikakkun bayanai da tikiti don mahada. Nuwamba 9, 18:00. HighLoad++ Moscow 2018, Delhi + Kolkata hall. Wadannan da gabatarwa.

Evgeniy Kuzovlev (nan gaba - EC): - Abokai, sannu! Sunana Kuzovlev Evgeniy. Ni daga kamfanin EcommPay ne, takamaiman yanki shine EcommPay IT, sashin IT na rukunin kamfanoni. Kuma a yau za mu yi magana game da downtimes - game da yadda za a kauce wa su, game da yadda za a rage girman sakamakon su idan ba za a iya kauce masa ba. An bayyana batun kamar haka: "Me za a yi idan minti daya na raguwa ya kashe $ 100"? Idan muka duba gaba, lambobin mu suna kwatankwacinsu.

Menene EcommPay IT ke yi?

Wanene mu? Me yasa nake tsaye a gabanku? Me ya sa nake da hakkin in gaya muku wani abu a nan? Kuma menene zamuyi magana akai anan daki-daki?

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

Ƙungiyar EcommPay na kamfanoni mai siye ne na duniya. Muna aiwatar da biyan kuɗi a duk faɗin duniya - a cikin Rasha, Turai, kudu maso gabashin Asiya (A duk faɗin duniya). Muna da ofisoshi 9, ma'aikata 500 gabaɗaya, kuma kusan ƙasa da rabin su ƙwararrun IT ne. Duk abin da muke yi, duk abin da muke samun kuɗi, mun yi kanmu.

Mun rubuta duk samfuran mu (kuma muna da su da yawa - a cikin layin manyan samfuran IT muna da kusan abubuwa 16 daban-daban) kanmu; Muna rubuta kanmu, muna haɓaka kanmu. Kuma a halin yanzu muna gudanar da harkokin kasuwanci kusan miliyan guda a rana (miliyoyin tabbas ita ce hanyar da ta dace ta faɗi). Mu kamfani ne kawai matasa - muna kusan shekaru shida ne kawai.

Shekaru 6 da suka gabata ya kasance irin wannan farawa lokacin da mutanen suka zo tare da kasuwancin. An haɗa su da wani ra'ayi (babu wani abu sai ra'ayi), kuma muka gudu. Kamar kowane farawa, mun gudu da sauri ... A gare mu, gudun yana da mahimmanci fiye da inganci.

A wani lokaci mun tsaya: mun gane cewa ba za mu iya rayuwa a cikin wannan gudun ba kuma tare da wannan ingancin kuma muna bukatar mu mai da hankali kan inganci da farko. A wannan lokacin, mun yanke shawarar rubuta sabon dandamali wanda zai zama daidai, mai daidaitawa, kuma abin dogaro. Sun fara rubuta wannan dandali (sun fara saka hannun jari, haɓaka haɓakawa, gwaji), amma a wani lokaci suka gane cewa ci gaba da gwaji ba su ba mu damar isa wani sabon matakin ingancin sabis ba.

Kuna yin sabon samfuri, kun sanya shi cikin samarwa, amma har yanzu wani abu zai yi kuskure a wani wuri. Kuma a yau za mu yi magana game da yadda za mu kai sabon matakin inganci (yadda muka yi shi, game da kwarewarmu), ɗaukar ci gaba da gwaji daga ma'auni; za mu yi magana game da abin da ke samuwa don aiki - abin da aiki zai iya yi da kansa, abin da zai iya ba da gwaji don rinjayar inganci.

Downtimes. Dokokin aiki.

Koyaushe babban ginshiƙi, abin da za mu yi magana a zahiri a yau shi ne lokacin hutu. Mummunan kalma. Idan muna da raguwar lokaci, komai yana da kyau a gare mu. Muna gudun mu tada shi, admins suna rike da uwar garken – Allah Ya kiyaye ba ta fadi ba, kamar yadda suke fada a waccan wakar. Wannan shi ne abin da za mu yi magana a kai a yau.

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

Lokacin da muka fara canza hanyoyinmu, mun kafa dokoki 4. Na gabatar da su a kan nunin faifai:

Waɗannan dokokin suna da sauƙi:

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

  • Gano matsalar da sauri.
  • Ka rabu da shi har ma da sauri.
  • Taimaka fahimtar dalilin (daga baya, ga masu haɓakawa).
  • Kuma daidaita hanyoyin.

Ina so in ja hankalin ku zuwa aya ta 2. Muna kawar da matsalar, ba magance ta ba. Yanke shawara shine na biyu. A gare mu, abu na farko shi ne cewa mai amfani yana da kariya daga wannan matsala. Zai kasance a wani keɓe muhalli, amma wannan muhallin ba zai sami wata alaƙa da shi ba. A zahiri, za mu shiga cikin waɗannan rukunoni huɗu na matsalolin (wasu cikin ƙarin daki-daki, wasu a cikin ƙasa), zan gaya muku abin da muke amfani da shi, menene ƙwarewar da ta dace da muke da ita a cikin mafita.

Shirya matsala: Yaushe suke faruwa kuma me za a yi game da su?

Amma za mu fara ba tare da tsari ba, za mu fara da ma'ana No. 2 - yadda za a kawar da matsalar da sauri? Akwai matsala - muna buƙatar gyara ta. "Me ya kamata mu yi game da wannan?" - babban tambaya. Kuma lokacin da muka fara tunanin yadda za mu gyara matsalar, mun samar wa kanmu wasu buƙatu waɗanda dole ne magance matsalar ya bi.

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

Don mu tsara waɗannan bukatu, mun tsai da shawarar yi wa kanmu tambayar: “Yaushe muke da matsaloli”? Kuma matsalolin, kamar yadda ya juya, suna faruwa a lokuta hudu:

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

  • Rashin gazawar hardware.
  • Ayyukan waje sun gaza.
  • Canza sigar software (aikawa iri ɗaya).
  • Girman kaya mai fashewa.

Ba za mu yi magana game da biyun farko ba. Ana iya magance matsalar rashin aikin hardware a sauƙaƙe: dole ne a kwafi komai. Idan waɗannan faifai ne, dole ne a haɗa faifai a cikin RAID; idan wannan uwar garken ne, dole ne a kwafi uwar garken; idan kana da kayan aikin cibiyar sadarwa, dole ne ka samar da kwafin na biyu na kayan aikin cibiyar sadarwa, wato, ɗauka kuma kwafi shi. Kuma idan wani abu ya gaza, kun canza zuwa ajiyar wuta. Yana da wuya a ce wani abu a nan.

Na biyu shi ne gazawar ayyukan waje. Ga yawancin, tsarin ba shi da matsala ko kaɗan, amma ba a gare mu ba. Tun da muna aiwatar da biyan kuɗi, mu ne mai tarawa wanda ke tsaye tsakanin mai amfani (wanda ya shigar da bayanan katinsa) da bankuna, tsarin biyan kuɗi (Visa, MasterCard, Mira, da sauransu). Ayyukan mu na waje (tsarin biyan kuɗi, bankuna) suna yin kasala. Mu ko ku (idan kuna da irin waɗannan ayyukan) ba za mu iya yin tasiri ga wannan ba.

Me zai yi to? Akwai zaɓuɓɓuka biyu a nan. Da farko, idan za ku iya, ya kamata ku kwafi wannan sabis ɗin ta wata hanya. Alal misali, idan za mu iya, muna canja wurin zirga-zirga daga wannan sabis zuwa wani: misali, katunan da aka sarrafa ta hanyar Sberbank, Sberbank yana da matsaloli - mu canja wurin zirga-zirga (sharadi) zuwa Raiffeisen. Abu na biyu da za mu iya yi shi ne lura da gazawar ayyukan waje da sauri, sabili da haka za mu yi magana game da saurin amsawa a cikin sashe na gaba na rahoton.

A haƙiƙa, daga cikin waɗannan guda huɗu, za mu iya yin tasiri musamman ga canjin nau'ikan software - ɗaukar ayyukan da za su haifar da haɓaka halin da ake ciki a cikin mahallin turawa da kuma yanayin haɓakar fashewar kaya. A gaskiya, abin da muka yi ke nan. Anan kuma, ƙaramin rubutu...

Daga cikin waɗannan matsalolin guda huɗu, da yawa ana magance su nan da nan idan kuna da gajimare. Idan kuna cikin Microsoft Azhur, Ozone girgije, ko amfani da gajimare namu, daga Yandex ko Mail, to aƙalla matsala ta hardware ta zama matsalarsu kuma komai ya zama lafiya gare ku a cikin mahallin na'urar na'urar.

Mu kamfani ne da ba na al'ada ba. A nan kowa yana magana game da "Kubernets", game da gizagizai - ba mu da "Kubernets" ko girgije. Amma muna da tarin kayan masarufi a cikin cibiyoyin bayanai da yawa, kuma an tilasta mana mu rayu akan wannan kayan aikin, an tilasta mana mu ɗauki alhakin duka. Saboda haka, za mu yi magana a cikin wannan mahallin. Don haka, game da matsalolin. Biyu na farko an fitar da su daga braket.

Canza sigar software. Tushen

Masu haɓaka mu ba su da damar samarwa. Me yasa haka? Kawai cewa muna da takaddun shaida na PCI DSS, kuma masu haɓaka mu ba su da ikon shiga cikin “samfurin”. Shi ke nan, period. Kwata-kwata. Saboda haka, alhakin ci gaba yana ƙare daidai a lokacin da ci gaba ya ƙaddamar da ginin don saki.

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

Tushenmu na biyu da muke da shi, wanda kuma yake taimaka mana da yawa, shi ne rashin ilimi na musamman mara izini. Ina fatan hakan ya kasance a gare ku. Domin idan ba haka ba, za ku sami matsala. Matsaloli za su taso lokacin da wannan ilimi na musamman, wanda ba a rubuta shi ba ya kasance a lokacin da ya dace a wurin da ya dace. Bari mu ce kuna da mutum ɗaya wanda ya san yadda ake tura wani takamaiman sashi - mutumin ba ya nan, yana hutu ko rashin lafiya - shi ke nan, kuna da matsaloli.

Da tushe na uku da muka zo. Mun zo gare shi ta hanyar zafi, jini, hawaye - mun kai ga ƙarshe cewa kowane gininmu yana ɗauke da kurakurai, koda kuwa ba shi da kuskure. Mun yanke shawarar wannan don kanmu: lokacin da muka tura wani abu, lokacin da muka mirgine wani abu a cikin samarwa, muna da ginin tare da kurakurai. Mun kafa abubuwan da tsarin mu dole ne ya cika.

Bukatun don canza sigar software

Akwai buƙatu guda uku:

HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

  • Dole ne mu gaggauta mayar da aikin.
  • Dole ne mu rage tasirin aikin da bai yi nasara ba.
  • Kuma dole ne mu iya hanzarta turawa a layi daya.
    Daidai a cikin wannan tsari! Me yasa? Domin, da farko, lokacin da ake tura sabon sigar, saurin ba shi da mahimmanci, amma yana da mahimmanci a gare ku, idan wani abu ya ɓace, ku hanzarta jujjuya baya kuma ku sami ƙaramin tasiri. Amma idan kuna da saitin sigogi a cikin samarwa, wanda ya nuna cewa akwai kuskure (daga cikin shuɗi, babu ƙaddamarwa, amma akwai kuskure) - saurin ƙaddamarwa na gaba yana da mahimmanci a gare ku. Me muka yi domin biyan wadannan bukatu? Mun yi amfani da hanyoyi masu zuwa:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Sanannen abu ne, ba mu taɓa ƙirƙira shi ba - wannan kayan aikin Blue/Green ne. Menene shi? Dole ne ku sami kwafi ga kowane rukunin sabar da aka shigar da aikace-aikacen ku a ciki. Kwafin yana "dumi": babu zirga-zirga a kai, amma a kowane lokaci ana iya aika wannan zirga-zirga zuwa wannan kwafin. Wannan kwafin ya ƙunshi sigar baya. Kuma a lokacin turawa, kuna fitar da lambar zuwa kwafin mara aiki. Sa'an nan kuma ka canza wani ɓangare na zirga-zirga (ko duka) zuwa sabon sigar. Don haka, don canza zirga-zirgar zirga-zirga daga tsohuwar sigar zuwa sabon, kuna buƙatar yin aiki ɗaya kawai: kuna buƙatar canza ma'auni a cikin sama, canza jagora - daga wannan sama zuwa wancan. Wannan ya dace sosai kuma yana magance matsalar saurin sauyawa da saurin juyawa.

    Anan mafita ga tambaya ta biyu ita ce ragewa: zaku iya aika wani ɓangare na zirga-zirgar ku zuwa sabon layi, zuwa layi tare da sabon lamba (bari ya zama, misali, 2%). Kuma waɗannan 2% ba 100% bane! Idan ka rasa 100% na zirga-zirgar zirga-zirgar ku saboda aikin da bai yi nasara ba, hakan yana da ban tsoro; idan kun rasa kashi 2% na zirga-zirgar ku, hakan ba shi da daɗi, amma ba abin tsoro bane. Bugu da ƙari, masu amfani ba za su iya lura da wannan ba, saboda a wasu lokuta (ba duka ba) mai amfani ɗaya, danna F5, za a kai shi zuwa wani, sigar aiki.

    Blue/Green tura. Hanyar hanya

    Koyaya, ba komai bane mai sauƙi “Blue/Green deploy”… Ana iya raba dukkan abubuwan da muka haɗa zuwa rukuni uku:

    • wannan shine gaba (shafukan biyan kuɗi waɗanda abokan cinikinmu suke gani);
    • tushen sarrafawa;
    • adaftar don aiki tare da tsarin biyan kuɗi (bankuna, MasterCard, Visa ...).

    Kuma akwai nuance a nan - nuance yana cikin kewayawa tsakanin layin. Idan kawai kun canza 100% na zirga-zirga, ba ku da waɗannan matsalolin. Amma idan kana so ka canza 2%, ka fara yin tambayoyi: "Yaya za a yi wannan?" Abu mafi sauƙi shine madaidaiciya gaba: zaku iya saita Round Robin a cikin nginx ta zaɓin bazuwar, kuma kuna da 2% zuwa hagu, 98% zuwa dama. Amma wannan ba koyaushe ya dace ba.

    Misali, a yanayinmu, mai amfani yana hulɗa da tsarin tare da buƙatu fiye da ɗaya. Wannan al'ada ce: buƙatun 2, 3, 4, 5 - tsarin ku na iya zama iri ɗaya. Kuma idan yana da mahimmanci a gare ku cewa duk buƙatun mai amfani sun zo zuwa layi ɗaya wanda buƙatun farko ya zo, ko (ma'ana na biyu) duk buƙatun mai amfani sun zo sabon layin bayan sauyawa (zai iya fara aiki a baya tare da tsarin, kafin sauyawa), - to wannan rarraba bazuwar bai dace da ku ba. Sannan akwai zaɓuɓɓuka masu zuwa:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Zaɓin farko, mafi sauƙi, yana dogara ne akan ainihin sigogi na abokin ciniki (IP Hash). Kuna da IP, kuma kuna raba shi daga dama zuwa hagu ta adireshin IP. Sa'an nan shari'ar ta biyu da na bayyana za ta yi aiki a gare ku, lokacin da ƙaddamarwar ta faru, mai amfani zai iya fara aiki tare da tsarin ku, kuma daga lokacin ƙaddamar da duk buƙatun za su tafi zuwa sabon layi (zuwa ɗaya, ce).

    Idan saboda wasu dalilai wannan bai dace da ku ba kuma dole ne ku aika buƙatun zuwa layin da farkon mai amfani, buƙatun farko ya zo, to kuna da zaɓuɓɓuka biyu ...
    Zaɓin farko: zaku iya siyan nginx+ da aka biya. Akwai tsarin zaman Sticky, wanda, bisa buƙatun farko na mai amfani, ke ba da zaman ga mai amfani kuma ya ɗaure shi zuwa ɗaya ko wata na sama. Duk buƙatun mai amfani na gaba a cikin rayuwar zaman za a aika zuwa sama ɗaya inda aka buga zaman.

    Wannan bai dace da mu ba saboda mun riga mun sami nginx na yau da kullun. Canjawa zuwa nginx + ba wai yana da tsada ba, kawai dai yana da ɗan zafi a gare mu kuma ba daidai ba ne. "Zaman Sanda", alal misali, bai yi mana aiki ba saboda sauƙi mai sauƙi cewa "Zaman Sanda" ba sa ba da izinin yin kwatance bisa "Ko dai-ko". A can za ku iya tantance abin da muke yi "Sticks Sessions", misali, ta adireshin IP ko ta adireshin IP da kukis ko ta postparameter, amma "Ko-ko" ya fi rikitarwa a can.

    Don haka, mun zo zaɓi na huɗu. Mun dauki nginx akan steroids (wannan shine openresty) - wannan nginx iri ɗaya ne, wanda kuma yana goyan bayan haɗa rubutun ƙarshe. Kuna iya rubuta rubutun ƙarshe, ku ba shi "hutu a buɗe", kuma za a aiwatar da wannan rubutun na ƙarshe lokacin da buƙatar mai amfani ta zo.

    Kuma mun rubuta, a gaskiya, irin wannan rubutun, saita kanmu "openresti" kuma a cikin wannan rubutun mun tsara ta hanyar sigogi 6 daban-daban ta hanyar haɗakarwa "Ko". Dangane da kasancewar ɗaya ko wani siga, mun san cewa mai amfani ya zo shafi ɗaya ko wani, layi ɗaya ko wani.

    Blue/Green tura. Fa'idodi da rashin amfani

    Tabbas, yana yiwuwa yana yiwuwa a sauƙaƙe shi ɗan sauƙi (amfani da “Sessions Sticky” iri ɗaya), amma muna da irin wannan nuance wanda ba kawai mai amfani yana hulɗa tare da mu ba a cikin tsarin sarrafa guda ɗaya na ma'amala ɗaya. Amma tsarin biyan kuɗi kuma yana hulɗa tare da mu: Bayan mun aiwatar da ma'amala (ta hanyar aika buƙatu zuwa tsarin biyan kuɗi), muna samun koma baya.
    Kuma bari mu ce, idan a cikin da'irar mu za mu iya tura adireshin IP na mai amfani a cikin duk buƙatun da rarraba masu amfani bisa ga adireshin IP, to, ba za mu gaya wa "Visa" iri ɗaya ba: "Dude, mu irin wannan kamfani ne, muna da alama. don zama na kasa da kasa (a kan gidan yanar gizon da kuma a cikin Rasha) ... Da fatan za a ba mu adireshin IP na mai amfani a cikin ƙarin filin, ƙa'idar ku ta daidaita"! A fili yake cewa ba za su yarda ba.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Saboda haka, wannan bai yi aiki a gare mu ba - mun yi openresty. Saboda haka, tare da routing mun sami wani abu kamar haka:

    Blue/Green Deployment yana da, daidai da haka, fa'idodin da na ambata da rashin amfani.

    Nasara guda biyu:

    • kana buƙatar damuwa tare da hanya;
    • na biyu babban hasara shi ne kashe kudi.

    Kuna buƙatar adadin sabar sau biyu, kuna buƙatar albarkatun aiki sau biyu, kuna buƙatar kashe ƙoƙari sau biyu don kula da wannan gidan zoo duka.

    Af, daga cikin abũbuwan amfãni akwai wani abu guda da ban ambata a baya ba: kuna da ajiyar kuɗi idan akwai girma. Idan kuna da girma mai fashewa a cikin kaya, kuna da adadi mai yawa na masu amfani, to kawai kun haɗa layi na biyu a cikin rarraba 50 zuwa 50 - kuma nan da nan kuna da sabar x2 a cikin gungun ku har sai kun warware matsalar samun ƙarin sabobin.

    Yadda za a yi saurin turawa?

    Mun yi magana game da yadda za a magance matsalar rage girman da sauri, amma tambayar ta kasance: "Yadda za a tura da sauri?"

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Yana da gajere kuma mai sauƙi a nan.

    • Dole ne ku sami tsarin CD (Ci gaba da Bayarwa) - ba za ku iya rayuwa ba tare da shi ba. Idan kana da uwar garken guda ɗaya, zaka iya turawa da hannu. Muna da kusan sabobin dubu daya da rabi da kuma dubu daya da rabi, ba shakka - za mu iya dasa sashin da ya kai girman wannan dakin kawai don turawa.
    • Aiwatar dole ne ya kasance a layi daya. Idan jigilar ku ta kasance cikin jerin gwano, to komai ya yi kyau. Sabar ɗaya ce ta al'ada, za ku yi jigilar sabar dubu ɗaya da rabi duk rana.
    • Bugu da ƙari, don haɓakawa, wannan bazai zama dole ba. Lokacin turawa, yawanci ana gina aikin. Kuna da aikin yanar gizon, akwai ɓangaren gaba-gaba ( kuna yin fakitin yanar gizo a can, kuna tattara npm - wani abu makamancin haka), kuma wannan tsari shine, a ƙa'ida, ɗan gajeren lokaci - mintuna 5, amma waɗannan mintuna 5 zasu iya. zama m. Shi ya sa, alal misali, ba mu yin haka: mun cire waɗannan mintuna 5, muna tura kayan tarihi.

      Menene kayan tarihi? Wani kayan tarihi wani gini ne da aka haɗe wanda a cikinsa an riga an kammala dukkan sassan taron. Muna adana wannan kayan aikin a cikin ma'ajiyar kayan tarihi. A wani lokaci mun yi amfani da irin waɗannan ma'ajiyar guda biyu - Nexus ne yanzu kuma jFrog Artifatory mun fara amfani da "Nexus" saboda mun fara aiwatar da wannan hanyar a aikace-aikacen java (ya dace da shi sosai). Sannan suka sanya wasu aikace-aikacen da aka rubuta da PHP a ciki; kuma "Nexus" bai dace ba, sabili da haka mun zaɓi jFrog Artefactory, wanda zai iya sarrafa kusan komai. Har ma mun kai ga cewa a cikin wannan ma'ajiyar kayan tarihi muna adana namu fakitin binary waɗanda muke tarawa don sabobin.

    Girman kaya mai fashewa

    Mun yi magana game da canza sigar software. Abu na gaba da muke da shi shine karuwa mai fashewa a cikin kaya. Anan, mai yiwuwa ina nufin da fashewar haɓakar kaya ba daidai ba ne.

    Mun rubuta sabon tsarin - yana da tsarin sabis, gaye, kyakkyawa, ma'aikata a ko'ina, jerin gwano a ko'ina, asynchony ko'ina. Kuma a cikin irin waɗannan tsarin, bayanai na iya gudana ta hanyoyi daban-daban. Don ma'amala ta farko, ana iya amfani da ma'aikaci na 1st, 3rd, 10th, don ma'amala ta biyu - na 2nd, 4th, 5th. Kuma a yau, bari mu ce, da safe kuna da bayanan da ke amfani da ma'aikata uku na farko, kuma da yamma yana canzawa sosai, kuma komai yana amfani da sauran ma'aikata uku.

    Kuma a nan ya bayyana cewa kana buƙatar ko ta yaya sikelin ma'aikata, kana buƙatar ko ta yaya sikelin ayyukan ku, amma a lokaci guda hana kumburin albarkatu.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Mun bayyana bukatunmu. Waɗannan buƙatun suna da sauƙi: cewa akwai gano Sabis, daidaitawa - duk abin da yake daidai ne don gina irin wannan tsarin ma'auni, sai dai aya ɗaya - rage darajar albarkatun. Mun ce ba a shirye mu ke ba mu amortize albarkatun domin sabobin su zafi iska. Mun dauki "Consul", mun dauki "Nomad", wanda ke kula da ma'aikatanmu.

    Me yasa hakan ke damun mu? Mu ja baya kadan. Yanzu muna da tsarin biyan kuɗi kusan 70 a bayanmu. Da safe, zirga-zirga ta hanyar Sberbank, sannan Sberbank ya fadi, alal misali, kuma mun canza shi zuwa wani tsarin biyan kuɗi. Muna da ma'aikata 100 kafin Sberbank, kuma bayan haka muna buƙatar ƙara haɓaka ma'aikata 100 don wani tsarin biyan kuɗi. Kuma yana da kyau duk wannan ya faru ba tare da sa hannun ɗan adam ba. Domin idan akwai sa hannu na ɗan adam, ya kamata a sami injiniya a zaune a can 24/7, wanda kawai ya kamata ya yi haka, saboda irin wannan gazawar, lokacin da tsarin 70 ke bayan ku, yana faruwa akai-akai.

    Don haka, mun kalli Nomad, wanda ke da buɗaɗɗen IP, kuma muka rubuta namu abu, Scale-Nomad - ScaleNo, wanda ke yin kusan kamar haka: yana lura da haɓakar jerin gwanon kuma yana rage ko ƙara yawan ma'aikata dangane da yanayin aiki. na jerin gwano. Lokacin da muka yi hakan, muka yi tunani: "Wataƙila za mu iya buɗe tushen ta?" Sai suka kalle ta - ta kasance mai sauki kamar kopecks guda biyu.

    Ya zuwa yanzu ba mu bude tushen shi ba, amma idan ba zato ba tsammani bayan rahoton, bayan sanin cewa kuna buƙatar irin wannan abu, kuna buƙatar shi, abokan hulɗa na suna cikin slide na ƙarshe - don Allah rubuta min. Idan akwai akalla mutane 3-5, za mu dauki nauyinsa.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Ta yaya yake aiki? Mu duba! Duba gaba: a gefen hagu akwai wani yanki na saka idanu: wannan layi ɗaya ne, a saman shine lokacin sarrafa abubuwan, a tsakiyar shine adadin ma'amala, a ƙasan adadin ma'aikata.

    Idan ka duba, akwai kuskure a wannan hoton. A saman ginshiƙi, ɗayan ginshiƙi ya faɗi cikin daƙiƙa 45 - ɗayan tsarin biyan kuɗi ya faɗi. Nan da nan, an kawo zirga-zirga a cikin mintuna 2 kuma jerin gwanon ya fara girma akan wani tsarin biyan kuɗi, inda babu ma'aikata (ba mu yi amfani da albarkatun ba - akasin haka, mun zubar da albarkatun daidai). Ba mu son zafi - akwai ƙaramin lamba, kusan ma'aikata 5-10, amma ba za su iya jurewa ba.

    jadawali na ƙarshe yana nuna "hump", wanda ke nufin kawai "Skaleno" ya ninka wannan adadin. Kuma a sa'an nan, lokacin da jadawali ya ragu kadan, ya rage shi kadan - an canza adadin ma'aikata ta atomatik. Haka abin yake aiki. Mun yi magana game da lamba lamba 2 - "Yadda za a rabu da mu da sauri daga dalilai."

    Saka idanu. Yadda za a gano matsalar da sauri?

    Yanzu batu na farko shine "Yadda za a gano matsalar da sauri?" Saka idanu! Dole ne mu fahimci wasu abubuwa da sauri. Wadanne abubuwa ne ya kamata mu gane da sauri?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Abubuwa uku!

    • Dole ne mu fahimta kuma mu fahimta da sauri yadda ake aiwatar da albarkatun mu.
    • Dole ne mu fahimci gazawar da sauri kuma mu sanya ido kan ayyukan tsarin da ke waje da mu.
    • Batu na uku shine gano kurakuran ma'ana. Wannan shine lokacin da tsarin ke aiki a gare ku, duk abin da ke al'ada ne bisa ga dukkan alamu, amma wani abu ya ɓace.

    Wataƙila ba zan gaya muku wani abu mai daɗi a nan ba. Zan zama Kyaftin a bayyane. Mun nemi abin da ke kasuwa. Muna da "zuwa fun". Wannan shine irin gidan zoo da muke da shi yanzu:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Muna amfani da Zabbix don saka idanu akan kayan aiki, don saka idanu akan manyan alamomin sabar. Muna amfani da okmeter don bayanan bayanai. Muna amfani da "Grafana" da "Prometheus" don duk sauran alamomin da basu dace da biyun farko ba, wasu tare da "Grafana" da "Prometheus", wasu kuma tare da "Grafana" tare da "Influx" da Telegraf.

    Shekara guda da ta gabata muna son amfani da Sabon Relic. Abin sanyi, yana iya yin komai. Amma duk yadda ta iya komai, tana da tsada sosai. Lokacin da muka girma zuwa adadin sabobin 1,5 dubu, wani mai siyarwa ya zo wurinmu ya ce: “Bari mu kulla yarjejeniya don shekara mai zuwa.” Mun dubi farashin kuma muka ce a'a, ba za mu yi haka ba. Yanzu muna watsi da Sabon Relic, muna da kusan sabobin 15 da suka rage a ƙarƙashin kulawar Sabon Relic. Farashin ya juya ya zama daji sosai.

    Kuma akwai kayan aiki guda ɗaya da muka aiwatar da kanmu - wannan shine Debugger. Da farko mun kira ta “Bagger,” amma sai wani malamin Ingilishi ya wuce, ya yi dariya sosai, ya sake masa suna “Debagger.” Menene shi? Wannan kayan aiki ne wanda, a gaskiya, a cikin 15-30 seconds akan kowane bangare, kamar "akwatin baƙar fata" na tsarin, yana gudanar da gwaje-gwaje akan aikin gabaɗaya na ɓangaren.

    Misali, idan akwai shafi na waje (shafin biyan kuɗi), kawai ya buɗe shi ya duba yadda ya kamata. Idan wannan yana aiki, ya aika da gwajin "ma'amala" kuma ya tabbatar da cewa wannan "ma'amala" ya isa. Idan wannan haɗin haɗin gwiwa ne tare da tsarin biyan kuɗi, muna yin gwajin buƙatar gwaji daidai, inda za mu iya, kuma mu ga cewa komai yana da kyau tare da mu.

    Wadanne alamomi ne masu mahimmanci don saka idanu?

    Menene muka fi saka idanu? Wadanne alamomi ne suke da mahimmanci a gare mu?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    • Lokacin amsawa / RPS akan gaba shine nuni mai mahimmanci. Nan take ya amsa da cewa wani abu ke damunki.
    • Adadin saƙonnin da aka sarrafa a cikin duk layin layi.
    • Yawan ma'aikata.
    • Ma'aunin daidaito na asali.

    Batu na ƙarshe shine ma'aunin "kasuwanci", "kasuwanci". Idan kuna son saka idanu akan abu iri ɗaya, kuna buƙatar ayyana ma'auni ɗaya ko biyu waɗanda sune manyan alamomin ku. Ma'aunin mu shine kayan aiki (wannan shine rabon adadin ma'amaloli masu nasara zuwa jimillar ma'amala). Idan wani abu ya canza a cikin tazara na mintuna 5-10-15, yana nufin muna da matsaloli (idan ya canza sosai).

    Abin da yake kama da mu shine misalin ɗaya daga cikin allunanmu:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    A gefen hagu akwai jadawali 6, wannan shine bisa ga layin - yawan ma'aikata da adadin saƙonni a cikin layi. A gefen dama - RPS, RTS. A ƙasa akwai ma'aunin "kasuwanci" iri ɗaya. Kuma a cikin ma'auni na "kasuwanci" za mu iya ganin nan da nan cewa wani abu ya yi kuskure a cikin jadawali biyu na tsakiya ... Wannan kawai wani tsarin da ke tsaye a bayan mu wanda ya fadi.

    Abu na biyu da ya kamata mu yi shi ne lura da faduwar tsarin biyan kuɗi na waje. Anan mun ɗauki OpenTracing - na'ura, ma'auni, yanayin da ke ba ku damar gano tsarin rarraba; kuma an canza shi kadan. Ma'auni na OpenTracing yana cewa muna gina alama ga kowane buƙatun mutum. Ba mu buƙatar wannan, kuma mun nade shi a cikin taƙaice, alamar tarawa. Mun yi kayan aiki wanda ke ba mu damar bin saurin tsarin da ke bayan mu.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Jadawalin ya nuna mana cewa ɗayan tsarin biyan kuɗi ya fara amsawa a cikin 3 seconds - muna da matsaloli. Bugu da ƙari, wannan abu zai amsa lokacin da matsaloli suka fara, a cikin tazara na 20-30 seconds.

    Kuma aji na uku na lura da kurakuran da ke akwai shine saka idanu na hankali.

    A gaskiya, ban san abin da zan zana a kan wannan faifan ba, saboda mun daɗe muna neman wani abu a kasuwa don abin da zai dace da mu. Ba mu sami komai ba, don haka dole ne mu yi da kanmu.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Me nake nufi da sa ido a hankali? To, tunanin: kuna yin kanku tsarin (misali, Tinder clone); ka yi shi, kaddamar da shi. Manajan nasara Vasya Pupkin ya sanya ta a wayarsa, ya ga yarinya a can, yana son ta ... kuma irin wannan ba ya zuwa ga yarinyar - irin wannan yana zuwa ga mai gadi Mikhalych daga wannan cibiyar kasuwanci. Manajan ya sauka ƙasa, sai ya yi mamaki: "Me ya sa wannan mai tsaron Mikhalych ya yi masa murmushi mai daɗi?"

    A irin waɗannan yanayi ... A gare mu, wannan yanayin ya ɗan bambanta, saboda (na rubuta) wannan hasara ce ta mutunci wanda a kaikaice yana haifar da asarar kudi. Halin da muke ciki shine akasin haka: muna iya fuskantar hasarar kuɗi kai tsaye - alal misali, idan muka gudanar da ciniki a matsayin nasara, amma bai yi nasara ba (ko akasin haka). Dole ne in rubuta kayan aikina wanda ke bin adadin ma'amaloli masu nasara akan lokaci ta amfani da alamun kasuwanci. Ban sami komai a kasuwa ba! Wannan shine ainihin ra'ayin da nake son isarwa. Babu wani abu a kasuwa don magance irin wannan matsala.

    Wannan ya kasance game da yadda za a gano matsalar cikin sauri.

    Yadda za a tantance dalilan turawa

    Kashi na uku na matsalolin da muke warwarewa shine bayan mun gano matsalar, bayan mun kawar da ita, yana da kyau mu fahimci dalilin ci gaba, don gwadawa, kuma muyi wani abu akai. Don haka, muna buƙatar yin bincike, muna buƙatar ɗaga rajistan ayyukan.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Idan muna magana ne game da rajistan ayyukan (babban dalili shine rajistan ayyukan), yawancin rajistan ayyukanmu suna cikin ELK Stack - kusan kowa yana da iri ɗaya. Ga wasu, bazai kasance a cikin ELK ba, amma idan kun rubuta rajistan ayyukan gigabytes, to ba dade ko ba dade zaku zo ELK. Muna rubuta su a cikin terabytes.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Akwai matsala anan. Mun gyara shi, muka gyara kuskuren mai amfani, muka fara tono abin da ke wurin, muka hau Kibana, muka shiga id ɗin ciniki a can kuma muka sami rigar ƙafa kamar wannan (ya nuna da yawa). Kuma kwata-kwata babu abin da ya bayyana a cikin wannan rigar kafar. Me yasa? Eh, domin ba a san wane bangare na wane ma’aikaci ne ba, wane bangare na wane bangare ne. Kuma a wannan lokacin mun fahimci cewa muna buƙatar ganowa - OpenTracing iri ɗaya da na yi magana akai.

    Mun yi tunanin wannan a shekara da suka wuce, mayar da hankali ga kasuwa, kuma akwai biyu kayan aiki a can - "Zipkin" da "Jaeger". "Jager" hakika irin wannan magajin akida ne, magajin akida na "Zipkin". Komai yana da kyau a cikin Zipkin, sai dai bai san yadda ake tarawa ba, ba ta san yadda ake haɗa gundumomi a cikin alamar ba, sai dai lokaci. Kuma "Jager" ya goyi bayan wannan.

    Mun duba "Jager": za ka iya kayan aiki aikace-aikace, za ka iya rubuta a cikin Api (ma'aunin Api na PHP a wancan lokacin, duk da haka, ba a amince da - wannan shi ne shekara guda da ta wuce, amma yanzu an riga an amince da shi), amma akwai. ya kasance babu abokin ciniki. "Ok," mun yi tunani, muka rubuta namu abokin ciniki. Me muka samu? Wannan shi ne kusan yadda yake kama:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    A cikin Jaeger, ana ƙirƙira tazara ga kowane saƙo. Wato lokacin da mai amfani ya buɗe tsarin, yana ganin tubalan ɗaya ko biyu ga kowane buƙatun mai shigowa (1-2-3 - adadin buƙatun shigowa daga mai amfani, adadin tubalan). Don sauƙaƙawa ga masu amfani, mun ƙara tags zuwa rajistan ayyukan da alamun lokaci. Saboda haka, idan akwai kuskure, aikace-aikacenmu za su yiwa log ɗin alama tare da alamar Kuskuren da ya dace. Kuna iya tace ta alamar Kuskure kuma kawai takaitattun abubuwan da ke ɗauke da wannan toshe tare da kuskure za a nuna su. Wannan shine abin da yake kama idan muka fadada tazarar:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    A cikin tazarar akwai saitin burbushi. A wannan yanayin, waɗannan alamun gwaji ne guda uku, kuma alama ta uku tana gaya mana cewa an sami kuskure. A lokaci guda kuma, a nan muna ganin alamar lokaci: muna da ma'auni na lokaci a saman, kuma muna ganin lokacin da aka rubuta wannan ko wancan log ɗin.

    Saboda haka, abubuwa sun tafi daidai mana. Mun rubuta namu tsawo kuma mun bude tushen shi. Idan kuna son yin aiki tare da ganowa, idan kuna son yin aiki tare da “Jager” a cikin PHP, akwai haɓakarmu, maraba don amfani, kamar yadda suke faɗi:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Muna da wannan tsawo - abokin ciniki ne na OpenTracing Api, an yi shi azaman php-extention, wato, kuna buƙatar haɗa shi kuma shigar da shi akan tsarin. Shekara daya da ta wuce babu wani abu daban. Yanzu akwai wasu abokan ciniki waɗanda suke kamar abubuwan haɗin gwiwa. Anan ya rage naku: ko dai kun fitar da kayan aikin tare da mawaki, ko kuma kuna amfani da tsawo har na ku.

    Matsayin kamfani

    Mun yi magana game da dokoki guda uku. Umurni na huɗu shine daidaita hanyoyin. Menene wannan game da? Yana da game da wannan:

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Me yasa kalmar "kamfani" take a nan? Ba wai don mu babban kamfani ne ko kamfani ba, a'a! Ina so in yi amfani da kalmar "kamfani" a nan a cikin mahallin cewa kowane kamfani, kowane samfurin ya kamata ya kasance yana da nasa ma'auni, ciki har da ku. Wadanne mizanai ne muke da su?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    • Muna da ka'idojin turawa. Ba mu matsa ko'ina ba tare da shi ba, ba za mu iya ba. Muna tura kusan sau 60 a mako, wato, muna tura kusan kullun. A lokaci guda, muna da, alal misali, a cikin ƙa'idodin turawa, haramtacciyar ƙaddamarwa a ranar Jumma'a - a ka'ida, ba mu turawa ba.
    • Muna buƙatar takaddun shaida. Babu wani sabon abu guda daya da zai shiga samarwa idan babu takardun shaida, ko da an haife shi a karkashin alkalami na kwararrun RnD. Muna buƙatar umarnin turawa daga gare su, taswirar sa ido da ƙayyadaddun bayanin (da kyau, kamar yadda masu tsara shirye-shirye za su iya rubuta) na yadda wannan ɓangaren ke aiki, yadda ake magance shi.
    • Ba mu magance matsalar ba, amma matsalar - abin da na riga na fada. Yana da mahimmanci a gare mu mu kare mai amfani daga matsaloli.
    • Muna da izini. Misali, ba ma la'akari da lokacin raguwa ba idan muka rasa kashi 2% na zirga-zirga a cikin mintuna biyu. Ba a haɗa wannan a cikin kididdigar mu ba. Idan ya fi girma cikin sharuddan kashi ko na ɗan lokaci, mun riga mun ƙidaya.
    • Kuma koyaushe muna rubuta bayanan mutuwa. Duk abin da ya faru da mu, duk wani yanayi da wani ya aikata ba daidai ba a cikin samarwa za a nuna shi a cikin bayan mutuwa. Rubuce-rubucen mutuwa ita ce takarda da za ku rubuta abin da ya faru da ku, cikakken lokaci, abin da kuka yi don gyara shi da kuma (wannan toshe ne na tilas!) Abin da za ku yi don hana faruwar hakan a nan gaba. Wannan wajibi ne kuma wajibi ne don bincike na gaba.

    Menene ake la'akari da lokacin hutu?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Menene duk wannan ya kai ga?

    Wannan ya haifar da gaskiyar cewa (muna da wasu matsaloli tare da kwanciyar hankali, wannan bai dace da abokan ciniki ba ko mu) a cikin watanni 6 da suka gabata alamar kwanciyar hankalinmu shine 99,97. Za mu iya cewa wannan ba shi da yawa. Eh, muna da abin da za mu yi ƙoƙari. Daga cikin wannan alamar, kusan rabin shine kwanciyar hankali, kamar yadda yake, ba namu ba, amma na aikace-aikacen yanar gizon mu ta wuta, wanda ke tsaye a gabanmu kuma ana amfani dashi azaman sabis, amma abokan ciniki ba su damu da wannan ba.

    Mun koyi barci da dare. A ƙarshe! Watanni shida da suka gabata ba mu iya. Kuma akan wannan bayanin tare da sakamakon, Ina so in yi rubutu ɗaya. A daren jiya an sami rahoto mai ban mamaki game da tsarin kula da makamashin nukiliya. Idan mutanen da suka rubuta wannan tsarin za su iya ji na, don Allah a manta da abin da na ce game da "2% ba raguwa ba ne." A gare ku, 2% shine downtime, koda na mintuna biyu!

    Shi ke nan! Tambayoyin ku.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Game da ma'auni da ƙaura na bayanai

    Tambaya daga masu sauraro (nan gaba – B): – Barka da yamma. Na gode kwarai da irin wannan rahoton admin! Takaitacciyar tambaya game da ma'aunin ku. Kun ambaci cewa kuna da WAF, wato, kamar yadda na fahimta, kuna amfani da wani nau'in ma'auni na waje ...

    EK: - A'a, muna amfani da ayyukanmu azaman ma'auni. A wannan yanayin, WAF kayan aikin kariya ne na DDoS kawai a gare mu.

    B: - Za ku iya cewa 'yan kalmomi game da ma'auni?

    EK: – Kamar yadda na riga na faɗa, wannan rukuni ne na sabobin a cikin buɗe ido. Yanzu muna da ƙungiyoyin ajiya guda 5 waɗanda ke ba da amsa na musamman ... wato, uwar garken da ke gudanar da buɗaɗɗiya na musamman, yana ba da izinin zirga-zirga kawai. Don haka, don fahimtar adadin da muke riƙe: yanzu muna da zirga-zirgar ababen hawa na yau da kullun na megabits ɗari da yawa. Suna jurewa, suna jin daɗi, ba ma damuwa da kansu.

    B: – Hakanan tambaya mai sauƙi. Anan akwai shuɗi/koren turawa. Me kuke yi, alal misali, tare da ƙaurawar bayanai?

    EK: - Tambaya mai kyau! Duba, a cikin jigilar shuɗi/Green muna da layukan layi daban-daban na kowane layi. Wato, idan muna magana ne game da layukan taron da ake yadawa daga ma'aikaci zuwa ma'aikaci, akwai layi daban-daban don layin blue da kuma layin kore. Idan muna magana ne game da bayanan da kanta, to da gangan mun rage shi gwargwadon iyawarmu, mun matsar da komai a zahiri zuwa jerin gwano; a cikin ma'ajin bayanai kawai muna adana tarin ma'amaloli. Kuma tari na mu'amalar mu iri ɗaya ne ga kowane layi. Tare da bayanan bayanai a cikin wannan mahallin: ba mu raba shi zuwa blue da kore, saboda duka nau'ikan lambar dole ne su san abin da ke faruwa tare da ma'amala.

    Abokai, Ina kuma da 'yar kyauta da za ta zaburar da ku - littafi. Kuma ya kamata a ba ni kyauta don tambaya mafi kyau.

    B: - Sannu. Godiya ga rahoton. Tambayar ita ce. Kuna lura da biyan kuɗi, kuna lura da ayyukan da kuke hulɗa da su ... Amma ta yaya kuke sa ido ta yadda wani mutum ya zo shafin ku na biyan kuɗi, ya biya, kuma aikin ya ba shi kuɗi? Wato, ta yaya kuke sa ido kan cewa maƙiyin yana nan kuma ya karɓi kiran ku?

    EK: - "Mai ciniki" a gare mu a cikin wannan yanayin shine daidai sabis na waje kamar tsarin biyan kuɗi. Muna lura da saurin martanin ɗan kasuwa.

    Game da boye bayanan bayanai

    B: - Sannu. Ina da wata tambaya mai alaƙa. Kuna da bayanai masu mahimmanci na PCI DSS. Ina so in san yadda kuke adana PANs a cikin layukan da kuke buƙatar canzawa zuwa ciki? Kuna amfani da wani ɓoyewa? Kuma wannan yana haifar da tambaya ta biyu: bisa ga PCI DSS, ya zama dole don sake ɓoye bayanan lokaci-lokaci idan akwai canje-canje (korar masu gudanarwa, da dai sauransu) - menene zai faru da samun dama a wannan yanayin?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    EK: - Tambaya mai ban mamaki! Da fari dai, ba ma adana PANs a cikin layi. Ba mu da 'yancin adana PAN a ko'ina cikin tsari mai haske, bisa ka'ida, don haka muna amfani da sabis na musamman (muna kiran shi "Kademon") - wannan sabis ne wanda ke yin abu ɗaya kawai: yana karɓar saƙo a matsayin shigarwa kuma yana aikawa. fitar da wani rufaffen saƙo. Kuma muna adana komai tare da wannan rufaffen saƙon. Dangane da haka, maɓallan mu yana ƙarƙashin kilobyte, don haka wannan yana da mahimmanci kuma abin dogara.

    B: - Kuna buƙatar kilobytes 2 yanzu?

    EK: – Da alama dai jiya ya kasance 256... To, a ina kuma?!

    A kan haka, wannan shi ne na farko. Na biyu kuma, maganin da ke akwai, yana goyan bayan tsarin sake ɓoyewa - akwai nau'i-nau'i biyu na "keks" (maɓallai), waɗanda ke ba da "decks" waɗanda ke ɓoyewa (maɓallin su ne maɓallai, dek sune tushen maɓallan da ke ɓoyewa). . Kuma idan an fara aikin (yana faruwa akai-akai, daga watanni 3 zuwa ± wasu), muna zazzage sabon nau'in "cake", kuma muna sake ɓoye bayanan. Muna da ayyuka daban-daban waɗanda ke zazzage duk bayanan da ɓoye su ta wata sabuwar hanya; Ana adana bayanan kusa da mai gano maɓalli wanda aka rufa masa asiri. Saboda haka, da zaran mun ɓoye bayanan tare da sababbin maɓallai, za mu share tsohon maɓalli.

    Wani lokaci ana buƙatar biyan kuɗi da hannu...

    B: – Wato, idan an dawo da kuɗaɗe don wani aiki, za ku iya ɓoye shi da tsohon maɓalli?

    EK: - Da.

    B: – Sai kuma wata karamar tambaya. Lokacin da wani nau'in gazawa, faɗuwa, ko abin ya faru ya faru, ya zama dole a tura ta hanyar ciniki da hannu. Akwai irin wannan yanayin.

    EK: - Ee, wani lokacin.

    B: – Daga ina kuke samun wannan bayanan? Ko ka je wannan wurin ajiyar da kanka?

    EK: - A'a, da kyau, ba shakka, muna da wani nau'i na tsarin baya-baya wanda ya ƙunshi abin dubawa don goyon bayanmu. Idan ba mu san halin da ma'amala ke ciki ba (misali, har sai tsarin biyan kuɗi ya amsa tare da ƙarewar lokaci), ba mu san fifiko ba, wato, muna ba da matsayi na ƙarshe kawai tare da cikakken tabbaci. A wannan yanayin, muna sanya ma'amala zuwa matsayi na musamman don sarrafa hannu. Da safe, washegari, da zaran tallafi ya sami bayanin cewa irin waɗannan ma'amaloli sun kasance a cikin tsarin biyan kuɗi, suna aiwatar da su da hannu a cikin wannan ƙirar.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    B: – Ina da tambayoyi guda biyu. Ɗayan su shine ci gaba da yankin PCI DSS: ta yaya kuke shiga da'irarsu? Wannan tambayar shine saboda mai haɓakawa zai iya sanya wani abu a cikin rajistan ayyukan! Tambaya ta biyu: ta yaya kuke fitar da hotfixes? Yin amfani da hannaye a cikin ma'ajin bayanai shine zaɓi ɗaya, amma ana iya samun gyare-gyare masu zafi kyauta - menene hanya a can? Kuma tambaya ta uku mai yiwuwa tana da alaƙa da RTO, RPO. Samuwar ku ya kai 99,97, kusan tara tara, amma kamar yadda na fahimta, kuna da cibiyar bayanai ta biyu, cibiyar bayanai ta uku, da cibiyar bayanai ta biyar… Ta yaya kuke daidaita su, kwafi su, da komai?

    EK: - Bari mu fara da na farko. Shin tambaya ta farko game da gundumomi? Lokacin da muka rubuta rajistan ayyukan, muna da Layer wanda ke rufe duk mahimman bayanai. Ta dubi abin rufe fuska da ƙarin filayen. Saboda haka, rajistan ayyukan mu suna fitowa da bayanan da aka riga aka rufe da kuma da'irar PCI DSS. Wannan yana ɗaya daga cikin ayyuka na yau da kullun da aka ba wa sashen gwaji. Ana buƙatar su bincika kowane ɗawainiya, gami da rajistan ayyukan da suke rubutawa, kuma wannan yana ɗaya daga cikin ayyukan yau da kullun yayin sake duba lambobin, don sarrafa cewa mai haɓakawa bai rubuta wani abu ba. Sashen tsaro na bayanan suna gudanar da bincike na gaba akai-akai game da sau ɗaya a mako: ana zaɓin rajistan ayyukan ranar ƙarshe kuma ana gudanar da su ta hanyar na'urar bincike ta musamman daga sabar gwaji don bincika komai.
    Game da zafi-fixes. Wannan yana cikin ƙa'idodin turawa. Muna da wani magana dabam game da hotfixes. Mun yi imanin cewa muna tura hotfixes a kowane lokaci lokacin da muke buƙata. Da zarar an haɗa sigar, da zaran an gudanar da shi, da zaran muna da kayan tarihi, muna da tsarin gudanarwa na aiki akan kiran tallafi, kuma yana tura shi a lokacin da ya dace.

    Kusan "hudu tara". Adadin da muke da shi a yanzu an cimma shi, kuma mun yi ƙoƙari don samun shi a wata cibiyar bayanai. Yanzu muna da cibiyar bayanai ta biyu, kuma mun fara tafiya a tsakanin su, kuma batun kwafin bayanan cibiyar bayanai hakika tambaya ce mara nauyi. Mun yi ƙoƙari mu warware shi a lokaci guda ta amfani da hanyoyi daban-daban: mun yi ƙoƙari mu yi amfani da "Tarantula" guda ɗaya - bai yi mana aiki ba, zan gaya muku nan da nan. Shi ya sa muka gama yin odar “sens” da hannu. A haƙiƙa, kowane aikace-aikacen da ke cikin tsarinmu yana gudanar da aiki tare da zama dole "canji - Anyi" aiki tare tsakanin cibiyoyin bayanai asynchronously.

    B: – Idan ka samu na biyu, me ya sa ba ka samu na uku ba? Domin har yanzu babu wanda ya raba-kwakwalwa...

    EK: - Amma ba mu da Rarraba Brain. Saboda gaskiyar cewa kowane aikace-aikacen multimaster ne ke tafiyar da shi, ba komai a gare mu ko wace cibiyar buƙatun ta zo. Muna shirye don gaskiyar cewa idan ɗaya daga cikin cibiyoyin bayananmu ya kasa (mun dogara da wannan) kuma a tsakiyar buƙatar mai amfani ya canza zuwa cibiyar bayanai ta biyu, muna shirye mu rasa wannan mai amfani, hakika; amma waɗannan za su zama raka'a, cikakkar raka'a.

    B: - Barka da yamma. Godiya ga rahoton. Kun yi magana game da mai gyara ku, wanda ke gudanar da wasu ma'amaloli na gwaji a samarwa. Amma gaya mana game da gwajin ma'amaloli! Yaya zurfi yake tafiya?

    EK: - Yana tafiya ta hanyar cikakken zagayowar dukkan bangaren. Don wani sashi, babu bambanci tsakanin ma'amalar gwaji da na samarwa. Amma daga mahangar ma'ana, wannan kawai wani aiki ne daban a cikin tsarin, wanda kawai ana gudanar da ma'amaloli na gwaji.

    B: -A ina kuke yanke shi? Anan Core aika...

    EK: - Muna bayan "Kor" a cikin wannan yanayin don ma'amaloli na gwaji ... Muna da irin wannan abu kamar routing: "Kor" ya san tsarin biyan kuɗi don aikawa - muna aikawa zuwa tsarin biyan kuɗi na karya, wanda kawai ya ba da siginar http kuma Shi ke nan.

    B: – Faɗa mini, don Allah, an rubuta aikace-aikacen ku a cikin ƙato ɗaya ɗaya, ko kun yanke shi cikin wasu ayyuka ko ma ƙananan sabis?

    EK: - Ba mu da monolith, ba shakka, muna da aikace-aikacen da ya dace da sabis. Muna ba'a cewa sabis ɗinmu an yi shi da monoliths - suna da girma sosai. Yana da wuya a kira shi microservices, amma waɗannan ayyuka ne waɗanda ma'aikatan injunan rarraba ke aiki.

    Idan sabis ɗin akan uwar garken ya lalace...

    B: – Sannan ina da tambaya ta gaba. Ko da monolith ne, har yanzu kun ce kuna da yawancin waɗannan sabar nan take, dukkansu suna aiwatar da bayanai ne, kuma tambayar ita ce: “Idan aka sami sasantawa na ɗaya daga cikin sabar nan take ko aikace-aikacen, duk wani mahaɗin mutum ɗaya. , shin suna da wani nau'in kulawar shiga? Wanene a cikinsu zai iya yi? Wanene zan tuntube don wane bayani?

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    EK: - Ee, tabbas. Abubuwan tsaro suna da matukar tsanani. Da fari dai, muna da buɗaɗɗen motsin bayanai, kuma tashoshin jiragen ruwa ne kawai waɗanda ta hanyar da muke tsammanin motsin zirga-zirga a gaba. Idan wani bangare ya yi magana da ma'ajin bayanai (ka ce, tare da Muskul) ta hanyar 5-4-3-2, 5-4-3-2 kawai za a buɗe masa, kuma sauran tashoshin jiragen ruwa da sauran hanyoyin zirga-zirga ba za su samu ba. Bugu da ƙari, kuna buƙatar fahimtar cewa a cikin samar da mu akwai kusan madaukai na tsaro 10 daban-daban. Kuma ko da application din ya lalace ko ta yaya, Allah ya kiyaye, wanda ya kai harin ba zai samu damar shiga na’urar sarrafa kayan masarufi ba, domin wannan wani yanki ne na tsaro na cibiyar sadarwa na daban.

    B: - Kuma a cikin wannan mahallin, abin da ya fi ban sha'awa a gare ni shi ne cewa kuna da wasu kwangila tare da ayyuka - abin da za su iya yi, ta hanyar abin da "ayyukan" za su iya tuntuɓar juna ... Kuma a cikin yanayin al'ada, wasu takamaiman ayyuka suna buƙatar wasu. jere, jerin "ayyukan" akan ɗayan. Ba su da alama sun juya zuwa ga wasu a cikin al'ada na al'ada, kuma suna da wasu yankunan alhakin. Idan ɗaya daga cikinsu ya sami matsala, shin zai iya tarwatsa "ayyukan" na wannan sabis ɗin?..

    EK: - Na gane. Idan a cikin yanayin al'ada tare da wani sadarwar uwar garken an ba da izinin kwata-kwata, to, eh. Dangane da kwangilar SLA, ba mu saka idanu cewa an ba ku izinin “ayyukan” 3 na farko kawai ba, kuma ba a ba ku izinin ayyukan 4 ba. Wataƙila wannan abu ne mai wuya a gare mu, saboda mun riga mun sami tsarin kariya mai matakai 4, bisa ƙa'ida, don kewayawa. Mun fi son kare kanmu tare da kwane-kwane, maimakon a matakin ciki.

    Yadda Visa, MasterCard da Sberbank ke aiki

    B: - Ina so in bayyana wani batu game da canza mai amfani daga wannan cibiyar bayanai zuwa wani. Kamar yadda na sani, Visa da MasterCard suna aiki ta amfani da ka'idar aiki tare ta 8583, kuma akwai gauraya a can. Kuma ina so in sani, yanzu muna nufin canzawa - shin kai tsaye "Visa" da "MasterCard" ko kafin tsarin biyan kuɗi, kafin sarrafawa?

    EK: - Wannan shi ne kafin gauraye. Abubuwan haɗin gwiwarmu suna cikin cibiyar bayanai iri ɗaya.

    B: - Kusan magana, kuna da wurin haɗi ɗaya?

    EK: - "Visa" da "MasterCard" - Ee. Kawai saboda Visa da MasterCard suna buƙatar saka hannun jari sosai a cikin abubuwan more rayuwa don ƙaddamar da kwangiloli daban don samun haɗin biyu na biyu, misali. Ana ajiye su ne a cikin cibiyar bayanai guda daya, amma idan Allah ya kiyaye, cibiyar datarmu, inda akwai mixes na hadawa da Visa da MasterCard, ta mutu, to za mu samu alaka da Visa da MasterCard batar...

    B: – Ta yaya za a kebe su? Na san cewa Visa yana ba da damar haɗi ɗaya kawai a ka'ida!

    EK: – Suna samar da kayan aikin da kansu. A kowane hali, mun sami kayan aikin da ba su da yawa a ciki.

    B: - Don haka tsayawar ya fito ne daga Haɗin Orange? ..

    EK: - Da.

    B: - Amma menene game da wannan lamarin: idan cibiyar bayanan ku ta ɓace, ta yaya za ku ci gaba da amfani da shi? Ko kuwa zirga-zirgar ta tsaya kawai?

    EK: - A'a. A wannan yanayin, kawai za mu canza zirga-zirga zuwa wata tashar, wanda, a zahiri, zai fi tsada a gare mu kuma ya fi tsada ga abokan cinikinmu. Amma zirga-zirgar ba za ta bi ta hanyar haɗin kai tsaye zuwa Visa, MasterCard ba, amma ta hanyar Sberbank na sharadi (mafi yawa).

    Ina neman afuwa sosai idan na cutar da ma'aikatan Sberbank. Amma bisa ga kididdigar mu, a tsakanin bankunan Rasha, Sberbank ya fadi sau da yawa. Ba wata daya ke wucewa ba tare da wani abu ya fado a Sberbank ba.

    HighLoad++, Evgeniy Kuzovlev (EcommPay IT): abin da za a yi idan minti daya na raguwar lokaci ya kashe $ 100000

    Wasu tallace-tallace 🙂

    Na gode da kasancewa tare da mu. Kuna son labaran mu? Kuna son ganin ƙarin abun ciki mai ban sha'awa? Goyon bayan mu ta hanyar ba da oda ko ba da shawara ga abokai, girgije VPS don masu haɓakawa daga $ 4.99, analog na musamman na sabar matakin shigarwa, wanda mu muka ƙirƙira muku: Duk gaskiyar game da VPS (KVM) E5-2697 v3 (6 Cores) 10GB DDR4 480GB SSD 1Gbps daga $19 ko yadda ake raba sabar? (akwai tare da RAID1 da RAID10, har zuwa 24 cores kuma har zuwa 40GB DDR4).

    Dell R730xd 2x mai rahusa a cibiyar bayanan Equinix Tier IV a Amsterdam? Nan kawai 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV daga $199 a cikin Netherlands! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - daga $99! Karanta game da Yadda ake gina Infrastructure Corp. aji tare da amfani da sabar Dell R730xd E5-2650 v4 masu darajan Yuro 9000 akan dinari?

source: www.habr.com

Add a comment