Horumarinta warshadaha ee nidaamyada software waxay u baahan tahay fiiro gaar ah u dulqaadashada qaladka ee sheyga kama dambaysta ah, iyo sidoo kale jawaab-celinta degdega ah ee guul-darrooyinka iyo guul-darrooyinka haddii ay dhacaan. Kormeerka, dabcan, waxay caawisaa in si hufan oo degdeg ah looga jawaabo guul-darrooyinka iyo guul-darrooyinka, laakiin kuma filna. Marka hore, aad bay u adag tahay in la socdo tiro badan oo server ah - tiro badan oo dad ah ayaa loo baahan yahay. Marka labaad, waxaad u baahan tahay inaad si fiican u fahamto sida codsigu u shaqeeyo si loo saadaaliyo xaaladdiisa. Sidaa darteed, waxaan u baahanahay dad badan oo si fiican u fahmay nidaamyada aan horumarineyno, waxqabadkooda iyo astaamaha. Aynu ka soo qaadno xitaa haddii aad hesho dad kugu filan oo doonaya inay tan sameeyaan, inay weli wakhti badan ku qaadanayso in la tababaro.
Maxaa la sameeyaa? Halkani waa halka ay sirdoonka macmalku noogu yimaadaan gargaar. Maqaalku wuxuu ka hadli doonaa ( dayactirka saadaalinta). Habkani wuxuu si firfircoon u helayaa caan. Maqaallo tiro badan ayaa la qoray, oo ay ku jiraan HabrΓ©. Shirkadaha waaweyni waxay si buuxda u isticmaalaan habkan si ay u ilaaliyaan waxqabadka server-kooda. Ka dib markii aan baranay tiro badan oo maqaallo ah, waxaan go'aansanay inaan isku dayno habkan. Maxaa ka dhashay?
Horudhac
Nidaamka software-ka ee la horumariyay mar dhow ama ka dib ayaa shaqeeya. Waxaa muhiim u ah isticmaalaha in nidaamku u shaqeeyo iyada oo aan guuldarro la kulmin. Haddii xaalad degdeg ahi dhacdo, waa in lagu xalliyo daahitaan yar.
Si loo fududeeyo taageerada farsamada ee nidaamka software, gaar ahaan haddii ay jiraan servero badan, barnaamijyada kormeerka ayaa badanaa la isticmaalaa kuwaas oo ka soo qaada mitirka nidaamka software-ka socda, taas oo suurtogal u ah in la ogaado xaaladdeeda oo ay ka caawiso go'aaminta waxa dhabta ah ee sababay fashilka. Habkan waxaa loo yaqaan kormeerida nidaamka software.
Jaantuska 1. Grafana monitoring interface
Metrics waa tilmaameyaal kala duwan oo tilmaamaya nidaamka software-ka, deegaankiisa fulinta, ama kombuyuutarka jireed ee uu nidaamku ku socdo oo wata calaamadda wakhtiga marka cabbirada la helay. Falanqaynta joogtada ah, cabbirradan waxaa loo yaqaannaa taxanaha waqtiga. Si loo kormeero xaaladda nidaamka software-ka, qiyaasaha waxaa lagu soo bandhigay qaab garaafyo: waqtigu wuxuu ku yaalaa dhidibka X, qiyamkuna waxay la socdaan dhidibka Y (Jaantus 1). Dhowr kun oo mitir ayaa laga soo qaadan karaa nidaamka software socda (laga bilaabo noode kasta). Waxay sameeyaan meel bannaan oo mitir (taxane waqti badan ah).
Maaddaama tiro badan oo cabbirro ah loo ururiyay nidaamyada software-ka adag, la socodka gacanta ayaa noqda hawl adag. Si loo dhimo cadadka xogta uu falanqeeyay maamuluhu, qalabka la socodka waxa ku jira qalab si toos ah loo ogaado dhibaatooyinka suurtagalka ah. Tusaale ahaan, waxaad u habayn kartaa kicinta dabka marka booska diskooga ee xorta ah uu ka hooseeyo xad cayiman. Waxa kale oo aad si toos ah u ogaan kartaa xidhitaanka server-ka ama hoos u dhaca muhiimka ah ee xawaaraha adeegga. Ficil ahaan, qalabyada la socodka waxay qabtaan shaqo wanaagsan oo lagu ogaanayo guul-darrooyinka hore u dhacay ama aqoonsiga calaamadaha fudud ee guul-darrooyinka mustaqbalka, laakiin guud ahaan, saadaalinta guul-darrida suurtagalka ah ayaa weli ah lows adag si ay u dillaacaan iyaga. Saadaasha iyada oo loo marayo falanqaynta gacanta ee cabbirada waxay u baahan tahay ka qayb qaadashada khabiiro aqoon leh. Waa wax-soo-saar hooseeya. Inta badan guuldarrooyinka iman kara waxay noqon karaan kuwo aan la dareemin.
Dhawaan, waxa loogu yeero dayactirka saadaalinta ee nidaamyada software ayaa noqday mid caan ah oo ka dhex jira shirkadaha waaweyn ee horumarinta software IT. Nuxurka habkani waa in la helo dhibaatooyin u horseedaya hoos u dhaca nidaamka marxaladaha hore, ka hor inta uusan dhicin, iyadoo la adeegsanayo sirdoonka macmal. Habkani gabi ahaanba kama saarayo la socodka gacanta ee nidaamka. Waxay kaalmaysaa habka la socodka guud ahaan.
Qalabka ugu muhiimsan ee lagu hirgelinayo dayactirka saadaalinta waa hawsha raadinta cilladaha wakhtiga taxanaha ah, tan iyo marka anomaly dhaco in xogta waxaa jira ixtimaalka sare in muddo ka dib waxaa jiri doona guul darro ama guuldarro. Anomaly waa leexasho gaar ah oo ku yimaada waxqabadka nidaamka software, sida ogaanshaha hoos u dhaca xawaaraha fulinta hal nooc oo codsi ah ama hoos u dhaca tirada celceliska codsiyada adeega heerka joogtada ah ee kalfadhiyada macmiilka.
Hawsha raadinta cilladaha nidaamyada software waxay leedahay waxyaabo gaar ah. Aragti ahaan, nidaam kasta oo software ah waxaa lagama maarmaan ah in la horumariyo ama la nadiifiyo hababka jira, maadaama raadinta cilladaha ay aad ugu xiran tahay xogta lagu sameeyo, iyo xogta nidaamyada software aad ayey u kala duwan yihiin iyadoo ku xiran qalabka lagu hirgelinayo nidaamka. , ilaa inta kumbiyuutarka uu ku shaqeeyo.
Hababka lagu raadiyo cilladaha marka la saadaaliyo guuldarrooyinka nidaamyada software
Marka hore, waxaa habboon in la sheego in fikradda saadaalinta guul-darrooyinka ay dhiirigelisay maqaalka . Si loo tijaabiyo waxtarka habka raadinta tooska ah ee cilladaha, nidaamka isku-darka shabakadda internetka ayaa la doortay, taas oo ah mid ka mid ah mashaariicda shirkadda NPO Krista. Markii hore, la socodka gacanta ayaa loo samayn jiray iyada oo ku saleysan cabbirada la helay. Maadaama nidaamku aad u adag yahay, tiro badan oo cabbirro ah ayaa loo qaataa: tilmaamayaasha JVM (loader qashinka), tilmaamayaasha OS-ka kaas oo koodka lagu fuliyo (xusuusta dhabta ah,% culeyska OS CPU), tilmaamayaasha shabakada (load network). ), Seerfarka laftiisa (CPU, xusuusta), cabbiraadaha duullimaadyada duurjoogta ah iyo cabbirrada arjiga u gaar ah dhammaan nidaamyada hoose ee muhiimka ah.
Dhammaan cabirrada waxaa laga soo qaatay nidaamka iyadoo la isticmaalayo garaafyada. Markii hore, xog-ururinta xantu waxa loo isticmaalay sidii xal caadi ah oo loogu talagalay grafana, laakiin markii saldhigga macmiilku koray, graphite ma sii adkaysan karo, ka dib markii uu daalay awoodda nidaamka hoose ee diskka DC. Taas ka dib, waxaa la go'aamiyay in la helo xal wax ku ool ah. Doorashada ayaa lagu doortay , kaas oo suurtageliyay in la dhimo culayska ku jira nidaamka-hoosaadka diskka iyada oo loo eegayo cabbir cabbir ah oo la dhimay booska disk-ga ee la haysto shan ilaa lix jeer. Hoos waxaa ku yaal jaantuska habka aruurinta cabbirada iyadoo la adeegsanayo garaafyada+guujinta (Jaantuska 2).
Jaantuska 2. Qorshaha ururinta cabbirada
Jaantuska waxaa laga soo qaatay dukumeenti gudaha ah. Waxay tusinaysaa xidhiidhka ka dhexeeya grafana (la socodka UI ee aan isticmaalno) iyo garaafyada. Ka saarida cabbirada arjiga waxaa sameeya software gaar ah - . Wuxuu ku dhejiyaa graphite.
Nidaamka Isku-xidhka Shabakaddu waxa uu leeyahay sifooyin dhawr ah oo abuuraya dhibaatooyin saadaalin guul-darrooyinka:
- Isbeddelku inta badan wuu isbedelaa. Noocyo kala duwan ayaa loo heli karaa nidaamka software-kan. Mid kasta oo iyaga ka mid ah waxay isbeddel ku keenaysaa qaybta software ee nidaamka. Sidaa awgeed, habkan, horumariyayaashu waxay si toos ah u saameeyaan cabbirrada nidaamka la bixiyay waxayna keeni karaan isbeddel isbeddel ah;
- qaabka hirgelinta, iyo sidoo kale ujeedooyinka ay macaamiishu u isticmaalaan nidaamkan, waxay inta badan keenaan cillado aan hore u dhicin;
- boqolleyda cilladaha marka loo eego xogta guud ahaan waa yar tahay (< 5%);
- Waxaa jiri kara daldaloolo xagga helitaanka tilmaamayaasha nidaamka. Mudo gaaban gudaheed, nidaamka la socodka waxa uu ku guul daraystay in uu helo qiyaasaha. Tusaale ahaan, haddii seerfarku uu buuxsamo. Tani waxay muhiim u tahay tababarka shabakada neerfaha. Waxa loo baahan yahay in si farsamaysan loo buuxiyo meelaha bannaan;
- Kiisaska leh cillado badanaa waxay khuseeyaan kaliya taariikh/bisha/wakhti gaar ah (xilliyeedka). Nidaamkani wuxuu leeyahay xeerar cad oo loogu talagalay isticmaalayaasha. Sidaa awgeed, cabbiradu waxay khuseeyaan oo keliya waqti gaar ah. Nidaamka looma isticmaali karo si joogto ah, laakiin kaliya bilaha qaarkood: si la xusho iyadoo ku xiran sanadka. Xaaladuhu waxay soo baxaan marka isla habdhaqanka mitirka ee hal kiis uu keeni karo fashil ku yimaada nidaamka software-ka, laakiin maaha mid kale.
Bilawga, hababka lagu ogaanayo cilladaha ku jira la socodka xogta nidaamyada software ayaa la falanqeeyay. Maqaallada mawduucan ku saabsan, marka boqolkiiba cilladuhu ay yar yihiin marka loo eego inta ka hartay xogta, inta badan waxaa la soo jeediyay in la isticmaalo shabakadaha neerfaha.
Caqliga aasaasiga ah ee raadinta cilladaha iyadoo la adeegsanayo xogta shabakada neerfaha ayaa lagu muujiyay sawirka 3:
Jaantuska 3. Raadinta cilladaha iyadoo la isticmaalayo shabakad neural ah
Iyada oo ku saleysan natiijada saadaasha ama dib u soo celinta daaqada socodka mitirka ee hadda, ka leexashada tan laga helay nidaamka software-ka socda ayaa la xisaabiyaa. Haddii uu jiro farqi weyn oo u dhexeeya jaangooyooyinka laga helay nidaamka software iyo shabakada neerfaha, waxaan ku soo gabagabeyn karnaa in qaybta xogta hadda jirta ay tahay mid aan caadi ahayn. Dhibaatooyinka soo socda ee taxanaha ah ayaa ka soo baxa isticmaalka shabakadaha neerfaha:
- Si aad si sax ah ugu shaqeyso qaabka qulqulka, xogta tababarka moodooyinka shabakada neerfaha waa inay ku jiraan kaliya xogta "caadiga ah";
- waa lagama maarmaan in la helo nooc cusub oo lagu ogaanayo saxda ah. Beddelka isbeddelada iyo xilliyada cabbirada waxay keeni kartaa tiro badan oo been abuur ah qaabka. Si loo cusbooneysiiyo, waxaa lagama maarmaan ah in si cad loo go'aamiyo waqtiga marka moodelku uu duugoobay. Haddii aad cusbooneysiiso qaabka dambe ama ka hor, ka dibna, waxay u badan tahay, tiro badan oo been abuur ah ayaa raaci doona.
Sidoo kale waa in aynaan iloobin raadinta iyo ka hortagga dhacdooyinka soo noqnoqda ee been-abuurka. Waxaa loo maleynayaa in ay inta badan ku dhici doonaan xaaladaha degdegga ah. Si kastaba ha ahaatee, waxay sidoo kale noqon karaan natiijada khaladka shabakada neerfaha sababtoo ah tababarka ku filan. Waa lagama maarmaan in la yareeyo tirada been abuurka ee qaabka. Haddii kale, saadaasha beenta ah waxay lumin doontaa wakhti badan oo maamulaha oo loogu talagalay in lagu hubiyo nidaamka. Mar dhow ama hadhow maamuluhu wuxuu si fudud u joojin doonaa ka jawaabista nidaamka la socodka "paranoid".
Shabakadda neerfaha ee soo noqnoqda
Si aad u ogaato cilladaha wakhtiga taxanaha ah, waxaad isticmaali kartaa oo leh xusuusta LSTM. Dhibaatada kaliya ayaa ah in loo isticmaali karo oo keliya taxane waqti la saadaaliyay. Xaaladeena, ma aha dhammaan cabbirada la saadaalin karo. Isku day in lagu dabaqo RNN LSTM taxane wakhti ah ayaa lagu muujiyay sawirka 4.
Jaantuska 4. Tusaalaha shabakada neerfaha ee soo noqnoqda oo leh unugyada xusuusta LSTM
Sida laga arki karo sawirka 4, RNN LSTM waxay awooday inay la qabsato raadinta cilladaha muddadan. Halka ay natiijadu leedahay khalad saadaasha sare leh (khalad celcelis ahaan), cillad ku jirta tilmaamayaasha ayaa dhab ahaantii dhacday. Isticmaalka hal RNN LSTM si cad kuma filna, maadaama ay khusayso tiro yar oo cabbirro ah. Waxa loo isticmaali karaa hab caawiye ah oo lagu raadinayo cilladaha.
Autoencoder saadaasha guuldarada
- asal ahaan shabakad neural ah oo macmal ah. Lakabka wax-soo-gelinta waa encoder, lakabka wax-soo-saarku waa decoder. Khasaaraha dhammaan shabakadaha neerfaha ee noocaan ah waa in aysan si fiican u qeexin cilladaha aan caadiga ahayn. Naqshadeeye autoencoder isku mid ah ayaa la doortay.
Jaantuska 5. Tusaalaha hawlgalka iskoodhka
Autoencoders ayaa lagu tababaray xogta caadiga ah ka dibna waxay ka helaan wax aan caadi ahayn xogta la siiyay qaabka. Kaliya waxa aad uga baahan tahay hawshan. Waxa hadhay oo dhan waa in la doorto kan autoencoder-ka ku habboon hawshan. Qaabka ugu fudud ee qaab dhismeedka autoencoder waa shabakad neural ah oo horudhac ah, oo aan soo laabanayn, kaas oo aad ula mid ah (multilayer perceptron, MLP), oo leh lakab wax gelin ah, lakab wax soo saar leh, iyo hal ama in ka badan oo lakabyo qarsoon oo isku xidhaya.
Si kastaba ha ahaatee, farqiga u dhexeeya autoencoders iyo MLP-yada ayaa ah in autoencoder-ka, lakabka wax-soo-saarka uu leeyahay tiro la mid ah qanjidhada lakabka gelinta, iyo in halkii lagu tababari lahaa saadaalinta qiimaha bartilmaameedka Y ee ay bixiso gelinta X, autoencoder waa la tababaray. si ay dib u dhisto Xs iyada u gaar ah. Sidaa darteed, Autoencoders waa noocyo waxbarasho oo aan la kormeerin.
Hawsha autoencoder-ku waa in la helo tusaha wakhtiga r0 ... rn oo u dhiganta walxaha aan caadiga ahayn ee ku jira vector X. Saamayntan waxaa lagu gaaraa raadinta qaladka labajibbaaran.
Jaantuska 6. Iskoodheeyaha isku xidhan
Waayo, autoencoder ayaa la doortay . Faa'iidooyinkeeda: awoodda isticmaalka habka socodsiinta socodka iyo tiro ka yar oo cabbirrada shabakada neerfaha marka la barbar dhigo dhismayaasha kale.
Farsamaynta lagu yaraynayo wanaagga beenta ah
Sababtoo ah xaqiiqda ah in xaalado kala duwan oo aan caadi ahayn ay soo baxaan, iyo sidoo kale xaalad suurtogal ah oo ku saabsan tababarka ku filan ee shabakada neerfaha, ee loogu talagalay qaabka ogaanshaha anomaly ee la sameeyay, waxaa la go'aamiyay in ay lagama maarmaan tahay in la horumariyo habka lagu yareynayo been-abuurka. Habkani waxa uu ku salaysan yahay qaab template ah oo uu kala saaray maamuluhu.
(DTW algorithm, laga bilaabo Ingiriisida firfircoonida waqtiga warping) waxay kuu oggolaaneysaa inaad hesho waraaqaha ugu habboon ee u dhexeeya taxanaha waqtiga. Marka hore waxa loo adeegsaday aqoonsiga hadalka: waxa loo isticmaalay in lagu go'aamiyo sida labada calaamadood ee hadalku u taagan yihiin isla weedha lagu hadlo ee asalka ah. Ka dib, codsi ayaa laga helay meelo kale.
Mabda'a ugu weyn ee lagu yaraynayo been-abuurka waa ururinta xogta halbeegyada iyadoo la kaashanayo hawl-wadeenka kala saara kiisaska shakiga leh ee la ogaado iyadoo la adeegsanayo shabakadaha neerfaha. Marka xigta, halbeegga la kala saaray ayaa la barbardhigayaa kiis uu nidaamku ogaaday, waxaana la soo gunaanadayaa in kiisku been yahay ama uu horseedayo guuldarro. Algorithm-ka DTW waxa loo isticmaalaa si sax ah marka la barbardhigo laba wakhti oo taxane ah. Qalabka ugu muhiimsan ee yaraynta weli waa kala-saarid. Waxaa la filayaa in ka dib markii la ururiyo tiro badan oo kiisaska tixraaca ah, nidaamku wuxuu bilaabi doonaa inuu waydiiyo hawlwadeenka wax yar sababtoo ah isku midka ah kiisaska intooda badan iyo dhacdooyinka kuwa la midka ah.
Natiijo ahaan, oo ku salaysan hababka shabakada neerfaha ee kor lagu sharaxay, barnaamij tijaabo ah ayaa la dhisay si loo saadaaliyo guuldarada nidaamka "Web-Consolidation". Hadafka barnaamijkani wuxuu ahaa, iyadoo la adeegsanayo kaydka jira ee xogta la socodka iyo macluumaadka ku saabsan guuldarrooyinka hore, si loo qiimeeyo tayada habkan nidaamyada software-kayaga. Qorshaha barnaamijka ayaa lagu soo bandhigay hoos sawirka 7.
Jaantuska 7. Nidaamka saadaasha fashilka ee ku salaysan falanqaynta metric space
Jaantuska, laba baloog oo waaweyn ayaa lagu kala saari karaa: raadinta waqtiyo aan caadi ahayn oo ku jira qulqulka xogta (metrics) iyo habka lagu yareeyo faa'iidooyinka beenta ah. Fiiro gaar ah: Ujeedooyinka tijaabada ah, xogta waxaa lagu helaa isku xirka JDBC ee kaydka kaas oo garaafku uu ku badbaadin doono.
Kuwa soo socda ayaa ah isdhexgalka nidaamka kormeerka ee la helay natiijada horumarinta (Jaantus 8).
Jaantuska 8. Isdhexgalka nidaamka la socodka tijaabada
Interface-ku waxa uu soo bandhigaa boqolleyda cillad la'aanta ku salaysan cabbirrada la helay. Xaaladeena, rasiidka waa la sawiray. Waxaan horeyba u haynay dhammaan xogta dhowr toddobaad waxaana si tartiib tartiib ah u shubnay si aan u hubinno kiiska cilladda u horseedaysa guuldarro. Bar heerka hoose waxa uu soo bandhigayaa boqolleyda guud ee xogta anomaly waqti go'an, kaas oo lagu go'aamiyo iyadoo la isticmaalayo autoencoder. Sidoo kale, boqolkiiba gooni ah ayaa loo soo bandhigay qiyaasaha la saadaaliyay, kaas oo lagu xisaabiyo RNN LSTM.
Tusaalaha ogaanshaha cilladaysan ee ku salaysan waxqabadka CPU iyadoo la adeegsanayo shabakada neerfaha ee RNN LSTM (Jaantuska 9).
Jaantuska 9. Helitaanka RNN LSTM
Kiis fudud oo fudud, asal ahaan bannaanka caadiga ah, laakiin horseedaya fashilka nidaamka, ayaa si guul leh loo xisaabiyey iyadoo la adeegsanayo RNN LSTM. Tilmaamaha aan caadiga ahayn ee muddadan waa 85-95%; wax kasta oo ka sarreeya 80% (xaddiga waxaa la go'aamiyay si tijaabo ah) waxaa loo tixgeliyaa cillad.
Tusaalaha ogaanshaha cillad la'aanta markii nidaamku awoodi waayay inuu bootiyo cusboonaysiinta ka dib. Xaaladdan waxaa lagu ogaadaa autoencoder (Jaantuska 10).
Jaantuska 10. Tusaalaha ogaanshaha autoencoder
Sida aad ka arki karto shaxanka, PermGen wuxuu ku xayiran yahay hal heer. autoencoder-ku wuxuu helay tan qariib sababtoo ah waligiis ma uusan arag wax la mid ah hadda ka hor. Halkan cilladdu waxay ahaanaysaa 100% ilaa nidaamku ku soo noqdo xaalad shaqo. Anomaly ayaa lagu soo bandhigay dhammaan cabbirada. Sidii hore loo soo sheegay, autoencoder-ku ma meelayn karo cilladaha. Hawlwadeenka waxa loogu baaqayaa inuu hawshan qabto xaaladahan.
gunaanad
PC "Web-Consolidation" wuxuu ku jiray horumarinta dhowr sano. Nidaamku wuxuu ku sugan yahay xaalad xasilloon, tirada dhacdooyinka la duubayna waa yar yihiin. Si kastaba ha ahaatee, waxaa suurtagal ah in la helo cillado u horseedaya guul darro 5 - 10 daqiiqo ka hor inta aysan dhicin fashilka. Xaaladaha qaarkood, ogeysiinta guul-darrida ka hor waxay kaa caawin doontaa in la badbaadiyo wakhtiga loo qorsheeyay ee loo qoondeeyay fulinta shaqada "dayactir".
Iyadoo lagu salaynayo tijaabooyinkii la sameeyay, aad ayay goor hore tahay in la gaaro gunaanadka ugu dambeeya. Ilaa hadda, natiijadu waa is khilaaf. Dhinaca kale, way caddahay in algorithms-yada ku salaysan shabakadaha neerfaha ay awoodaan inay helaan cillado "faa'iido leh". Dhanka kale, waxaa jira boqolkiiba tiro badan oo been abuur ah, oo aan la ogaan karin dhammaan cilladaha uu ogaado takhasusle u qalma shabakada neerfaha. Khasaarooyinka waxaa ka mid ah xaqiiqda ah in hadda shabakada neerfaha ay u baahan tahay tababar macalin ah oo loogu talagalay hawlgalka caadiga ah.
Si loo sii horumariyo nidaamka saadaalinta fashilka oo loo keeno xaalad lagu qanco, dhowr siyaabood ayaa la qiyaasi karaa. Tani waa falanqeyn aad u faahfaahsan oo ku saabsan kiisas leh cillado u horseedaya guuldarro, taas oo ay ugu wacan tahay tan lagu daray liiska cabbirrada muhiimka ah ee si weyn u saameeya xaaladda nidaamka, iyo tuurista kuwa aan loo baahnayn ee aan saameyn ku yeelan. Sidoo kale, haddii aan u dhaqaaqno jihadan, waxaan samayn karnaa isku dayo ah in aan ku takhasusno algorithms gaar ahaan kiisaskeena leh cillado keenaya guuldarrooyin. Waxaa jirta hab kale. Tani waa horumar xagga qaab-dhismeedka shabakada neerfaha oo markaa kordhinaysa saxnaanta ogaanshaha iyada oo la dhimayo wakhtiga tababarka.
Waxaan u mahadcelinayaa asxaabtayda iga caawiyay inaan qoro oo aan ilaaliyo muhiimada maqaalkan: iyo Sergei Finogenov.
Source: www.habr.com