A bojuto Sportmaster - bi o ati pẹlu ohun ti

A ronu nipa ṣiṣẹda eto ibojuwo ni ipele ti ṣiṣẹda awọn ẹgbẹ ọja. O han gbangba pe iṣowo wa - ilokulo - ko ṣubu sinu awọn ẹgbẹ wọnyi. Kini idii iyẹn?

Otitọ ni pe gbogbo awọn ẹgbẹ wa ni a kọ ni ayika awọn eto alaye ẹni kọọkan, awọn iṣẹ microservices ati awọn iwaju, nitorinaa awọn ẹgbẹ ko rii ilera gbogbogbo ti gbogbo eto lapapọ. Fun apẹẹrẹ, wọn le ma mọ bi apakan kekere kan ninu ẹhin jinle ṣe ni ipa lori opin iwaju. Iwọn anfani wọn ni opin si awọn eto pẹlu eyiti eto wọn ti ṣepọ. Ti ẹgbẹ kan ati iṣẹ rẹ A ko ba ni asopọ pẹlu iṣẹ B, lẹhinna iru iṣẹ kan jẹ alaihan si ẹgbẹ naa.

A bojuto Sportmaster - bi o ati pẹlu ohun ti

Ẹgbẹ wa, lapapọ, ṣiṣẹ pẹlu awọn ọna ṣiṣe ti o ni agbara pupọ pẹlu ara wọn: ọpọlọpọ awọn asopọ wa laarin wọn, eyi jẹ awọn amayederun ti o tobi pupọ. Ati iṣẹ ti ile itaja ori ayelujara da lori gbogbo awọn ọna ṣiṣe wọnyi (eyiti a ni, nipasẹ ọna, nọmba nla).

Nitorinaa o han pe ẹka wa ko wa si ẹgbẹ eyikeyi, ṣugbọn o wa ni kekere si ẹgbẹ. Ninu gbogbo itan yii, iṣẹ-ṣiṣe wa ni lati loye ni kikun bi awọn eto alaye ṣe n ṣiṣẹ, iṣẹ ṣiṣe wọn, awọn iṣọpọ, sọfitiwia, nẹtiwọọki, ohun elo, ati bii gbogbo eyi ṣe sopọ si ara wọn.

Syeed lori eyiti awọn ile itaja ori ayelujara wa n ṣiṣẹ dabi eyi:

  • iwaju
  • aarin ọfiisi
  • pada ọfiisi

Ko si bi a ṣe fẹ, ko ṣẹlẹ pe gbogbo awọn ọna ṣiṣe ṣiṣẹ laisiyonu ati laisi abawọn. Ojuami naa, lẹẹkansi, jẹ nọmba awọn eto ati awọn iṣọpọ - pẹlu nkan bii tiwa, diẹ ninu awọn iṣẹlẹ jẹ eyiti ko ṣeeṣe, laibikita didara idanwo naa. Pẹlupẹlu, mejeeji laarin eto lọtọ ati ni awọn ofin ti iṣọpọ wọn. Ati pe o nilo lati ṣe atẹle ipo ti gbogbo pẹpẹ ni kikun, kii ṣe apakan kọọkan ti ara rẹ nikan.

Ni deede, ibojuwo ilera jakejado pẹpẹ yẹ ki o jẹ adaṣe. Ati pe a wa si abojuto bi apakan eyiti ko ṣeeṣe ti ilana yii. Ni ibẹrẹ, o ti kọ nikan fun apakan laini iwaju, lakoko ti awọn alamọja nẹtiwọọki, sọfitiwia ati awọn alabojuto ohun elo ni ati tun ni awọn eto ibojuwo Layer-nipasẹ-Layer tiwọn. Gbogbo eniyan wọnyi tẹle ibojuwo nikan ni ipele tiwọn; ko si ẹnikan ti o ni oye pipe boya.

Fun apẹẹrẹ, ti ẹrọ foju ba kọlu, ni ọpọlọpọ awọn ọran nikan ni alabojuto lodidi fun ohun elo ati ẹrọ foju kan mọ nipa rẹ. Ni iru awọn ọran bẹ, ẹgbẹ iwaju ti rii otitọ pupọ ti jamba ohun elo, ṣugbọn ko ni data nipa jamba ti ẹrọ foju. Ati pe oludari le mọ ẹni ti alabara jẹ ati ni imọran ti o ni inira ti ohun ti n ṣiṣẹ lọwọlọwọ lori ẹrọ foju yii, ti o pese pe o jẹ iru iṣẹ akanṣe nla kan. O ṣeese ko mọ nipa awọn ọmọ kekere. Ni eyikeyi idiyele, oludari nilo lati lọ si oluwa ki o beere kini ohun ti o wa lori ẹrọ yii, kini o nilo lati mu pada ati kini o nilo lati yipada. Ati pe ti ohun kan ba ṣe pataki gaan, wọn bẹrẹ ṣiṣe ni ayika ni awọn iyika - nitori ko si ẹnikan ti o rii eto naa lapapọ.

Nikẹhin, iru awọn itan aitọ ni ipa lori gbogbo iwaju, awọn olumulo ati iṣẹ iṣowo akọkọ wa - awọn tita ori ayelujara. Niwọn bi a ko ti jẹ apakan ti ẹgbẹ kan, ṣugbọn ti ṣiṣẹ ni iṣẹ ti gbogbo awọn ohun elo ecommerce gẹgẹbi apakan ti ile itaja ori ayelujara, a mu iṣẹ ṣiṣe ti ṣiṣẹda eto ibojuwo okeerẹ fun pẹpẹ ecommerce.

Eto eto ati akopọ

A bẹrẹ nipasẹ idamo ọpọlọpọ awọn fẹlẹfẹlẹ ibojuwo fun awọn eto wa, laarin eyiti a yoo nilo lati gba awọn metiriki. Ati pe gbogbo eyi nilo lati ni idapo, eyiti a ṣe ni ipele akọkọ. Ni bayi ni ipele yii a n pari ikojọpọ didara ti o ga julọ ti awọn metiriki kọja gbogbo awọn fẹlẹfẹlẹ wa lati le kọ ibatan kan ati loye bii awọn eto ṣe ni ipa lori ara wọn.

Aini ibojuwo okeerẹ ni awọn ipele ibẹrẹ ti ifilọlẹ ohun elo (niwọn igba ti a bẹrẹ kikọ rẹ nigbati ọpọlọpọ awọn eto wa ni iṣelọpọ) yori si otitọ pe a ni gbese imọ-ẹrọ pataki lati ṣeto ibojuwo ti gbogbo pẹpẹ. A ko le ni anfani lati dojukọ lori iṣeto ibojuwo fun IS kan ati ṣiṣe ibojuwo fun ni awọn alaye, nitori iyoku awọn eto yoo wa ni osi laisi ibojuwo fun igba diẹ. Lati yanju iṣoro yii, a ṣe idanimọ atokọ ti awọn metiriki pataki julọ fun ṣiṣe iṣiro ipo ti eto alaye nipasẹ Layer ati bẹrẹ lati ṣe imuse rẹ.

Nitorina, wọn pinnu lati jẹ erin ni awọn apakan.

Eto wa ni:

  • ohun elo;
  • eto isesise;
  • software;
  • Awọn ẹya UI ninu ohun elo ibojuwo;
  • awọn iṣiro iṣowo;
  • awọn ohun elo iṣọpọ;
  • aabo alaye;
  • awọn nẹtiwọki;
  • ijabọ iwontunwonsi.

A bojuto Sportmaster - bi o ati pẹlu ohun ti

Ni aarin ti eto yii n ṣe abojuto ararẹ. Lati loye gbogbogbo ipo ti gbogbo eto, o nilo lati mọ ohun ti n ṣẹlẹ pẹlu awọn ohun elo lori gbogbo awọn ipele wọnyi ati kọja gbogbo ṣeto awọn ohun elo.

Nitorina, nipa akopọ.

A bojuto Sportmaster - bi o ati pẹlu ohun ti

A lo sọfitiwia orisun ṣiṣi. Ni aarin a ni Zabbix, eyiti a lo nipataki bi eto gbigbọn. Gbogbo eniyan mọ pe o jẹ apẹrẹ fun ibojuwo amayederun. Kini eleyi tumọ si? Gangan awọn metiriki ipele kekere ti gbogbo ile-iṣẹ ti o ṣetọju ile-iṣẹ data tirẹ ni (ati Sportmaster ni awọn ile-iṣẹ data tirẹ) - iwọn otutu olupin, ipo iranti, igbogun ti, awọn metiriki ẹrọ nẹtiwọki.

A ti ṣepọ Zabbix pẹlu ojiṣẹ Telegram ati Awọn ẹgbẹ Microsoft, eyiti a lo ni itara ninu awọn ẹgbẹ. Zabbix bo Layer ti nẹtiwọọki gangan, ohun elo ati sọfitiwia diẹ, ṣugbọn kii ṣe panacea. A ṣe alekun data yii lati diẹ ninu awọn iṣẹ miiran. Fun apẹẹrẹ, ni ipele ohun elo, a sopọ taara nipasẹ API si eto agbara-ara wa ati gba data.

Kini ohun miiran. Ni afikun si Zabbix, a lo Prometheus, eyiti o fun wa laaye lati ṣe atẹle awọn metiriki ni ohun elo ayika ti o ni agbara. Iyẹn ni, a le gba awọn metiriki ohun elo nipasẹ aaye ipari HTTP ati pe a ko ṣe aniyan nipa iru awọn metiriki lati gbe sinu rẹ ati eyiti kii ṣe. Da lori data yii, awọn ibeere itupalẹ le ni idagbasoke.

Awọn orisun data fun awọn fẹlẹfẹlẹ miiran, fun apẹẹrẹ, awọn metiriki iṣowo, ti pin si awọn paati mẹta.

Ni akọkọ, iwọnyi jẹ awọn eto iṣowo ita, Awọn atupale Google, a gba awọn metiriki lati awọn akọọlẹ. Lati ọdọ wọn a gba data lori awọn olumulo ti nṣiṣe lọwọ, awọn iyipada ati ohun gbogbo miiran ti o ni ibatan si iṣowo naa. Ni ẹẹkeji, eyi jẹ eto ibojuwo UI kan. O yẹ ki o ṣe apejuwe ni alaye diẹ sii.

Ni ẹẹkan ni akoko kan a bẹrẹ pẹlu idanwo afọwọṣe ati pe o dagba sinu awọn idanwo adaṣe ti iṣẹ ṣiṣe ati awọn iṣọpọ. Lati eyi a ṣe ibojuwo, nlọ nikan iṣẹ-ṣiṣe akọkọ, ati gbarale awọn asami ti o jẹ iduroṣinṣin bi o ti ṣee ṣe ati pe ko yipada nigbagbogbo ni akoko pupọ.

Eto ẹgbẹ tuntun tumọ si pe gbogbo awọn iṣẹ ṣiṣe ohun elo wa ni ihamọ si awọn ẹgbẹ ọja, nitorinaa a dawọ ṣiṣe idanwo mimọ. Dipo, a ṣe ibojuwo UI lati awọn idanwo, ti a kọ sinu Java, Selenium ati Jenkins (ti a lo bi eto kan fun ifilọlẹ ati ṣiṣẹda awọn ijabọ).

A ni ọpọlọpọ awọn idanwo, ṣugbọn ni ipari a pinnu lati lọ si opopona akọkọ, metric ipele oke. Ati pe ti a ba ni ọpọlọpọ awọn idanwo kan pato, yoo nira lati tọju data naa titi di oni. Itusilẹ atẹle kọọkan yoo fọ gbogbo eto naa ni pataki, ati pe gbogbo ohun ti a yoo ṣe ni ṣatunṣe rẹ. Nitorinaa, a dojukọ awọn nkan pataki ti o ṣọwọn yipada, ati pe a ṣe atẹle wọn nikan.

Nikẹhin, ẹkẹta, orisun data jẹ eto gedu aarin. A lo Stack Elastic fun awọn akọọlẹ, lẹhinna a le fa data yii sinu eto ibojuwo wa fun awọn metiriki iṣowo. Ni afikun si gbogbo eyi, a ni iṣẹ API Abojuto tiwa, ti a kọ sinu Python, eyiti o beere awọn iṣẹ eyikeyi nipasẹ API ati gba data lati ọdọ wọn sinu Zabbix.

Iwa miiran ti ko ṣe pataki ti ibojuwo jẹ iworan. Tiwa da lori Grafana. O duro jade laarin awọn eto iworan miiran ni pe o fun ọ laaye lati wo awọn metiriki lati awọn orisun data oriṣiriṣi lori dasibodu naa. A le gba awọn metiriki ipele oke fun ile itaja ori ayelujara, fun apẹẹrẹ, nọmba awọn aṣẹ ti a gbe ni wakati to kọja lati DBMS, awọn metiriki iṣẹ ṣiṣe fun OS eyiti ile itaja ori ayelujara yii nṣiṣẹ lati Zabbix, ati awọn metiriki fun awọn apẹẹrẹ ohun elo yii. lati Prometheus. Ati gbogbo eyi yoo wa lori dasibodu kan. Ko o ati wiwọle.

Jẹ ki n ṣe akiyesi nipa aabo - a n pari eto lọwọlọwọ, eyiti a yoo ṣepọ nigbamii pẹlu eto ibojuwo agbaye. Ni ero mi, awọn iṣoro akọkọ ti e-commerce dojukọ ni aaye aabo alaye jẹ ibatan si awọn botilẹtẹ, awọn parsers ati agbara iro. A nilo lati tọju oju lori eyi, nitori gbogbo eyi le ṣe pataki ni ipa mejeeji iṣẹ ti awọn ohun elo wa ati orukọ rere wa lati oju-ọna iṣowo kan. Ati pẹlu akopọ ti a yan a ni aṣeyọri bo awọn iṣẹ ṣiṣe wọnyi.

Ojuami pataki miiran ni pe Layer ohun elo ti ṣajọpọ nipasẹ Prometheus. Oun funrararẹ tun ṣepọ pẹlu Zabbix. Ati pe a tun ni iyara ojula, iṣẹ kan ti o fun wa laaye lati wo awọn ipele bii iyara ikojọpọ ti oju-iwe wa, awọn igo igo, ṣiṣe oju-iwe, awọn iwe afọwọkọ ikojọpọ, ati bẹbẹ lọ, o tun jẹ imudara API. Nitorinaa a gba awọn metiriki wa ni Zabbix, ati ni ibamu, a tun ṣọra lati ibẹ. Gbogbo awọn titaniji ni a firanṣẹ lọwọlọwọ si awọn ọna fifiranṣẹ akọkọ (fun bayi o jẹ imeeli ati teligram, Awọn ẹgbẹ MS tun ti sopọ laipẹ). Awọn ero wa lati ṣe igbesoke titaniji si iru ipo ti awọn bot smart ṣiṣẹ bi iṣẹ kan ati pese alaye ibojuwo si gbogbo awọn ẹgbẹ ọja ti o nifẹ si.

Fun wa, awọn metiriki ṣe pataki kii ṣe fun awọn eto alaye ti ara ẹni nikan, ṣugbọn tun awọn metiriki gbogbogbo fun gbogbo awọn amayederun ti awọn ohun elo lo: awọn iṣupọ ti awọn olupin ti ara lori eyiti awọn ẹrọ foju nṣiṣẹ, awọn iwọntunwọnsi ijabọ, Awọn iwọntunwọnsi Load Nẹtiwọọki, nẹtiwọọki funrararẹ, lilo awọn ikanni ibaraẹnisọrọ . Pẹlupẹlu awọn metiriki fun awọn ile-iṣẹ data tiwa (a ni pupọ ninu wọn ati pe awọn amayederun jẹ ohun ti o tobi).

A bojuto Sportmaster - bi o ati pẹlu ohun ti

Awọn anfani ti eto ibojuwo wa ni pe pẹlu iranlọwọ rẹ a rii ipo ilera ti gbogbo awọn eto ati pe o le ṣe ayẹwo ipa wọn lori ara wọn ati lori awọn orisun pinpin. Ati nikẹhin, o gba wa laaye lati kopa ninu igbero awọn orisun, eyiti o tun jẹ agbegbe ti ojuse wa. A ṣakoso awọn orisun olupin - adagun-omi kan laarin iṣowo e-commerce, Igbimọ ati idasilẹ ohun elo tuntun, ra afikun ohun elo tuntun, ṣe idanwo iṣamulo awọn orisun, ati bẹbẹ lọ. Ni gbogbo ọdun, awọn ẹgbẹ gbero awọn iṣẹ akanṣe tuntun, dagbasoke awọn eto wọn, ati pe o ṣe pataki fun wa lati pese wọn pẹlu awọn orisun.

Ati pẹlu iranlọwọ ti awọn metiriki, a rii aṣa ni lilo awọn orisun nipasẹ awọn eto alaye wa. Ati da lori wọn a le gbero nkankan. Ni ipele agbara, a gba data ati rii alaye lori iye awọn orisun ti o wa nipasẹ ile-iṣẹ data. Ati tẹlẹ inu ile-iṣẹ data o le rii atunlo, pinpin gangan, ati agbara awọn orisun. Pẹlupẹlu, mejeeji pẹlu awọn olupin adaduro ati awọn ẹrọ foju ati awọn iṣupọ ti awọn olupin ti ara lori eyiti gbogbo awọn ẹrọ foju wọnyi n yi ni agbara.

Awọn ireti

Bayi a ni ipilẹ ti eto naa bi odidi ti ṣetan, ṣugbọn ọpọlọpọ awọn nkan tun wa ti o tun nilo lati ṣiṣẹ lori. Ni o kere ju, eyi jẹ ipele aabo alaye, ṣugbọn o tun ṣe pataki lati de ọdọ nẹtiwọọki, dagbasoke titaniji ati yanju ọran ibamu. A ni ọpọlọpọ awọn fẹlẹfẹlẹ ati awọn ọna ṣiṣe, ati lori ipele kọọkan ọpọlọpọ awọn metiriki diẹ sii wa. O wa ni jade lati jẹ matryoshka si iwọn ti matryoshka.

Iṣẹ-ṣiṣe wa ni lati ṣe awọn itaniji ti o tọ. Fun apẹẹrẹ, ti iṣoro kan ba wa pẹlu hardware, lẹẹkansi, pẹlu ẹrọ foju, ati pe ohun elo pataki kan wa, ati pe iṣẹ naa ko ṣe afẹyinti ni eyikeyi ọna. A rii pe ẹrọ foju ti ku. Lẹhinna awọn metiriki iṣowo yoo ṣe itaniji fun ọ: awọn olumulo ti parẹ ni ibikan, ko si iyipada, UI ninu wiwo ko si, sọfitiwia ati awọn iṣẹ tun ti ku.

Ni ipo yii, a yoo gba àwúrúju lati awọn titaniji, ati pe eyi ko ni ibamu si ọna kika ti eto ibojuwo to dara. Ibeere ti ibamu dide. Nitorinaa, ni apere, eto ibojuwo wa yẹ ki o sọ pe: “Awọn eniyan, ẹrọ ti ara rẹ ti ku, ati pẹlu ohun elo yii ati awọn metiriki wọnyi,” pẹlu iranlọwọ ti itaniji kan, dipo kiko ibinu wa pẹlu awọn itaniji ọgọrun. O yẹ ki o jabo ohun akọkọ - idi naa, eyiti o ṣe iranlọwọ lati yọkuro iṣoro naa ni kiakia nitori agbegbe rẹ.

Eto ifitonileti wa ati sisẹ titaniji ti wa ni itumọ ti ni ayika iṣẹ iṣẹ waya 24-wakati kan. Gbogbo awọn titaniji ti a gba pe o gbọdọ ni ati pe o wa ninu atokọ ayẹwo ni a firanṣẹ sibẹ. Itaniji kọọkan gbọdọ ni apejuwe: kini o ṣẹlẹ, kini o tumọ si, kini o ni ipa lori. Ati tun ọna asopọ si dasibodu ati awọn itọnisọna lori kini lati ṣe ninu ọran yii.

Eyi jẹ gbogbo nipa awọn ibeere fun kikọ gbigbọn. Lẹhinna ipo naa le dagbasoke ni awọn itọnisọna meji - boya iṣoro kan wa ati pe o nilo lati yanju, tabi ikuna ti wa ninu eto ibojuwo. Ṣugbọn ni eyikeyi ọran, o nilo lati lọ ki o ro ero rẹ.

Ni apapọ, a gba bayi nipa ọgọrun awọn itaniji fun ọjọ kan, ni akiyesi otitọ pe ibamu ti awọn titaniji ko ti ni tunto daradara. Ati pe ti a ba nilo lati ṣe iṣẹ imọ-ẹrọ, ati pe a fi agbara pa nkan kan, nọmba wọn pọ si ni pataki.

Ni afikun si mimojuto awọn eto ti a ṣiṣẹ ati gbigba awọn metiriki ti o jẹ pataki ni ẹgbẹ wa, eto ibojuwo gba wa laaye lati gba data fun awọn ẹgbẹ ọja. Wọn le ni ipa lori akojọpọ awọn metiriki laarin awọn eto alaye ti a ṣe abojuto.

Ẹlẹgbẹ wa le wa beere lati ṣafikun metiriki diẹ ti yoo wulo fun awa ati ẹgbẹ naa. Tabi, fun apẹẹrẹ, ẹgbẹ le ma ni to ti awọn metiriki ipilẹ ti a ni; wọn nilo lati tọpa awọn kan pato. Ni Grafana, a ṣẹda aaye kan fun ẹgbẹ kọọkan ati fifun awọn ẹtọ abojuto. Pẹlupẹlu, ti ẹgbẹ kan ba nilo awọn dasibodu, ṣugbọn awọn tikararẹ ko le / ko mọ bi a ṣe le ṣe, a ṣe iranlọwọ fun wọn.

Niwọn igba ti a wa ni ita ṣiṣan ti ẹda iye ti ẹgbẹ, awọn idasilẹ ati igbero wọn, a n bọ diẹdiẹ si ipari pe awọn idasilẹ ti gbogbo awọn eto jẹ aibikita ati pe a le yiyi jade lojoojumọ laisi isọdọkan pẹlu wa. Ati pe o ṣe pataki fun wa lati ṣe atẹle awọn idasilẹ wọnyi, nitori wọn le ni ipa lori iṣẹ ti ohun elo ati fọ nkan kan, ati pe eyi jẹ pataki. Lati ṣakoso awọn idasilẹ, a lo Bamboo, lati ibiti a ti gba data nipasẹ API ati pe o le rii iru awọn idasilẹ ti a ti tu silẹ ninu eyiti awọn eto alaye ati ipo wọn. Ati ohun pataki julọ ni akoko wo. A ṣe afikun awọn asami itusilẹ lori awọn metiriki pataki akọkọ, eyiti o jẹ afihan oju pupọ ni ọran awọn iṣoro.

Ni ọna yii a le rii ibamu laarin awọn idasilẹ tuntun ati awọn iṣoro ti n yọ jade. Ero akọkọ ni lati ni oye bi eto naa ṣe n ṣiṣẹ ni gbogbo awọn ipele, yara yara agbegbe iṣoro naa ki o ṣatunṣe ni yarayara. Lẹhinna, o maa n ṣẹlẹ pe ohun ti o gba akoko pupọ julọ kii ṣe ipinnu iṣoro naa, ṣugbọn wiwa idi naa.

Ati ni agbegbe yii ni ọjọ iwaju a fẹ lati dojukọ iṣẹ ṣiṣe. Bi o ṣe yẹ, Emi yoo fẹ lati mọ nipa iṣoro ti o sunmọ ni ilosiwaju, kii ṣe lẹhin otitọ, ki Emi le ṣe idiwọ dipo ki n yanju rẹ. Nigba miiran awọn itaniji eke ti eto ibojuwo waye, mejeeji nitori aṣiṣe eniyan ati nitori awọn ayipada ninu ohun elo naa Ati pe a ṣiṣẹ lori eyi, ṣatunṣe rẹ, ati gbiyanju lati kilo awọn olumulo ti o lo pẹlu wa nipa eyi ṣaaju eyikeyi ifọwọyi ti eto ibojuwo. , tabi ṣe awọn iṣẹ wọnyi ni window imọ-ẹrọ.

Nitorinaa, eto naa ti ṣe ifilọlẹ ati pe o ti ṣiṣẹ ni aṣeyọri lati ibẹrẹ orisun omi… ati pe o n ṣafihan awọn ere gidi. Nitoribẹẹ, eyi kii ṣe ẹya ikẹhin rẹ; a yoo ṣafihan ọpọlọpọ awọn ẹya ti o wulo diẹ sii. Ṣugbọn ni bayi, pẹlu ọpọlọpọ awọn iṣọpọ ati awọn ohun elo, adaṣe adaṣe jẹ eyiti ko ṣee ṣe gaan.

Ti o ba tun ṣe atẹle awọn iṣẹ akanṣe nla pẹlu nọmba pataki ti awọn akojọpọ, kọ sinu awọn asọye kini ọta ibọn fadaka ti o rii fun eyi.

orisun: www.habr.com

Fi ọrọìwòye kun