Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Sebakeng sa baenjiniere ba SRE / DevOps, ho ke ke ha makatsa mang kapa mang hore ka letsatsi le leng mofani (kapa mokhoa oa ho shebella) o hlaha 'me o tlaleha hore "ntho e' ngoe le e 'ngoe e lahlehile": setša ha se sebetse, litefello ha li tsamaee, bophelo bo ntse bo senyeha. ... Ho sa tsotellehe hore na u ka rata ho thusa hakae boemong bo joalo , ho ka ba thata haholo ho etsa sena ntle le sesebelisoa se bonolo le se utloisisoang. Hangata bothata bo patiloe khoutu ea kopo ka boeona; o hloka feela ho e beha sebakeng sa heno.

Le mahlomoleng le thabong...

Ho ile ha etsahala hore ebe ke khale re ratana le New Relic. E ne e le sesebelisoa se setle sa ho lekola ts'ebetso ea ts'ebeliso, hape e u lumella ho sebelisa meralo ea microservice (u sebelisa moemeli oa eona) le tse ling tse ngata. 'Me ntho e' ngoe le e 'ngoe e ka be e le ntle haeba e ne e se ka liphetoho leanong la litheko tsa litšebeletso: eona litsenyehelo tsa ho ba ho tloha ka 2013 selemo e holile ka makhetlo a 3+. Ho phaella moo, ho tloha selemong se fetileng, ho fumana akhaonto ea teko ho hloka puisano le mookameli oa botho, e leng se etsang hore ho be thata ho hlahisa sehlahisoa ho motho eo e ka bang moreki.

Boemo bo tloaelehileng: Relic e Ncha ha e hlokehe "ka ho sa feleng"; ba e hopola feela nakong eo mathata a qalang. Empa o ntse o hloka ho lefa khafetsa (140 USD ka seva ka khoeli), 'me ka har'a marang-rang a ikemetseng a maru, lipalo li eketseha haholo. Leha ho na le khetho ea Pay-As-You-Go, ho nolofalletsa New Relic ho tla hloka hore o qale kopo bocha, e leng se ka lebisang tahlehelong ea boemo bo thata boo e qaliloeng kaofela. Haufinyane tjena, New Relic e hlahisitse leano le lecha la litefiso - bohlokoa, - eo ha u e sheba ka lekhetlo la pele e shebahalang e le khetho e utloahalang ho Professional ... empa ha ho hlahlojoa ka hloko ho ile ha fumaneha hore mesebetsi e meng ea bohlokoa ha e eo (haholo-holo, ha e na Lits'ebetso tsa bohlokoa, Cross Application Tracing, Distributed Tracing).

Ka lebaka leo, re ile ra qala ho nahana ka ho batla mokhoa o mong o theko e tlaase, 'me khetho ea rona e ile ea oela litšebeletsong tse peli: Datadog le Atatus. Hobaneng ho bona?

Mabapi le bahlolisani

E-re ke bolele hang-hang hore ho na le litharollo tse ling 'marakeng. Re bile re nahana ka likhetho tsa Open Source, empa ha se moreki e mong le e mong ea nang le bokhoni ba mahala ba ho amohela litharollo tse ikemetseng ... - ho feta moo, li tla hloka tlhokomelo e eketsehileng. Banyalani bao re ba khethileng ba ile ba fetoha ba haufi haholo litlhoko tsa rona:

  • ts'ehetso e hahiloeng le e ntlafalitsoeng bakeng sa lits'ebetso tsa PHP (sephutheloana sa bareki ba rona se fapane haholo, empa enoa ke moetapele ea hlakileng molemong oa ho batla mokhoa o mong oa New Relic);
  • litšenyehelo tse theko e tlaase (tlase ho 100 USD ka khoeli ka moamoheli);
  • lisebelisoa tsa othomathike;
  • kopanyo le Kubernetes;
  • Ho tšoana ho sebopeho sa New Relic ke ntho e hlokomelehang (hobane baenjiniere ba rona ba e tloaetse).

Ka hona, mohatong oa pele oa khetho, re tlositse litharollo tse ling tse 'maloa tse tsebahalang, haholoholo:

  • Tideways, AppDynamics le Dynatrace - bakeng sa litšenyehelo;
  • Stackify e koetsoe ho Russia Federation mme e bonts'a data e nyane haholo.

Sengoliloeng se seng se hlophisitsoe ka tsela eo litharollo tse potsoeng li tla hlahisoa ka bokhutšoane pele, ka mor'a moo ke tla bua ka tšebelisano ea rona e tloaelehileng le New Relic le boiphihlelo / maikutlo a ho etsa ts'ebetso e ts'oanang lits'ebeletso tse ling.

Tlhahiso ea bahlolisani ba khethiloeng

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus
ka Newic e ncha, mohlomong bohle ba utloile? Ts'ebeletso ena e qalile nts'etsopele ea eona lilemo tse fetang 10 tse fetileng, ka 2008. Re ntse re e sebelisa ka mafolofolo ho tloha 2012 mme ha re na mathata a ho kopanya palo e kholo ea lits'ebetso ho PHP, Ruby le Python, hape re bile le boiphihlelo ba ho kopanya le C # le Go. Bangoli ba ts'ebeletso ba na le litharollo tsa ho lekola lits'ebetso, lits'ebetso, ho ts'oara lits'ebetso tsa microservice, ho theha lits'ebetso tse bonolo tsa lisebelisoa tsa basebelisi, le tse ling tse ngata.

Leha ho le joalo, moemeli oa New Relic o sebetsa ho liprothokholo tsa thepa mme ha a tšehetse OpenTracing. Lisebelisoa tse tsoetseng pele li hloka liphetoho bakeng sa New Relic. Qetellong, tšehetso ea Kubernetes e ntse e le liteko.

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus
E qalile nts'etsopele ea eona ka 2010 datadog e shebahala e thahasellisa ho feta New Relic ka nepo mabapi le ts'ebeliso libakeng tsa Kubernetes. Haholo-holo, e tšehetsa ho kopanngoa le NGINX Ingress, pokello ea log, statsd le OpenTracing protocols, e leng se u lumellang hore u latele kopo ea mosebedisi ho tloha ha e amana le ho phethoa, hammoho le ho fumana lits'oants'o tsa kopo ena (ka bobeli ka lehlakoreng la seva sa websaete. le ho moreki).

Ha re sebelisa Datadog, re ile ra kopana le hore ka linako tse ling e hahile 'mapa oa microservice ka phoso, le mefokolo e meng ea tekheniki. Ka mohlala, ha e tsebe hantle mofuta oa litšebeletso (ho fosa Django bakeng sa tšebeletso ea caching) 'me ea baka liphoso tse 500 ts'ebetsong ea PHP e sebelisang laebrari e tsebahalang ea Predis.

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus
Atatus - sesebelisoa se senyenyane; tšebeletso e ile ea qala ka 2014. Tekanyetso ea eona ea ho bapatsa ka ho hlaka e tlase ho bahlolisani ba thathamisitsoeng, ho buuoa ho sa tloaeleha haholo. Leha ho le joalo, sesebelisoa ka boeona se tšoana haholo le New Relic, eseng feela ka bokhoni ba eona (APM, Browser monitoring, joalo-joalo), empa hape le ka chebahalo.

Bothata bo boholo ke hore e tšehetsa Node.js le PHP feela. Ka lehlakoreng le leng, e sebelisoa ka mokhoa o hlakileng ho feta Datadog. Ho fapana le ea morao-rao, Atatus ha e hloke lits'ebetso ho etsa liphetoho kapa ho eketsa li-label ho khoutu.

Re sebetsa joang le New Relic

Joale a re boneng hore na re sebelisa New Relic joang ka kakaretso. Ha re re re na le bothata bo hlokang tharollo:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ho bonolo ho bona kerafong fafatsa - A re e hlahlobeng. Ho New Relic, litšebelisano tsa marang-rang li khethoa hang-hang bakeng sa ts'ebeliso ea marang-rang, likarolo tsohle li bonts'itsoe ho kerafo ea ts'ebetso, ho na le liphanele tsa tekanyo ea liphoso, likopo tsa litekanyetso ... Ntho ea bohlokoa ka ho fetisisa ke hore ka ho toba ho tloha liphanele tsena u ka tsamaea pakeng tsa tse fapaneng. likarolo tsa kopo (mohlala, ho tobetsa MySQL ho tla lebisa karolong ea database).

Kaha mohlaleng oo ho nahanoang ka oona re bona keketseho ea tšebetso PHP, tobetsa chate ena 'me u ee ho eona Litšebetso:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Lethathamo la litšebelisano, tseo ha e le hantle e leng balaoli ba mofuta oa MVC, le se le ntse le hlophisoa ka Ho ja nako e ngata, e loketseng haholo: hang-hang re bona seo kopo e se etsang. Mona ke mehlala ea lipotso tse telele tse bokelloang ke New Relic. Ka ho hlophisa, ho bonolo ho e fumana:

  • molaoli oa kopo o imetsoeng ka ho fetesisa;
  • molaoli ea kōptjoang hangata;
  • e liehang ka ho fetisisa ho balaoli.

Ntle le moo, o ka holisa thekiso e 'ngoe le e' ngoe 'me u bone seo sesebelisoa se neng se se etsa nakong eo khoutu e neng e etsoa:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Qetellong, ts'ebeliso e boloka mehlala ea likopo tse telele (tse nkang metsotsoana e fetang 2). Mona ke phanele bakeng sa transaction e telele:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ho ka bonoa hore mekhoa e 'meli e nka nako e ngata,' me ka nako e le 'ngoe ha kopo e etsoa, ​​​​URI ea eona le domain name li boetse li bontšoa. Hangata sena se thusa ho fumana kopo ho li-logs. Ho ea ho Latela lintlha, u ka bona hore na mekhoa ena e bitsoa hokae:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Mme ka Lipotso tsa database - Lekola lipotso ho li-database tse ileng tsa etsoa ha kopo e ntse e sebetsa:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Kaha re na le tsebo ena, re ka lekola hore na ke hobaneng ha ts'ebeliso e ntse e fokotseha, 'me ra sebetsa le mohlahlami ho tla ka leano la ho rarolla bothata. Ha e le hantle, New Relic ha e fane ka setšoantšo se hlakileng kamehla, empa e thusa ho khetha vector ea lipatlisiso:

  • telele PDO::Construct e ile ea re isa tšebetsong e makatsang ea pgpoll;
  • ho hloka botsitso ka nako e telele Memcache::Get a fana ka tlhahiso ea hore mochini o sebetsang hantle o entsoe ka phoso;
  • nako e ntseng e eketseha ka mokhoa o belaetsang bakeng sa ts'ebetso ea template e lebisitse ho sehlaha sa sehlaha se hlahlobang boteng ba li-avatar tse 500 sebakeng sa polokelo ea ntho;
  • jj…

Hape hoa etsahala hore ho e-na le ho phethahatsa khoutu, ntho e amanang le polokelo ea data ea kantle e ntse e hōla skrineng se seholo - 'me ha ho tsotellehe hore na e tla ba eng: Redis kapa PostgreSQL - kaofela li patiloe ka har'a tab. Databases.

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

U ka khetha motheo o itseng oa lipatlisiso le ho hlophisa lipotso - tse ts'oanang le kamoo li etsoang ho Transactions. 'Me ka ho ea tabeng ea kopo, u ka bona hore na kopo ena e etsahala ka makhetlo a makae ho e mong le e mong oa balaoli ba kopo, hape u hakanya hore na e bitsoa hangata hakae. E bonolo haholo:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Letlapa le na le data e ts'oanang Litšebeletso tsa Kantle, e patang likopo ho lits'ebeletso tsa kantle tsa HTTP, joalo ka ho fihlella polokelo ea ntho, ho romella liketsahalo ho moromeli, kapa tse ling tse joalo. Likahare tsa tab li tšoana ka botlalo le Databases:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Bahlolisani: menyetla le maikutlo

Joale ntho e khahlisang haholo ke ho bapisa bokhoni ba New Relic le seo bahlolisani ba fanang ka sona. Ka bomalimabe, ha rea ​​khona ho leka lisebelisoa tsohle tse tharo mofuta o le mong oa sesebelisoa se sebetsang tlhahisong. Leha ho le joalo, re lekile ho bapisa maemo / litlhophiso tse neng li tšoana ka hohle kamoo ho ka khonehang.

1.Datadog

Datadog e re lumelisa ka phanele e nang le lebota la lits'ebeletso:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

E leka ho arola lits'ebetso ka likarolo / li-microservices, kahoo mohlala oa kopo ea Django re tla bona likhokahano tsa 2 ho PostgreSQL (defaultdb и postgres), hammoho le Celery, Redis. Ho sebetsa le Datadog ho hloka hore o be le tsebo e fokolang ea melao-motheo ea MVC: o hloka ho utloisisa hore na likopo tsa basebelisi hangata li tsoa hokae. Hangata sena sea thusa 'mapa oa litšebeletso:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ka tsela, ho na le ntho e tšoanang ho New Relic:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

... mme 'mapa oa bona, ka maikutlo a ka, o etsoa ka mokhoa o bonolo le o hlakileng haholoanyane: ha e bontše likarolo tsa kopo e le' ngoe (e ka etsang hore e be e qaqileng haholo, joalo ka tabeng ea Datadog), empa ke litšebeletso tse khethehileng feela kapa li-microservices.

Ha re khutlele ho Datadog: ho tloha 'mapeng oa litšebeletso re ka bona hore likōpo tsa basebelisi li tla ho Django. Ha re ee tšebeletsong ea Django 'me qetellong re bone seo re neng re se lebeletse:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ka bomalimabe, ha ho na graph mona ka ho sa feleng Nako ea transaction ea webo, e tšoanang le eo re e bonang phanele e kholo ea New Relic. Leha ho le joalo, e ka hlophisoa sebakeng sa kemiso % ea Nako e sebelisitsoeng. Ho lekane ho e fetisetsa ho eona Kakaretso ea nako kopo ka Mofuta... 'me joale kerafo e tloaelehileng e re shebile!

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Hobaneng ha Datadog e khethile chate e fapaneng ke sephiri ho rona. Ntho e 'ngoe e nyahamisang ke hore tsamaiso ha e hopole khetho ea mosebedisi (ho fapana le bahlolisani ka bobeli), kahoo tharollo e le' ngoe feela ke ho etsa liphanele tse tloaelehileng.

Empa ke ne ke khahliloe ke bokhoni ba Datadog ho fetola ho tloha ho li-graph tsena ho ea ho metrics ea li-server tse amanang, ho bala li-log le ho hlahloba mojaro ho basebelisi ba seva sa websaete (Gunicorn). Ntho e 'ngoe le e' ngoe e batla e tšoana le ho New Relic ... esita le ho feta (li-log)!

Ka tlase ho li-graph ho na le litšebelisano tse ts'oanang ka botlalo le New Relic:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ho Datadog, litšebelisano li bitsoa lisebelisoa. O ka hlophisa balaoli ka palo ea likopo, ka karolelano ea nako ea karabo, le ka nako e telele e sebelisitsoeng bakeng sa nako e khethiloeng.

O ka holisa sesebelisoa mme oa bona tsohle tseo re seng re li bone ho New Relic:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ho na le lipalo-palo ho sesebelisoa, lenane le akaretsang la mehala ea ka hare, le mehlala ea likopo tse ka hlophisoang ka khoutu ea karabo ... Ka tsela, baenjiniere ba rona ba ratile haholo ho hlopha hona.

Mohloli ofe kapa ofe oa mohlala ho Datadog o ka buloa le ho ithutoa:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Kopa liparamente, chate ea kakaretso ea nako e sebelisitsoeng karolong e 'ngoe le e' ngoe, le chate ea phororo e bontšang tatelano ea mehala e hlahisoa. U ka boela ua fetohela ponong ea sefate ea chate ea phororo ea metsi:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

'Me ntho e thahasellisang ka ho fetisisa ke ho shebella mojaro oa moeti eo kopo e ileng ea etsoa le ho sheba li-logs tsa kopo.

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Kopanyo e kholo!

U ka 'na ua ipotsa hore na li-tab li hokae Databases и Litšebeletso tsa Kantle, joalo ka ho New Relic. Ha ho na mona: kaha Datadog e senya ts'ebeliso hore e be likarolo, PostgreSQL e tla shejoa tshebeletso e fapaneng, mme sebakeng sa Litšebeletso tsa Kantle ho loketse ho batla aws.storage (e tla tšoana le litšebeletso tse ling tsa kantle tseo kopo e ka li fihlelang).

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Mona ke mohlala ka postgres:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ha e le hantle, ho na le ntho e 'ngoe le e' ngoe eo re e batlang:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

U ka bona hore na kopo e tsoa ho "tšebeletso" efe.

E ne e ke ke ea e-ba phoso ho u hopotsa hore Datadog e kopanya ka ho phethahetseng le NGINX Ingress 'me e u lumella ho etsa lipatlisiso tsa ho qetela ho tloha ha kopo e fihla sehlopheng, hape e u lumella ho fumana metrics ea statsd, ho bokella li-log le metrics ea baeti. .

Phapang e kholo ea Datadog ke hore theko ea eona ntshetsa pele ho tloha ho hlahloba mekhoa ea mekhoa ea boipheliso, APM, Log Management le Synthetics test, i.e. U ka khetha moralo oa hau habonolo.

2.Atatus

Sehlopha sa Atatus se bolela hore tšebeletso ea bona e "tšoana le New Relic, empa e molemo." A re boneng hore na ho hlile ho joalo.

Phanele e kholo e shebahala e ts'oana, empa ho ne ho sa khonehe ho tseba hore na Redis le memcached e sebelisitsoe ts'ebelisong.

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

APM e khetha litšebelisano tsohle ka mokhoa o ikhethileng, leha hangata ho hlokahala feela litšebelisano tsa Marang-rang. Joalo ka Datadog, ha ho na mokhoa oa ho ea ts'ebeletso e lakatsehang ho tsoa phanele e kholo. Ho feta moo, litšebelisano li thathamisitsoe ka mor'a liphoso, tse sa bonahaleng li utloahala bakeng sa APM.

Litšebelisanong tsa Atatus, ntho e 'ngoe le e' ngoe e tšoana ka hohle kamoo ho ka khonehang ho New Relic. Taba e nyahamisang ke hore li-dynamics tsa molaoli e mong le e mong ha li bonahale hang-hang. U tlameha ho e batla ka har'a tafole ea taolo, u e hlopha ka Nako e Nyeoe:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Lethathamo le tloaelehileng la balaoli le fumaneha ho tab Explore:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ka litsela tse ling, tafole ena e hopotsa Datadog mme ke e rata ho feta e tšoanang ho New Relic.

U ka holisa khoebo ka 'ngoe 'me u bone seo sesebelisoa se neng se se etsa:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Phanele e boetse e hopotsa haholoanyane Datadog: ho na le likopo tse ngata, setšoantšo se akaretsang sa mehala. Karolo e kaholimo e fana ka tabo ea phoso Ho hloleha ha HTTP le mehlala ea lipotso tse liehang Melaetsa ea Seboka:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Haeba u ea khoebong, u ka bona mohlala oa mohlala, u ka fumana lethathamo la likopo ho database mme u shebe lihlooho tsa kopo. Tsohle li tšoana le New Relic:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Ka kakaretso, Atatus o khahliloe ke lintlha tse qaqileng - ntle le mokhoa o tloaelehileng oa ho kopanya li-Relic tsa mehala sebakeng sa khopotso:

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus
Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Leha ho le joalo, ha e na sefe eo (joaloka New Relic) e ka felisang likopo tse potlakileng haholo (<5ms). Ka lehlakoreng le leng, ke ratile pontšo ea karabo ea ho qetela ea transaction (katleho kapa phoso).

Phanele Databases e tla u thusa ho ithuta likopo ho database tsa kantle tseo sesebelisoa se se etsang. E-re ke u hopotse hore Atatus e fumane PostgreSQL le MySQL feela, leha Redis le memcached le bona ba kentse letsoho morerong ona.

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Likōpo li hlophisoa ho latela mekhoa e tloaelehileng: makhetlo a karabelo, karolelano ea nako ea karabo, joalo-joalo. Ke kopa hape ho bua ka tabo e nang le lipotso tse liehang ho feta - e bonolo haholo. Ho feta moo, datha e ho tab ena ea PostgreSQL e tsamaellana le data e tsoang katolosong pg_stat_statements - sephetho se setle!

Eseng Relic e Ncha Feela: Ho Sheba Datadog le Atatus

Taba Likopo tsa Kantle e ts'oana ka botlalo le Databases.

fumanoeng ke

Lisebelisoa ka bobeli li ile tsa sebetsa hantle karolong ea APM. E mong le e mong oa bona a ka fana ka bonyane bo hlokahalang. Maikutlo a rona a ka akaretsoa ka bokhutšoanyane ka tsela e latelang:

datadog

Melemo:

  • kemiso e loketseng ea litefiso (APM e bitsa 31 USD ka moamoheli);
  • e sebelitse hantle le Python;
  • Monyetla oa ho kopanngoa le OpenTracing
  • kopanyo le Kubernetes;
  • ho kopanya le NGINX Ingress.

Chelete:

  • APM feela e entseng hore kopo e se be teng ka lebaka la phoso ea module (predis);
  • lisebelisoa tse fokolang tsa PHP;
  • tlhaloso e itseng e makatsang ea litšebeletso le morero oa tsona.

Atatus

Melemo:

  • lisebelisoa tse tebileng tsa PHP;
  • sehokelo sa mosebelisi se ts'oanang le New Relic.

Chelete:

  • ha e sebetse lits'ebetsong tsa khale tsa ts'ebetso (Ubuntu 12.05, CentOS 5);
  • lisebelisoa tse fokolang tsa likoloi;
  • tšehetso bakeng sa lipuo tse peli feela (Node.js le PHP);
  • Slow interface.

Ha re nahana ka theko ea Atatus ea 69 USD ka khoeli ka seva, re ka mpa ra sebelisa Datadog, e hokahaneng hantle le litlhoko tsa rona (lisebelisoa tsa marang-rang ho K8s) mme e na le likarolo tse ngata tsa bohlokoa.

PES

Bala hape ho blog ea rona:

Source: www.habr.com

Eketsa ka tlhaloso