Kinsa ang responsable sa kalidad?

Hoy Habr!

Kami adunay usa ka bag-ong importante nga hilisgutan - taas nga kalidad nga pagpalambo sa mga produkto sa IT. Sa HighLoad ++ kanunay kaming maghisgot kung giunsa paghimo ang mga busy nga serbisyo nga paspas, ug sa Frontend Conf naghisgot kami bahin sa usa ka cool nga interface sa gumagamit nga dili mohinay. Kanunay kami adunay mga hilisgutan bahin sa pagsulay, ug DevOpsConf bahin sa paghiusa sa lainlaing mga proseso, lakip ang pagsulay. Apan bahin sa kung unsa ang matawag nga kalidad sa kinatibuk-an, ug kung giunsa kini pagtrabaho sa komprehensibo - dili.

Ayuhon nato ni pinaagi sa QualityConf — magpalambo kita ug kultura sa paghunahuna bahin sa kalidad sa kataposang produkto para sa tiggamit sa matag yugto sa kalamboan. Ang batasan sa dili pag-focus sa imong lugar sa responsibilidad, ug ang pag-uban sa kalidad dili lamang sa mga tester.

Ubos sa pagputol makigsulti kami sa pangulo sa komite sa programa, pangulo sa pagsulay sa Tinkoff.Business, tiglalang sa komunidad sa QA nga nagsultig Ruso Anastasia Aseeva-Nguyen mahitungod sa kahimtang sa industriya sa QA ug sa misyon sa bag-ong komperensya.

Kinsa ang responsable sa kalidad?

- Nastia hello. Palihug sultihi kami bahin sa imong kaugalingon.

Kinsa ang responsable sa kalidad?Anastasia: Nagdumala ko sa pagsulay sa usa ka bangko, ako ang responsable sa usa ka dako kaayo nga team - kami labaw pa sa 90 ka mga tawo. Kami adunay usa ka importante nga linya sa negosyo; kami ang responsable sa ekosistema alang sa mga ligal nga entidad.

Nagtuon ko sa mekaniko ug matematika ug sa sinugdan gusto kong mahimong programmer. Apan sa dihang nakakuha ako usa ka makapaikag nga tanyag, nakahukom ako nga sulayan ang akong kaugalingon ingon usa ka pagsulay. Katingad-an, kini nahimo nga akong tawag. Karon nakita nako ang tanan nakong trabaho sa kini nga industriya.

Ako usa ka madasigon nga nagsunod sa disiplina sa Quality Assurance. Dili ako walay pagtagad sa unsa nga mga produkto ang gibuhat, kung giunsa ang pagtagad sa kalidad sa kompanya, sa team ug, sa prinsipyo, sa proseso sa pag-uswag.

Klaro na sa akoa ang komunidad niini nga direksyon dili igo nga hamtong, labing menos sa Russia. Dili namon kanunay masabtan nga ang kasiguruhan sa kalidad dili lamang ang kamatuoran sa pagsulay sa usa ka aplikasyon alang sa pagsunod sa mga kinahanglanon. Gusto nakong usbon kini nga sitwasyon.

— Gigamit nimo ang mga pulong nga Quality Assurance ug pagsulay. Sa mga mata sa kasagaran nga tawo, kining duha ka termino kanunay nga nagsapaw. Sa unsang paagi sila magkalahi kon ikaw mokalot ug lawom?

Anastasia: Hinunoa, sila walay kalainan. Ang pagsulay kabahin sa disiplina sa Quality Assurance; kini usa ka direkta nga kalihokan - ang kamatuoran nga ako adunay gisulayan. Adunay tinuud nga daghang mga klase sa pagsulay, ug lainlaing mga tawo ang responsable sa lainlaing mga lahi sa pagsulay. Apan dinhi sa Russia, sa diha nga ang usa ka balud sa mga outsourcer nagpakita nga nagsuplay sa mga tester sa mga kompanya, ang pagsulay gipamubu sa usa ka tipo.

Sa kadaghanan nga mga kaso, sila limitado lamang sa functional testing: ilang gisusi nga ang gi-code sa mga developers nagsunod sa espesipikasyon ug kana lang.

— Palihog isulti kanamo kung unsa ang ubang mga disiplina sa kasiguruhan sa kalidad nga naa? Unsa pa, gawas sa pagsulay, ang gilakip dinhi?

Anastasia: Ang Quality Assurance, una sa tanan, mahitungod sa pagmugna ug kalidad nga produkto. Sa ato pa, atong pangutan-on ang atong kaugalingon kung unsa nga kalidad nga mga hiyas ang kinahanglan nga naa sa atong produkto. Tungod niini, kung atong masabtan kini, mahimo natong itandi kung kinsa ang nag-impluwensya niining kalidad nga mga hiyas. Dili igsapayan, developer, project manager o product specialist usa ka tawo nga nag-impluwensya sa pagpalambo sa usa ka produkto, ang backlog niini, ug ang estratehiya niini.

Ang tester nahimong mas nahibalo sa iyang papel. Nasabtan niya nga ang iyang tahas dili lamang sa pagsulay alang sa pagsunod sa mga kinahanglanon, apan usab sa pagsulay sa mga kinahanglanon, pagpangutana sa mga pormulasyon nga gikan sa espesyalista sa produkto, ug pagpadayag sa tanan nga gipasabut nga mga kinahanglanon ug gipaabut sa kliyente. Kung maghatag kami bag-ong kagamitan sa among kustomer, kinahanglan gyud namon nga makab-ot ang ilang mga gilauman ug sulbaron ang ilang kasakit. Kung atong hunahunaon ang tanan nga mga hiyas sa kalidad, ang kliyente matagbaw ug makasabut nga ang kompanya kansang produkto iyang gigamit tinuod nga nagpakabana sa iyang mga interes, ug wala magtrabaho sa prinsipyo nga "aron lang buhian ang usa ka bahin."

— Morag ang imong gihulagway mao ang tahas sa usa ka espesyalista sa produkto. Kini, sa prinsipyo, dili bahin sa pagsulay ug dili bahin sa kalidad - kasagaran bahin sa pagdumala sa produkto, dili ba?

Anastasia: Lakip. Ang Quality Assurance dili usa ka disiplina diin usa ka piho nga tawo ang responsable. Karon adunay usa ka popular nga direksyon sa pagsulay, usa ka pamaagi nga gitawag Agile nga Pagsulay. Ang iyang kahulugan tin-aw nga nag-ingon nga kini usa ka pamaagi sa team sa pagsulay, nga naglakip sa usa ka piho nga hugpong sa mga gawi. Ang tibuok team maoy responsable sa pag-implementar niini nga pamaagi; dili gani kinahanglan nga adunay tester sa team. Ang tibuok team naka-focus sa paghatag og bili ngadto sa customer ug pagsiguro nga ang bili makatagbo sa mga gilauman sa kustomer.

— Kini nahimo nga ang kalidad nag-intersect sa hapit tanan nga naglibot nga mga disiplina, nga nagpahamtang usa ka balangkas sa tanan sa palibot?

Anastasia: Husto. Kung maghunahuna kita kung giunsa naton gusto nga maghimo usa ka kalidad nga produkto, magsugod kita sa paghunahuna bahin sa lainlaing mga kinaiya sa kalidad. Pananglitan, kung unsaon pagsusi nga gihimo gyud namo ang feature nga gikinahanglan sa among kliyente.

Dinhi diin kini nga matang sa pagsulay moabut: UAT (pagsulay sa pagdawat sa tiggamit). Ikasubo, kini panagsa ra nga gipraktis sa Russia, apan usahay naa sa mga koponan sa SCRUM ingon usa ka demo alang sa katapusan nga kliyente. Kini usa ka kasagaran nga tipo sa pagsulay sa mga langyaw nga kompanya. Sa wala pa ablihan ang pag-andar sa tanan nga mga kliyente, una namon nga buhaton ang UAT, nga mao, giimbitahan namon ang katapusan nga tiggamit nga nagsulay ug naghatag dayon nga feedback - kung ang produkto nakab-ot ba gyud ang mga gipaabut ug gisulbad ang kasakit. Human lamang niini mahitabo ang pag-scale sa tanang ubang mga kliyente.

Kana mao, nagpunting kami sa negosyo, sa katapusan nga kliyente, apan sa parehas nga oras ayaw kalimti ang bahin sa teknolohiya. Ang kalidad sa produkto nagdepende usab sa teknolohiya. Kung kami adunay dili maayo nga arkitektura, dili kami dali nga makapagawas sa mga bahin ug makatagbo sa mga gilauman sa kustomer. Mahimong adunay daghang mga bug sa pagsulay sa pagsukod, o kung pagsulay sa pag-refactor mahimo naton mabuak ang usa ka butang. Kining tanan makaapekto sa katagbawan sa kustomer.

Gikan niini nga punto sa panglantaw, ang arkitektura kinahanglan nga ingon nga kita makasulat sa limpyo nga code nga magtugot kanato sa dali nga paghimo sa mga pagbag-o ug dili mahadlok nga atong mabungkag ang tanan. Aron ang mga pagbag-o sa pagbag-o dili molungtad sa daghang mga bulan tungod lang kay kami adunay daghang kabilin, ug kinahanglan namon nga buhaton ang taas nga mga yugto sa pagsulay.

— Sa kinatibuk-an, ang mga developer, arkitekto, siyentista sa produkto, tagdumala sa produkto, ug mga tester mismo naapil na. Kinsa pa ang nalambigit sa proseso sa pagsiguro sa kalidad?

Anastasia: Karon hunahunaon nato nga nahatag na nato ang feature ngadto sa kliyente. Dayag nga, ang kalidad sa produkto kinahanglan nga bantayan bisan kung kini anaa na sa produksiyon. Niini nga yugto, ang mga sitwasyon nga adunay dili klaro nga mga senaryo, ang gitawag nga mga bug, mahimong magpakita.

Ang una nga pangutana mao kung giunsa naton atubangon kini nga mga bug pagkahuman nga gipagawas na naton ang produkto? Pananglitan, unsay atong reaksiyon sa tensiyon? Ang kliyente dili kaayo malipay kung ang panid molungtad og sobra sa 30 segundos aron ma-load.

Dinhi nagsugod ang pagpahimulos o, sa ilang pagtawag niini karon, DevOps. Sa tinuud, kini ang mga tawo nga responsable sa pag-operate sa produkto kung kini anaa na sa produksiyon. Kini naglakip sa lain-laing mga matang sa monitoring. Adunay bisan usa ka subtype sa pagsulay - pagsulay sa produksiyon, kung gitugotan namon ang among kaugalingon nga dili sulayan ang usa ka butang sa wala pa i-rollout ug sulayan dayon kini sa produksiyon. Kini usa ka serye sa mga lakang gikan sa punto sa pagtan-aw sa pag-organisar sa imprastraktura nga nagtugot kanimo nga dali nga makatubag sa usa ka insidente, makaimpluwensya niini, ug matul-id kini.

Importante usab ang imprastraktura. Kanunay adunay mga sitwasyon kung, sa panahon sa usa ka pagsulay, imposible nga masiguro nga naa gyud namo ang tanan nga gusto namon ihatag sa kliyente. Gi-roll namo kini ngadto sa produksyon ug nagsugod sa pagdakop sa dili klaro nga mga sitwasyon. Ug ang tanan tungod kay ang imprastraktura sa pagsulay dili katumbas sa imprastraktura sa produksiyon. Kini modala ngadto sa usa ka bag-ong matang sa pagsulay - pagsulay sa imprastraktura. Kini ang lainlaing mga pag-configure, setting, pagbalhin sa database, ug uban pa.

Kini nagpatunghag pangutana - tingali ang team kinahanglan nga mogamit sa imprastraktura ingon code.

Nagtuo ko nga ang imprastraktura direktang makaapekto sa kalidad sa produkto.

Nanghinaut ko nga adunay usa ka taho sa komperensya nga adunay tinuod nga kaso. Pagsulat kanamo kung andam ka nga isulti kanamo gikan sa imong kaugalingon nga kasinatian kung giunsa ang imprastraktura ingon code makaapekto sa kalidad. Ang imprastraktura ingon nga code nagpadali sa pagsusi sa tanan nga mga setting ug pagsulay sa mga butang nga dili mahimo. Busa, ang operasyon nalangkit usab sa proseso sa pagpalambo sa usa ka kalidad nga produkto.

— Unsa man ang bahin sa analytics ug dokumentasyon?

Anastasia: Mas magamit kini sa mga sistema sa negosyo. Kung maghisgot kita bahin sa negosyo, ang mga tawo sama sa mga analista ug mga analista sa sistema dayon naa sa hunahuna. Usahay sila gitawag nga mga teknikal nga magsusulat. Nakadawat sila usa ka buluhaton sa pagsulat sa usa ka detalye ug pagkompleto niini, pananglitan, sulod sa usa ka bulan.

Gibalikbalik nga napamatud-an nga ang pagsulat sa ingon nga dokumentasyon nagdala sa taas kaayo nga mga pag-uswag sa pag-uswag ug taas nga mga pag-uli sa pagpino, tungod kay sa panahon sa proseso sa pagsulay nahibal-an ang mga bug ug nagsugod ang pagbalik. Ingon usa ka sangputanan, adunay daghang mga loop nga nagdugang mga gasto sa pag-uswag. Dugang pa, kini mahimong magpaila sa mga kahuyangan. Morag duna mi nasulat nga reference code, apan mihimo mig mga kausaban nga makaguba sa hingpit nga gihunahuna nga arkitektura.

Ang katapusan nga resulta usa ka dili bug-os nga kalidad nga produkto, tungod kay ang mga patch nagpakita na sa arkitektura, ang code sa pipila ka mga lugar dili igo nga nasakup sa mga pagsulay, tungod kay ang mga tagal sa panahon nahurot, ang tanan nga mga bug kinahanglan nga sirado dayon. Ug ang tanan tungod kay ang orihinal nga detalye wala magtagad sa tanan nga mga punto nga kinahanglan ipatuman.

Ang mga nag-develop dili mga peste ug dili magsulat sa code nga adunay mga sayup sa katuyoan.

Kung sa sinugdan naghunahuna kami pinaagi sa usa ka detalye nga magsakup sa tanan nga kinahanglan nga mga punto, nan ang tanan mahimo nga ipatuman sa eksakto kung gikinahanglan. Apan kini usa ka utopia.

Tingali imposible ang pagsulat sa usa ka hingpit nga 100-panid nga detalye. Mao nga kinahanglan nga maghunahuna bahin sa mga alternatibong paagi sa pagsulat sa dokumentasyon, mga detalye, pagtakda sa mga buluhaton nga magdala kanato nga mas duol sa pagsiguro nga ang developer mobuhat gayud sa gikinahanglan.

Dinhi nahunahunaan ang mga pamaagi gikan sa Agile - mga istorya sa tiggamit nga adunay mga pamatasan sa pagdawat. Kini mas magamit alang sa mga team nga nag-develop sa gagmay nga mga pag-uli.

— Unsa man ang bahin sa pagsulay sa usability, usability sa produkto, disenyo?

Anastasia: Kini usa ka importante kaayo nga punto, tungod kay adunay mga tigdesinyo sa team. Kasagaran, ang mga tigdesinyo gigamit isip usa ka serbisyo - bisan sa usa ka departamento sa disenyo o sa usa ka outsourced nga tigdesinyo. Adunay kanunay nga mga sitwasyon diin ingon og ang tigdesinyo naminaw sa espesyalista sa produkto ug gibuhat ang iyang nasabtan. Apan kung gisugdan namon ang pag-uli, nahimo nga ang tinuud nga nahimo dili kung unsa ang gipaabut: ang tigdesinyo nakalimot sa usa ka butang, wala hingpit nga naghunahuna sa pamatasan, tungod kay wala siya sa team ug wala sa konteksto, o sa atubangan. -end developer wala hingpit nga makasabut niini nga layout. Mahimong magkinahanglan kini og daghang mga pag-uli tungod lang kay adunay problema sa front-end nga developer nga nakasabut sa disenyo.

Dugang pa, adunay usa pa ka problema. Ang mga sistema sa disenyo karon nahimong popular. Naa sila sa hype, apan ang mga benepisyo gikan kanila dili kaayo klaro.

Nakita nako ang opinyon nga ang mga sistema sa disenyo, sa usa ka bahin, nagpayano sa pag-uswag, apan sa laing bahin, nagpahamtang sila og daghang mga pagdili sa interface.

Ingon usa ka sangputanan, wala namon gihimo ang bahin nga gusto sa kliyente, apan ang usa nga kombenyente alang kanamo, tungod kay kami adunay piho nga mga cubes diin mahimo namon kini.

Sa akong hunahuna kini usa ka hilisgutan nga angayan nga tan-awon ug maghunahuna kung sa pagsulay sa paghimo sa disenyo nga mas sayon ​​kita sa tinuud nagsulbad sa usa ka punto sa kasakit sa kliyente.

— Adunay usa ka makapakurat nga gidaghanon sa mga hilisgutan nga may kalabutan sa Quality Assurance. Adunay ba usa ka komperensya sa Russia diin silang tanan mahimong hisgutan?

Anastasia: Adunay labing karaan nga komperensya sa pagsulay, nga ipahigayon sa ika-25 nga higayon karong tuiga ug gitawag nga SQA Days Quality Assurance Conference. Nag-una kini nga naghisgot sa mga himan ug piho nga mga pamaagi sa pagsulay alang sa mga functional tester. Ingon sa usa ka lagda, ang mga taho sa SQA Days lawom nga nagsusi sa piho nga mga lugar sa lugar sa responsibilidad sa mga tester mismo, apan dili komplikado nga mga kalihokan.

Makatabang kaayo kini sa pagsabut sa lainlaing mga himan ug pamaagi, kung giunsa pagsulay ang mga database, mga API, ug uban pa. Apan sa samang higayon, sa usa ka bahin, wala kini magdasig sa pag-apil labaw pa sa pagsulay sa paghimo sa mas maayong produkto. Sa laing bahin, ang mga tigsulay dili mas moapil sa proseso sa paghunahuna bahin sa global nga katuyoan sa produkto ug sa bahin sa negosyo niini.

Nagdumala ako sa usa ka dako nga departamento ug nagpahigayon og daghang mga interbyu nga naghatag gyud og panabut sa kahimtang sa industriya sa kinatibuk-an. Ingon sa usa ka lagda, ang among mga lalaki nagtrabaho sa mga negosyo, ug sila adunay usa ka tin-aw nga lugar sa responsibilidad. Ang mga kauban nga nagtrabaho sa mga langyaw nga proyekto naggamit sa lainlaing mga lahi sa pagsulay: sila mismo makahimo sa pagsulay sa pagkarga, pagsulay sa pasundayag, ug bisan usahay pagsulay sa seguridad, tungod kay gitabangan gyud nila ang team nga masiguro ang kalidad sa produkto.

Gusto nako nga ang mga lalaki sa Russia magsugod usab sa paghunahuna nga ang industriya dili matapos sa pagsulay sa pagpaandar.

— Alang niini nga katuyoan, nag-organisar kami usa ka bag-ong komperensya, QualityConf, nga gipahinungod sa kalidad ingon usa ka hinungdanon nga disiplina. Sultihi kami og dugang mahitungod sa ideya, unsa ang nag-unang tumong sa komperensya?

Anastasia: Gusto namon nga maghimo usa ka komunidad sa mga tawo nga interesado sa paghimo og kalidad nga mga produkto. Pagtanyag og usa ka plataporma diin sila makaadto, maminaw sa mga taho ug mobiya human sa komperensya uban ang usa ka piho nga pagsabot kung unsa ang kinahanglan nga usbon aron mapalambo ang kalidad.

Karong panahona kanunay kong makadungog sa usa ka hangyo gikan sa pagkonsulta kung unsa ang buhaton kung adunay mga problema sa pagsulay ug kalidad. Kung magsugod ka sa pagpakigsulti sa mga team, imong makita nga ang problema dili sa mga tigsulay sa ilang kaugalingon, apan kung giunsa ang pagkahan-ay sa proseso. Pananglitan, kung ang mga developers nagtuo nga sila ang responsable sa pagsulat sa code, ang ilang responsibilidad matapos sa tukma sa higayon nga ilang ihatag ang buluhaton sa pagsulay.

Dili tanan naghunahuna mahitungod sa kamatuoran nga ang dili maayo nga pagkasulat, ubos nga kalidad nga code nga adunay dili maayo nga arkitektura naghulga sa dagkong mga problema alang sa proyekto. Wala nila hunahunaa ang gasto sa mga sayup, nga ang mga bug nga natapos sa produksiyon mahimong moresulta sa daghang gasto alang sa kompanya ug sa team. Wala’y kultura nga maghunahuna bahin niini. Gusto ko nga magsugod kami sa pag-apod-apod niini sa komperensya.

Nasabtan nako nga dili kini usa ka kabag-ohan. Si Edward Deming, ang tagsulat sa 14 nga mga prinsipyo sa kalidad, nagsulat bahin sa gasto sa usa ka sayup kaniadtong miaging siglo. Ang Quality Assurance isip usa ka disiplina gibase sa kini nga libro, apan, sa kasubo, ang modernong kalamboan nakalimot niini.

— Nagplano ka ba nga direktang magtandog sa mga hilisgutan bahin sa pagsulay ug mga himan?

Anastasia: Giangkon nako nga adunay mga taho bahin sa mga himan. Adunay medyo unibersal nga mga himan diin ang mga kompanya ug mga koponan makaimpluwensya sa produkto.

Ang tanan nga mga taho mahiusa sa tibuuk kalibutan sa usa ka sagad nga misyon: aron ipahibalo sa mga mamiminaw nga sa tabang sa kini nga pamaagi, himan, pamaagi, proseso, tipo sa pagsulay, naimpluwensyahan namon ang kalidad sa produkto ug gipauswag ang kinabuhi sa kliyente.

Kami siguradong wala’y mga taho bahin sa usa ka himan alang sa usa ka himan. Ang tanang report nga nalakip sa programa mahiusa sa usa ka tumong.

— Kinsa ang mahimong interesado sa imong gihisgutan, kinsa imong nakita nga mga bisita sa komperensya?

Anastasia: Kami adunay mga taho alang sa mga developer nga nagpakabana sa kapalaran sa ilang proyekto, produkto, sistema. Ingon usab, kini makapainteres sa mga tester ug, alang kanako, labi na sa mga managers. Sa mga manedyer, gipasabut nako ang mga tawo nga naghimo og mga desisyon ug makaimpluwensya sa kapalaran ug pag-uswag sa usa ka produkto, sistema, team usab.

Kini ang mga tawo nga naghunahuna kung giunsa pagpauswag ang kalidad sa usa ka produkto o sistema. Sa among komperensya, makakat-on sila bahin sa lainlaing mga hugpong sa mga lakang ug masabtan kung unsa ang sayup sa kanila karon ug kung unsa ang kinahanglan nga usbon.

Sa akong hunahuna ang panguna nga sukdanan mao ang pagsabut nga adunay usa ka butang nga sayup sa kalidad ug gusto nga maimpluwensyahan kini. Tingali dili nato maabot ang mga tawo nga naghunahuna nga kini mahitabo sa unang higayon.

— Sa imong hunahuna ang industriya sa kinatibuk-an hinog na nga maghisgot dili lang bahin sa pagsulay, apan bahin sa usa ka kultura sa kalidad?

Anastasia: Nagmature na daw ko. Karon daghang mga kompanya ang nagpalayo gikan sa tradisyonal nga Waterfall nga pamaagi padulong sa Agile. Adunay usa ka focus sa kostumer, ang mga tawo sa mga team nagsugod gyud sa paghunahuna kung giunsa paghimo ang usa ka kalidad nga produkto. Bisan ang mga kompanya sa negosyo nagpunting usab sa pagpauswag sa kalidad.

Paghukom sa gidaghanon sa mga hangyo nga mitungha sa komunidad, ako nagtuo nga kini mao ang panahon. Dili ko sigurado, siyempre, nga kini usa ka dako nga rebolusyon, apan gusto nako nga kini nga rebolusyon sa panimuot mahitabo.

- Miuyon! Atong isilsil ang kultura ug usbon ang panimuot.

Komperensya sa taas nga kalidad nga pag-uswag sa mga produkto sa IT QualityConf mahitabo sa Moscow niadtong Hunyo 7. Nahibal-an nimo kung unsang mga yugto ang naglangkob sa usa ka taas nga kalidad nga produkto, kami adunay mga kaso sa malampuson nga pagsukol sa mga bug sa produksiyon, gisulayan namon ang mga sikat nga pamaagi sa among praktis - kinahanglan namon ang imong kasinatian. Ipadala sa ilang mga mga aplikasyon sa wala pa ang Mayo 1, ug ang Komite sa Programa motabang sa pagpokus sa tema alang sa kinatibuk-ang integridad sa komperensya.

Sumpaysumpaya sa chat, diin atong gihisgutan ang kalidad nga mga isyu ug ang komperensya, subscribe sa Telegram channelaron magpabilin nga updated sa mga balita sa programa.

Source: www.habr.com

Idugang sa usa ka comment