Giunsa namo paghimo ang cloud FaaS sulod sa Kubernetes ug nakadaog sa Tinkoff hackathon

Sugod sa miaging tuig, ang among kompanya nagsugod sa pag-organisar sa mga hackathon. Ang una nga ingon nga kompetisyon malampuson kaayo, gisulat namon kini sa artikulo. Ang ikaduhang hackathon nahitabo kaniadtong Pebrero 2019 ug dili kaayo malampuson. Mahitungod sa mga tumong sa paghupot sa naulahi dili pa lang dugay nagsulat organizer.

Ang mga partisipante gihatagan og usa ka makapaikag nga buluhaton nga adunay hingpit nga kagawasan sa pagpili sa usa ka stack sa teknolohiya alang sa pagpatuman niini. Kinahanglan nga ipatuman ang usa ka plataporma sa paghimog desisyon alang sa dali nga pag-deploy sa mga function sa pag-iskor sa kostumer nga mahimo’g molihok uban ang paspas nga pag-agos sa mga aplikasyon, makasukol sa bug-at nga mga karga, ug ang sistema mismo dali nga masukod.

Ang tahas dili hinungdanon ug masulbad sa daghang mga paagi, ingon nga kami kombinsido sa panahon sa pagpakita sa katapusan nga mga presentasyon sa mga proyekto sa mga partisipante. Adunay 6 ka mga team sa 5 ka tawo sa hackathon, ang tanan nga mga partisipante adunay maayong mga proyekto, apan ang among plataporma nahimo nga labing kompetisyon. Kami adunay usa ka makapaikag kaayo nga proyekto, nga gusto nakong hisgutan sa kini nga artikulo.

Ang among solusyon usa ka plataporma nga gibase sa Serverless nga arkitektura sa sulod sa Kubernetes, nga nagpamenos sa oras nga gikinahanglan aron madala ang mga bag-ong bahin sa produksiyon. Gitugotan niini ang mga analista sa pagsulat sa code sa usa ka palibot nga kombenyente alang kanila ug i-deploy kini sa produksiyon nga wala’y pag-apil sa mga inhenyero ug developer.

Unsa ang pag-iskor

Ang Tinkoff.ru, sama sa daghang mga modernong kompanya, adunay marka sa kustomer. Ang pagmarka usa ka sistema sa pagtasa sa kostumer base sa mga pamaagi sa istatistika sa pagtuki sa datos.

Pananglitan, ang usa ka kliyente midangop kanamo uban ang usa ka hangyo nga mag-isyu kaniya og usa ka pautang, o magbukas sa usa ka indibidwal nga account sa negosyante uban kanamo. Kung nagplano kami nga hatagan siya usa ka pautang, kinahanglan naton nga susihon ang iyang solvency, ug kung ang account usa ka indibidwal nga negosyante, nan kinahanglan naton sigurohon nga ang kliyente dili magpahigayon mga malimbungon nga transaksyon.

Ang sukaranan sa paghimo sa ingon nga mga desisyon mao ang mga modelo sa matematika nga nag-analisar sa parehas nga datos gikan sa aplikasyon mismo ug ang datos gikan sa among pagtipig. Dugang sa pag-iskor, ang susamang mga pamaagi sa istatistika mahimo usab nga magamit sa serbisyo sa paghimo og indibidwal nga mga rekomendasyon alang sa mga bag-ong produkto para sa among mga kliyente.

Ang paagi sa ingon nga pagtimbang-timbang makadawat sa lainlaing mga datos sa pag-input. Ug sa usa ka punto makadugang kami usa ka bag-ong parameter sa input, nga, base sa mga resulta sa pag-analisar sa makasaysayan nga datos, makadugang sa rate sa pagkakabig sa paggamit sa serbisyo.

Naghupot kami daghang datos bahin sa mga relasyon sa kustomer, ug ang gidaghanon sa kini nga kasayuran kanunay nga nagtubo. Aron mogana ang pag-iskor, ang pagproseso sa datos nanginahanglan usab og mga lagda (o mga modelo sa matematika) nga nagtugot kanimo nga dali nga makadesisyon kung kinsa ang aprobahan sa usa ka aplikasyon, kinsa ang mobalibad, ug kung kinsa ang magtanyag usa ka magtiayon nga dugang nga mga produkto, pagtimbang-timbang sa ilang potensyal nga interes.

Alang sa buluhaton nga anaa, migamit na kami ug espesyal nga sistema sa paghimog desisyon IBM WebSphere ILOG JRules BRMS, nga, pinasikad sa mga lagda nga gitakda sa mga analista, technologist ug developers, mohukom kon aprobahan ba o balibaran ang usa ka partikular nga produkto sa banking ngadto sa kliyente.

Adunay daghang mga andam nga solusyon sa merkado, parehas nga mga modelo sa pag-iskor ug mga sistema sa paghimog desisyon mismo. Gigamit namo ang usa niini nga mga sistema sa among kompanya. Apan ang negosyo nag-uswag, nag-diversify, ang gidaghanon sa mga kliyente ug ang gidaghanon sa mga produkto nga gitanyag nagkadaghan, ug uban niini, ang mga ideya mitumaw kung giunsa pagpauswag ang kasamtangan nga proseso sa paghimog desisyon. Sigurado nga ang mga tawo nga nagtrabaho kauban ang naglungtad nga sistema adunay daghang mga ideya kung giunsa kini paghimo nga mas simple, mas maayo, mas sayon, apan usahay ang mga ideya gikan sa gawas mapuslanon. Ang Bag-ong Hackathon giorganisar uban ang tumong sa pagkolekta og maayong mga ideya.

Buluhaton

Ang hackathon gihimo niadtong Pebrero 23. Gitanyagan ang mga partisipante og usa ka buluhaton sa kombat: ang paghimo og sistema sa paghimog desisyon nga kinahanglang motagbo sa daghang mga kondisyon.

Gisultihan kami kung giunsa ang naglungtad nga sistema ug kung unsang mga kalisud ang moabut sa panahon sa operasyon niini, ingon man kung unsang mga katuyoan sa negosyo ang kinahanglan ipadayon sa naugmad nga plataporma. Ang sistema kinahanglan adunay usa ka paspas nga oras-sa-merkado alang sa pagpalambo sa mga lagda aron ang kodigo sa pagtrabaho sa mga analista makasulod sa produksiyon sa labing madali. Ug alang sa umaabot nga dagan sa mga aplikasyon, ang oras sa paghimog desisyon kinahanglan nga labing gamay. Usab, ang sistema nga gipalambo kinahanglan adunay mga kapabilidad sa cross-sell aron mahatagan ang kliyente og higayon nga makapalit sa ubang mga produkto sa kompanya kung kini aprobahan namo ug adunay potensyal nga interes gikan sa kliyente.

Klaro nga imposible nga magsulat usa ka andam nga ipagawas nga proyekto sa usa ka gabii nga siguradong moadto sa produksiyon, ug medyo lisud ang pagtabon sa tibuuk nga sistema, mao nga gihangyo kami nga ipatuman bisan ang bahin niini. Daghang mga kinahanglanon ang natukod nga kinahanglan matagbaw sa prototype. Posible nga sulayan ang duha aron matabonan ang tanan nga mga kinahanglanon sa ilang kinatibuk-an, ug magtrabaho nga detalyado sa mga indibidwal nga seksyon sa plataporma nga gipalambo.

Sama sa teknolohiya, ang tanan nga mga partisipante gihatagan og hingpit nga kagawasan sa pagpili. Posible ang paggamit sa bisan unsang mga konsepto ug teknolohiya: Data streaming, machine learning, event sourcing, dako nga data ug uban pa.

Ang among solusyon

Pagkahuman sa gamay nga brainstorming, nakahukom kami nga ang solusyon sa FaaS mahimong sulundon alang sa pagkompleto sa buluhaton.

Alang sa kini nga solusyon, kinahanglan nga mangita usa ka angay nga balangkas nga Wala’y Server aron ipatuman ang mga lagda sa sistema sa paghimog desisyon nga gihimo. Tungod kay aktibo nga gigamit ni Tinkoff ang Kubernetes alang sa pagdumala sa imprastraktura, gitan-aw namon ang daghang mga andam nga solusyon nga gibase niini; Isulti ko kanimo ang dugang bahin niini sa ulahi.

Aron makit-an ang labing epektibo nga solusyon, among gitan-aw ang produkto nga gihimo pinaagi sa mga mata sa mga tiggamit niini. Ang mga nag-unang tiggamit sa among sistema mao ang mga analista nga nahilambigit sa pagpalambo sa lagda. Ang mga lagda kinahanglan i-deploy sa server, o, sama sa among kaso, i-deploy sa panganod, alang sa sunod nga paghimog desisyon. Gikan sa panglantaw sa usa ka analista, ang workflow ingon niini:

1. Ang analista nagsulat og script, lagda, o modelo sa ML base sa datos gikan sa bodega. Isip kabahin sa hackathon, nakahukom kami nga gamiton ang Mongodb, apan ang pagpili sa sistema sa pagtipig sa datos dili importante dinhi.
2. Pagkahuman sa pagsulay sa mga naugmad nga mga lagda sa makasaysayan nga datos, ang analista nag-upload sa iyang code sa admin panel.
3. Aron masiguro ang pag-bersyon, ang tanan nga code moadto sa Git repository.
4. Pinaagi sa admin panel posible nga i-deploy ang code sa cloud isip usa ka separado nga functional Serverless module.

Ang inisyal nga datos gikan sa mga kliyente kinahanglang moagi sa usa ka espesyal nga serbisyo sa Enrichment nga gidisenyo aron mapauswag ang inisyal nga hangyo gamit ang datos gikan sa bodega. Mahinungdanon nga ipatuman kini nga serbisyo sa paagi nga kini molihok sa usa ka tipiganan (nga gikan diin ang analista nagkuha mga datos kung nagpalambo sa mga lagda) aron mapadayon ang usa ka hiniusa nga istruktura sa datos.

Bisan sa wala pa ang hackathon, nakahukom kami sa Serverless framework nga among gamiton. Karon adunay daghang mga teknolohiya sa merkado nga nagpatuman niini nga pamaagi. Ang labing inila nga mga solusyon sulod sa arkitektura sa Kubernetes mao ang Fission, Open FaaS ug Kubeless. Adunay bisan maayong artikulo uban ang ilang paghulagway ug pagtandi nga pagtuki.

Human sa pagtimbang-timbang sa tanan nga mga bentaha ug disbentaha, kami mipili Pagkaputli. Kini nga walay server nga gambalay sayon ​​​​nga pagdumala ug nagtagbo sa mga kinahanglanon sa buluhaton.

Aron magtrabaho uban sa Fission, kinahanglan nimo nga masabtan ang duha ka batakang konsepto: function ug environment. Ang usa ka function usa ka piraso sa code nga gisulat sa usa sa mga lengguwahe diin adunay usa ka palibot sa Fission. Listahan sa mga palibot nga gipatuman sulod niini nga gambalay naglakip sa Python, JS, Go, JVM ug daghang uban pang sikat nga mga pinulongan ug teknolohiya.

Ang Fission makahimo usab sa paghimo sa mga gimbuhaton nga gibahin sa daghang mga file, nga na-pre-packaged sa usa ka archive. Ang operasyon sa Fission sa usa ka Kubernetes cluster gisiguro sa mga espesyal nga pod, nga gidumala sa framework mismo. Aron makig-uban sa mga cluster pod, ang matag function kinahanglan nga i-assign sa kaugalingon nga ruta, ug diin mahimo nimong ipasa ang mga parameter sa GET o lawas sa paghangyo sa kaso sa usa ka hangyo sa POST.

Ingon usa ka sangputanan, nagplano kami nga makakuha usa ka solusyon nga magtugot sa mga analista sa pag-deploy sa mga naugmad nga mga script sa lagda nga wala’y pag-apil sa mga inhenyero ug mga developer. Ang gihulagway nga pamaagi nagwagtang usab sa panginahanglan alang sa mga developers sa pagsulat pag-usab sa analista code ngadto sa laing pinulongan. Pananglitan, alang sa kasamtangan nga sistema sa paghimog desisyon nga atong gigamit, kinahanglan natong isulat ang mga lagda sa mga espesyal nga teknolohiya ug mga pinulongan, ang gilapdon niini limitado kaayo, ug adunay usa usab ka lig-on nga pagsalig sa server sa aplikasyon, tungod kay ang tanan nga draft nga mga lagda sa bangko gi-deploy sa usa ka palibot. Ingon usa ka sangputanan, aron ma-deploy ang mga bag-ong lagda kinahanglan nga buhian ang tibuuk nga sistema.

Sa among gisugyot nga solusyon, dili kinahanglan nga buhian ang mga lagda; ang code mahimong dali nga ma-deploy sa pag-klik sa usa ka buton. Usab, ang pagdumala sa imprastraktura sa Kubernetes nagtugot kanimo nga dili maghunahuna bahin sa pagkarga ug pag-scale; ang ingon nga mga problema masulbad sa gawas sa kahon. Ug ang paggamit sa usa ka bodega sa datos nagwagtang sa panginahanglan nga itandi ang tinuod nga panahon nga datos sa makasaysayan nga datos, nga nagpasimple sa trabaho sa analista.

Ang nakuha namo

Tungod kay mianhi kami sa hackathon nga adunay andam nga solusyon (sa among mga pantasya), ang kinahanglan namon buhaton mao ang pagbag-o sa tanan namon nga mga hunahuna sa mga linya sa code.

Ang yawe sa kalampusan sa bisan unsang hackathon mao ang pag-andam ug usa ka maayong pagkasulat nga plano. Busa, ang unang butang nga among gihimo mao ang pagdesisyon kon unsa nga mga module ang gilangkoban sa among arkitektura sa sistema ug unsa nga mga teknolohiya ang among gamiton.

Ang arkitektura sa among proyekto mao ang mosunod:

Kini nga diagram nagpakita sa duha ka entry point, ang analista (ang nag-unang tiggamit sa atong sistema) ug ang kliyente.

Ang proseso sa pagtrabaho gi-istruktura sama niini. Ang analista nagpalambo sa usa ka function sa lagda ug usa ka function sa pagpaayo sa datos alang sa iyang modelo, gitipigan ang iyang code sa usa ka repositoryo sa Git, ug gi-deploy ang iyang modelo sa panganod pinaagi sa aplikasyon sa administrador. Atong tagdon kung giunsa tawgon ang gi-deploy nga function ug maghimo mga desisyon sa umaabot nga mga hangyo gikan sa mga kliyente:

1. Ang kliyente nagpuno sa usa ka porma sa website ug nagpadala sa iyang hangyo ngadto sa controller. Usa ka aplikasyon diin ang usa ka desisyon kinahanglan buhaton moabut sa sistema input ug girekord sa database sa orihinal nga porma niini.
2. Sunod, ang hilaw nga hangyo ipadala alang sa pagpalambo, kung gikinahanglan. Mahimo nimong madugangan ang una nga hangyo nga adunay data gikan sa gawas nga mga serbisyo ug gikan sa pagtipig. Ang resulta nga enriched nga pangutana gitipigan usab sa database.
3. Ang function sa analista gilunsad, nga nagkinahanglan og usa ka enriched nga pangutana isip input ug nagpatunghag solusyon, nga gisulat usab sa storage.

Nakahukom mi nga gamiton ang MongoDB isip storage sa among system tungod sa document-oriented storage sa data sa porma sa JSON documents, kay ang enrichment services, lakip ang orihinal nga hangyo, nag-aggregate sa tanang data pinaagi sa REST controllers.

Busa, kami adunay XNUMX oras aron ipatuman ang plataporma. Among giapod-apod ang mga tahas nga malampuson; ang matag miyembro sa team adunay kaugalingon nga lugar nga responsibilidad sa among proyekto:

1. Front-end admin panels alang sa trabaho sa analista, diin siya maka-download sa mga lagda gikan sa version control system sa sinulat nga mga script, pagpili og mga opsyon alang sa pagpauswag sa input data ug pag-edit sa mga script sa lagda online.
2. Backend admin, lakip ang REST API para sa atubangan ug integrasyon sa VCS.
3. Pag-set up sa imprastraktura sa Google Cloud ug pagpalambo sa usa ka serbisyo alang sa pagpalambo sa tinubdan nga datos.
4. Usa ka module alang sa pag-integrate sa admin application sa Serverless framework alang sa sunod nga pagdeploy sa mga lagda.
5. Mga script sa mga lagda alang sa pagsulay sa paghimo sa tibuuk nga sistema ug pagtipon sa mga analytics sa umaabot nga mga aplikasyon (mga desisyon nga gihimo) alang sa katapusang demonstrasyon.

Magsugod kita sa pagkasunud-sunod.

Ang among frontend gisulat sa Angular 7 gamit ang banking UI Kit. Ang katapusan nga bersyon sa admin panel ingon niini:

Tungod kay gamay ra ang oras, gisulayan namon nga ipatuman ang panguna nga pagpaandar. Aron ma-deploy ang usa ka function sa Kubernetes cluster, gikinahanglan ang pagpili sa usa ka panghitabo (usa ka serbisyo diin ang usa ka lagda kinahanglan nga i-deploy sa panganod) ug ang code sa function nga nagpatuman sa lohika sa paghimog desisyon. Alang sa matag deployment sa usa ka lagda alang sa pinili nga serbisyo, misulat kami og log niini nga panghitabo. Sa admin panel makita nimo ang mga log sa tanang panghitabo.

Ang tanan nga function code gitipigan sa usa ka hilit nga Git repository, nga kinahanglan usab nga ibutang sa admin panel. Sa bersyon sa code, ang tanan nga mga gimbuhaton gitipigan sa lainlaing mga sanga sa repositoryo. Naghatag usab ang admin panel sa abilidad sa paghimo sa mga pag-adjust sa sinulat nga mga script, aron sa dili pa i-deploy ang usa ka function sa produksiyon, dili lang nimo masusi ang nakasulat nga code, apan mahimo usab ang kinahanglan nga mga pagbag-o.

Gawas pa sa mga gimbuhaton sa mga lagda, gipatuman usab namon ang abilidad nga anam-anam nga mapauswag ang gigikanan nga datos gamit ang mga function sa Enrichment, ang code diin mahimo usab nga mga script diin posible nga moadto sa bodega sa datos, tawagan ang mga serbisyo sa ikatulo nga partido ug himuon ang pasiuna nga mga kalkulasyon. . Aron ipakita ang among solusyon, among gikalkulo ang zodiac sign sa kliyente nga mibiya sa hangyo ug gitino ang iyang mobile operator gamit ang third-party REST nga serbisyo.

Ang backend sa plataporma gisulat sa Java ug gipatuman isip aplikasyon sa Spring Boot. Nagplano kami sa sinugdan nga gamiton ang Postgres sa pagtipig sa datos sa admin, apan, isip bahin sa hackathon, nakahukom kami nga limitahan ang among kaugalingon sa usa ka yano nga H2 aron makadaginot sa oras. Sa backend, ang integrasyon sa Bitbucket gipatuman sa bersyon sa query enrichment functions ug rule scripts. Alang sa panagsama sa mga hilit nga Git repository, among gigamit JGit nga librarya, nga usa ka matang sa wrapper sa CLI commands, nga nagtugot kanimo sa pagpatuman sa bisan unsang git nga mga instruksyon gamit ang usa ka kombenyente nga interface sa software. Busa kami adunay duha ka managlahing mga repositoryo alang sa pagpalambo sa mga gimbuhaton ug mga lagda, ug ang tanang mga script gibahin ngadto sa mga direktoryo. Pinaagi sa UI posible nga mapili ang pinakabag-o nga commit sa usa ka script sa usa ka arbitraryong sanga sa repository. Kung maghimo mga pagbag-o sa code pinaagi sa admin panel, ang mga commit sa nabag-o nga code gihimo sa hilit nga mga repositoryo.

Aron mapatuman ang among ideya, nanginahanglan kami og angay nga imprastraktura. Nakahukom mi nga i-deploy ang among Kubernetes cluster sa cloud. Ang among gipili mao ang Google Cloud Platform. Ang Fission serverless framework gi-install sa usa ka Kubernetes cluster, nga among gi-deploy sa Gcloud. Sa sinugdan, ang source data enrichment service giimplementar isip bulag nga Java application nga giputos sa Pod sulod sa k8s cluster. Apan pagkahuman sa pasiuna nga pagpakita sa among proyekto sa tunga-tunga sa hackathon, girekomenda namon nga himuon nga labi ka dali ang serbisyo sa Pagpauswag aron mahatagan ang higayon nga makapili kung giunsa ang pagpauswag sa hilaw nga datos sa umaabot nga mga aplikasyon. Ug wala kamiy kapilian gawas sa paghimo sa serbisyo sa pagpaayo nga wala’y Server.

Aron magtrabaho uban sa Fission, gigamit namo ang Fission CLI, nga kinahanglang i-install sa ibabaw sa Kubernetes CLI. Ang pag-deploy sa mga function sa usa ka k8s cluster yano ra; kinahanglan nimo nga mag-assign sa usa ka internal nga ruta ug pagsulod sa function aron tugutan ang umaabot nga trapiko kung kinahanglan ang pag-access sa gawas sa cluster. Ang pag-deploy sa usa ka function kasagarang dili molapas sa 10 segundos.

Katapusan nga presentasyon sa proyekto ug summing up

Aron ipakita kung giunsa ang paglihok sa among sistema, nagbutang kami usa ka yano nga porma sa usa ka hilit nga server diin mahimo ka magsumite usa ka aplikasyon alang sa usa sa mga produkto sa bangko. Aron makahangyo, kinahanglan nimong isulod ang imong inisyal, petsa sa pagkatawo ug numero sa telepono.

Ang datos gikan sa porma sa kliyente miadto sa controller, nga dungan nga nagpadala sa mga hangyo alang sa tanan nga anaa nga mga lagda, nga kaniadto gipalambo ang datos sumala sa gitakda nga mga kondisyon, ug gitipigan kini sa usa ka komon nga pagtipig. Sa kinatibuk-an, nag-deploy kami og tulo ka mga gimbuhaton nga naghimo og mga desisyon sa umaabot nga mga aplikasyon ug 4 nga mga serbisyo sa pagpalambo sa datos. Pagkahuman sa pagsumite sa aplikasyon, nadawat sa kliyente ang among desisyon:

Gawas pa sa pagdumili o pag-apruba, ang kliyente nakadawat usab usa ka lista sa ubang mga produkto, mga hangyo nga among gipadala nga managsama. Mao kini ang paagi nga among gipakita ang posibilidad sa cross-sale sa among plataporma.

Adunay kinatibuk-an nga 3 nga dili tinuod nga mga produkto sa bangko nga magamit:

• Pautang.
• Usa ka dulaan
• Pagpautang.

Atol sa demonstrasyon, among gipakatap ang giandam nga mga function ug enrichment script para sa matag serbisyo.

Ang matag lagda nanginahanglan sa kaugalingon nga set sa input data. Busa, aron maaprobahan ang usa ka utang, among gikalkulo ang zodiac sign sa kliyente ug gikonektar kini sa lohika sa lunar nga kalendaryo. Aron maaprobahan ang usa ka dulaan, among gisusi nga ang kliyente nakaabot na sa edad sa kadaghanan, ug sa pag-isyu sa usa ka pautang, nagpadala kami og hangyo sa usa ka eksternal nga bukas nga serbisyo alang sa pagtino sa cellular operator, ug usa ka desisyon ang gihimo niini.

Among gisulayan ang paghimo sa among demonstrasyon nga makapaikag ug interactive, ang tanan nga mitambong mahimong moadto sa among porma ug susihon ang pagkaanaa sa among fictional nga mga serbisyo ngadto kanila. Ug sa katapusan sa presentasyon, among gipakita ang analytics sa nadawat nga mga aplikasyon, nga nagpakita kon pila ka tawo ang migamit sa among serbisyo, ang gidaghanon sa mga pag-apruba, ug mga pagdumili.

Aron makolekta ang analytics online, nagbutang usab kami usa ka bukas nga gigikanan nga himan sa BI Metabase ug gibutang kini sa among storage unit. Gitugotan ka sa Metabase sa paghimo og mga screen nga adunay analytics sa datos nga nakapainteres kanamo; kinahanglan nimo nga magparehistro sa usa ka koneksyon sa database, pagpili sa mga lamesa (sa among kaso, mga koleksyon sa datos, tungod kay gigamit namon ang MongoDB), ug ipiho ang mga natad sa interes kanamo. .

Ingon usa ka sangputanan, nakakuha kami usa ka maayo nga prototype sa usa ka plataporma sa paghimog desisyon, ug sa panahon sa demonstrasyon, ang matag tigpaminaw mahimong personal nga susihon ang pasundayag niini. Ang usa ka makapaikag nga solusyon, usa ka nahuman nga prototype ug usa ka malampuson nga demonstrasyon nagtugot kanamo nga makadaog, bisan pa sa kusog nga kompetisyon gikan sa ubang mga koponan. Sigurado ko nga ang usa ka makapaikag nga artikulo mahimo usab nga isulat sa proyekto sa matag team.

Source: www.habr.com