Sannu, sunana Evgeniy. Ina aiki a cikin kayan aikin bincike na Yandex.Market. Ina so in gaya wa al'ummar Habr game da kicin na cikin Kasuwa - kuma ina da abubuwa da yawa da zan fada. Da farko, yadda binciken Kasuwa ke aiki, tsari da gine-gine. Yaya za mu magance yanayin gaggawa: menene zai faru idan uwar garken ɗaya ya faɗi? Idan akwai irin waɗannan sabar guda 100 fa?
Hakanan zaku koyi yadda muke aiwatar da sabbin ayyuka akan gungun sabobin lokaci guda. Kuma yadda muke gwada hadaddun ayyuka kai tsaye a cikin samarwa, ba tare da haifar da wata damuwa ga masu amfani ba. Gabaɗaya, yadda binciken Kasuwa ke aiki don kowa ya sami daɗi.
Kadan game da mu: wace matsala muke warware
Lokacin da ka shigar da rubutu, bincika samfur ta sigogi, ko kwatanta farashi a cikin shaguna daban-daban, ana aika duk buƙatun zuwa sabis ɗin nema. Bincike shine sabis mafi girma a cikin Kasuwa.
Muna aiwatar da duk buƙatun nema: daga kasuwannin yanar gizo.yandex.ru, beru.ru, sabis ɗin Supercheck, Yandex.Advisor, aikace-aikacen hannu. Mun kuma haɗa da tayin samfur a cikin sakamakon bincike akan yandex.ru.
Ta hanyar sabis na bincike ina nufin ba kawai binciken kanta ba, har ma da bayanan bayanai tare da duk tayin akan Kasuwa. Ma'aunin shine wannan: ana aiwatar da buƙatun nema sama da biliyan ɗaya kowace rana. Kuma komai ya kamata yayi aiki da sauri, ba tare da katsewa ba kuma koyaushe yana samar da sakamakon da ake so.
Menene menene: Gine-ginen kasuwa
Zan yi bayanin gine-ginen Kasuwa a taƙaice. Za a iya kwatanta shi ta hanyar zanen da ke ƙasa:
Bari mu ce kantin abokin tarayya ya zo mana. Ya ce ina so in sayar da abin wasan yara: wannan mugun cat mai ƙugiya. Da kuma wani katon fushi ba tare da squeaker ba. Kuma cat kawai. Sannan kantin yana buƙatar shirya tayin da Kasuwa ke nema. Shagon yana haifar da xml na musamman tare da tayi kuma yana isar da hanyar zuwa wannan xml ta hanyar haɗin haɗin gwiwa. Daga nan sai mai nuna alama lokaci-lokaci zazzage wannan xml, yana bincika kurakurai kuma yana adana duk bayanan cikin babban rumbun adana bayanai.
Akwai da yawa irin waɗannan xmls da aka ajiye. An ƙirƙiri fihirisar bincike daga wannan bayanan. Ana adana fihirisar a cikin tsari na ciki. Bayan ƙirƙirar fihirisar, sabis ɗin Layout yana loda shi zuwa sabobin bincike.
A sakamakon haka, cat mai fushi tare da squeaker ya bayyana a cikin bayanan bayanai, kuma ma'anar cat ta bayyana akan uwar garke.
Zan gaya muku yadda muke nemo cat a cikin ɓangaren game da gine-ginen bincike.
Gine-ginen bincike na kasuwa
Muna rayuwa a cikin duniyar microservices: kowane buƙatun mai shigowa yana haifar da buƙatu da yawa, kuma ayyuka da yawa suna shiga cikin sarrafa su. Jadawalin yana nuna kaɗan kawai:
Tsarin sarrafa buƙatun Sauƙaƙe
Kowane sabis yana da abu mai ban mamaki - ma'auni na kansa tare da suna na musamman:
Ma'auni yana ba mu ƙarin sassauci a cikin sarrafa sabis: zaka iya, alal misali, kashe sabar, wanda galibi ana buƙatar sabuntawa. Mai daidaitawa yana ganin cewa babu uwar garken kuma yana tura buƙatun kai tsaye zuwa wasu sabar ko cibiyoyin bayanai. Lokacin ƙara ko cire uwar garken, ana sake rarraba nauyin ta atomatik tsakanin sabobin.
Sunan na musamman na ma'auni bai dogara da cibiyar bayanai ba. Lokacin da sabis A yayi buƙatu zuwa B, sannan ta tsohuwar ma'auni B yana tura buƙatar zuwa cibiyar bayanai na yanzu. Idan babu sabis ɗin ko babu a cikin cibiyar bayanai na yanzu, to ana tura buƙatar zuwa wasu cibiyoyin bayanai.
FQDN guda ɗaya don duk cibiyoyin bayanai yana ba da damar sabis na A gabaɗaya daga wurare. Bukatarsa ga sabis na B za a sarrafa shi koyaushe. Banda shi ne yanayin lokacin da sabis ɗin ke samuwa a duk cibiyoyin bayanai.
Amma ba duk abin da ke da rosy tare da wannan ma'auni ba: muna da ƙarin matsakaicin bangaren. Ma'auni na iya zama mara ƙarfi, kuma ana magance wannan matsalar ta sabobin sabobin. Hakanan akwai ƙarin jinkiri tsakanin sabis na A da B. Amma a aikace bai wuce 1 ms ba kuma ga yawancin ayyuka wannan ba shi da mahimmanci.
Ma'amala da abubuwan da ba a zata: Ma'auni na Sabis ɗin Bincike da Tsayawa
Ka yi tunanin cewa akwai rushewa: kana buƙatar nemo cat tare da squeaker, amma uwar garken ya rushe. Ko kuma sabobin 100. Yadda ake fita? Shin da gaske za mu bar mai amfani ba tare da cat ba?
Lamarin yana da ban tsoro, amma a shirye muke. Zan gaya muku cikin tsari.
Kayan aikin bincike yana cikin cibiyoyin bayanai da yawa:
Lokacin zayyana, mun haɗa da yiwuwar rufe cibiyar bayanai ɗaya. Rayuwa tana cike da abubuwan ban mamaki - alal misali, mai tono zai iya yanke kebul na karkashin kasa (eh, hakan ya faru). Ƙarfin da ke cikin sauran cibiyoyin bayanai ya kamata ya isa ya jure babban nauyi.
Bari mu yi la'akari da cibiyar bayanai guda ɗaya. Kowace cibiyar bayanai tana da tsarin aiki mai daidaitawa iri ɗaya:
Ma'auni ɗaya shine aƙalla sabobin jiki uku. An yi wannan sakewa don amintacce. Masu daidaitawa suna gudana akan HAProx.
Mun zaɓi HAProx saboda babban aikinsa, ƙananan buƙatun albarkatun da ayyuka masu faɗi. Software na bincikenmu yana gudana a cikin kowace uwar garken.
Yiwuwar gazawar uwar garken guda ɗaya yayi ƙasa. Amma idan kuna da sabar da yawa, yuwuwar cewa aƙalla ɗaya zai ragu yana ƙaruwa.
Wannan shine abin da ke faruwa a gaskiya: sabobin sun fadi. Saboda haka, wajibi ne a ci gaba da lura da matsayin duk sabobin. Idan uwar garken ya daina amsawa, za a cire haɗin kai tsaye daga zirga-zirga. Don wannan dalili, HAProxy yana da ginanniyar binciken lafiya. Yana zuwa duk sabar sau ɗaya a cikin daƙiƙa tare da buƙatar HTTP "/ ping".
Wani fasali na HAProxy: wakili-check yana ba ku damar ɗaukar duk sabobin daidai. Don yin wannan, HAProxy ya haɗa zuwa duk sabobin, kuma suna mayar da nauyin su dangane da nauyin da ake ciki na yanzu daga 1 zuwa 100. An ƙididdige nauyin nauyin bisa ga adadin buƙatun a cikin layi don sarrafawa da kuma nauyin mai sarrafawa.
Yanzu game da gano cat. Sakamakon bincike a cikin buƙatun kamar: /search?rubutu=fushi+cat. Domin binciken ya yi sauri, duk ma'aunin cat dole ne ya dace da RAM. Ko karantawa daga SSD baya saurin isa.
A wani lokaci, bayanan tayin ya kasance kadan, kuma RAM na uwar garken daya ya ishe shi. Yayin da tushen tayin ya girma, komai bai dace da wannan RAM ba, kuma an raba bayanan zuwa sassa biyu: shard 1 da shard 2.
Amma wannan koyaushe yana faruwa: kowace mafita, ko da mai kyau, yana haifar da wasu matsaloli.
Mai daidaitawa har yanzu ya tafi kowace sabar. Amma akan na'urar da buƙatun ya zo, akwai rabin ma'anar. Sauran sun kasance a kan wasu sabobin. Saboda haka, uwar garken dole ne ya je zuwa wasu na'ura makwabta. Bayan karɓar bayanai daga sabobin biyu, an haɗa sakamakon kuma an sake sanya su.
Tun da ma'auni yana rarraba buƙatun daidai gwargwado, duk sabobin sun tsunduma cikin sake yin matsayi, kuma ba kawai aika bayanai ba.
Matsalar ta faru idan babu uwar garken makwabta. Maganin shine a ƙayyade sabar da yawa tare da fifiko daban-daban a matsayin uwar garken "maƙwabta". Da farko, an aika buƙatar zuwa ga sabobin a cikin rak ɗin yanzu. Idan babu amsa, an aika buƙatar zuwa duk sabar da ke cikin wannan cibiyar bayanai. Kuma a ƙarshe, buƙatar ta tafi zuwa wasu cibiyoyin bayanai.
Yayin da adadin shawarwari ya karu, an raba bayanan zuwa sassa hudu. Amma wannan ba iyaka ba ne.
A halin yanzu, ana amfani da tsari na shards takwas. Bugu da ƙari, don adana ƙarin ƙwaƙwalwar ajiya, an raba fihirisar zuwa ɓangaren bincike (wanda ake amfani da shi don bincike) da snippet part (wanda ba ya shiga cikin binciken).
Sabar ɗaya tana ƙunshe da bayani don shard ɗaya kawai. Don haka, don bincika cikakken fihirisar, kuna buƙatar bincika sabobin guda takwas masu ɗauke da shards daban-daban.
An haɗa sabar zuwa gungu. Kowane gungu ya ƙunshi injunan bincike guda takwas da sabar snippet guda ɗaya.
Sabar snippet tana gudanar da bayanan ƙima mai mahimmanci tare da tsayayyen bayanai. Ana buƙatar su don ba da takardu, alal misali, bayanin cat tare da squeaker. Ana canja bayanan musamman zuwa uwar garken daban don kar a loda ƙwaƙwalwar ajiyar sabar bincike.
Tun da ID ɗin takaddun keɓaɓɓu ne kawai a cikin fihirisa ɗaya, yanayi na iya tasowa inda babu takardu a cikin snippets. To, ko kuma don ID ɗaya za a sami abun ciki daban-daban. Saboda haka, domin binciken ya yi aiki kuma a dawo da sakamakon, akwai buƙatar daidaito a cikin dukan gungu. Zan gaya muku a ƙasa yadda muke saka idanu daidaito.
An tsara binciken da kansa kamar haka: buƙatar neman na iya zuwa kowane sabar takwas. Bari mu ce ya zo uwar garken 1. Wannan uwar garken yana aiwatar da duk gardama kuma ya fahimci menene da yadda ake nema. Dangane da buƙatar mai shigowa, uwar garken na iya yin ƙarin buƙatun zuwa sabis na waje don mahimman bayanai. Buƙata ɗaya za a iya biye da buƙatun har zuwa goma zuwa sabis na waje.
Bayan tattara bayanan da ake buƙata, bincike yana farawa a cikin bayanan tayin. Don yin wannan, ana yin subqueries ga duk sabar guda takwas da ke cikin gungu.
Da zarar an karɓi martani, ana haɗa sakamakon. A ƙarshe, ana iya buƙatar ƙarin ƙarin tambayoyi ga uwar garken snippet don samar da sakamako.
Tambayoyin nema a cikin gungu yayi kama da: /shard1?text=fushi+cat. Bugu da kari, ana yin subqueries na fom akai-akai tsakanin duk sabobin da ke cikin gungu sau ɗaya a cikin daƙiƙa guda: / hali.
Nemi / hali yana gano yanayin inda uwar garken baya samuwa.
Hakanan yana sarrafa cewa sigar injin bincike da sigar index iri ɗaya ce akan duk sabobin, in ba haka ba za a sami bayanan da ba su dace ba a cikin gungu.
Duk da cewa snippet uwar garken guda ɗaya yana aiwatar da buƙatun daga injunan bincike guda takwas, na'urar sarrafa sa tana da nauyi sosai. Don haka, yanzu muna canja wurin bayanan snippet zuwa wani sabis na daban.
Don canja wurin bayanai, mun gabatar da maɓallan duniya don takardu. Yanzu ba shi yiwuwa ga halin da ake ciki inda aka dawo da abun ciki daga wata takarda ta amfani da maɓalli ɗaya.
Amma sauyi zuwa wani gine-gine bai cika ba tukuna. Yanzu muna so mu kawar da uwar garken snippet da aka sadaukar. Sannan a nisantar da tsarin tari gaba ɗaya. Wannan zai ba mu damar ci gaba da ma'auni cikin sauƙi. Ƙarin kari shine mahimmin tanadin ƙarfe.
Kuma yanzu zuwa labarai masu ban tsoro tare da kyakkyawan ƙarshe. Bari mu yi la'akari da lokuta da yawa na rashin samuwar uwar garke.
Wani mugun abu ya faru: babu sabar guda ɗaya
Bari mu ce babu uwar garken guda ɗaya. Sa'an nan sauran sabobin a cikin gungu na iya ci gaba da amsawa, amma sakamakon binciken ba zai cika ba.
Ta hanyar duba hali / hali sabobin makwabta sun fahimci cewa babu daya. Don haka, don kiyaye cikar, duk sabar da ke cikin gungu kowace buƙata /ping suka fara amsa ma'auni cewa su ma babu su. Ya zama cewa duk sabobin da ke cikin gungu sun mutu (wanda ba gaskiya bane). Wannan shi ne babban koma baya na tsarin gungu namu - shi ya sa muke so mu rabu da shi.
Buƙatun da suka gaza tare da kuskure ana aika su ta wurin ma'auni akan wasu sabobin.
Ma'auni kuma yana dakatar da aika zirga-zirgar mai amfani zuwa ga matattun sabar, amma ya ci gaba da duba matsayinsu.
Lokacin da uwar garken ya samu, zai fara amsawa /ping. Da zaran martani na yau da kullun ga pings daga matattun sabar sun fara isowa, masu daidaitawa za su fara aika zirga-zirgar mai amfani a wurin. An dawo da aikin gungu, sauri.
Ko da mafi muni: yawancin sabobin ba su samuwa
An yanke wani muhimmin sashi na sabobin a cikin cibiyar bayanai. Abin da za a yi, inda za a gudu? Mai daidaitawa ya sake zuwa don ceto. Kowane ma'auni koyaushe yana adanawa a cikin ƙwaƙwalwar ajiyar adadin sabobin rayuwa na yanzu. Kullum yana ƙididdige iyakar adadin zirga-zirgar da cibiyar bayanai ta yanzu za ta iya aiwatarwa.
Lokacin da yawancin sabobin a cikin cibiyar bayanai sun sauka, mai daidaitawa ya gane cewa wannan cibiyar ba za ta iya sarrafa duk zirga-zirga ba.
Sa'an nan kuma za a fara rarraba yawan zirga-zirgar ababen hawa zuwa wasu cibiyoyin bayanai. Komai yana aiki, kowa yana farin ciki.
Yadda za mu yi shi: bugu na sakewa
Yanzu bari muyi magana game da yadda muke buga canje-canjen da aka yi ga sabis ɗin. Anan mun ɗauki hanyar sauƙaƙa matakai: mirgine fitar da sabon saki kusan gabaɗaya mai sarrafa kansa.
Lokacin da aka tara takamaiman adadin canje-canje a cikin aikin, sabon sakin zai ƙirƙira ta atomatik kuma gininsa yana farawa.
Sannan ana mirgine sabis ɗin don gwaji, inda aka duba kwanciyar hankali na aiki.
A lokaci guda, ana ƙaddamar da gwajin aiki ta atomatik. Sabis na musamman ne ke sarrafa wannan. Ba zan yi magana game da shi yanzu - bayaninsa ya cancanci wani labarin daban.
Idan bugawa a gwaji ya yi nasara, za a fara buga fitowar a cikin prestable ta atomatik. Prestable gungu ne na musamman inda ake jagorantar zirga-zirgar mai amfani na yau da kullun. Idan ya dawo da kuskure, ma'auni yana sake buƙatar samarwa.
A cikin abin da za a iya tantancewa, ana auna lokutan amsa kuma idan aka kwatanta da sakin da ya gabata a samarwa. Idan komai yana da kyau, to, mutum ya haɗa: yana duba jadawali da sakamakon gwajin lodi sannan ya fara birgima don samarwa.
Duk mafi kyau yana zuwa ga mai amfani: gwajin A/B
Ba koyaushe bane a bayyane ko canje-canje ga sabis zai kawo fa'idodi na gaske. Don auna amfanin canje-canje, mutane sun fito da gwajin A/B. Zan gaya muku kadan game da yadda yake aiki a cikin binciken Yandex.Market.
Duk yana farawa tare da ƙara sabon ma'aunin CGI wanda ke ba da damar sabbin ayyuka. Bari sigar mu ta kasance: market_new_functionality=1. Sannan a cikin lambar muna kunna wannan aikin idan tutar tana nan:
If (cgi.experiments.market_new_functionality) {
// enable new functionality
}Ana fitar da sabbin ayyuka don samarwa.
Don sarrafa gwajin A/B, akwai sabis na sadaukarwa wanda ke ba da cikakkun bayanai . An ƙirƙiri gwaji a cikin sabis ɗin. An saita rabon zirga-zirga, misali, 15%. Ba a saita kashi ɗari ba don tambayoyi ba, amma don masu amfani. Ana kuma nuna tsawon lokacin gwajin, misali, mako guda.
Ana iya gudanar da gwaje-gwaje da yawa a lokaci guda. A cikin saitunan za ku iya tantance ko haɗuwa tare da wasu gwaje-gwajen yana yiwuwa.
Sakamakon haka, sabis ɗin yana ƙara gardama ta atomatik market_new_functionality=1 zuwa 15% na masu amfani. Hakanan yana ƙididdige ma'aunin da aka zaɓa ta atomatik. Bayan an kammala gwajin, manazarta suna duba sakamakon kuma su yanke shawara. Dangane da binciken, an yanke shawara don ƙaddamar da samarwa ko haɓakawa.
Hannun hannu na kasuwa: gwaji a samarwa
Sau da yawa yakan faru cewa kuna buƙatar gwada aikin sabon aiki a cikin samarwa, amma ba ku da tabbacin yadda za ta kasance a cikin yanayin "yaƙin" a ƙarƙashin nauyi mai nauyi.
Akwai mafita: ana iya amfani da tutoci a cikin sigogi na CGI ba kawai don gwajin A / B ba, har ma don gwada sabbin ayyuka.
Mun yi kayan aiki wanda ke ba ku damar canza tsari nan take akan dubban sabobin ba tare da fallasa sabis ɗin ga haɗari ba. Ana kiranta Taɓa Taɓa. Tunanin asali shine a iya kashe wasu ayyuka da sauri ba tare da shimfidawa ba. Sa'an nan kayan aiki ya fadada kuma ya zama mai rikitarwa.
An gabatar da jadawalin tafiyar sabis a ƙasa:
Ana saita ƙimar tuta ta hanyar API. Sabis na gudanarwa yana adana waɗannan dabi'u a cikin ma'ajin bayanai. Duk sabobin suna zuwa rumbun adana bayanai sau ɗaya kowane daƙiƙa goma, suna fitar da ƙimar tuta kuma suyi amfani da waɗannan ƙimar ga kowace buƙata.
A cikin Taɓa za ku iya saita dabi'u iri biyu:
1) Kalamai na sharadi. Aiwatar lokacin da ɗaya daga cikin ƙimar gaskiya ne. Misali:
{
"condition":"IS_DC1",
"value":"3",
},
{
"condition": "CLUSTER==2 and IS_BERU",
"value": "4!"
}Za a yi amfani da ƙimar "3" lokacin da aka aiwatar da buƙatar a wurin DC1. Kuma ƙimar ita ce "4" lokacin da aka aiwatar da buƙatar akan gungu na biyu don rukunin yanar gizon beru.ru.
2) Dabi'u marasa ka'ida. Aiwatar ta tsohuwa idan babu ɗayan sharuɗɗan da aka cika. Misali:
daraja, daraja!
Idan ƙima ta ƙare da ma'anar motsin rai, ana ba ta fifiko mafi girma.
Matsakaicin ma'aunin CGI yana tantance URL. Sa'an nan kuma amfani da dabi'u daga Tsaya Tap.
Ana amfani da ƙima tare da abubuwan fifiko masu zuwa:
- Tare da ƙarin fifiko daga Taɓa Tasha (alamar faɗa).
- Ƙimar daga buƙatar.
- Tsohuwar ƙimar daga Tsaya tap.
- Tsohuwar ƙimar a lamba.
Akwai tutoci da yawa waɗanda aka nuna a cikin sharuddan dabi'u - sun isa ga duk yanayin da muka sani:
- Cibiyar bayanai.
- Muhalli: samarwa, gwaji, inuwa.
- Wuri: kasuwa, beru.
- Lambar tari.
Tare da wannan kayan aiki, zaku iya kunna sabbin ayyuka akan wasu rukunin sabar (misali, a cikin cibiyar bayanai ɗaya kawai) kuma gwada aikin wannan aikin ba tare da wani haɗari na musamman ga duk sabis ɗin ba. Ko da kun yi babban kuskure a wani wuri, komai ya fara faɗuwa kuma duk cibiyar bayanai ta ragu, masu daidaitawa za su tura buƙatun zuwa sauran cibiyoyin bayanai. Ƙarshen masu amfani ba za su lura da komai ba.
Idan kun lura da matsala, nan da nan zaku iya mayar da tuta zuwa ƙimarta ta baya kuma za'a juya sauye-sauyen.
Hakanan wannan sabis ɗin yana da ƙarancinsa: masu haɓakawa suna son shi sosai kuma galibi suna ƙoƙarin tura duk canje-canje a cikin Tsaya Tap. Muna ƙoƙarin yaƙi da rashin amfani.
Hanyar Taɓa Taɓa tana aiki da kyau lokacin da kun riga kun sami tabbataccen lamba a shirye don fitar da ku zuwa samarwa. A lokaci guda, har yanzu kuna da shakku, kuma kuna son bincika lambar a cikin yanayin "yaƙi".
Koyaya, Tap Tap bai dace da gwaji yayin haɓakawa ba. Akwai wani gungu daban don masu haɓakawa da ake kira “gungu inuwa”.
Gwajin Sirrin: Tarin Inuwa
Buƙatun ɗaya daga cikin gungu ana kwafi su zuwa gunkin inuwa. Amma ma'auni gaba ɗaya yayi watsi da martani daga wannan tari. An gabatar da zane na aikin sa a ƙasa.
Muna samun gungu na gwaji wanda ke cikin ainihin yanayin "yaƙin". Yawan zirga-zirgar mai amfani na yau da kullun yana zuwa wurin. Kayan aikin da ke cikin gungu biyu iri ɗaya ne, don haka ana iya kwatanta aiki da kurakurai.
Kuma tun da ma'auni gaba ɗaya ya yi watsi da martani, masu amfani na ƙarshe ba za su ga martani daga gunkin inuwa ba. Saboda haka, ba abin tsoro ba ne a yi kuskure.
binciken
Don haka, ta yaya muka gina binciken Kasuwa?
Don yin komai ya tafi daidai, muna raba ayyuka zuwa ayyuka daban-daban. Ta wannan hanyar za mu iya auna ma'auni kawai abubuwan da muke buƙata kuma mu sanya abubuwan da suka fi sauƙi. Yana da sauƙi don sanya wani sashi na daban ga wata ƙungiya kuma raba nauyin aiki a kai. Kuma babban tanadi a cikin ƙarfe tare da wannan hanya shine ƙari a bayyane.
Tarin inuwa kuma yana taimaka mana: za mu iya haɓaka ayyuka, gwada su a cikin tsari kuma kada mu dame mai amfani.
To, gwaji a cikin samarwa, ba shakka. Kuna buƙatar canza tsari akan dubban sabobin? Sauƙi, yi amfani da Taɓa Tasha. Ta wannan hanyar za ku iya nan da nan mirgine wani hadadden bayani da aka yi da shi kuma ku koma ga barga idan matsaloli suka taso.
Ina fata na sami damar nuna yadda muke sa Kasuwa cikin sauri da kwanciyar hankali tare da haɓaka tushen tayi. Yadda muke warware matsalolin uwar garken, magance buƙatun ɗimbin yawa, haɓaka sassaucin sabis ɗin kuma yin wannan ba tare da katse ayyukan aiki ba.
source: www.habr.com