Binciken da aka rarraba: mun yi duk ba daidai ba

Lura. fassara: Marubucin wannan abu shine Cindy Sridharan, injiniya a imgix wanda ya ƙware a ci gaban API kuma, musamman, gwajin microservice. A cikin wannan kayan, ta ba da cikakken hangen nesanta game da matsalolin da ake fuskanta a halin yanzu a fagen binciken da aka rarraba, inda, a ra'ayinta, akwai rashin ingantaccen kayan aiki don magance matsalolin matsananciyar matsala.

Binciken da aka rarraba: mun yi duk ba daidai ba
[Hoto daga sauran kayan game da gano rarrabawa.]

An yi imani cewa ganowa rarraba da wahalar aiwatarwa, da komawa akansa shakka a mafi kyau. Akwai dalilai da yawa da ya sa ganowa ke da matsala, galibi ana yin la'akari da aikin da ke cikin daidaita kowane ɓangaren tsarin don watsa madaidaitan rubutun da suka dace tare da kowace buƙata. Ko da yake wannan matsalar tana nan, amma ba za a iya shawo kanta ba. Af, bai bayyana dalilin da yasa masu haɓakawa ba sa son ganowa sosai (ko da ya riga ya fara aiki).

Babban ƙalubale tare da ganowa da aka rarraba shine rashin tattara bayanai, daidaita tsarin don rarrabawa da gabatar da sakamako, ko ƙayyade lokacin, inda, da yadda za'a yi samfuri. Ba ina ƙoƙarin yin tunani ba maras muhimmanci waɗannan "matsalolin fahimta", a zahiri, fasaha ne masu mahimmanci kuma (idan muna la'akari da Buɗe tushen gaske) ka'idoji da ka'idoji) kalubalen siyasa da ya kamata a shawo kan wadannan matsalolin domin a yi la'akarin magance wadannan matsalolin.

Duk da haka, idan muka yi tunanin cewa duk waɗannan matsalolin an warware su, akwai yiwuwar cewa babu wani abu da zai canza sosai dangane da matsalolin. ƙwarewar mai amfani ta ƙarshe. Binciken na iya har yanzu ba zai kasance da amfani mai amfani ba a cikin mafi yawan al'amuran gyara kurakurai-ko da bayan an tura shi.

Irin wannan alama daban

Binciken da aka rarraba ya ƙunshi abubuwa daban-daban:

  • kayan aiki aikace-aikace da tsaka-tsaki tare da kayan aikin sarrafawa;
  • canja wurin mahallin rarraba;
  • tarin alamu;
  • alamar ajiya;
  • cirewar su da hangen nesa.

Yawancin magana game da ganowa da aka rarraba suna kula da shi azaman wani nau'in aiki mara kyau wanda kawai manufarsa shine don taimakawa cikakken tantance tsarin. Wannan ya samo asali ne saboda yadda ra'ayoyin game da rarrabawar ganowa suka kasance tarihi. IN shigarwar blog, wanda aka yi lokacin da aka buɗe majiyoyin Zipkin, an ambaci cewa shi [Zipkin] yana sa Twitter sauri. An kuma inganta hadayun kasuwanci na farko don ganowa azaman Kayan aikin APM.

Lura. fassara: Don ƙarin sauƙin fahimtar rubutu, bari mu ayyana mahimman kalmomi guda biyu bisa ga Takardun aikin OpenTracing:

  • span - ainihin kashi na rarraba rarraba. Bayani ne na wasu kwararar aiki (misali, tambayar bayanan bayanai) tare da suna, lokacin farawa da ƙarshen ƙarshe, tags, logs da mahallin.
  • Matsakaicin yawanci yana ƙunshe da hanyoyin haɗin kai zuwa wasu tazara, yana ba da damar haɗa tazara da yawa a ciki Gano - hangen nesa na rayuwar buƙatun yayin da yake tafiya ta tsarin da aka rarraba.

Hanyoyi sun ƙunshi bayanai masu mahimmanci masu mahimmanci waɗanda zasu iya taimakawa tare da ayyuka kamar gwajin samarwa, gwajin dawo da bala'i, gwajin alluran kuskure, da sauransu. A gaskiya ma, wasu kamfanoni sun riga sun yi amfani da bincike don dalilai iri ɗaya. Mu fara da canja wurin mahallin duniya yana da wasu amfani ban da kawai motsi tazara zuwa tsarin ajiya:

  • Misali, Uber amfani gano sakamako don bambance tsakanin zirga-zirgar gwaji da zirga-zirgar samarwa.
  • Facebook amfani bayanan gano don nazarin hanya mai mahimmanci da kuma canjin zirga-zirga yayin gwaje-gwajen dawo da bala'i na yau da kullun.
  • Haka kuma social network ya shafi Littattafan rubutu na Jupyter waɗanda ke ba masu haɓaka damar gudanar da tambayoyin sabani akan sakamakon ganowa.
  • Mabiya LFI (Injection Failure Injection) amfani alamun da aka rarraba don gwaji tare da allurar kuskure.

Babu ɗayan zaɓuɓɓukan da aka jera a sama gaba ɗaya da ya shafi yanayin gyara kuskure, lokacin da injiniyan ya yi ƙoƙarin magance matsalar ta hanyar duba alamar.

Idan ya zo tukuna ya kai rubutun gyara kurakurai, babban abin dubawa ya kasance zane duban gani (ko da yake wasu ma suna kiransa "Gantt ginshiƙi" ko "tsarin ruwa"). Karkashin duban gani я ina nufin duk tazara da rakiyar metadata waɗanda suka haɗa da alamar. Kowane tsarin gano tushen buɗaɗɗen buɗaɗɗiya, da kuma kowane mafita na neman kasuwanci, yana ba da a duban gani mai amfani don gani, dalla-dalla da tace alamun.

Matsalar duk tsarin bin diddigin da na gani zuwa yanzu shine sakamakon hakan gani (traceview) kusan gaba ɗaya yana nuna fasalin tsarin samar da alama. Ko da lokacin da aka gabatar da wasu abubuwan hangen nesa: taswirar zafi, topologies sabis, bayanan latency, har yanzu suna zuwa ga ƙarshe. duban gani.

A baya I korafi cewa galibin "sababbin sabbin abubuwa" a cikin binciken UI/UX da alama sun iyakance su kunnawa ƙarin metadata a cikin ganowa, saka hannun jari a cikin su bayanai tare da babban farin ciki (High-Cardinality) ko samar da ikon yin rawar jiki zuwa takamaiman tazara ko gudanar da tambayoyi inter- da intra-trace... A ciki duban gani ya kasance kayan aikin gani na farko. Muddin wannan yanayin ya ci gaba, ganowa da aka rarraba (mafi kyau) zai ɗauki matsayi na 4 a matsayin kayan aiki na gyarawa, bayan ma'auni, gungumen azaba da tari, kuma mafi munin zai zama asarar kuɗi da lokaci.

Matsala tare da duba

Manufar duban gani - ba da cikakken hoto na motsi na buƙatun guda ɗaya a duk sassan tsarin da aka rarraba wanda yake da alaƙa. Wasu ƙarin ci-gaba na tsarin ganowa suna ba ku damar shiga cikin kowane tazara da duba ɓarna akan lokaci a ciki daya tsari (lokacin da spans da aiki iyakoki).

Tushen tushen gine-ginen microservices shine ra'ayin cewa tsarin tsarin yana girma tare da bukatun kamfanin. Magoya bayan microservices suna jayayya cewa rarraba ayyukan kasuwanci daban-daban zuwa sabis na mutum ɗaya yana ba wa ƙananan ƙungiyoyin ci gaba masu zaman kansu damar sarrafa duk tsawon rayuwar irin waɗannan ayyukan, yana ba su ikon ginawa, gwadawa, da tura waɗannan ayyukan. Koyaya, rashin amfanin wannan rarraba shine asarar bayanai game da yadda kowane sabis ke hulɗa da wasu. A cikin irin wannan yanayi, da'awar ganowa da aka rarraba ta zama kayan aiki da babu makawa gyara kuskure hadaddun hulɗa tsakanin ayyuka.

Idan da gaske kuke tsarin rarrabawa mai rikitarwa, to babu wani mutum guda da zai iya ajiye ta a kansa kammala hoto. A gaskiya ma, haɓaka kayan aiki bisa la'akari da cewa yana yiwuwa har ma yana yiwuwa wani abu ne na tsarin da ba shi da amfani (hanyar da ba ta da tasiri da rashin amfani). Mahimmanci, ƙaddamarwa yana buƙatar kayan aiki wanda ke taimakawa kunkuntar yankin bincikenku, Domin injiniyoyi su iya mayar da hankali kan wani yanki na girma (sabis / masu amfani / runduna, da sauransu) masu dacewa da yanayin matsalar da ake la'akari. Lokacin tantance dalilin gazawar, ba a buƙatar injiniyoyi su fahimci abin da ya faru a lokacin duk ayyuka a lokaci daya, tun da irin wannan buƙatun zai saba wa ainihin ra'ayin gine-ginen microservice.

Koyaya, traceview shine wato Wannan. Ee, wasu tsarin bin diddigin suna ba da matsa lamba lokacin da adadin tazarar da ke cikin binciken ya yi girma da ba za a iya nuna su a gani ɗaya ba. Koyaya, saboda yawan adadin bayanan da ke ƙunshe ko da a cikin irin wannan hangen nesa, injiniyoyi har yanzu tilastawa “sift” shi, da hannu yana ƙunsar zaɓin zuwa saitin ayyuka waɗanda tushen matsaloli ne. Abin takaici, a wannan fanni, injinan suna da sauri fiye da mutane, ba su da saurin kuskure, kuma sakamakonsu ya fi maimaitawa.

Wani dalili kuma da nake ganin binciken binciken ba daidai ba ne saboda ba shi da kyau ga tsinkayar tsinkaya. A ainihinsa, debugging shine maimaitawa wani tsari wanda ya fara da hasashe, sannan ya biyo bayan tabbatar da abubuwan lura daban-daban da hujjoji da aka samo daga tsarin tare da nau'o'i daban-daban, ƙaddamarwa / ƙididdiga da ƙarin ƙima na gaskiyar hasashe.

Dama sauri da arha gwajin hasashe da inganta tsarin tunani daidai yake ginshiƙi gyara kurakurai Duk wani kayan aikin gyara ya kamata ya kasance m kuma kunkuntar sararin binciken ko, a cikin yanayin gubar ƙarya, ƙyale mai amfani ya koma baya ya mai da hankali kan wani yanki na tsarin. Cikakken kayan aiki zai yi wannan a hankali, nan da nan ya jawo hankalin mai amfani zuwa wuraren da za a iya samun matsala.

Kash, duban gani ba za a iya kiransa kayan aiki tare da mu'amala mai mu'amala ba. Mafi kyawun abin da za ku iya fata lokacin amfani da shi shine nemo wasu tushen haɓakar latency kuma duba duk yuwuwar alamun da rajistan ayyukan da ke da alaƙa da shi. Wannan baya taimakawa injiniyan ganowa alamu a cikin zirga-zirga, kamar ƙayyadaddun ƙayyadaddun rarraba jinkiri, ko gano alaƙa tsakanin ma'aunai daban-daban. Gabaɗaya binciken ganowa na iya taimakawa wajen shawo kan wasu matsalolin. Hakika, akwai misalai bincike mai nasara ta amfani da koyo na na'ura don gano abubuwan da ba su da kyau da kuma gano wani yanki na tags waɗanda ƙila suna da alaƙa da halaye marasa kyau. Duk da haka, har yanzu ban ga tursasawa na koyan na'ura ko binciken haƙar ma'adinan bayanai da aka yi amfani da su a cikin ɓangarorin da suka sha bamban da na gani ko DAG (jafin acyclic da aka jagoranta).

Matsakaicin matakin ƙasa kaɗan ne

Matsala ta asali tare da kallon binciken ita ce iyakoki su ne ma ƙananan matakan farko don nazarin latency da kuma tushen bincike. Yana kama da tantance umarnin mai sarrafawa na mutum don ƙoƙarin warware wani keɓantawa, sanin cewa akwai kayan aikin da yawa masu girma kamar backtrace waɗanda suka fi dacewa da aiki da su.

Bugu da ƙari, zan ɗauki 'yancin tabbatar da waɗannan abubuwa: a zahiri, ba ma buƙata cikakken hoto ya faru a lokacin buƙatun rayuwa, wanda kayan aikin gano na zamani ke wakilta. Madadin haka, ana buƙatar wani nau'i na abstraction mafi girma wanda ya ƙunshi bayani game da menene yayi kuskure (mai kama da baya), tare da wasu mahallin. Maimakon kallon duka alamar, na fi son ganin shi bangare na, inda wani abu mai ban sha'awa ko sabon abu ya faru. A halin yanzu, ana gudanar da binciken da hannu: injiniyan injiniya yana karɓar alamar kuma yana yin la'akari da kansa don neman wani abu mai ban sha'awa. Hanyar da mutane ke kallon tazara a cikin alamomin mutum ɗaya cikin bege na gano ayyukan da ake tuhuma ba su da girma ko kaɗan (musamman lokacin da suke da ma'anar duk metadata da aka ɓoye a cikin fage daban-daban, kamar ID span, sunan hanyar RPC, tsawon lokaci. 'a, logs, tags, da dai sauransu).

Madadin zuwa duba

Sakamakon binciken yana da amfani lokacin da za'a iya ganin su ta hanyar da ke ba da haske maras muhimmanci ga abin da ke faruwa a sassan tsarin haɗin gwiwa. Har sai wannan ya faru, tsarin gyara kuskure ya kasance ya kasance rashin aiki kuma ya dogara da ikon mai amfani don lura da alaƙar da suka dace, bincika sassan tsarin da suka dace, ko haɗa sassan wasanin gwada ilimi tare - sabanin haka. kayan aiki, taimaka wa mai amfani ya tsara waɗannan hasashe.

Ni ba mai zanen gani bane ko ƙwararren UX, amma a cikin sashe na gaba ina so in raba ra'ayoyi kan yadda waɗannan abubuwan gani za su yi kama.

Mayar da hankali kan takamaiman ayyuka

A lokacin da masana'antu ke ƙarfafawa game da ra'ayoyi SLO (manufofin matakin sabis) da SLI (masu nuna matakin sabis), yana da ma'ana cewa ƙungiyoyi guda ɗaya su ba da fifiko don tabbatar da ayyukansu sun daidaita da waɗannan manufofin. Ya biyo bayan haka sabis daidaitacce hangen nesa ya fi dacewa da irin waɗannan ƙungiyoyi.

Hanyoyi, musamman ma ba tare da samfur ba, tarin bayanai ne game da kowane ɓangaren tsarin da aka rarraba. Ana iya ciyar da wannan bayanin zuwa na'ura mai wayo wanda zai samar da masu amfani sabis daidaitacce Ana iya gano su a gaba - tun ma kafin mai amfani ya kalli alamun:

  1. Jadawalin rarraba latency kawai don fitattun buƙatun (buƙatun na musamman);
  2. Zane-zane na rarraba jinkiri don lokuta lokacin da ba a cimma burin SLO na sabis ba;
  3. Mafi “na kowa”, “mai ban sha’awa” da “m” tags a cikin tambayoyin da suka fi yawa ana maimaituwa;
  4. Rushewar latency don lokuta inda halin da ake ciki ayyuka ba sa cimma burin SLO;
  5. Rushewar latency don ayyuka daban-daban na ƙasa.

Wasu daga cikin waɗannan tambayoyin ba a amsa su kawai ta hanyar ginanniyar awo, tilasta masu amfani su bincika tazara. A sakamakon haka, muna da na'urar da ba ta dace da masu amfani ba.

Wannan ya haifar da tambaya: menene game da hadaddun mu'amala tsakanin ayyuka daban-daban waɗanda ƙungiyoyi daban-daban ke sarrafawa? Ba haka ba duban gani ba a la'akari da kayan aiki mafi dacewa don haskaka irin wannan yanayin ba?

Masu haɓaka wayar hannu, masu sabis ɗin marasa jiha, masu ayyukan gudanarwa na jihohi (kamar bayanan bayanai) da masu dandamali na iya sha'awar wani abu dabam. gabatarwa tsarin rarraba; duban gani mafita ce mai yawa ga waɗannan buƙatu daban-daban. Ko da a cikin keɓaɓɓiyar gine-ginen microservice, masu sabis ba sa buƙatar zurfin ilimin sama da biyu ko uku sabis na sama da ƙasa. Mahimmanci, a yawancin al'amuran, masu amfani kawai suna buƙatar amsa tambayoyin game da su iyakance saitin ayyuka.

Yana kama da kallon ƙaramin sashe na sabis ta hanyar gilashin haɓakawa don bincika shi. Wannan zai ba mai amfani damar yin ƙarin tambayoyi masu mahimmanci game da hadaddun hulɗar tsakanin waɗannan ayyuka da abubuwan dogaronsu na nan take. Wannan yayi kama da koma baya a duniyar sabis, inda injiniyan ya sani cewa ba daidai ba, kuma yana da ɗan fahimtar abin da ke faruwa a cikin ayyukan kewaye don fahimta me yasa.

Hanyar da nake gabatarwa ita ce kishiyar hanyar sama-sama, tushen bin diddigi, inda bincike ya fara da gabaɗayan sahihancin sa'an nan kuma a hankali ya yi aiki har zuwa ɗaiɗaikun ɗaiɗaikun. Sabanin haka, hanyar zuwa sama ta fara ne ta hanyar nazarin wani ɗan ƙaramin yanki kusa da yuwuwar abin da zai iya haifar da lamarin, sa'an nan kuma faɗaɗa sararin binciken kamar yadda ake buƙata (tare da yuwuwar shigar da wasu ƙungiyoyi don nazarin ayyuka masu faɗi). Hanya ta biyu ta fi dacewa don gwada hasashen farko da sauri. Da zarar an sami sakamako mai ma'ana, za a iya ci gaba zuwa ƙarin mai da hankali da cikakken bincike.

Gina topology

Takamaiman ra'ayi na sabis na iya zama da amfani sosai idan mai amfani ya sani wanda yake sabis ko ƙungiyar sabis ne ke da alhakin haɓaka latency ko haifar da kurakurai. Koyaya, a cikin hadadden tsari, gano sabis ɗin da ke da laifi na iya zama aiki mara ƙaranci yayin gazawa, musamman idan ba a sami rahoton saƙon kuskure daga sabis ɗin ba.

Gina kayan aikin sabis na iya zama babban taimako wajen gano ko wane sabis ne ke fuskantar haɓakar ƙimar kuskure ko haɓakar latency wanda ke sa sabis ɗin ya ragu sosai. Lokacin da na yi magana game da gina topology, ba ina nufin taswirar ayyuka, Nuna kowane sabis ɗin da ke cikin tsarin kuma an san shi da shi taswirorin gine-gine a cikin siffar tauraron mutuwa. Wannan ra'ayi bai fi kyan gani ba bisa ga jadawali acyclic. A maimakon haka ina so in gani dynamically generated sabis topology, dangane da wasu sifofi kamar ƙimar kuskure, lokacin amsawa, ko kowane ma'aunin ƙayyadaddun mai amfani wanda ke taimakawa bayyana yanayin tare da takamaiman sabis na tuhuma.

Bari mu dauki misali. Bari mu yi tunanin rukunin labarai na hasashe. Sabis na shafin gida (shafi na gaba) musanya bayanai tare da Redis, tare da sabis na shawarwari, tare da sabis na talla da sabis na bidiyo. Sabis ɗin bidiyo yana ɗaukar bidiyo daga S3 da metadata daga DynamoDB. Sabis ɗin shawarwarin yana karɓar metadata daga DynamoDB, yana ɗaukar bayanai daga Redis da MySQL, kuma yana rubuta saƙonni zuwa Kafka. Sabis ɗin talla yana karɓar bayanai daga MySQL kuma yana rubuta saƙonni zuwa Kafka.

A ƙasa akwai wakilcin ƙirƙira na wannan topology (shirye-shiryen kwatancen kasuwanci da yawa suna gina topology). Zai iya zama da amfani idan kuna buƙatar fahimtar dogaron sabis. Duk da haka, a lokacin gyara kuskure, Lokacin da wani sabis (ce, sabis na bidiyo) ya nuna ƙarar lokacin amsawa, irin wannan topology ba shi da amfani sosai.

Binciken da aka rarraba: mun yi duk ba daidai ba
Jadawalin sabis na gidan labarai na hasashe

Hoton da ke ƙasa zai fi dacewa. Akwai matsala tare da sabis (Bidiyo) wanda aka kwatanta daidai a tsakiya. Mai amfani yana lura da shi nan da nan. Daga wannan hangen nesa, ya bayyana a fili cewa sabis na bidiyo yana aiki da rashin daidaituwa saboda karuwa a lokacin amsawar S3, wanda ke rinjayar saurin lodawa na ɓangaren babban shafi.

Binciken da aka rarraba: mun yi duk ba daidai ba
Topology mai ƙarfi yana nuna ayyukan "sha'awa" kawai

Topologies da aka samar da ƙarfi na iya zama mafi inganci fiye da taswirorin sabis na tsaye, musamman a cikin na'urori masu ƙarfi, na'urorin sarrafa kai. Ƙarfin kwatantawa da bambanta topologies sabis yana bawa mai amfani damar yin tambayoyi masu dacewa. Tambayoyi masu mahimmanci game da tsarin sun fi dacewa su haifar da kyakkyawar fahimtar yadda tsarin ke aiki.

Nuni na kwatance

Wani hangen nesa mai amfani zai zama nuni na kwatance. A halin yanzu alamun ba su dace da kwatancen gefe-da-gefe ba, don haka kwatance yawanci iyakoki. Kuma babban ra'ayi na wannan labarin shine daidai cewa tazarar ba ta da ƙasa sosai don fitar da bayanai mafi mahimmanci daga sakamakon binciken.

Kwatanta alamun biyu baya buƙatar ainihin sabbin abubuwan gani. A haƙiƙa, wani abu kamar histogram mai wakiltar bayanai iri ɗaya a matsayin duba ya wadatar. Abin mamaki, ko da wannan hanya mai sauƙi na iya kawo 'ya'yan itace da yawa fiye da nazarin burbushi biyu daban. Ko da mafi iko zai kasance yuwuwar gani kwatanta burbushi Gabaɗaya. Zai zama da amfani sosai ganin yadda canjin bayanan da aka tura kwanan nan don ba da damar GC (tarin shara) ya shafi lokacin amsa sabis na ƙasa akan sikelin sa'o'i da yawa. Idan abin da nake kwatantawa a nan ya yi kama da nazarin A/B na tasirin canje-canjen ababen more rayuwa a cikin ayyuka da yawa ta amfani da sakamakon binciken, to ba ku yi nisa da gaskiya ba.

ƙarshe

Ba na tambayar amfanin binciken da kansa. Na yi imani da gaske cewa babu wata hanya don tattara bayanai a matsayin mai wadata, dalili da mahallin kamar wanda ke ƙunshe a cikin wata alama. Koyaya, na kuma yi imani cewa duk hanyoyin ganowa suna amfani da wannan bayanan sosai cikin rashin inganci. Muddin kayan aikin ganowa sun kasance makale a kan wakilcin duba, za a iyakance su ga iya yin amfani da mafi yawan mahimman bayanai waɗanda za a iya fitar da su daga bayanan da ke cikin abubuwan. Bugu da kari, akwai haɗarin ci gaba da haɓaka gaba ɗaya rashin abokantaka kuma mara fahimta na gani wanda zai iyakance ikon mai amfani don magance kurakurai a cikin aikace-aikacen.

Gyara hadaddun tsarin, har ma da sabbin kayan aikin, yana da matuƙar wahala. Ya kamata kayan aikin su taimaka wa mai haɓakawa ya ƙirƙira da gwada hasashe, samar da rayayye bayanan da suka dace, gano masu fita da kuma lura da fasali a cikin rarraba jinkiri. Don ganowa don zama kayan aikin zaɓi ga masu haɓakawa lokacin da ake warware gazawar samarwa ko magance matsalolin da suka shafi ayyuka da yawa, ana buƙatar musaya na asali na masu amfani da abubuwan gani waɗanda suka fi dacewa da ƙirar tunani na masu haɓakawa waɗanda ke ƙirƙira da sarrafa waɗannan ayyukan.

Zai ɗauki ƙoƙari mai mahimmanci na tunani don tsara tsarin da zai wakilci sigina daban-daban da ke samuwa a cikin sakamakon binciken ta hanyar da aka inganta don sauƙi na bincike da ƙididdiga. Kuna buƙatar yin tunani game da yadda ake zayyana tsarin topology yayin gyara kurakurai ta hanyar da ke taimaka wa mai amfani ya shawo kan makãho ba tare da duba alamun kowane mutum ko tazara ba.

Muna buƙatar ingantattun abubuwan da za su iya jurewa (musamman a cikin UI). Waɗanda za su dace da kyau cikin tsarin da ake kora na zato inda zaku iya yin tambayoyi akai-akai da gwada hasashen. Ba za su magance duk matsalolin lura ta atomatik ba, amma za su taimaka wa masu amfani su haɓaka hankalinsu da tsara tambayoyi masu wayo. Ina kira don ƙarin tunani da sabbin dabaru don hangen nesa. Akwai kyakkyawan fata anan don faɗaɗa hangen nesa.

PS daga mai fassara

Karanta kuma a kan shafinmu:

source: www.habr.com

Add a comment