Aue, e te iwi! Ko Oleg Anastasyev toku ingoa, kei te mahi ahau i Odnoklassniki i te roopu Platform. I tua atu i ahau, he maha nga taputapu e mahi ana i Odnoklassniki. E wha o matou pokapū raraunga me te tata ki te 500 raka me te neke atu i te 8 mano nga kaitoro. I tetahi wa, i mohio matou ko te whakaurunga o te punaha whakahaere hou ka taea e matou te uta i nga taputapu kia pai ake, kia pai ake te whakahaere i te uru, whakaaunoa i te (anohi) tohatoha rauemi rorohiko, tere te whakarewatanga o nga ratonga hou, me te tere o nga whakautu. ki nga aitua nui.
He aha i puta mai ai?
I tua atu i ahau me te roopu taputapu, he tangata ano e mahi ana me tenei taputapu: nga miihini e tu tika ana ki nga pokapū raraunga; te hunga whatunga e whakatu ana i nga rorohiko whatunga; nga kaiwhakahaere, nga SRE ranei, e whakarato ana i nga hanganga hanganga; me nga roopu whanaketanga, kei ia tangata te kawenga mo tetahi waahanga o nga mahi a te tomokanga. Ko te raupaparorohiko ka hangaia e ratou he mahi penei:
Ka tae mai nga tono a nga kaiwhakamahi ki mua o te tomokanga matua , me etahi atu, hei tauira i runga i nga puoro API puoro. Ki te tukatuka i te arorau pakihi, ka karangahia e ratou te kaitoro tono, na, i te wa e tukatuka ana i te tono, ka kii i nga microservices motuhake e tika ana - kotahi-kauwhata (kauwhata o nga hononga hapori), keteroki-kaiwhakamahi (keteroki o nga whaarangi kaiwhakamahi), aha atu.
Ko ia o enei ratonga ka tukuna ki runga i nga miihini maha, a kei a raatau nga kaiwhakawhanake kawenga mo te mahi o nga waahanga, o raatau mahi me te whakawhanaketanga hangarau. Ko enei ratonga katoa e whakahaere ana i runga i nga kaimau taputapu, a, no na tata tonu nei i whakarewahia e matou he mahi kotahi mo ia tūmau, ara he mea motuhake mo tetahi mahi motuhake.
He aha tera? He maha nga painga o tenei huarahi:
- Whakamamae whakahaere papatipu. Me kii he mahi me etahi whare pukapuka, etahi tautuhinga. Na ka tohua te tūmau ki tetahi roopu motuhake, kua whakaahuahia te kaupapa here cfengine mo tenei roopu (kua oti ranei te korero), a ko tenei whirihoranga kei te pokapū me te huri aunoa ki nga kaitoro katoa o tenei roopu.
- Whakangāwari taatai. Me kii ka titiro koe ki te pikinga ake o te uta i runga i te kaitukatuka pokapū ka mohio ko tenei kawenga ka taea noa e te mahi e whakahaere ana i runga i tenei tukatuka taputapu. Ko te rapu mo tetahi hei whakahee ka mutu tere.
- Whakangāwari te aroturuki. Mena kei te he tetahi mea ki te tūmau, ka ripoatahia e te kaitirotiro, ka tino mohio koe ko wai te he.
He ratonga kei roto i te maha o nga tauira ka tohatohahia he maha nga tūmau - kotahi mo ia. Na ka tohatohahia te rauemi rorohiko mo te ratonga: te maha o nga kaitoro kei te ratonga, te nui rawa o nga rauemi ka pau. Ko te "ngawari" i konei ehara i te mea he ngawari ki te whakamahi, engari i runga i te tikanga ko te tohatoha rauemi ka mahia ma te ringa.
Na tenei huarahi i taea ai e matou te mahi whirihoranga rino motuhake mo tetahi mahi kei runga i tenei tūmau. Mena he maha nga raraunga ka penapenahia e te mahi, ka whakamahia he tūmau 4U me te tahuhu me nga kōpae 38. Mena he mahi rorohiko noa te mahi, katahi ka taea e tatou te hoko i tetahi tūmau 1U iti ake. He pai tenei ki te mahi rorohiko. I roto i etahi atu mea, ma tenei huarahi ka taea e maatau te whakamahi i nga miihini e wha nga wa iti ake te utaina e rite ana ki tetahi whatunga hapori hoa.
Ko te tino pai ki te whakamahi i nga rauemi rorohiko me whakarite te pai ohaoha, mena ka puta mai i te whakaaro ko te mea tino utu ko nga kaitoro. Mo te wa roa, ko nga taputapu te utu nui rawa atu, a ka whakapau kaha matou ki te whakaheke i te utu o nga taputapu, ka puta mai he tohu kaaa-a-hara ki te whakaiti i nga whakaritenga pono o nga taputapu. Na i tenei ra kua tae matou ki te waahi kua mutu te utu o te tūmau ki te whakatau. Mena kaore koe e whakaaro ki nga mea hou o waho, karekau he aha te whirihoranga motuhake o nga kaitoro kei roto i te whatanga. Inaianei kei a matou tetahi atu raruraru - ko te utu o te waahi e nohoia ana e te kaimau i roto i te pokapū raraunga, ara, te waahi kei roto i te whatanga.
I te mohio koinei te take, ka whakatau matou ki te tatau i te kaha o te whakamahi i nga whatanga.
I tangohia e matou te utu o te tūmau tino kaha mai i nga mea e tika ana i te ohanga, i tatauhia e hia nga momo tuumau ka taea e matou te tuu ki roto i nga whatanga, e hia nga mahi ka whakahaerehia e matou i runga i te tauira tawhito "kotahi tūmau = kotahi mahi" me te nui Ka taea e nga mahi te whakamahi i nga taputapu. Ka tatau, ka heke te roimata. I puta mai ko to maatau kaha ki te whakamahi i nga whatanga he 11%. Ka kitea te whakatau: me whakanui ake te kaha o te whakamahi i nga pokapū raraunga. Te ahua nei kua kitea te otinga: me whakahaere e koe nga mahi maha i runga i te tūmau kotahi i te wa kotahi. Engari i konei ka timata nga raruraru.
Ka tino uaua te whirihoranga papatipu - kua kore e taea te tautapa i tetahi roopu ki te tūmau. I muri i nga mea katoa, inaianei he maha nga mahi o nga whakahau rereke ka taea te whakarewahia i runga i te tūmau kotahi. I tua atu, ka taupatupatu pea te whirihoranga mo nga tono rereke. Ka uaua ake ano te tātaritanga: mena ka kite koe i te pikinga ake o te PTM, te kohi kōpae ranei i runga i te tūmau, kaore koe e mohio ko tehea mahi e raru ai.
Engari ko te mea nui kaore he wehenga i waenga i nga mahi e mahi ana i runga i te miihini kotahi. Anei, hei tauira, he kauwhata o te wa whakautu toharite o te mahi tūmau i mua atu i muri mai i te whakarewatanga o tetahi atu tono rorohiko i runga i te tūmau kotahi, kaore rawa he hononga ki te tuatahi - kua tino piki ake te wa whakautu o te mahi matua.
Ma te mohio, me whakahaere mahi koe i roto i nga ipu, i nga miihini mariko ranei. I te mea tata katoa o a maatau mahi e whakahaere ana i raro i te kotahi OS (Linux), kua urutau ranei mo tera, kaore e tika kia tautokohia nga punaha whakahaere maha. No reira, kaore e hiahiatia te marikotanga; na te taapiri o runga ake, ka iti ake te pai atu i te whakakii.
Hei whakatinanatanga o nga ipu mo te whakahaere i nga mahi ki runga i nga kaitoro, he kaitono pai a Docker: he pai te whakaoti rapanga o nga whakaahua punaha konae me nga whirihoranga taupatupatu. Ko te mea ka taea e nga whakaahua te tito he maha nga paparanga ka taea e tatou te whakaiti i te nui o nga raraunga e hiahiatia ana hei tuku i a raatau ki runga i te hanganga, te wehe i nga waahanga noa ki nga papahanga motuhake. Ka tere te keteroki o nga paparanga taketake (me te tino puhoi) puta noa i te hanganga katoa, a hei tuku i nga momo momo tono me nga momo putanga, ko nga paparanga iti anake me whakawhiti.
Ano, he rehita rehita kua oti te hanga me te tohu tohu whakaahua i Docker ka whakawhiwhia mai ki a maatau mo te whakaputanga me te tuku waehere ki te whakaputa.
Ko Docker, pera i etahi atu hangarau rite, ka whakawhiwhia ki a maatau etahi taumata o te wehe ipu i waho o te pouaka. Hei tauira, te wehenga o te mahara - ka whakawhiwhia ki ia ipu he rohe mo te whakamahinga o te mahara miihini, kei tua atu e kore e pau. Ka taea hoki te wehe i nga ipu i runga i te whakamahinga CPU. Ki a matou, heoi, kaore i ranea te whakamaarama paerewa. Engari he nui ake mo tera i raro nei.
Ko te whakahaere tika i nga ipu ki runga i nga kaitoro he waahanga noa iho o te raru. Ko tetahi atu waahanga e pa ana ki te manaaki ipu i runga i nga kaitoro. Me mohio koe ko tehea ipu ka taea te whakanoho ki runga i te tuumau. Ehara tenei i te mahi ngawari, na te mea me whakanoho nga ipu ki runga i nga kaitoro me te kore e whakaheke i te tere. He uaua ano hoki tera tuunga mai i te tirohanga o te he. I te nuinga o nga wa ka hiahia matou ki te whakanoho i nga tauira o te ratonga kotahi ki roto i nga whaa rereke, ahakoa i roto i nga ruma rereke o te pokapū raraunga, kia kore ai e ngaro nga tauira ratonga katoa.
Ko te tohatoha ipu-a-ringa ehara i te mea he whiringa ina 8 mano nga kaitoro me te 8-16 mano nga ipu.
I tua atu, i hiahia matou ki te tuku ake i nga kaiwhakawhanake i te mana motuhake ki te tohatoha rauemi kia taea ai e ratou te manaaki i a raatau ratonga ki te whakaputa i a raatau ano, kaore he awhina a te kaiwhakahaere. I taua wa ano, i pirangi matou ki te pupuri i te mana whakahaere kia kore ai etahi ratonga iti e pau i nga rauemi katoa o a maatau pokapū raraunga.
Maamaa, ka hiahia maatau he paparanga mana e mahi aunoa.
Na ka tae mai matou ki tetahi pikitia maamaa me te maarama e paingia ana e nga kaitoi katoa: e toru nga tapawha.
Ko nga rangatira kotahi-kapua he kahui ngoikore te kawenga mo te whakahiato kapua. Ka tukuna e te kaiwhakawhanake he whakaaturanga ki te rangatira, kei roto nga korero katoa e tika ana hei manaaki i te ratonga. I runga i tera, ka tukuna e te rangatira nga whakahau ki nga minita kua tohua (nga miihini i hangaia hei whakahaere ipu). Kei nga minions to tatou kaihoko, ka whiwhi i te whakahau, ka tukuna ana whakahau ki a Docker, ka whirihora e Docker te kernel linux ki te whakarewa i te ipu e rite ana. I tua atu i te whakahaere i nga whakahau, ka tuku korero tonu te kaihoko ki te rangatira mo nga huringa o te ahua o te miihini minion me nga ipu kei runga.
Te tohatoha Rauemi
Inaianei ka titiro tatou ki te raruraru o te tohatoha rauemi uaua mo te maha o nga minita.
He rauemi rorohiko i roto i te kapua kotahi ko:
- Te nui o te mana tukatuka i pau i tetahi mahi motuhake.
- Te nui o te mahara e waatea ana ki te mahi.
- Te hokohoko whatunga. Ko ia o nga minita he atanga whatunga motuhake me te iti o te bandwidth, na reira kaore e taea te tohatoha i nga mahi me te kore e whai whakaaro ki te nui o nga raraunga ka tukuna e ratou i runga i te whatunga.
- Kopae. I tua atu, ma te maarama, ki te waahi mo enei mahi, ka tohatohahia e matou te momo kōpae: HDD, SSD ranei. Ka taea e nga kopae te mahi i te maha o nga tono mo ia hekona - IOPS. No reira, mo nga mahi ka nui ake te IOPS kaore e taea e te kopae kotahi te whakahaere, ka tohatohahia e matou nga "porowhita" - ara, nga taputapu kōpae me rahuitia mo te mahi.
Na mo etahi ratonga, hei tauira mo te keteroki-kaiwhakamahi, ka taea e taatau te tuhi i nga rauemi kua pau i tenei huarahi: 400 nga punaha tukatuka, 2,5 TB o te mahara, 50 Gbit/s hokohoko i nga taha e rua, 6 TB o te waahi HDD kei runga i te 100 spindles . I roto ranei i te ahua mohio ake penei:
alloc:
cpu: 400
mem: 2500
lan_in: 50g
lan_out: 50g
hdd:100x6TKo nga rauemi ratonga keteroki-kaiwhakamahi ka pau noa i tetahi waahanga o nga rauemi katoa e waatea ana i roto i te hanganga whakangao. Na reira, e hiahia ana ahau kia ohorere, na te hapa o te kaiwhakahaere, kaore ranei, karekau te keteroki-kaiwhakamahi e pau rawa atu i nga mea kua tohaina ki a ia. Arā, me whakawhāiti ngā rauemi. Engari he aha te mea ka taea e tatou te here i te roherohenga?
Me hoki ano ki ta maatau hoahoa tino ngawari o te taunekeneke o nga waahanga me te tuhi ano me etahi atu korero - penei:
He aha te hopu i to kanohi:
- Ko te pae tukutuku me te puoro e whakamahi ana i nga tautau taratahi o te tūmau tono kotahi.
- Ka taea e tatou te wehewehe i nga papahanga arorau no reira enei tautau: mua, keteroki, rokiroki raraunga me te paparanga whakahaere.
- He rerekee te pito o mua; he maha nga punaha iti mahi.
- Ka taea hoki te marara nga keteroki puta noa i te puunaha iti e keteroki ana nga raraunga.
Me tuhi ano te pikitia:
Bah! Ae, ka kite tatou i te hierarchy! Ko te tikanga ka taea e koe te tohatoha rauemi i roto i nga waahanga nui ake: tohua he kaiwhakawhanake whai mana ki tetahi node o tenei arotaki e rite ana ki te punaha iti mahi (penei i te "puoro" i te pikitia), ka taapirihia he motunga ki te taumata kotahi o te naakapa. Ka taea hoki e tenei hierarchy te whakarite i nga ratonga kia ngawari ake te whakahaere. Hei tauira, ka wehewehea e matou te katoa o te paetukutuku, na te mea he whakarōpūtanga tino nui tenei o nga kaitoro, ki etahi roopu iti, ka whakaatuhia ki te pikitia hei roopu1, roopu2.
Ma te tango i nga rarangi taapiri, ka taea e tatou te tuhi i ia pona o to tatou pikitia ki te ahua papatahi: group1.web.front, api.waiata.mua, user-cache.cache.
Koinei te huarahi ka tae mai ki te kaupapa o te "titira hierarchical". He ingoa penei "group1.web.front". He motunga mo nga rauemi me nga motika kaiwhakamahi kua tohua ki a ia. Ka hoatu e matou ki te tangata mai i DevOps nga mana ki te tuku ratonga ki te rarangi, a ka taea e taua kaimahi te whakarewa i tetahi mea i roto i te rarangi, a ka whai mana whakahaere te tangata mai i OpsDev, a inaianei ka taea e ia te whakahaere i te rarangi, te tohu tangata ki reira, hoatu te mana ki enei tangata, aha atu. Ko nga ratonga e whakahaere ana i tenei rarangi ka uru ki roto i te rohenga o te rarangi. Ki te kore e ranea te roherohenga rorohiko o te tutira ki te mahi i nga ratonga katoa i te wa kotahi, ka mahia haeretia, na reira ka hanga te rarangi.
Kia ata titiro ki nga ratonga. He ingoa tino tohu tetahi ratonga, kei roto tonu te ingoa o te rarangi. Katahi ka whai ingoa te ratonga tukutuku o mua ok-web.group1.web.front. A ko te ratonga tūmau tono ka uru atu ka kiia ok-app.group1.web.front. Kei ia ratonga he whakaaturanga, e whakaatu ana i nga korero katoa e tika ana mo te tuunga ki runga miihini motuhake: e hia nga rauemi e pau ana i tenei mahi, he aha te whirihoranga e hiahiatia ana mo taua mea, e hia nga tauira me noho, nga taonga hei whakahaere i nga rahunga o tenei ratonga. A, i muri i te tuunga o te ratonga ki runga i nga miihini, ka puta ona ahuatanga. Ka whakaingoatia ano hoki - ko te nama tauira me te ingoa ratonga: 1.ok-web.group1.web.front, 2.ok-web.group1.web.front, …
He tino watea tenei: ma te titiro anake ki te ingoa o te ipu e rere ana, ka kitea tonu e tatou he maha.
Inaianei kia ata titiro ki nga mahi e mahia ana e enei waa: nga mahi.
Karaehe Wehenga Mahi
Ko nga mahi katoa i roto i te OK (me, tera pea, i nga waahi katoa) ka taea te wehewehe ki nga roopu:
- Nga Mahi Roopu poto - prod. Mo enei mahi me nga ratonga, he mea tino nui te whakaroa whakautu (te roa), me pehea te tere o ia tono ka tukuna e te punaha. Ko nga tauira o nga mahi: nga waahi tukutuku, nga keteroki, nga kaiwhakarato tono, te rokiroki OLTP, etc.
- Nga raruraru tatau - puranga. I konei, ko te tere tukatuka o ia tono motuhake ehara i te mea nui. Mo ratou, he mea nui te maha o nga tatauranga ka mahia e tenei mahi i roto i tetahi waa (roa) o te waa (whakaputa). Ko enei nga mahi a MapReduce, Hadoop, ako miihini, tatauranga.
- Nga mahi papamuri - mangere. Mo nga mahi penei, karekau he mea nui te torohū, te whakaputanga ranei. Kei roto i tenei ko nga momo whakamatautau, nga heke, nga tatauranga ano, me te huri i nga raraunga mai i tetahi whakatakotoranga ki tetahi atu. I tetahi taha, he rite ki nga mea kua tatauhia, i tetahi atu taha, kaore he mea nui ki a maatau te tere o te whakaoti.
Kia kite tatou me pehea te pau o nga rauemi penei i enei mahi, hei tauira, ko te tukatuka pokapū.
Nga mahi whakaroa poto. Ko taua mahi ka whai tauira kohi CPU rite ki tenei:
Ka tukuna he tono mai i te kaiwhakamahi mo te tukatuka, ka timata te mahi ki te whakamahi i nga waahanga CPU katoa e waatea ana, ka tukatukahia, ka whakahoki mai i te whakautu, ka tatari mo te tono e whai ake nei ka mutu. I tae mai te tono o muri mai - i whiriwhiria ano e matou nga mea katoa i reira, kua tatauhia, kei te tatari mo te mea e whai ake nei.
Hei whakapumau i te iti rawa o te taima mo taua mahi, me tango e tatou te nui rawa o nga rawa e pau ana me te rahui i te maha o nga matua e hiahiatia ana i runga i te minion (te miihini ka mahia te mahi). Na ko te tikanga rahui mo to maatau raru ka penei:
alloc: cpu = 4 (max)a ki te mea he miihini minion me 16 nga puku, katahi ka wha rawa nga mahi penei ka tuu ki runga. Ka tino kite matou he iti rawa te kai tukatuka o enei mahi - he mea tino kitea, na te mea ko tetahi waahanga nui o te waa e tatari ana te mahi mo te tono kaore he mahi.
Nga mahi tatau. Ka paku rereke to raatau tauira:
He nui rawa te kohi rauemi CPU mo enei mahi. I te nuinga o te wa e hiahia ana matou kia oti te mahi tatau i roto i etahi wa, no reira me rahuitia te iti rawa o nga kaitukatuka e hiahiatia ana kia oti ai te katoa o te tatauranga i roto i te waa pai. Ka penei te ahua o tana ture rahui:
alloc: cpu = [1,*)"Tena koa tuuhia ki runga i te minion kei reira te iti rawa kia kotahi te matua kore utu, katahi ka pau nga mea katoa."
I konei ko te pai o te whakamahi he pai ake i nga mahi me te wa poto. Engari ka nui ake te whiwhinga mena ka whakakotahihia e koe nga momo mahi e rua ki runga i te miihini minion kotahi ka tohatoha i ana rauemi i runga i te haere. Ina he mahi poto te roa e hiahia ana ki te tukatuka, ka whiwhi tonu ia, a ka kore e hiahiatia nga rauemi, ka whakawhitia ki te mahi rorohiko, ara he penei:
Engari me pehea te mahi?
Tuatahi, me titiro ki te prod me tona tohatoha: cpu = 4. Me rahui kia wha nga matua. I roto i te Docker oma ka taea tenei ma nga huarahi e rua:
- Te whakamahi i te kōwhiringa
--cpuset=1-4, ara, tohaina kia wha nga matua motuhake i runga i te miihini ki te mahi. - Whakamahia
--cpuquota=400_000 --cpuperiod=100_000, tautapahia he motunga mo te wa tukatuka, ara, me tohu ko ia 100 ms o te wa tuturu ka pau te mahi i te 400 ms o te wa tukatuka. Ka whiwhihia nga matua e wha.
Engari ko tehea o enei tikanga e pai ana?
He tino ataahua te ahua o te cpuset. E wha nga matua kua whakatapua te mahi, ko te tikanga ka pai te mahi o nga keteroki tukatuka. He kino ano tenei: me mahi taatau ki te tohatoha i nga tatauranga puta noa i nga kohao o te miihini kaore i te OS, a he mahi iti noa tenei, ina koa ka ngana taatau ki te tuu i nga mahi puranga ki runga mihini. Kua whakaatuhia e nga whakamatautau he pai ake te waahanga me te motunga i konei: na tenei ka nui ake te mana o te punaha whakahaere ki te whiriwhiri i te kaupapa matua hei mahi i te mahi i tenei wa, ka tohatoha pai ake te wa tukatuka.
Me whakaaro me pehea te hanga rahui ki Docker i runga i te iti rawa o nga kohao. Ko te motunga mo nga mahi puranga kua kore e tika ana, na te mea kaore he take ki te whakawhāiti i te morahi, kua nui ki te whakamana i te iti rawa. Na konei ka pai te whiringa docker run --cpushares.
I whakaae matou ki te hiahia tetahi puranga ki te taurangi mo te kotahi matua, katahi ka tohu --cpushares=1024, a ki te mea e rua neke atu nga uho, katahi ka tohu --cpushares=2048. Ko nga wahanga Cpu e kore e pokanoa ki te tohatoha o te wa tukatuka i te mea e nui ana. No reira, ki te kore te prod e whakamahi ana i ona tuara e wha, kaore he mea e aukati ana i nga mahi puranga, a ka taea e raatau te whakamahi i etahi atu wa tukatuka. Engari i roto i te ahuatanga he iti te kaihaa, mena kua pau katoa e te prod ona puku e wha ka eke ki tana motunga, ko te toenga o te wa tukatuka ka wehea kia rite ki nga cpushares, ara i roto i te ahuatanga e toru nga waahanga kore utu, ka kotahi. ka hoatu ki tetahi mahi me te 1024 cpushares, a ko nga toenga e rua ka tukuna ki tetahi mahi me te 2048 cpushares.
Engari ko te whakamahi i te roherohenga me nga hea kaore e ranea. Me whakarite maatau ka whiwhi kaupapa matua mo tetahi mahi he wa poto i runga i te puranga ina toha ana te wa tukatuka. Ki te kore he kaupapa matua, ka pau katoa te mahi o te puranga i te wa e hiahiatia ana e te kaihanga. Karekau he kowhiringa kaupapa mo te kaupapa i roto i te Docker oma, engari ka whai hua nga kaupapa here a te Kaituhi CPU Linux. Ka taea e koe te panui mo ratou i roto i nga taipitopito , a i roto i te anga o tenei tuhinga ka korero poto tatou:
- SCHED_OTHER
Ma te taunoa, ka whiwhi nga tukanga kaiwhakamahi noa i runga i te miihini Linux. - SCHED_PATCH
I hoahoatia mo nga tukanga whai rawa. I te wa e tuu ana i tetahi mahi ki runga i te kaitukatuka, ka tukuna he whiu e kiia nei ko te whakahohenga: ka iti ake te whiwhi rauemi tukatuka penei i tenei mahi mena kei te whakamahia e tetahi mahi me SCHED_OTHER - SCHED_IDLE
He tukanga papamuri he iti rawa te kaupapa matua, he iti ake i te pai -19. Ka whakamahi matou i to maatau puna puna tuwhera , hei whakarite i te kaupapa here e tika ana ina timata te ipu ma te waea
one.nio.os.Proc.sched_setscheduler( pid, Proc.SCHED_IDLE )Engari ahakoa kaore koe i te hotaka i Java, ka taea ano te mahi ma te whakamahi i te whakahau chrt:
chrt -i 0 $pidKia whakarāpopotohia o tatou taumata wehe katoa ki te ripanga kotahi kia marama ai:
Te karaehe whakamaarama
Alloc Tauira
Nga whiringa whakahaere Docker
sched_setscheduler chrt*
Tuhinga
cpu = 4
--cpuquota=400000 --cpuperiod=100000
SCHED_OTHER
Tuhinga
Cpu = [1, *)
--cpushares=1024
SCHED_PATCH
Hapa
Cpu= [2, *)
--cpushares=2048
SCHED_IDLE
*Mena kei te mahi koe i te chrt mai i roto i te ipu, ka hiahia pea koe ki te kaha sys_nice, na te mea na te taunoa ka tangohia e Docker tenei kaha ina timata te ipu.
Engari ko nga mahi e pau ana ehara i te kaitukatuka anake, engari ano hoki nga waka, e pa ana ki te roa o te mahi whatunga noa atu i te he o te tohatoha o nga rauemi tukatuka. Na reira, e hiahia ana matou kia rite tonu te pikitia mo nga waka. Arā, ka tukuna e te mahi prod etahi paakete ki te whatunga, ka whakawhāitihia te tere teitei ( formula tohatoha: lan=[*,500mbps) ), ka taea e te prod te mahi i tenei. A, mo te puranga ka whakamanahia e matou ko te iti noa o te whakaputanga, engari kaua e whakawhāiti i te teitei (tatai tohatoha: lan=[10Mbps,*) ) I roto i tenei take, me whiwhi kaupapa matua i runga i nga mahi puranga.
I konei karekau a Docker i nga mea tuatahi ka taea e taatau te whakamahi. Engari ka tae mai ki te awhina i a maatau . I taea e matou te whakatutuki i te hua e hiahiatia ana me te awhina o te ako . Ma tana awhina, ka wehewehea e rua nga karaehe o te waka: te kaupapa matua-tiketike me te puranga-iti-te-iti. Ko te mutunga, he penei te whirihoranga mo nga waka puta:
i konei ko 1:0 te "pakiaka pakiaka" o te ako hsfc; 1:1 - akomanga tamaiti hsfc me te tepe tapeke bandwidth 8 Gbit/s, kei raro nei ka tuu nga akomanga tamariki o nga ipu katoa; 1:2 - Ko te akomanga tamaiti hsfc he mea noa ki nga mahi puranga me nga mahi mangere me te tepe "kaha", ka korerohia i raro nei. Ko nga karaehe tamariki hsfc e toe ana he karaehe whakatapua mo te whakahaere i nga ipu taonga me nga rohe e rite ana ki o raatau whakaaturanga - 450 me te 400 Mbit/s. Ka whakawhiwhia ki ia akomanga hsfc he qdisc queue fq, fq_codel ranei, i runga i te putanga kernel Linux, hei karo i te ngaronga o nga paakete i te wa e pakaru ana nga waka.
I te nuinga o te waa, ko nga tikanga tc e mahi ana ki te whakarite i nga waka puta noa. Engari kei te pirangi matou ki te aro nui ki nga waka taumai - i muri i nga mea katoa, ka taea e etahi mahi puranga te kowhiri i te hongere taumai katoa, ka whiwhi, hei tauira, he puranga nui o nga raraunga whakauru mo te mapi&whakaiti. Mo tenei ka whakamahia e matou te waahanga , ka hangaia he atanga mariko ifbX mo ia atanga whatunga me te huri i nga waka taumai mai i te atanga ki nga waka puta i runga ifbX. I tua atu, mo te ifbX, ko nga tikanga katoa e mahi ana ki te whakahaere i nga waka puta, he tino rite te whirihoranga hsfc:
I nga wa o nga whakamatautau, i kitea e te hsfc nga hua pai rawa atu i te wa e iti ana te karaehe 1:2 o nga waka karekau-matua-a-waa i runga i nga miihini minion kia kaua e neke ake i tetahi ara kore utu. Ki te kore, he nui rawa te awenga o te hokohoko kore-matua ki te roanga o nga mahi prod. Ka whakatauhia e miniond te rahinga o naianei o te bandwidth kore utu ia hekona, ka ine i te toharite kohi waka o nga mahi mahi katoa a tetahi minion. me te tango mai i te bandwidth atanga whatunga me te iti tawhē, i.e.
Kua tautuhia nga roopu mo nga waka taumai me nga waka puta. A, e ai ki nga uara hou, ka whirihora ano e miniond te tepe o te karaehe-kore 1:2.
Na, i whakatinanahia e matou nga karaehe wehe e toru: prod, puranga me te mangere. Ka kaha te awe o enei karaehe ki nga ahuatanga mahi o nga mahi. Na reira, i whakatau matou ki te tuu i tenei huanga ki runga ake o te hierarchy, na ka titiro ki te ingoa o te rarangi arorangi ka marama tonu he aha ta matou e pa ana:
To tatou hoa katoa tukutuku и waiata ka whakanohoia nga mua ki roto i te hierarchy i raro prod. Hei tauira, i raro i te puranga, me tuu te ratonga pukapuka waiata, e whakahiato ana i ia wa he rarangi o nga riipene mai i te huinga o nga konae mp3 kua tukuna ki Odnoklassniki. Ko tetahi tauira o te ratonga kei te noho mangere kaiwhakawhiti waiata, e whakarite ana i te taumata oro puoro.
Ka tangohia ano nga raina taapiri, ka taea e taatau te tuhi i o maatau ingoa ratonga ma te taapiri i te akomanga wehe mahi ki te mutunga o te ingoa ratonga katoa: web.front.prod, catalog.music.batch, transformer.music.idle.
Na inaianei, ma te titiro ki te ingoa o te ratonga, ka mohio matou ehara i te mea he aha te mahi e mahia ana e ia, engari ko tana karaehe wehe, ko te tikanga o tona arohaehae, aha atu.
He pai nga mea katoa, engari kotahi ano te pono kawa. Kaore e taea te wehe katoa i nga mahi e mahi ana i runga i te miihini kotahi.
Ko nga mea i tutuki i a maatau: mena ka pau te puranga anake Ko nga rauemi a te PTM, katahi ka tino pai te mahi a te Kai-whakarite PTM Linux i roto, karekau he paanga ki te mahi prod. Engari ki te timata tenei mahi puranga ki te mahi ma te mahara, katahi ka puta te awe tahi. Ka puta tenei na te mea kua "horoia" te mahi prod mai i nga keteroki mahara o te kaitukatuka - na reira, ka nui haere te ngaro o te keteroki, a ka tere haere te tukatuka i te mahi prod. Ka taea e tenei mahi puranga te whakanui ake i te roanga o to tatou ipu huamata ma te 10%.
Ko te wehe i nga waka he uaua ake na te mea ko nga kaari whatunga hou he rarangi o roto o nga paatete. Mēnā ka tae tuatahi te mōkihi mai i te mahi puranga, ko ia te tuatahi ka tukuna ma runga i te taura, karekau he mea e taea.
I tua atu, i tenei wa ka taea e matou te whakaoti i te raruraru o te whakarite i te hokohoko TCP: kaore te huarahi hsfc e mahi mo te UDP. A ahakoa i roto i te take o te hokohoko TCP, mena he nui te hokohoko o te mahi a te roopu, ka nui ake te 10% o te whakaroa o te mahi prod.
te manawanui ki te he
Ko tetahi o nga whaainga i te wa e whakawhanake ana i te kapua kotahi ko te whakapai ake i te pai o te he o Odnoklassniki. Na reira, i muri mai ka hiahia ahau ki te whai whakaaro ki nga ahuatanga o nga rahunga me nga aitua. Me timata ma te ahua ngawari - he rahunga ipu.
He maha nga huarahi ka taka te ipu. He momo whakamatautau, he hapa, he hapa ranei i roto i te whakaaturanga, na te mea ka timata te mahi prod ki te pau rawa atu i nga mea kua tohua ki te whakaaturanga. He take ta matou: ka whakatinanahia e tetahi kaiwhakawhanake tetahi algorithm matatini, he maha nga wa i mahi ano, ka pohehe i a ia ano, ka tino poauau te mutunga ka huri te raru ki tetahi huarahi kore noa. A, i te mea he mea nui ake te mahi prod i era atu katoa i runga i nga minita kotahi, ka tiimata te kai i nga rauemi tukatuka katoa e waatea ana. I tenei ahuatanga, ko te wehe, ko te motunga wa CPU ranei, i whakaora i te ra. Mena ka tohatohahia he motunga mo tetahi mahi, ka kore te mahi e pau ake. No reira, karekau he mea i kitea e te puranga me etahi atu mahi prod i whakahaere i runga i te miihini kotahi.
Ko te raru tuarua ko te takahanga o te ipu. Na konei ka whakaara ano i nga kaupapa here hei whakaora i a maatau, e mohio ana te katoa, he pai te mahi a Docker. Tata ki nga mahi mahi katoa he kaupapa here whakaara ano. I etahi wa ka whakamahia te on_failure mo nga mahi puranga, mo te patuiro ranei i nga ipu.
Ka aha koe mena karekau he minion katoa?
Ko te tikanga, rere te ipu ki runga i tetahi atu miihini. Ko te mea whakamere i konei ko te mea ka pa ki te (nga) wahitau IP kua tohua ki te ipu.
Ka taea e matou te tautapa nga ipu ki nga wahitau IP rite ki nga miihini minion e rere ana enei ipu. Na, ka whakarewahia te ipu ki runga i tetahi atu miihini, ka huri tona wahitau IP, me mohio nga kaihoko katoa kua neke te ipu, a inaianei me haere ki tetahi wahitau rereke, e hiahia ana ki te ratonga Discovery Service motuhake.
He waatea te Whakaaturanga Ratonga. He maha nga otinga kei runga i te maakete he rereke nga tohu o te whakararu i te he mo te whakarite rehita ratonga. I te nuinga o nga wa ka whakatinanahia e enei otinga te arorau taurite kawenga, penapena taapiri taapiri i te ahua o te rokiroki KV, etc.
Heoi, e hiahia ana matou ki te karo i te hiahia ki te whakatinana i tetahi rehita motuhake, no te mea ko te tikanga tenei ko te whakauru i tetahi punaha whakahirahira e whakamahia ana e nga ratonga katoa i roto i te mahi. Ko te tikanga tenei he waahi karekau tenei, a me whiriwhiri koe, ki te whakawhanake ranei i tetahi otinga tino whakararu i te he, he tino uaua, he pau te waa me te utu nui.
A ko tetahi atu raru nui: kia mahi tahi a maatau hanganga tawhito me te mea hou, me tuhi ano i nga mahi katoa hei whakamahi i etahi momo punaha Whakaaturanga Ratonga. He nui nga mahi, a i etahi waahi kaore e taea te tae mai ki nga taputapu taumata-iti e mahi ana i te taumata kernel OS, i te tika ranei me te taputapu. Te whakatinanatanga o tenei mahi ma te whakamahi i nga tauira otinga kua whakaritea, penei i Ko te tikanga i etahi waahi he kawenga taapiri, i etahi atu - he raruraru o te mahi me etahi atu ahuatanga rahunga. Kaore matou i te hiahia ki te whakararu i nga mea, no reira ka whakatau matou ki te whakamahi i te Ratonga Discovery hei whiriwhiri.
I roto i te kapua kotahi, ka whai te IP i te ipu, ara, kei ia tauira mahi tona ake wahitau IP. Ko tenei wahitau he "pateko": kua tautapahia ki ia waahi ka tukuna tuatahi te ratonga ki te kapua. Mena he rereke te maha o nga waahi o tetahi ratonga i te wa e ora ana, katahi ka tohua kia rite ki te maha o nga wahitau IP pera i te nuinga o nga waa.
I muri mai, kaore e rereke enei wahitau: kua tohua kotahi, ka noho tonu puta noa i te wa o te ratonga i roto i te mahi. Ka whai nga wahitau IP i nga ipu puta noa i te whatunga. Mena ka whakawhitia te ipu ki tetahi atu minion, ka whai te wahitau.
No reira, ko te mapi o te ingoa ratonga ki tana rarangi o nga wahitau IP ka rerekee. Mena ka titiro ano koe ki nga ingoa o nga waahi ratonga i whakahuahia e matou i te timatanga o te tuhinga (1.ok-web.group1.web.front.prod, 2.ok-web.group1.web.front.prod, …), ka kite tatou he rite ki nga FQDN i whakamahia i roto i te DNS. E tika ana, ki te mapi i nga ingoa o nga waahi ratonga ki o raatau wahitau IP, ka whakamahia e matou te kawa DNS. I tua atu, ka whakahokia e tenei DNS nga wahitau IP kua rahuitia o nga ipu katoa - e rere ana ka mutu (me kii e toru nga tauira e whakamahia ana, e rima nga wahitau kua rahuitia ki reira - ka whakahokia katoatia e rima). Ko nga kaihoko, ka whiwhi i enei korero, ka ngana ki te whakarite hononga ki nga tauira e rima - ka whakatau i nga mea e mahi ana. Ko tenei whiringa mo te whakatau i te waatea he tino pono; kaore e uru ki te DNS, Ratonga Discovery ranei, ko te tikanga kaore he raru uaua ki te whakaoti i roto i te whakapumau i te whai take o nga korero me te aukati i nga hapa o enei punaha. I tua atu, i roto i nga ratonga whakahirahira e whakawhirinaki ana te mahinga o te tomokanga katoa, kaore e taea e taatau te whakamahi i te DNS, engari ka uru noa nga wahitau IP ki te whirihoranga.
Ko te whakatinana i taua whakawhitinga IP i muri o nga ipu karekau he mea iti - ka titiro tatou ki te mahi me te tauira e whai ake nei:
Me kii ka tukuna e te rangatira kapua kotahi te whakahau ki te minion M1 kia rere 1.ok-web.group1.web.front.prod me te wahitau 1.1.1.1. Mahi i runga i te minion , e panui ana i tenei wahitau ki nga tūmau motuhake . Ko te hunga o muri he huihuinga BGP me nga taputapu whatunga, ka whakamaoritia te ara o te wahitau 1.1.1.1 i runga i te M1. M1 arai nga paakete ki roto i te ipu ma te whakamahi i te Linux. E toru nga kaitoro whakaata ara, na te mea he waahanga tino nui tenei o te hanganga kapua kotahi - ki te kore ratou, ka kore e mahi te whatunga i roto i te kapua kotahi. Ka tuuhia e matou ki roto i nga whatanga rereke, mena ka taea kei roto i nga ruma rereke o te pokapū raraunga, hei whakaiti i te tupono ka taka nga toru katoa i te wa kotahi.
Me whakaaro inaianei kua ngaro te hononga i waenga i te rangatira kotahi-kapua me te minion M1. Ko te rangatira kotahi-kapua ka mahi inaianei i runga i te whakaaro kua rahua katoa a M1. Arā, ka tukuna te whakahau ki te minion M2 kia whakarewahia web.group1.web.front.prod me te wahitau rite 1.1.1.1. Inaianei e rua nga huarahi taupatupatu i runga i te whatunga mo te 1.1.1.1: i runga M1 me M2. Hei whakatau i enei papā, ka whakamahia e matou te Multi Exit Discriminator, kua tohua ki te panui BGP. He nama tenei e whakaatu ana i te taumaha o te huarahi kua panuitia. I roto i nga huarahi taupatupatu, ka tohua te huarahi me te uara MED iti ake. Ko te rangatira kotahi-kapua e tautoko ana i te MED hei waahanga nui o nga wahitau IP ipu. Mo te wa tuatahi, ka tuhia te wahitau me te MED nui rawaka = 1. I roto i te ahuatanga o taua whakawhitinga ipu ohorere, ka whakaitihia e te rangatira te MED, ka riro i a M000 te whakahau ki te panui i te wahitau 000 me MED = 2. Ko te tauira e rere ana i runga i te M1.1.1.1 ka noho tonu i tenei keehi karekau he hononga, kare ano he mea pai ki a tatou kia tae mai ra ano te hononga ki te rangatira, ka mutu ano he tango tawhito.
aituā
Ko nga punaha whakahaere pokapū raraunga katoa ka whakahaere i nga rahunga iti me te pai. Ko te puhake ipu te tikanga tata ki nga waahi katoa.
Ka titiro tatou me pehea e hapai ai i tetahi ohorere, penei i te korenga o te hiko i roto i tetahi, neke atu ranei o nga ruma o te pokapū raraunga.
He aha te tikanga o te aitua mo te punaha whakahaere pokapū raraunga? Ko te mea tuatahi, he koretake tenei mo te maha o nga miihini, a me neke te punaha whakahaere i te maha o nga ipu i te wa kotahi. Engari ki te mea he tino nui te aitua, katahi pea ka kore e taea te tohatoha ano nga mahi katoa ki etahi atu minita, na te mea ka heke iho te kaha rauemi o te pokapū raraunga i raro i te 100% o te kawenga.
He maha nga aitua e haere tahi ana me te kore o te paparanga mana. Ka puta tenei na te kore o ana taputapu, engari he maha ake na te mea kaore i te whakamatauhia nga aitua, a ka hinga te paparanga mana na te piki haere o te kawenga.
Ka aha koe mo enei mea katoa?
Ko nga hekenga papatipu he nui te maha o nga mahi, nga hekenga me nga tukunga kei roto i te hanganga. Ka roa pea ia hekenga ki te tuku me te wetewete i nga whakaahua ipu ki nga minita, ki te whakarewa me te arawhiti i nga ipu, me era atu mea.
Ka titiro ano tatou ki te rarangi o nga ratonga e mohio ana tatou ka ngana ki te whakatau ko wai nga mahi e hiahia ana tatou ki te whakahaere tuatahi.
Ko te tikanga, koinei nga tukanga e uru tika ana ki te tukatuka i nga tono a nga kaiwhakamahi, ara ko te prod. Ka tohu matou i tenei kaupapa matua — he tau ka taea te hoatu ki te rarangi. Mena he nui ake te kaupapa matua o te rarangi, ka tuuhia ana ratonga ki te tuatahi.
I runga i te kaupapa ka tohua e matou nga kaupapa matua teitei ake, 0; i runga i te puranga - he iti ki raro, 100; i runga i te mangere - ahakoa kei raro iho, 200. Ka whakamahia nga kaupapa matua i runga i te arorangi. Ko nga mahi katoa kei raro iho i te arowhai ka whai kaupapa matua. Mena kei te pirangi matou kia whakarewahia nga keteroki o roto prod i mua i nga waahanga o mua, katahi ka tautapahia nga kaupapa matua ki te keteroki = 0 me nga rarangi o mua = 1. Mena, hei tauira, ko ta matou hiahia kia whakarewahia te tomokanga matua mai i mua i te tuatahi, me te puoro o mua anake. Na, ka taea e taatau te whakarite i te kaupapa matua iti ake ki tera - 10.
Ko te raru e whai ake nei ko te kore rawa o nga rauemi. Na, he nui nga taputapu, nga whare katoa o te pokapū raraunga, i rahua, a ka tukuna ano e matou te maha o nga ratonga inaianei kaore i te nui nga rauemi mo te katoa. Me whakatau e koe he aha nga mahi hei patunga kia mau tonu ai te whakahaere o nga ratonga tino nui.
Kaore i rite ki te tuunga matua, e kore e taea e taatau te whakaeke noa i nga mahi puranga katoa; he mea nui etahi mo te mahi o te tomokanga. Na reira, kua miramira motuhake matou te kaupapa matua mahi. Ina tuuhia, ka taea e tetahi mahi matua teitei ake te aukati, ara, ka mutu, he mahi iti ake mena karekau he minita kore utu. I roto i tenei take, ka noho tonu te mahi he iti te kaupapa matua, ara, karekau he minion pai mo ia me te nui o nga rauemi kore utu.
I roto i ta maatau arorangi, he tino ngawari ki te tautuhi i te kaupapa matua mo te whakangao me te roopu mahi ka aukati, ka aukati ranei i nga mahi mangere, engari kaua tetahi ki tetahi, ma te whakatau i te kaupapa matua mo te mangere e rite ana ki te 200. Ka taea e tatou te whakamahi i ta maatau arorangi ki te whakaahua i nga ture uaua ake. Hei tauira, me tohu ka tapaea e tatou te mahi puoro mena kaore i te rawaka nga rauemi mo te tomokanga tukutuku matua, ka whakatauhia te kaupapa matua mo nga pona e rite ana ki raro: 10.
Katoa nga aitua DC
He aha te take ka taka te katoa o te pokapū raraunga? Huānga. He panui pai . Ko nga huānga ka taea te kii ko te hunga kore kainga i tahuna i mua i nga optics i roto i te tini, me te pokapū raraunga ngaro rawa te whakapā atu ki etahi atu waahi. Ko te take o te kore he take tangata ano: ka tukuna e te kaiwhakahaere he whakahau ka hinga katoa te pokapū raraunga. Ka tupu pea tenei na te raru nui. I te nuinga o te waa, ko te pakaru o nga pokapū raraunga ehara i te mea noa. Ka pa tenei ki a tatou kotahi i ia marama.
A koinei ta matou mahi hei aukati i tetahi ki te tweet #alive.
Ko te rautaki tuatahi ko te wehe. Ko ia tauira kapua kotahi ka wehea ka taea te whakahaere miihini i roto i te pokapū raraunga kotahi anake. Arā, ko te ngaronga o te kapua na te hapa, te hē ranei o nga whakahau a te kaiwhakahaere ko te ngaronga o te pokapū raraunga kotahi anake. Kua reri matou mo tenei: he kaupapa here taapiri kei roto nga tauira o te tono me nga raraunga kei nga pokapū raraunga katoa. Ka whakamahia e matou nga papaaarangi kaaahara me te whakamatautau i ia wa mo nga rahunga.
Mai i tenei ra e wha a maatau pokapū raraunga, ko te tikanga e wha nga waahanga motuhake, tino mokemoke o te kapua kotahi.
Ko tenei huarahi kaore i te tiaki noa i te ngoikore o te tinana, engari ka taea hoki te tiaki i te hapa o te kaiwhakahaere.
He aha atu ano te mahi ki te take tangata? Ina hoatu e te kaiwhakahaere ki te kapua he whakahau kee, he morearea pea, ka tono ohorere ia ki te whakaoti rapanga iti kia kite i te pai o ona whakaaro. Hei tauira, ki te mea ko te ahua o te aukati papatipu o te maha o nga tauira, he whakahau ke ranei - whakaitihia te maha o nga tauira, te huri ranei i te ingoa o te ahua, kaua ko te nama putanga i te whakaaturanga hou.
Ngā putanga
Nga ahuatanga motuhake o te kapua kotahi:
- He kaupapa whakaingoa aroākapa me te whakaingoa mo nga ratonga me nga ipu, e taea ai e koe te rapu tere he aha te mahi, he aha te hononga me te pehea e mahi ai, ko wai hoki te kawenga.
- Ka tono taatau tikanga o te whakakotahi i nga hua me te puranga-nga mahi i runga i nga minita hei whakapai ake i te pai o te tiri miihini. Engari i te cpuset ka whakamahia e matou nga motunga CPU, nga hea, nga kaupapa here kaiwhakarite CPU me te Linux QoS.
- Kaore i taea te wehe katoa i nga ipu e rere ana i runga i te miihini kotahi, engari ka noho tonu o raatau awe i roto i te 20%.
- Ko te whakariterite i nga ratonga ki roto i te rarangi ka awhina i te whakaora kino aunoa ma te whakamahi te whakanohonga me nga kaupapa o mua.
FAQ
He aha tatou i kore ai i tango i tetahi otinga kua oti te hanga?
- Ko nga karaehe rereke o te mahi wehe ka hiahia kia rereke te arorau ka tuu ki runga i nga minita. Mena ka taea te whakanoho i nga mahi mahi ma te rahui rauemi, katahi ka tuu nga mahi puranga me nga mahi mangere, ki te whai i te tino whakamahinga o nga rauemi i runga i nga miihini minion.
- Me whai whakaaro ki nga rauemi e pau ana i nga mahi, penei:
- hōkaiipurangi whatunga;
- nga momo me nga "porowhita" o nga kopae.
- Ko te hiahia ki te tohu i nga kaupapa matua o nga ratonga i te wa o te urupare ohorere, nga tika me nga waahi o nga whakahau mo nga rauemi, ka whakatauhia ma te whakamahi i nga rarangi aroākapa i te kapua kotahi.
- Ko te hiahia kia whakaingoatia e te tangata nga ipu hei whakaiti i te wa whakautu ki nga aitua me nga aitua
- Ko te kore e taea te whakatinanatanga whanui o te Ratonga Discovery kotahi te wa; te hiahia ki te noho tahi mo te wa roa me nga mahi e whakahaerehia ana i runga i nga kaihautu taputapu - he mea e whakatauhia ana e nga wahitau IP "pateko" e whai ake nei i nga ipu, a, na reira, ko te hiahia mo te whakauru ahurei me te hanganga whatunga nui.
Ko enei mahi katoa me whakarereke nui o nga otinga o naianei kia pai ki a matou, a, i te aromatawai i te nui o nga mahi, ka mohio matou ka taea e matou te whakawhanake i ta matou ake otinga me te ahua o nga utu mahi. Engari ka ngawari ake to otinga ki te whakahaere me te whakawhanake - kaore he tangohanga koretake e tautoko ana i nga mahi kaore e hiahiatia ana e matou.
Ki te hunga i panui i nga rarangi whakamutunga, ka mihi ki a koutou mo to manawanui me to aro!
Source: will.com