Nānā. unuhi.: no ka papahana hoʻonaʻauao kēia mea ʻo ia ka pane i kahi nīnau kaulana i ka wā e hoʻolālā ai i nā ʻōnaehana kumu Kubernetes. Lana ko mākou manaʻo e kōkua nā wehewehe kikoʻī kūpono o nā pono a me nā pōʻino o kēlā me kēia koho iā ʻoe e hana i ka koho maikaʻi loa no kāu papahana.
Aku; DR: hiki ke hoʻohana ʻia ka hoʻonohonoho like o nā haʻahaʻa hana ma kekahi mau puʻupuʻu nui (e loaʻa i kēlā me kēia puʻupuʻu ka nui o nā haʻahaʻa hana) a i ʻole ma nā mea liʻiliʻi he nui (me kahi helu liʻiliʻi o nā ukana i kēlā me kēia puʻupuʻu).
Aia ma lalo kahi papa e loiloi i nā pono a me nā pōʻino o kēlā me kēia ala:
Ke hoʻohana nei ʻo Kubernetes ma ke ʻano he kahua no ka holo ʻana i nā noi, e kū pinepine ana kekahi mau nīnau kumu e pili ana i ka paʻakikī o ka hoʻonohonoho ʻana i nā pūʻulu:
- ʻEhia mau puʻupuʻu e pono iaʻu ke hoʻohana?
- Pehea ka nui o kaʻu e hana ai iā lākou?
- He aha nā mea e pono ai kēlā me kēia pūʻulu?
Ma kēia ʻatikala, e hoʻāʻo wau e pane i kēia mau nīnau āpau ma ka nānā ʻana i nā pono a me nā pōʻino o kēlā me kēia ala.
Palapala o ka nīnau
Ma ke ʻano he mea hoʻomohala polokalamu, hoʻomohala a hana ʻoe i nā noi he nui i ka manawa like.
Eia kekahi, e holo ana paha nā manawa he nui o kēia mau noi ma nā wahi like ʻole - no ka laʻana, ʻo ia paha make, hōʻike и prod.
ʻO ka hopena he matrix holoʻokoʻa o nā noi a me nā kaiapuni:
Nā noi a me nā kaiapuni
Hōʻike ka laʻana ma luna i 3 mau noi a me 3 kaiapuni, e hopena i ka huina o 9 mau koho.
ʻO kēlā me kēia hiʻohiʻona noi he ʻāpana hoʻolālā ponoʻī i hiki ke hana me ke kūʻokoʻa o nā poʻe ʻē aʻe.
kahakaha i palapala noi he nui paha nā papa, e like me ka frontend, backend, database, etc. I ka hihia o kahi noi microservices, e hoʻokomo ʻia ka laʻana i nā microservices āpau.
ʻO ka hopena, he mau nīnau nā mea hoʻohana Kubernetes:
- Pono e hoʻokomo ʻia nā mea noi a pau i hoʻokahi puʻupuʻu?
- He mea kūpono ke loaʻa ʻana i kahi pūʻulu ʻokoʻa no kēlā me kēia noi noi?
- A i ʻole e hoʻohana ʻia kahi hui o nā ala i luna?
He kūpono kēia mau koho a pau, no ka mea he ʻōnaehana maʻalahi ʻo Kubernetes ʻaʻole i kaupalena i ka hiki o ka mea hoʻohana.
Eia kekahi mau ala hiki.
- hoʻokahi puʻupuʻu maʻamau nui;
- nā pūʻulu liʻiliʻi kūikawā nui;
- hoʻokahi pūpū no ka noi;
- hoʻokahi puʻupuʻu no kēlā me kēia kaiapuni.
E like me ka mea i hōʻike ʻia ma lalo nei, aia nā ala mua ʻelua ma nā ʻaoʻao like ʻole o ka nui o nā koho:
Mai kekahi mau puʻupuʻu nui (hema) a i nā hui liʻiliʻi he nui (ʻākau)
Ma keʻano laulā, ua manaʻo ʻia kekahi puʻupuʻu "ʻoi aku ka nui" ma mua o kekahi inā ʻoi aku ka nui o nā nodes a me nā pods. No ka laʻana, ʻoi aku ka nui o kahi pūʻulu me 10 node a me 100 pods ma mua o kahi pūpū me 1 node a me 10 pods.
ʻAe, e hoʻomaka kākou!
1. Hoʻokahi hui nui maʻamau
ʻO ka koho mua e kau i nā haʻahaʻa hana a pau i hoʻokahi puʻupuʻu:
Hoʻokahi hui nui
I loko o kēia ala, hoʻohana ʻia ka cluster ma ke ʻano āpau kahua hoʻolālā - hoʻokaʻawale wale ʻoe i nā mea a pau āu e makemake ai i kahi pūʻulu Kubernetes i loaʻa.
Hāʻawi ʻo Kubernetes i nā ʻāpana o ka puʻupuʻu e hoʻokaʻawale pono ʻia mai kekahi i kekahi, i hiki i kēlā me kēia mea noi ke loaʻa i kona inoa ponoʻī.
E nānā kākou i nā pono a me nā pōʻino o kēia ʻano hana.
+ Hoʻohana pono i nā kumuwaiwai
Me ka pūʻulu hoʻokahi, pono ʻoe i hoʻokahi kope o nā kumuwaiwai āpau e pono ai e holo a mālama i ka pūʻulu Kubernetes.
No ka laʻana, ʻoiaʻiʻo kēia no nā nodes master. ʻO ka maʻamau, loaʻa i kēlā me kēia pūʻulu Kubernetes he 3 kumu nodes, no laila no ka pūʻulu hoʻokahi e mau ko lākou helu ma ia ala (no ka hoʻohālikelike ʻana, he 10 mau puʻupuʻu kumu e pono ai).
Hoʻopili pū ʻia ka mea maʻalahi i luna i nā lawelawe ʻē aʻe e hana ana ma waena o ka pūʻulu holoʻokoʻa, e like me nā mea kaulike hoʻouka, nā mea hoʻokele Ingress, hōʻoia, logging a me nā ʻōnaehana nānā.
I loko o kahi pūʻulu hoʻokahi, hiki ke hoʻohana ʻia kēia mau lawelawe a pau i ka manawa hoʻokahi no nā haʻahaʻa hana āpau (ʻaʻohe pono e hana i nā kope o ia mau mea, e like me ke ʻano me nā hui lehulehu).
+ Māmā
Ma muli o nā mea i hōʻike ʻia ma luna, ʻoi aku ka liʻiliʻi o nā puʻupuʻu no ka mea ʻaʻohe kumu kūʻai.
He ʻoiaʻiʻo kēia no nā nodes haku, hiki ke kūʻai i kahi kālā nui me ka nānā ʻole i ke ʻano o ka mālama ʻia ʻana (ma ka hale a i ʻole ke ao).
Ua mālama kekahi mau lawelawe Kubernetes, e like me ai ole ia, , hāʻawi i ka papa mana no ka manuahi. I kēia hihia, ʻoi aku ka liʻiliʻi o ke kumu kūʻai.
Aia kekahi mau lawelawe mālama ʻia e uku i ka uku paʻa no ka hana ʻana o kēlā me kēia pūʻulu Kubernetes (no ka laʻana, ).
+ Hoʻoponopono maikaʻi
ʻOi aku ka maʻalahi o ka mālama ʻana i hoʻokahi puʻupuʻu ma mua o ka mālama ʻana i kekahi.
Hiki i ka hoʻokele ke komo i kēia mau hana:
- Hōʻano hou o Kubernetes;
- hoʻonohonoho i kahi paipu CI/CD;
- hoʻokomo i ka plugin CNI;
- hoʻonohonoho i kahi ʻōnaehana hōʻoia mea hoʻohana;
- hoʻokomo i kahi mea hoʻoponopono komo;
a me nā mea ʻē aʻe he nui…
I ka hihia o kahi puʻupuʻu, pono ʻoe e hana i kēia mau mea i hoʻokahi wale nō.
No nā puʻupuʻu he nui, pono e hana hou ʻia nā hana i nā manawa he nui, e koi ana paha i kekahi automation o nā kaʻina hana a me nā mea hana e hōʻoia ai i ke kūpaʻa a me ke kūpaʻa i ke kaʻina hana.
A i kēia manawa he mau huaʻōlelo e pili ana i nā cons.
− Hoʻokahi wahi o ka hāʻule
Ina hoole ka wale e pau koke ka hana a ka hui nā mea a pau nā haʻahaʻa hana!
Nui nā ala e hiki ai ke hele hewa:
- ʻo ka hoʻonui ʻana iā Kubernetes e alakaʻi i nā hopena ʻaoʻao i manaʻo ʻole ʻia;
- ʻAʻole hoʻomaka ka hana ʻana e like me ka mea i manaʻo ʻia kahi ʻāpana cluster-ākea (no ka laʻana, kahi plugin CNI);
- ʻaʻole i hoʻonohonoho pono ʻia kekahi o nā ʻāpana cluster;
- hāʻule i loko o ka ʻōnaehana kumu.
Hiki i kekahi o ia hanana ke hoʻopōʻino nui i nā haʻahaʻa hana a pau i mālama ʻia ma kahi pūʻulu like.
− ʻAʻohe hoʻokaʻawale paʻa
ʻO ka holo ʻana i loko o kahi puʻupuʻu kaʻana like ʻo ia ka mea e kaʻana like nā noi i ka ʻenehana, hiki i ka pūnaewele, a me ka ʻōnaehana hana ma nā nodes cluster.
Ma kahi ʻano, ʻelua pahu me nā noi ʻelua e holo ana ma ka node hoʻokahi e like me nā kaʻina hana ʻelua e holo ana ma ka mīkini hoʻokahi e holo ana i ka kernel OS hoʻokahi.
Hāʻawi nā pahu Linux i kekahi ʻano o ka noho kaʻawale, akā ʻaʻole like ka ikaika e like me ka mea i hāʻawi ʻia e nā mīkini virtual. ʻO ke kumu, ʻo ke kaʻina hana i loko o kahi pahu ke kaʻina like e holo ana ma ka ʻōnaehana hana hoʻokipa.
He pilikia palekana kēia: hiki i kēia hoʻonohonoho ʻana ke ʻae i nā noi pili ʻole e kamaʻilio me kekahi i kekahi (inā i manaʻo ʻia a i ʻole paha).
Eia hou, kaʻana like nā hana a pau i loko o kahi pūʻulu Kubernetes i kekahi mau lawelawe ākea ākea e like me - hiki kēia i nā noi ke ʻimi i nā lawelawe o nā noi ʻē aʻe i ka pūʻulu.
Loaʻa paha nā manaʻo ʻokoʻa o nā ʻōlelo a pau i luna ma muli o nā koi palekana noi.
Hāʻawi ʻo Kubernetes i nā mea hana like ʻole e pale ai i nā pilikia palekana e like me и . Eia nō naʻe, ʻo ka hoʻonohonoho pono ʻana iā lākou e pono ai kekahi ʻike; Eia kekahi, ʻaʻole hiki iā lākou ke pani piha i nā lua palekana.
He mea nui e hoʻomanaʻo mau ʻo Kubernetes i hoʻolālā mua ʻia no kaʻana like, aole no kaawale a me ka palekana.
− Ka nele o ka hoolimalima lehulehu
Ma muli o ka nui o nā kumuwaiwai kaʻana like i loko o kahi pūʻulu Kubernetes, nui nā ala e hiki ai i nā noi like ʻole ke hehi i nā manamana wāwae o kekahi.
No ka laʻana, hiki i ka palapala noi ke monopoli i kahi kumuwaiwai kaʻana like (e like me ka CPU a i ʻole ka hoʻomanaʻo) a hōʻole i nā noi ʻē aʻe e holo ana ma ka node like.
Hāʻawi ʻo Kubernetes i nā ʻano hana like ʻole e hoʻomalu i kēia ʻano, e like me (e nānā pū i ka ʻatikala "" - ma kahi o. unuhi.), и . Eia nō naʻe, e like me ke ʻano o ka palekana, ʻaʻole koʻikoʻi kā lākou hoʻonohonoho ʻana a ʻaʻole hiki iā lākou ke pale aku i nā hopena ʻaoʻao āpau ʻole.
− Nui o nā mea hoʻohana
I ka hihia o kahi puʻupuʻu hoʻokahi, pono ʻoe e wehe i ke komo ʻana iā ia i nā poʻe he nui. A ʻoi aku ka nui o kā lākou helu, ʻoi aku ka kiʻekiʻe o ka pilikia e "haʻihaʻi" lākou i kekahi mea.
I loko o ka pūʻulu hiki iā ʻoe ke hoʻomalu i ka mea hiki ke hana i ka mea hoʻohana (e ʻike i ka ʻatikala “" - ma kahi o. unuhi.). Eia naʻe, ʻaʻole ia e pale i nā mea hoʻohana mai ka "haʻihaʻi" i kekahi mea i loko o kā lākou kuleana.
− ʻAʻole hiki i nā pūʻulu ke ulu mau loa
ʻOi aku ka nui o ka pūʻulu i hoʻohana ʻia no nā haʻawina a pau (ma ke ʻano o ka helu o nā nodes a me nā pods).
Eia naʻe ke kū mai nei kekahi pilikia: ʻaʻole hiki ke ulu mau ʻia nā pūpū ma Kubernetes.
Aia ka palena theoretical no ka nui o ka puʻupuʻu. Ma Kubernetes ma kahi o .
Eia naʻe, i ke ola maoli, hiki ke hoʻomaka mua nā pilikia - no ka laʻana, me ka .
ʻO ka ʻoiaʻiʻo ʻo nā hui nui e kau i kahi haʻahaʻa kiʻekiʻe ma ka papa hoʻomalu Kubernetes. I nā huaʻōlelo ʻē aʻe, ʻo ka mālama ʻana i ka puʻupuʻu a me ka holo pono e pono ai ke hoʻolohe pono.
ʻIke ʻia kēia pukana ma kahi ʻatikala pili ma ka blog kumu i kapa ʻia ʻo "".
Akā, e noʻonoʻo kākou i ka ʻaoʻao ʻē aʻe: nui nā pūʻulu liʻiliʻi.
2. Nui nā puʻupuʻu liʻiliʻi, kūikawā
Me kēia ala, hoʻohana ʻoe i kahi pūʻulu ʻokoʻa no kēlā me kēia mea āu e kau ai:
Nui nā pūʻulu liʻiliʻi
No nā kumu o kēia ʻatikala, ma lalo o deployable element e pili ana i kahi laʻana o kahi noi - no ka laʻana, he mana dev o kahi noi ʻokoʻa.
Hoʻohana kēia hoʻolālā i nā Kubernetes ma ke ʻano he loea manawa holo no nā hihia noi pākahi.
E nānā kākou i nā pono a me nā pōʻino o kēia ʻano hana.
+ Ka palena ʻole o ka "blast radius"
Ke hāʻule ka puʻupuʻu, ua kaupalena ʻia nā hopena maikaʻi ʻole i kēlā mau hana i kau ʻia i loko o ia pūʻulu. ʻAʻole paʻa nā hana ʻē aʻe a pau.
+ Hoʻokaʻawale
ʻAʻole kaʻana like nā mea hana i mālama ʻia i loko o nā puʻupuʻu e like me ka processor, memory, operating system, network, a i ʻole nā lawelawe ʻē aʻe.
ʻO ka hopena he kaʻawale paʻa ma waena o nā noi pili ʻole, hiki ke pōmaikaʻi no ko lākou palekana.
+ He helu liʻiliʻi o nā mea hoʻohana
Hāʻawi ʻia i kēlā me kēia puʻupuʻu he palena palena wale nō o nā haʻahaʻa hana, ua hoʻemi ʻia ka helu o nā mea hoʻohana i loaʻa iā ia.
ʻO ka liʻiliʻi o ka poʻe i loaʻa i ka pūpū, ʻoi aku ka haʻahaʻa o ka pilikia e "haʻihaʻi" kekahi mea.
E nānā kāua i nā pōʻino.
− Hoʻohana pono ʻole i nā kumuwaiwai
E like me ka mea i ʻōlelo ʻia ma mua, pono kēlā me kēia pūʻulu Kubernetes i kahi pūʻulu o nā kumuwaiwai hoʻokele: master nodes, control layer component, nānā a me ka hoʻoponopono ʻana.
I ka hihia o ka nui o nā puʻupuʻu liʻiliʻi, pono e hoʻokaʻawale ʻia kahi hapa nui o nā kumuwaiwai i ka hoʻokele.
− Uku
ʻO ka hoʻohana pono ʻole ʻana i nā kumuwaiwai e loaʻa i nā kumukūʻai kiʻekiʻe.
No ka laʻana, ʻo ka mālama ʻana i 30 master nodes ma mua o ʻekolu me ka mana helu like e pili ana i nā kumukūʻai.
− Paʻakikī i ka hoʻoponopono
ʻOi aku ka paʻakikī o ka mālama ʻana i nā pūʻulu Kubernetes he nui ma mua o ka hoʻokele hoʻokahi.
No ka laʻana, pono ʻoe e hoʻonohonoho i ka hōʻoia a me ka ʻae no kēlā me kēia puʻupuʻu. Pono e hoʻonui hou ʻia ka mana Kubernetes.
Pono paha ʻoe e hoʻohana i ka automation e hoʻomaikaʻi i kēia mau hana āpau.
I kēia manawa, e nānā kākou i nā hiʻohiʻona liʻiliʻi loa.
3. Hoʻokahi puʻupuʻu no kēlā me kēia noi
Ma kēia ala, hana ʻoe i kahi puʻupuʻu ʻokoʻa no nā manawa āpau o kahi noi kūikawā:
Pūʻulu no kēlā me kēia noi
Hiki ke noʻonoʻo ʻia kēia ala ma ke ʻano he generalization o ke kumu "puʻupuʻu kaʻawale i kēlā me kēia hui”, no ka mea, ke hoʻomohala nei kahi hui o nā ʻenekinia i hoʻokahi a ʻoi aku paha nā noi.
E nānā kākou i nā pono a me nā pōʻino o kēia ʻano hana.
+ Hiki ke hoʻoponopono ʻia ka cluster i ka noi
Inā loaʻa i kahi noi nā pono kūikawā, hiki ke hoʻokō ʻia i loko o kahi puʻupuʻu me ka ʻole e pili ana i nā pūʻulu ʻē aʻe.
Hiki i ia mau pono ke komo i nā limahana GPU, kekahi mau plugins CNI, kahi mesh lawelawe, a i ʻole kekahi lawelawe ʻē aʻe.
Hiki ke hoʻopili ʻia kēlā me kēia puʻupuʻu i ka noi e holo ana i loko o laila i loaʻa nā mea e pono ai.
− Kaiapuni ʻokoʻa i loko o hoʻokahi puʻupuʻu
ʻO ka hemahema o kēia ala ʻo ia ka noho pū ʻana o nā hiʻohiʻona noiʻi mai nā kaiapuni like ʻole i ka pūʻulu like.
No ka laʻana, holo ka mana prod o ka noi ma ka hui like me ka mana dev. ʻO ia hoʻi ke hana nei nā mea hoʻomohala i ka pūʻulu hoʻokahi kahi i hana ʻia ai ka mana hana o ka noi.
Inā, ma muli o nā hana a nā mea hoʻomohala a i ʻole nā glitches i ka mana dev, hiki ʻole ke hāʻule i ka pūʻulu, a laila hiki ke pilikia pū ka mana prod - kahi drawback nui o kēia ala.
A ʻo ka hope, ʻo ke ʻano hope loa ma kā mākou papa inoa.
4. Hoʻokahi puʻupuʻu no kēlā me kēia kaiapuni
ʻO kēia hiʻohiʻona e pili ana i ka hoʻokaʻawale ʻana i kahi pūʻulu ʻokoʻa no kēlā me kēia kaiapuni:
Hoʻokahi puʻupuʻu no kēlā me kēia kaiapuni
No ka laʻana, loaʻa paha iā ʻoe nā pūʻulu make, hōʻike и prod, kahi e holo ai ʻoe i nā manawa āpau o ka noi i hoʻolaʻa ʻia i kahi kaiapuni kikoʻī.
Eia nā pono a me nā pōʻino o kēia ʻano hana.
+ Ka hoʻokaʻawale ʻana o ke kaiapuni prod
I loko o kēia ala, hoʻokaʻawale ʻia nā kaiapuni a pau mai kekahi i kekahi. Eia nō naʻe, ma ka hoʻomaʻamaʻa he mea koʻikoʻi kēia i kahi kaiapuni prod.
Kūʻokoʻa nā mana hana o ka noi i nā mea e hana nei ma nā pūʻulu ʻē aʻe a me nā kaiapuni.
Ma kēia ala, inā hiki koke mai kahi pilikia i ka puʻupuʻu dev, e hoʻomau ka hana o nā mana prod o nā noi me he mea lā ʻaʻohe mea i hana.
+ Hiki ke hoʻololi ʻia ka hui i ke kaiapuni
Hiki ke hoʻololi i kēlā me kēia pūʻulu i kona kaiapuni. No ka laʻana, hiki iā ʻoe:
- hoʻokomo i nā mea hana no ka hoʻomohala ʻana a me ka debugging i ka pūʻulu dev;
- e hoʻokomo i nā hoʻāʻo hoʻāʻo a me nā mea hana i loko o ka pūʻulu hōʻike;
- e hoʻohana i ka ʻoi aku ka ikaika a me nā kaha pūnaewele i loko o ka pūʻulu prod.
Hāʻawi kēia iā ʻoe e hoʻonui i ka pono o ka hoʻomohala ʻana i ka noi a me ka hana.
+ Hoʻopaʻa i ke komo ʻana i ka pūʻulu hana
ʻAʻole kū mai ka pono e hana pololei me kahi puʻupuʻu prod, no laila hiki iā ʻoe ke kaupalena nui i ka pōʻai o ka poʻe i loaʻa iā ia.
Hiki iā ʻoe ke hele hou aʻe a hōʻole i ke komo ʻana o ka poʻe i kēia puʻupuʻu a pau, a hana i nā deployments āpau me ka hoʻohana ʻana i kahi mea hana CI/CD automated. ʻO ia ʻano hana e hōʻemi i ka pilikia o nā hewa kanaka i kahi kūpono loa.
A i kēia manawa he mau huaʻōlelo e pili ana i nā cons.
− ʻAʻohe kaʻawale ma waena o nā noi
ʻO ka hemahema nui o ka hoʻokokoke ʻana, ʻo ia ka nele o ka ʻenehana a me ka hoʻokaʻawale waiwai ma waena o nā noi.
Hoʻokaʻawale nā noi pili ʻole i nā kumuwaiwai puʻupuʻu: ka ʻōnaehana kumu, kaʻina hana, hoʻomanaʻo, a me kekahi mau lawelawe ʻē aʻe.
E like me ka mea i ʻōlelo ʻia, hiki i kēia ke pilikia.
− ʻAʻole hiki ke hoʻokaʻawale i nā mea hilinaʻi noi
Inā loaʻa i kahi noi nā koi kūikawā, pono lākou e māʻona ma nā pūʻulu āpau.
No ka laʻana, inā pono kahi noi i kahi GPU, pono e loaʻa i kēlā me kēia puʻupuʻu ma kahi o hoʻokahi mea hana me kahi GPU (ʻoiai inā hoʻohana wale ʻia e kēlā noi).
ʻO ka hopena, pilikia mākou i nā kumukūʻai kiʻekiʻe a me ka hoʻohana pono ʻole o nā kumuwaiwai.
hopena
Inā loaʻa iā ʻoe kahi hoʻonohonoho kikoʻī o nā noi, hiki ke waiho ʻia i loko o nā hui nui a i ʻole nā mea liʻiliʻi.
Kūkākūkā ka ʻatikala i nā pono a me nā pōʻino o nā ala like ʻole, mai kahi hui honua a hiki i kekahi mau mea liʻiliʻi a kūikawā loa.
- hoʻokahi hui nui nui;
- nā pūʻulu liʻiliʻi kūikawā nui;
- hoʻokahi pūpū no ka noi;
- hoʻokahi puʻupuʻu no kēlā me kēia kaiapuni.
No laila he aha kāu e hana ai?
E like me nā manawa a pau, pili ka pane i ka hihia hoʻohana: pono ʻoe e kaupaona i nā pono a me nā pōʻino o nā ala like ʻole a koho i ka koho maikaʻi loa.
Eia naʻe, ʻaʻole i kaupalena ʻia ka koho i nā hiʻohiʻona ma luna - hiki iā ʻoe ke hoʻohana i kekahi hui o lākou!
No ka laʻana, hiki iā ʻoe ke hoʻonohonoho i ʻelua mau pūʻulu no kēlā me kēia hui: kahi pūʻulu hoʻomohala (kahi e loaʻa ai nā kaiapuni make и hōʻike) a hui pū no ? iecaianoaaiiuo (kahi e kū ai ke kaiapuni hana).
Ma muli o ka ʻike ma kēia ʻatikala, hiki iā ʻoe ke hoʻopaʻa i nā pono a me nā pōʻino e like me ke ʻano kikoʻī. Pōmaikaʻi iā ʻoe
PS
E heluhelu pū ma kā mākou blog:
- «";
- «";
- «";
- «".
Source: www.habr.com