Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes
O lenei tusiga o le a fesoasoani ia te oe e malamalama ai pe faʻafefea ona faʻaogaina le paleni o uta i Kubernetes, o le a le mea e tupu pe a faʻateleina fesoʻotaʻiga umi, ma pe aisea e tatau ai ona e mafaufau i le faapaleniina o le tagata o tausia pe afai e te faʻaogaina HTTP/2, gRPC, RSockets, AMQP, poʻo isi faʻasalalauga umi. . 

O sina mea itiiti e uiga i le auala e toe tufatufa atu ai fefaʻatauaiga i Kubernetes 

E maua e Kubernetes ni fa'amatalaga talafeagai e lua mo le fa'atinoina o talosaga: Au'aunaga ma Fa'atonuga.

O fa'agaioiga e fa'amatala pe fa'apefea ma pe fia kopi o lau talosaga e tatau ona fa'agaoioi i so'o se taimi. O talosaga taʻitasi e faʻapipiʻiina e avea o se Pod ma tuʻuina atu i ai se tuatusi IP.

'Au'aunaga e tutusa lelei le fa'atinoga ma le paleni uta. Ua mamanuina e tufatufa atu fefaʻatauaiga i luga o le tele o pods.

Sei o tatou vaai pe faape'ī foliga.

  1. I le ata o loʻo i lalo e mafai ona e vaʻaia ni faʻataʻitaʻiga se tolu o le talosaga lava e tasi ma se paleni uta:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  2. O le paleni o uta e taʻua o le Auaunaga ma ua tuʻuina atu i ai se tuatusi IP. So'o se talosaga e o'o mai e toe tu'u atu i se tasi o pods:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  3. O le fa'ata'ita'iga fa'ata'ita'iga e fuafua ai le aofa'i o fa'ata'ita'iga o le talosaga. E toetoe lava a le toe fa'alautele sa'o i lalo:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  4. O pod taʻitasi e tuʻuina atu lana lava tuatusi IP:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

E aoga le mafaufau i au'aunaga o se aofa'iga o tuatusi IP. O taimi uma e te maua ai le auaunaga, e filifilia se tasi o tuatusi IP mai le lisi ma faʻaaogaina e avea ma tuatusi tuatusi.

E pei o lea.

  1. Ua maua se talosaga curl 10.96.45.152 i le auaunaga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  2. E filifilia e le 'au'aunaga se tasi o tuatusi pod e tolu e fai ma taunu'uga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  3. Ua toe fa'afeiloa'i le ta'avale i se pusa fa'apitoa:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

Afai o lau talosaga e aofia ai le pito i luma ma le pito i tua, ona e maua uma lea o se auaunaga ma se faʻapipiʻiina mo taʻitasi.

Pe a faia e le pito i luma se talosaga i le pito i tua, e le manaʻomia ona iloa tonu pe fia ni pusa e tautua ai le pito i tua: e mafai ona tasi, sefulu, pe selau.

E le gata i lea, e le iloa e le pito i luma se mea e uiga i tuatusi o pusa o loʻo tautua i tua.

Pe a faia e le pito i luma se talosaga i le pito i tua, e faʻaaogaina le tuatusi IP o le tautua pito i tua, lea e le suia.

O le foliga lea.

  1. I lalo ole 1 e mana'omia le vaega pito i tua i totonu. Nai lo le filifilia o se mea patino mo le pito i tua, e faia se talosaga i le auaunaga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  2. E filifilia e le 'au'aunaga se tasi o pito pito i tua e fai ma tuatusi e alu i ai:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  3. Ta'avale e alu mai le Pod 1 i le Pod 5, filifilia e le 'au'aunaga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  4. I lalo ole 1 e le o iloa tonu pe fia ni pusa pei ole lalo ole 5 o lo'o natia i tua o le tautua:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

Ae fa'afefea tonu le tufaina atu e le tautua talosaga? E foliga mai o lo'o fa'aogaina le paleni fa'ata'amilosaga? Sei o tatou mafaufau i ai. 

Paleni i auaunaga Kubernetes

Kubernetes auaunaga e le o iai. E leai se fa'agasologa mo le 'au'aunaga e tu'uina atu i ai se tuatusi IP ma se taulaga.

E mafai ona e faʻamaonia lenei mea e ala i le saini i totonu o soʻo se node i le fuifui ma faʻatautaia le netstat -ntlp poloaiga.

O le a le mafai lava ona e mauaina le tuatusi IP na tu'uina atu i le 'au'aunaga.

O le tuatusi IP a le auʻaunaga o loʻo i totonu o le faʻatonuga, i totonu o le pule, ma faʻamaumau i totonu o faʻamaumauga - etcd. O le tuatusi lava e tasi e faʻaaogaina e se isi vaega - kube-proxy.
E maua e Kube-proxy se lisi o tuatusi IP mo au'aunaga uma ma fa'atupuina se seti o tulafono iptables i node ta'itasi i le fuifui.

Fai mai nei tulafono: "Afai matou te vaʻai i le tuatusi IP o le tautua, matou te manaʻomia le suia o le tuatusi tuatusi o le talosaga ma lafo i se tasi o pods."

Ole tuatusi IP ole auaunaga e fa'aaogaina na'o se mea e ulufale ai ma e le fa'aogaina e so'o se fa'agasologa ole fa'alogo ile tuatusi IP ma le uafu.

Sei o tatou tilotilo i le mea lea

  1. Mafaufau i se fuifui e tolu nodes. O node ta'itasi e iai fo'i:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  2. Nonoa pods vali beige o se vaega o le auaunaga. Ona o le auaunaga e le o iai o se faagasologa, e faʻaalia i le lanu efuefu:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  3. O le pod muamua e mana'omia se auaunaga ma e tatau ona alu i se tasi o pods fa'atatau:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  4. Ae le o iai le tautua, e le o iai le faagasologa. E faapefea ona aoga?

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  5. Aʻo leʻi alu ese le talosaga mai le node, e alu i tulafono iptables:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  6. O tulafono iptables e iloa e le o iai le auaunaga ma sui lona tuatusi IP i se tasi o tuatusi IP o pods e fesoʻotaʻi ma lena auaunaga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  7. O le talosaga e maua ai se tuatusi IP aoga e avea ma tuatusi o le taunuuga ma e fa'agasolo masani:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  8. Fa'alagolago ile topology feso'ota'iga, e iu lava ina o'o le talosaga ile pod:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

E mafai e iptables ona uta paleni?

Leai, iptables o loʻo faʻaogaina mo le faʻamamaina ma e leʻi fuafuaina mo le paleni.

Ae ui i lea, e mafai ona tusia se seti o tulafono e aoga pseudo-paleni.

Ma o le mea tonu lea o loʻo faʻatinoina i Kubernetes.

Afai e tolu au pods, kube-proxy o le a tusia tulafono nei:

  1. Filifili le pito muamua ma se avanoa e 33%, a leai alu i le isi tulafono.
  2. Filifili le lona lua ma se avanoa e 50%, a leai, alu i le isi tulafono.
  3. Filifili le lona tolu i lalo.

O lenei faiga e mafua ai ona filifilia pod taitasi ma se avanoa e 33%.

Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

Ma e leai se faʻamautinoaga o le a filifilia le Pod 2 pe a uma le Pod 1.

mataʻi: iptables fa'aogaina se fa'amaumauga fa'amaumauga ma fa'asoa fa'afuase'i. O le mea lea, o le paleni algorithm e faʻavae i luga ole filifiliga faʻafuaseʻi.

O lea la ua e malamalama i le auala e galue ai au'aunaga, se'i o tatou va'ava'ai i fa'ata'ita'iga au'aunaga e sili atu ona manaia.

O feso'ota'iga umi i Kubernetes e le fa'afuaina ona o le fa'aletonu

O talosaga HTTP taʻitasi mai le pito i luma i le pito i tua e tuʻuina atu e se isi fesoʻotaʻiga TCP, lea e tatalaina ma tapuni.

Afai e auina atu e le pito i luma le 100 talosaga i le sekone i le pito i tua, ona tatala ma tapunia lea o fesoʻotaʻiga TCP eseese 100.

E mafai ona e fa'aitiitia le taimi e fa'agasolo ai talosaga ma uta e ala i le tatalaina o le tasi TCP feso'ota'iga ma fa'aogaina mo talosaga HTTP uma e soso'o mai.

O le HTTP protocol e iai se vaega e taʻua o le HTTP keep-alive, poʻo le toe faʻaogaina o fesoʻotaʻiga. I lenei tulaga, e tasi le fesoʻotaʻiga TCP e faʻaaogaina e lafo ma maua ai le tele o talosaga HTTP ma tali:

Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

O lenei vaega e le mafai ona fa'aletonu: o le server ma le tagata fa'atau e tatau ona fa'atulagaina e tusa ai.

O le seti lava ia e faigofie ma avanoa mo le tele o gagana polokalame ma siosiomaga.

O nisi nei o feso'ota'iga i fa'ata'ita'iga i gagana 'ese'ese:

O le a le mea e tupu pe a matou fa'aogaina le tausia-ola i totonu o se auaunaga Kubernetes?
Se'i tatou fa'apea o le pito i luma ma le pito i tua o lo'o lagolagoina pea-ola.

E tasi le matou kopi o le pito i luma ma le tolu kopi o le pito i tua. O le pito i luma e faia le talosaga muamua ma tatala se TCP sootaga i le pito i tua. O le talosaga e o'o atu i le 'au'aunaga, o se tasi o pito pito i tua ua filifilia e avea ma tuatusi o le a'oga. O le pito i tua e auina atu se tali, ma le pito i luma e mauaina.

E le pei o le tulaga masani e tapunia ai le fesoʻotaʻiga TCP pe a uma ona maua se tali, o loʻo tatalaina nei mo nisi talosaga HTTP.

O le a le mea e tupu pe a auina atu e le pito i luma nisi talosaga i le pito i tua?

Ina ia tuʻuina atu nei talosaga, o le a faʻaogaina se fesoʻotaʻiga TCP tatala, o talosaga uma o le a alu i le pito i tua tutusa lea na alu ai le talosaga muamua.

E le tatau ea e iptables ona toe tufatufaina atu le feoaiga?

E le o le tulaga lea.

A faia se feso'ota'iga TCP, e alu i tulafono iptables, lea e filifili ai se pito i tua fa'apitoa e alu i ai le ta'avale.

Talu ai o talosaga uma mulimuli ane o loʻo i luga o se fesoʻotaʻiga TCP ua uma ona tatala, e le o toe valaʻau tulafono iptables.

Sei o tatou vaai pe faape'ī foliga.

  1. O le pod muamua e auina atu se talosaga i le auaunaga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  2. Ua uma ona e iloa le mea o le a sosoo ai. E le o iai le auaunaga, ae o loʻo i ai tulafono iptables e faʻagasolo ai le talosaga:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  3. O se tasi o pito pito i tua o le a filifilia e avea ma tuatusi e alu i ai:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  4. O le talosaga e oʻo atu i le pod. I le taimi nei, o le a faʻavaeina se fesoʻotaʻiga TCP faifai pea i le va o pods e lua:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  5. Soʻo se talosaga mulimuli mai le pod muamua o le a alu i le fesoʻotaʻiga ua uma ona faʻamautuina:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

Ole taunuuga ole taimi ole tali vave ma maualuga le gaosiga, ae e te leiloa le malosi e faʻasolo ai le pito i tua.

E tusa lava pe lua ni au pusa i le pito i tua, faʻatasi ai ma se fesoʻotaʻiga faifaipea, o le a alu pea le taʻavale i se tasi oi latou.

Mafai ona faʻasaʻo lenei?

Talu ai e le iloa e Kubernetes le faʻapaleniina o fesoʻotaʻiga faifai pea, o lenei galuega e pau ia te oe.

'Au'aunaga o se aofa'iga o tuatusi IP ma ports e ta'ua endpoints.

E mafai e lau talosaga ona maua se lisi o fa'ai'uga mai le 'au'aunaga ma filifili pe fa'afefea ona tufatufa talosaga i le va oi latou. E mafai ona e tatalaina se fesoʻotaʻiga faifai pea i pod taʻitasi ma paleni talosaga i le va o nei fesoʻotaʻiga e faʻaaoga ai le round-robin.

Pe talosaga atili lavelave paleni algorithms.

O le tulafono a le tagata o tausia e nafa ma le faapaleniina e tatau ona mulimulitaʻi i le manatu lenei:

  1. Maua se lisi o fa'ai'uga mai le 'au'aunaga.
  2. Tatala se feso'ota'iga faifai pea mo pito fa'ai'uga ta'itasi.
  3. Pe a manaʻomia se talosaga, faʻaaoga se tasi o fesoʻotaʻiga tatala.
  4. Fa'afou pea le lisi o fa'ai'uga, fai mea fou pe tapuni feso'ota'iga tumau tuai pe a sui le lisi.

O le mea lea o le a foliga mai.

  1. Nai lo o le pod muamua e tuʻuina atu le talosaga i le 'auʻaunaga, e mafai ona e faapaleni talosaga i le itu o le kalani:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  2. E te manaʻomia le tusia o le code e fesili ai poʻo fea pods o se vaega o le tautua:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  3. O le taimi lava e te maua ai le lisi, teu i luga o le itu o le kalani ma faʻaoga e faʻafesoʻotaʻi i pods:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

  4. O oe e nafa ma le load balancing algorithm:

    Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

O lea ua tulaʻi mai le fesili: pe naʻo le faʻaogaina o lenei faʻafitauli i le HTTP keep-ola?

Fa'apaleni uta uta a tagata fa'atau

E le na'o le HTTP e mafai ona fa'aogaina feso'ota'iga TCP faifai pea.

Afai e fa'aogaina e lau talosaga se fa'amaumauga, ona le tatalaina lea o se feso'ota'iga TCP i taimi uma e te mana'omia ai se talosaga pe toe aumai se pepa mai le fa'amaumauga. 

Nai lo lena, o se fesoʻotaʻiga TCP faifai pea i le database e tatalaina ma faʻaaogaina.

Afai o lau faʻamaumauga o loʻo faʻapipiʻiina i luga o Kubernetes ma avanoa e tuʻuina atu o se tautua, ona e feagai lea ma faʻafitauli tutusa o loʻo faʻamatalaina i le vaega muamua.

E tasi le kopi fa'amaumauga o le a sili atu ona uta nai lo isi. Kube-proxy ma Kubernetes o le a le fesoasoani e faapaleni sootaga. E tatau ona e fa'aeteete e faapaleni fesili i lau fa'amaumauga.

Fa'alagolago i le faletusi e te fa'aoga e fa'afeso'ota'i ai i fa'amaumauga, atonu e iai au filifiliga eseese mo le fo'ia o lenei fa'afitauli.

Lalo o se faʻataʻitaʻiga o le mauaina o se MySQL database cluster mai Node.js:

var mysql = require('mysql');
var poolCluster = mysql.createPoolCluster();

var endpoints = /* retrieve endpoints from the Service */

for (var [index, endpoint] of endpoints) {
  poolCluster.add(`mysql-replica-${index}`, endpoint);
}

// Make queries to the clustered MySQL database

E tele isi fa'asalalauga e fa'aogaina feso'ota'iga TCP faifai pea:

  • WebSockets ma saogalemu WebSockets
  • HTTP / 2
  • gRPC
  • RSockets
  • AMQP

E tatau ona e masani i le tele o nei tulafono.

Ae afai o nei faʻasalalauga e matua lauiloa, aisea e le o iai se faʻataʻitaʻiga paleni fofo? Aisea e mana'omia ai ona sui le manatu ole tagata o tausia? E i ai se fofo Kubernetes moni?

Kube-proxy ma iptables ua mamanuina e aofia ai le tele o mataupu faʻaoga masani pe a faʻapipiʻi i Kubernetes. E mo le faigofie.

Afai o lo'o e fa'aogaina se 'upega tafa'ilagi e fa'aalia ai se REST API, o lo'o e laki - i lenei tulaga, e le fa'aogaina feso'ota'iga TCP faifai pea, e mafai ona e fa'aogaina so'o se auaunaga Kubernetes.

Ae o le taimi lava e te amata faʻaogaina ai fesoʻotaʻiga TCP faifai pea, e tatau ona e mafaufau pe faʻafefea ona tufatufa tutusa le uta i tua atu. Kubernetes e le o iai ni fofo ua saunia mo lenei mataupu.

Ae ui i lea, e mautinoa lava e iai filifiliga e mafai ona fesoasoani.

Fa'apaleni feso'ota'iga umi i Kubernetes

E fa ituaiga o auaunaga i Kubernetes:

  1. ClusterIP
  2. NodePort
  3. LoadBalancer
  4. Le ulu

O 'au'aunaga muamua e tolu o lo'o fa'avae i luga o se tuatusi IP virtual, lea e fa'aaogaina e le kube-proxy e fausia ai tulafono iptables. Ae o le faavae autu o auaunaga uma o se auaunaga e leai se ulu.

O le au'aunaga e leai se ulu e leai se tuatusi IP e feso'ota'i ma ia ma na'o le tu'uina atu o se masini mo le toe maua mai o se lisi o tuatusi IP ma ports o pods (endpoints) e feso'ota'i ma ia.

O auaunaga uma e fa'avae i luga ole auaunaga e leai ni ulu.

Ole 'au'aunaga ClusterIP o se 'au'aunaga e leai ni ulu ma nisi fa'aopoopoga: 

  1. O le vaega pulega e tu'uina atu i ai se tuatusi IP.
  2. Kube-proxy e fa'atupu tulafono iptables mana'omia.

O le auala lea e mafai ai ona e le amanaʻia le kube-proxy ma faʻaaoga saʻo le lisi o faʻaiʻuga na maua mai le auaunaga e leai se ulu e utaina paleni lau talosaga.

Ae faʻafefea ona tatou faʻaopoopoina faʻamatalaga tutusa i talosaga uma o loʻo faʻapipiʻiina i le fuifui?

Afai ua uma ona fa'apipi'i lau talosaga, e foliga mai e le mafai lenei galuega. Peitaʻi, e iai se isi filifiliga.

Auaunaga Mesh o le a fesoasoani ia te oe

Masalo ua uma ona e maitauina o le auala o le faapaleniina o uta o le tagata o tausia e fai si tulaga masani.

A amata le talosaga, e:

  1. Maua se lisi o tuatusi IP mai le auaunaga.
  2. Tatala ma tausia se vaita'ele feso'ota'iga.
  3. Fa'afou i lea taimi ma lea taimi le vaita'ele e ala i le fa'aopoopo pe aveese fa'ai'uga.

O le taimi lava e manaʻo ai le talosaga e fai se talosaga, e:

  1. Filifilia se feso'ota'iga avanoa e fa'aoga ai ni fa'atatau (eg round-robin).
  2. Fa'atino le talosaga.

O laasaga nei e aoga mo WebSockets, gRPC, ma AMQP fesoʻotaʻiga.

E mafai ona e tuueseeseina lenei manatu i totonu o se faletusi eseese ma faʻaaogaina i au talosaga.

Ae ui i lea, e mafai ona e faʻaogaina meshes auaunaga pei o Istio poʻo Linkerd nai lo.

Service Mesh fa'aopoopo lau talosaga i se faiga e:

  1. Su'e otometi mo tuatusi IP tautua.
  2. Su'ega feso'ota'iga e pei ole WebSockets ma le gRPC.
  3. Fa'apaleni talosaga e fa'aaoga ai le fa'atonuga sa'o.

E fesoasoani le Service Mesh i le puleaina o felauaiga i totonu o le fuifui, ae e fai lava si malosi-o'oa. O isi filifiliga o loʻo faʻaaogaina faletusi lona tolu e pei o Netflix Ribbon poʻo faʻapolokalame faʻapolokalame pei ole Envoy.

O le a le mea e tupu pe a e le amana'ia le paleni o mataupu?

E mafai ona e filifili e aua le fa'aogaina le paleni o uta ma e le'i matauina lava ni suiga. Se'i tatou va'ai i ni nai fa'aaliga o galuega.

Afai e sili atu au faʻatau nai lo sapalai, e le o se faʻafitauli tele lea.

Fa'apea e toalima tagata fa'atau e feso'ota'i atu i 'au'aunaga se lua. E tusa lava pe leai se paleni, o le a faʻaaogaina uma 'auʻaunaga:

Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

O feso'ota'iga e le mafai ona fa'asoa tutusa: masalo e fa tagata fa'atau e feso'ota'i i le server e tasi, ae e iai le avanoa lelei e fa'aoga uma ai 'au'aunaga.

O le mea e sili atu ona fa'afitauli o le fa'afeagai.

Afai e toʻaitiiti au faʻatau ma sili atu auʻaunaga, e ono le faʻaaogaina au punaoa ma o le a aliali mai se faʻalavelave faʻafefe.

Fa'apea e lua tagata fa'atau ma 'au'aunaga e lima. I le tulaga sili ona lelei, o le ai ai ni feso'ota'iga tumau se lua i 'au'aunaga se lua mai le lima.

O lo'o totoe 'au'aunaga o le a leai se aoga:

Fa'apaleni uta ma fa'asili feso'ota'iga umi i Kubernetes

Afai e le mafai e nei 'au'aunaga e lua ona taulimaina talosaga a tagata o tausia, o le a le fesoasoani le fa'alava fa'ata'atia.

iʻuga

O 'au'aunaga Kubernetes ua mamanuina e galue i le tele o fa'ata'ita'iga fa'aoga i luga ole laiga.

Ae peita'i, o le taimi lava e te amata galue ai ma fa'atonuga o talosaga e fa'aogaina feso'ota'iga TCP faifai pea, e pei o fa'amaumauga, gRPC po'o WebSockets, 'au'aunaga ua le toe talafeagai. E le maua e Kubernetes ni faiga i totonu mo le faapaleniina o feso'ota'iga TCP faifai pea.

O lona uiga e tatau ona e tusia tusi talosaga ma le paleni i le itu o tagata o tausia i lou mafaufau.

Faaliliuga saunia e le au Kubernetes aaS mai Mail.ru.

O le a se isi mea e faitau i le autu:

  1. Tolu tulaga o le autoscaling i Kubernetes ma le faʻaogaina lelei
  2. Kubernetes i le agaga o le faomea ma se faʻataʻitaʻiga mo le faʻatinoga.
  3. Le matou ala Telegram e uiga i suiga numera.

puna: www.habr.com

Faaopoopo i ai se faamatalaga