🥇Faʻalauteleina ma Faʻaopoopoina Kubernetes (toe iloilo ma vitio o le lipoti)

Aperila 8 i le konafesi Saint HighLoad++ 2019, i le avea ai o se vaega o le "DevOps and Operations" vaega, na tuʻuina atu ai se lipoti "Faʻalauteleina ma faʻapipiʻi Kubernetes", i le fausiaina lea na auai ai tagata faigaluega e toʻatolu a le kamupani Flant. I totonu, matou te talanoa e uiga i le tele o tulaga na matou mananao ai e faʻalautele ma faʻapipiʻi le gafatia o Kubernetes, ae matou te leʻi maua ai se fofo saunia ma faigofie. O loʻo i ai a matou fofo talafeagai i le tulaga o Open Source poloketi, ma o lenei tautalaga e faʻamaoni foi ia i latou.

E tusa ai ma tu ma aga, matou te fiafia e tuʻuina atu vitio o le lipoti (50 minute, e sili atu le faʻamatalaga nai lo le tusiga) ma le aotelega autu i tusitusiga. Alu!

Autu ma faʻaopoopoga i K8s

Kubernetes ua suia le alamanuia ma auala i pulega ua leva ona faavaeina:

Faafetai ia te ia fa'atosina, matou te le toe faʻaogaina faʻamatalaga e pei o le setiina o se config poʻo le faʻatinoina o se faʻatonuga (Chef, Ansible...), ae faʻaaoga le faʻavasegaina o pusa, auaunaga, ma isi.
E mafai ona tatou saunia talosaga e aunoa ma le mafaufau i le nuances o le nofoaga patino, lea o le a faʻalauiloa ai: uamea faʻatau, ao o se tasi o tuʻuina atu, ma isi.
Faatasi ai ma K8s e le'i sili atu ona e mauaina faiga sili ona lelei i luga o le faʻatulagaina o atinaʻe: faʻavasegaina metotia, faʻamalologa o le tagata lava ia, faʻapalepale sese, ma isi.

Ae ui i lea, o le mea moni, o mea uma e le faigofie: Na aumaia foi e Kubernetes ana lava luitau fou.

Kubernetes lē o se tu'ufa'atasiga e fo'ia uma fa'afitauli o tagata uma e fa'aoga. O le autu Kubernetes e nafa na'o se seti o galuega mana'omia aupito maualalo o lo'o iai i totonu tagata uma fuifui:

O le Kubernetes autu o loʻo faʻamatalaina se seti o mea muamua mo le faʻavasegaina o pusa, puleaina o fefaʻatauaiga, ma isi. Sa matou talanoa atili e uiga ia i latou i lipoti 2 tausaga talu ai.

I le isi itu, K8s e ofoina atu avanoa sili e faʻalautele ai galuega avanoa, lea e fesoasoani e tapunia ai isi - patino - mana'oga o tagata fa'aoga. O faʻaopoopoga i Kubernetes o le matafaioi lea a le au faʻapipiʻi, e tatau ona faʻapipiʻi ma faʻapipiʻi mea uma e manaʻomia ina ia maua ai a latou fuifui "i le foliga saʻo" [e foia ai o latou faafitauli patino]. O a ituaiga o mea faaopoopo ia? Seʻi o tatou vaavaai i ni faaaʻoaʻoga.

Fa'ata'ita'iga o fa'aopoopoga

I le faʻapipiʻiina o Kubernetes, atonu tatou te ofo ona o le upega tafaʻilagi e matua manaʻomia mo le fegalegaleaiga o pods i totonu o le node ma le va o nodes e le galue na o ia. E le fa'amaonia e le fatu Kubernetes feso'ota'iga mana'omia, ae fa'amauina le feso'ota'iga Ofisa (CNI) mo fa'aopoopoga isi vaega. E tatau ona matou faʻapipiʻi se tasi o nei faʻaopoopoga, lea o le a nafa ma le faʻaogaina o fesoʻotaʻiga.

O se faʻataʻitaʻiga vavalalata o faʻamaumauga e teu ai faʻamatalaga (tisiki i le lotoifale, masini poloka poloka, Ceph ...). I le amataga sa i ai i latou i totonu, ae o le afio mai CSI e suia le tulaga i se mea e tutusa ma lena ua uma ona faamatalaina: o le atinaʻe o loʻo i Kubernetes, ma o lona faʻatinoga o loʻo i totonu o vaega lona tolu.

O isi faʻataʻitaʻiga e aofia ai:

Faʻailoga-pule (vaai la latou iloiloga i la matou tala lata mai).
tagata faʻatau:
Faʻatonu o se vasega atoa o fa'aopoopoga (lea e aofia ai le fa'atonu-pule), latou te fa'amatalaina primitive(s) ma controller(s). O le faʻatatau o la latou galuega e faʻatapulaʻaina naʻo tatou mafaufauga ma faʻatagaina tatou e faʻaliliuina vaega faʻapitoa (mo se faʻataʻitaʻiga, DBMS) i mea muamua, lea e sili atu ona faigofie e galulue ai (nai lo le seti o koneteina ma o latou tulaga). O se numera tele o tagata faʻatautaia ua tusia - e tusa lava pe o le toʻatele oi latou e leʻi sauni mo le gaosiga, ua na o sina taimi:
Fuafuaga - o le isi faʻataʻitaʻiga o le auala na vavae ese ai e Kubernetes le atinaʻe (Metrics API) mai le faʻatinoga (tolu-party add-ons e pei ole Prometheus adapter, Datadog cluster agent...).
mo mata'ituina ma fuainumera, lea i le faatinoga e le gata ina manaomia Prometheus ma Grafana, ae faʻapea foi kube-state-metrics, node-exporter, etc.

Ma e le o se lisi atoa o faʻaopoopoga ... Mo se faʻataʻitaʻiga, i le kamupani Flant matou te faʻapipiʻi nei 29 mea faaopoopo (o ia mea uma e fatuina ai le aofaʻi o mea e 249 Kubernetes). I se faaupuga faigofie, e le mafai ona tatou vaʻaia le ola o se fuifui e aunoa ma ni faʻaopoopoga.

Faʻaaogaina

Ua mamanuina tagata fa'atino e fa'autometi galuega masani tatou te feagai i aso uma. O fa'ata'ita'iga moni ia o le tusiaina o se fa'alapotopotoga o le a avea ma fofo sili ona lelei:

O loʻo i ai se resitala tumaoti (e manaʻomia se saini) ma ata mo le talosaga. E faʻapea o pod taʻitasi e tuʻuina atu se mealilo faʻapitoa e mafai ai ona faʻamaonia i le resitala. O la matou galuega o le faʻamautinoa o loʻo maua lenei mea lilo i le igoa avanoa ina ia mafai e pods ona sii mai ata. E mafai ona i ai le tele o talosaga (o ia mea uma e manaʻomia se mealilo), ma e aoga le faʻafouina o mealilo i taimi uma, o lea e faʻaumatia ai le filifiliga o le tuʻuina atu o mealilo. O le mea lea e sau ai le tagata faʻatautaia e laveai: matou te fatuina se pule e faʻatali mo le igoa e faʻaalia ma, faʻavae i luga o lenei mea na tupu, o le a faʻaopoopoina se mealilo i le igoa.
Fa'ataga le avanoa mai pods i luga ole Initaneti e fa'asa. Ae o nisi taimi atonu e manaʻomia: e talafeagai mo le faʻatagaina avanoa e galue faigofie, e aunoa ma le manaʻomia o tomai faʻapitoa, mo se faʻataʻitaʻiga, e ala i le i ai o se igoa patino i le igoa avanoa. E mafai faapefea e le tagata faafoe ona fesoasoani ia i tatou iinei? Ua faia se pule e fa'atali mo le fa'ailoga e fa'aalia i le igoa avanoa ma fa'aopoopo le faiga fa'avae talafeagai mo le Initaneti.
O se tulaga talitutusa: fa'apea e tatau ona tatou fa'aopoopoina se mea fa'apitoa pisia, pe afai ei ai se igoa tutusa (faatasi ai ma se ituaiga prefix). O gaioiga ma le tagata faʻatautaia e manino lava...

I soo se fuifui, e tatau ona foia galuega masani, ma saʻo e mafai ona faia lenei mea i le faʻaaogaina o tagata faʻatautaia.

I le aotelega o tala uma o loʻo faʻamatalaina, na matou oʻo ai i le faaiuga mo galuega lelei i Kubernetes e te manaʻomia: A) fa'apipi'i fa'aopoopo, b) atia'e fa'alapotopotoga (mo le foiaina o galuega faafoe i aso uma).

E faʻapefea ona tusia se faʻamatalaga mo Kubernetes?

I se tulaga lautele, o le polokalame e faigofie:

... ae ua aliali mai:

O le Kubernetes API o se mea e le fa'atauva'a e tele se taimi e fa'atautaia ai;
polokalame e le mo tagata uma (o le gagana Go na filifilia e avea ma gagana e sili ona fiafia i ai ona o loʻo i ai se faʻavae faʻapitoa mo ia - Fa'atonu SDK);
E tutusa le tulaga ma le auivi lava ia.

laina pito i lalo: e tusi se pule (operator) e tatau fa'aalu alagaoa taua e suesue i meafaitino. O lenei mea o le a faʻamaonia mo "tele" faʻatautaia - fai mai, mo le MySQL DBMS. Ae afai tatou te manatua faʻataʻitaʻiga o loʻo faʻamatalaina i luga (faʻaalia mea lilo, faʻafeiloaʻi pods i luga ole Initaneti ...), lea tatou te mananao foi e fai saʻo, ona tatou malamalama lea o le taumafaiga e faʻaalu o le a sili atu nai lo le taunuuga tatou te manaʻomia nei:

I se tulaga lautele, e tulaʻi mai se faʻalavelave: faʻaalu le tele o punaoa ma suʻe le meafaigaluega saʻo mo le tusiaina o faʻamatalaga, pe fai i le auala tuai (ae vave). Ina ia foia - ia maua se maliega i le va o nei tulaga ogaoga - na matou faia la matou lava poloketi: tagata fai atigi (vaai foi i lana fa'aaliga lata mai i luga ole nofoaga).

tagata fa'a'au'au

E faapefea ona ia galue? O le fuifui o lo'o i ai se pusa o lo'o i ai se Go binary ma se atigi-operator. I tafatafa o le seti o matau (isi fa'amatalaga e uiga ia i latou - va'ai lalo). O le shell-operator lava ia e faʻamaonia i nisi mea na tutupu i le Kubernetes API, pe a tupu e faʻalauiloa ai matau tutusa.

E fa'afefea ona iloa e le tagata fai atigi po'o fea lave e vala'au i mea tutupu? O lenei faʻamatalaga e tuʻuina atu i le atigi-operator e ala i latou lava, ma latou faia faigofie lava.

O le matau o se tusi Bash poʻo soʻo se isi faila faila e talia se finauga e tasi --config ma tali mai ma le JSON. O le mea mulimuli e fuafua po'o fea mea faitino e fiafia iai ma po'o a mea tutupu (mo nei mea) e tatau ona tali atu i ai:

O le a ou faʻaalia le faʻatinoga i luga o le atigi-operator o se tasi oa tatou faʻataʻitaʻiga - faʻaleagaina mealilo mo le mauaina o se resitala tumaoti ma ata faʻaoga. E aofia ai vaega e lua.

Faataitai: 1. Tusi se matau

Muamua, i totonu o le matau o le a tatou faʻagasolo --config, e faʻaalia ai matou te fiafia i igoa avanoa, aemaise lava, le taimi o le latou foafoaga:

[[ $1 == "--config" ]] ; then
  cat << EOF
{
  "onKubernetesEvent": [
    {
      "kind": "namespace",
      "event": ["add"]
    }
  ]
}
EOF
…

O le a le foliga o le manatu? E faigofie foi:

…
else
  createdNamespace=$(jq -r '.[0].resourceName' $BINDING_CONTEXT_PATH)
  kubectl create -n ${createdNamespace} -f - << EOF
Kind: Secret
...
EOF
fi

O le laasaga muamua o le suʻeina lea poʻo le fea igoa na faia, ma le lona lua o le fatuina lea e faʻaaoga ai kubectl mealilo mo lenei igoa avanoa.

Faataitai: 2. Faapotopotoina o le ata

Pau lava le mea o loʻo totoe o le pasi atu o le matau na faia i le atigi-operator - faʻafefea ona fai lenei mea? O le shell-operator lava ia e sau o se ata Docker, o la matou galuega o le faʻaopoopoina lea o le matau i se tusi faʻapitoa i lenei ata:

FROM flant/shell-operator:v1.0.0-beta.1
ADD my-handler.sh /hooks

Pau lava le mea o loʻo totoe o le faʻapotopotoina ma tuleia:

$ docker build -t registry.example.com/my-operator:v1 .
$ docker push registry.example.com/my-operator:v1

O le pa'i mulimuli o le fa'apipi'iina lea o le ata i le fuifui. Ina ia faia lenei mea, tatou tusi Deployment:

apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: my-operator
spec:
  template:
    spec:
      containers:
      - name: my-operator
        image: registry.example.com/my-operator:v1 # 1
      serviceAccountName: my-operator              # 2

E lua vaega e tatau ona gauai i ai:

faʻailoga o le ata fou na faia;
Ole vaega lea ole faiga e (i lalo ifo) e mana'omia ai aia tatau e lesitala ai i mea na tutupu ile Kubernetes ma fa'asoa mealilo ile igoa avanoa, o lea matou te faia ai se ServiceAccount (ma se seti o tulafono) mo le matau.

I'uga - na matou foia lo matou faafitauli aiga mo Kubernetes i se auala e fatuina ai se tagata faʻapipiʻi mo le faʻaumatia mea lilo.

O isi mea e fai ai atigi-operator

Ina ia fa'atapula'aina meafaitino o lau ituaiga filifilia e fa'aoga ai le matau, e mafai ona faamamaina, filifili e tusa ai ma nisi igoa (poʻo le faʻaaogaina matchExpressions):

"onKubernetesEvent": [
  {
    "selector": {
      "matchLabels": {
        "foo": "bar",
       },
       "matchExpressions": [
         {
           "key": "allow",
           "operation": "In",
           "values": ["wan", "warehouse"],
         },
       ],
     }
     …
  }
]

Tuuina atu faiga fa'a'oto'oto, lea - faʻaaogaina se jq filter - faʻatagaina oe e faʻaliliu mea tetele JSON i mea laiti, lea e naʻo na faʻamaufaʻailoga e tumau tatou te manaʻo e mataʻituina mo suiga.

A valaau se matau, e pasi atu e le tagata fai atigi mea fa'amatalaga, lea e mafai ona faʻaaogaina mo soʻo se manaʻoga.

O mea na tutupu e fa'aoso ai matau e le fa'atapula'aina i mea na tutupu i Kubernetes: e tu'uina atu e le shell-operator le lagolago mo valaau matau i le taimi (e tutusa ma le crontab i se faasologa masani), faʻapea foʻi ma se mea faʻapitoa onStartup. O nei mea uma e mafai ona tuʻufaʻatasia ma tuʻuina atu i le matau e tasi.

Ma isi vaega e lua o le shell-operator:

E aoga asynchronously. Talu ai na maua mai se mea Kubernetes (e pei o se mea o loʻo faia), o isi mea na tutupu (e pei o le mea lava e tasi o loʻo tapeina) na ono tupu i totonu o le fuifui, ma e manaʻomia e matau ona faʻamaonia lenei mea. Afai na faia le matau ma se mea sese, ona le mafai lea toe valaau seia mae'a manuia (e mafai ona suia lenei amio).
E auina atu i fafo fua fa'atatau mo Prometheus, lea e mafai ai ona e malamalama pe o galue le atigi-operator, saili le numera o mea sese mo matau taitasi ma le tele o le laina o loʻo i ai nei.

Ina ia aoteleina le vaega lenei o le lipoti:

Faʻaopoopoga faʻaopoopo

Mo galuega faʻalelei ma Kubernetes, sa taʻua foi le manaʻoga e faʻapipiʻi faʻaopoopoga. O le a ou taʻuina atu ia te oe e faʻaaoga ai le faʻataʻitaʻiga o le auala a le matou kamupani i le auala matou te faia ai nei.

Na amata ona matou galulue ma Kubernetes ma le tele o fuifui, naʻo le faʻaopoopoga o le Ingress. E manaʻomia le faʻapipiʻiina eseese i fuifui taʻitasi, ma matou faia ni faʻasalalauga YAML mo siosiomaga eseese: uamea, AWS...

A'o tele atu fuifui, sa tele atu fo'i fa'aopoopo. E le gata i lea, na matou faʻaleleia atili nei faʻatulagaga, o se taunuuga na avea ma mea e matua ese lava:

Ina ia faatulaga mea uma, na matou amata i se tusitusiga (install-ingress.sh), lea na avea o se finauga le ituaiga o fuifui o le a matou faʻapipiʻiina, faʻatupuina le faʻatulagaina o le YAML talafeagai ma faʻasalalau atu i Kubernetes.

I se faapuupuuga, o le matou ala sili atu ma le mafuaaga e fesootai ai e faapea:

e galulue ma YAML configurations, e manaʻomia se masini faʻataʻitaʻi (i laʻasaga muamua e faigofie sed);
faʻatasi ai ma le faʻateleina o le numera o fuifui, na oʻo mai le manaʻoga mo le faʻafouina otometi (o le fofo muamua o le tuʻuina lea o le tusitusiga i le Git, faʻafouina e faʻaaoga ai le cron ma faʻatautaia);
sa manaʻomia se tusitusiga tutusa mo Prometheus (install-prometheus.sh), ae ui i lea, e lauiloa mo le mea moni e manaʻomia ai le tele o faʻamatalaga faʻapipiʻi, faʻapea foʻi ma lo latou teuina (i se auala lelei - faʻapitoa ma i totonu o se fuifui), ma o nisi faʻamatalaga (password) e mafai ona otometi ona gaosia:
o le lamatiaga o le taʻavaleina o se mea sese i le faʻatupulaia o numera o fuifui sa faʻatupulaia pea, o lea na matou iloa ai o tagata faʻapipiʻi (e lua tusitusiga: mo Ingress ma Prometheus) sa mana'omia le fa'atulagaina (tele lala i Git, tele crons e fa'afou i latou i le mea e fetaui: fa'amau po'o fa'ata'ita'i fuifui);
с kubectl apply ua faigata ona galue i ai ona e le faʻamaonia ma e mafai ona naʻo mea faitino, ae le faia filifiliga i luga o latou tulaga / tapeina;
Na matou misia nisi o galuega e leʻi faʻatinoina i lena taimi:
- pulea atoatoa i le taunuuga o fa'afouga fa'aopoopo,
- otometi filifiliga o nisi taʻiala (faʻapipiʻi mo faʻapipiʻi tusitusiga) faʻavae i luga o faʻamaumauga e mafai ona maua mai le fuifui (suʻesuʻeina),
- lona atina'e talafeagai i le tulaga o le su'esu'eina faifaipea.

Na matou faʻatinoina uma nei faʻaputuga poto masani i totonu o le faʻavae o la matou isi poloketi - addon-operator.

Addon-operator

E fa'avae i luga o le atigi-operator ua uma ona ta'ua. O le faiga atoa e pei o lenei:

O lo'o fa'aopoopoina mea nei i fa'amau fa'aoga atigi:

teuina o tau,
Siata foeuli,
vaega lena mata'ituina le faleoloa o tau ma - a iai ni suiga - fai atu ia Helm e toe ta'avale le siata.

O le mea lea, e mafai ona tatou tali atu i se mea na tupu i Kubernetes, faʻalauiloa se matau, ma mai lenei matau e mafai ona tatou faia suiga i le teuina, pe a maeʻa ona toe sii mai le siata. I le faʻasologa o ata, matou te vavaeeseina le seti o matau ma le siata i se tasi vaega, lea matou te taʻua module:

E mafai ona i ai le tele o modules, ma ia i latou matou te faʻaopoopoina matau lalolagi, se faleoloa tulaga taua o le lalolagi, ma se vaega e mataʻituina lenei faleoloa o le lalolagi.

I le taimi nei, pe a tupu se mea i Kubernetes, e mafai ona tatou tali atu i ai e faʻaaoga ai se matau lalolagi ma suia se mea i le faleoloa o le lalolagi. O lenei suiga o le a matauina ma o le a mafua ai ona taʻavale uma modules i le fuifui:

O lenei polokalame e faʻamalieina uma manaʻoga mo le faʻapipiʻiina o faʻaopoopoga na taʻua i luga:

O le foeuli e nafa ma le fa'ata'ita'iga ma le ta'utinoga.
O le mataupu o le auto-update na foia e ala i le faʻaogaina o le matau lalolagi, lea e alu i le resitala i luga o se faʻatulagaga ma, afai e vaʻaia se ata fou o loʻo i ai iina, taʻavale i fafo (e pei o le "ia").
O le teuina o tulaga i totonu o le fuifui o loʻo faʻatinoina i le faʻaaogaina ConfigMap, lea o loʻo i ai faʻamatalaga muamua mo le teuina (i le amataga o loʻo faʻapipiʻiina i totonu o mea e teu ai).
O fa'afitauli i le fa'atupuina o upu fa'aupuga, su'esu'ega ma su'esu'ega faifaipea na fo'ia i le fa'aogaina o matau.
E ausia le faʻailoga faʻafetai i pine, lea e lagolagoina e Docker mai le pusa.
O le taunuuga o loʻo mataʻituina e faʻaaoga ai metotia e mafai ai ona tatou malamalama i le tulaga.

O lenei faiga atoa o loʻo faʻatinoina i le tulaga o se binary tasi i Go, lea e taʻua o le addon-operator. O le mea lea e fa'afaigofie ai le ata:

O le vaega autu i lenei ata o se seti o modules (fa'ailoga i le lanu efuefu i lalo). O lenei e mafai ona matou tusia se module mo le faʻaopoopoga manaʻomia ma sina taumafaiga itiiti ma ia mautinoa o le a faʻapipiʻiina i fuifui taʻitasi, o le a faʻafouina ma tali atu i mea e manaʻomia i totonu o le fuifui.

Fa'aoga "Flant". addon-operator i luga ole 70+ Kubernetes fuifui. Tulaga nei - fa'aliliuga alafa. O lea o loʻo matou saunia faʻamaumauga e faʻasaʻo ai le beta, ae mo le taimi nei i le fale teu oloa fa'ata'ita'iga avanoa, i luga o le faʻavae e mafai ai ona e fatuina lau oe faʻaopoopoga.

O fea e mafai ona ou maua ai modules mo addon-operator? O le lolomiina o la matou faletusi o le isi laasaga lea mo i matou;