🥇Post Mortem ona ole Quay.io le avanoa

Manatua. fa'aliliu.: i le amataga o Aukuso, Red Hat faʻalauaʻitele tautala e uiga i le foia o faʻafitauli faʻaogaina na faʻafeiloaʻi e tagata faʻaoga o lana auaunaga i masina talu ai. Quay.io (e faʻavae i luga o se resitala mo ata atigipusa, lea na maua e le kamupani faʻatasi ma le faʻatauina o CoreOS). E tusa lava po o le a lou fiafia i lenei auaunaga, o le auala na uia e le au inisinia SRE a le kamupani e suʻesuʻe ma faʻaumatia mafuaʻaga o le faʻalavelave e aoga.

I le aso 19 o Me, i le vaveao (Eastern Daylight Time, EDT), na paʻu ai le auaunaga a le quay.io. O le faʻalavelave faʻafuaseʻi na aʻafia uma ai tagata faʻatau quay.io ma Open Source poloketi faʻaaoga quay.io e fai ma faʻavae mo le fausiaina ma le tufatufaina o polokalama. Red Hat e faʻatauaina le faʻatuatuaina o mea uma e lua.

Na vave ona auai se vaega o inisinia SRE ma taumafai e faamautu le auaunaga a le Quay i se taimi vave e mafai ai. Ae ui i lea, a'o latou faia lenei mea, na leiloa e tagata fa'atau le mafai ona tuleia ni ata fou, ma na o nisi taimi na mafai ai ona latou tosoina ata o iai. Mo nisi mafuaaga e le iloa, o le quay.io database na poloka ina ua uma ona faʻateleina le auaunaga i le gafatia atoatoa.

«O le a le mea na suia?" - o le fesili muamua lea e masani ona fesiligia i ia tulaga. Na matou matauina e leʻi umi ae leʻi oʻo i le lomiga, o le OpenShift Dedicated cluster (lea e faʻatautaia quay.io) na amata faʻafouina i le version 4.3.19. Talu ai ona o le quay.io o loʻo tamoʻe i luga o le Red Hat OpenShift Dedicated (OSD), o faʻafouga masani sa masani ma e leʻi tupu ai ni faʻafitauli. E le gata i lea, i le ono masina talu ai, ua matou faʻaleleia atili Quay fuifui i le tele o taimi e aunoa ma se faʻalavelave i le auaunaga.

A o matou taumafai e toe faʻafoʻisia le auaunaga, na amata ona saunia e isi inisinia se fuifui OSD fou ma le lomiga muamua o le polokalama, ina ia afai e tupu se mea, e mafai ona latou faʻaogaina mea uma i luga.

Su'esu'ega o Mafua'aga

O le fa'ailoga autu o le toilalo o se avalanche o le fiasefulu afe o fesoʻotaʻiga faʻamaumauga, lea na faʻaalia ai le MySQL instance e le mafai ona faʻaogaina. O lea na faigata ai ona iloa le faafitauli. Ua matou setiina se tapula'a i le numera maualuga o feso'ota'iga mai tagata fa'atau e fesoasoani i le vaega a le SRE e iloilo le mataupu. Matou te le'i matauina se feoaiga e le masani ai i le database: o le mea moni, o le tele o talosaga na faitauina, ae na o ni nai tagata na tusia.

Na matou taumafai foʻi e faʻailoa se faʻataʻitaʻiga i fefaʻatauaiga o faʻamaumauga e ono mafua ai lenei avalanche. Ae ui i lea, e le mafai ona matou mauaina ni mamanu i totonu o ogalaau. Aʻo faʻatali mo le faʻapipiʻi fou ma le OSD 4.3.18 e sauni, sa matou taumafai pea e faʻalauiloa quay.io pods. Soo se taimi lava e o'o atu ai le fuifui i le malosi atoatoa, o le a fa'aisa le database. O lona uiga e tatau ona toe amata le RDS faʻataʻitaʻiga faʻaopoopo i quay.io pods uma.

E o'o atu i le afiafi, na matou fa'amautu le auaunaga i le faitau-na'o le fa'aogaina ma fa'aletonu le tele o galuega e le taua e mafai (mo se fa'ata'ita'iga, namespace lapisi aoina) e fa'aitiitia ai le uta i luga o fa'amaumauga. Ua taofi le malolo ae e lei maua lava le mafuaaga. Ua sauni le fuifui fou o le OSD, ma matou siitia le auaunaga, fesoʻotaʻi feʻaveaʻi ma faʻaauau le mataʻituina.

Quay.io sa galue malosi i le fou o le OSD cluster, o lea na matou toe foʻi ai i faʻamaumauga o faʻamaumauga, ae le mafai ona maua se faʻasalalauga e faʻamatalaina ai poloka. O inisinia OpenShift na galulue faatasi ma i matou e malamalama pe mafai e suiga i le Red Hat OpenShift 4.3.19 ona mafua ai faafitauli i Quay. Peitai, e leai se mea na maua, ma Sa le mafai ona toe faia le faʻafitauli i tulaga falesuesue.

Le toilalo lona lua

I le aso 28 o Me, i se taimi lata mai i le aoauli o le EDT, na toe paʻu ai le quay.io ma le faʻailoga lava e tasi: o le database na poloka. Ma toe lafo atu a matou taumafaiga uma i le suʻesuʻega. Muamua lava, sa tatau ona toe faʻaleleia le auaunaga. Peitai O le taimi lea e toe faʻafou ai le RDS ma toe faʻafouina quay.io pods e leai se mea na faia: o le isi avalanche o fesoʻotaʻiga ua lofituina le faʻavae. Ae aiseā?

Ua tusia le Quay i le Python ma o pod ta'itasi o lo'o fa'agaoioia o se pusa monolithic e tasi. Ole taimi ole koneteina e tele galuega tutusa ile taimi e tasi. Matou te faʻaaogaina le faletusi gevent lalo gunicorn e fa'agasolo talosaga i luga ole laiga. A oʻo mai se talosaga i Quay (e ala i la tatou lava API, poʻo le Docker's API), e tofia se tagata faigaluega. E masani ona fa'afeso'ota'i e lenei tagata faigaluega le fa'amaumauga. Ina ua maeʻa le toilalo muamua, na matou iloa ai o tagata faigaluega gevent o loʻo fesoʻotaʻi i le faʻamaumauga e faʻaaoga ai tulaga le lelei.

Ona o le taua tele o Quay pods ma le faitau afe o talosaga o loʻo oʻo mai i le sekone, o le tele o fesoʻotaʻiga faʻamaumauga e mafai ona lofituina ai le MySQL faʻataʻitaʻiga. Faʻafetai i le mataʻituina, na iloa ai o Quay e faʻatautaia le averesi o le 5 afe talosaga i le sekone. Ole numera o feso'ota'iga ile fa'amaumauga e tutusa. 5 afe fesoʻotaʻiga na lelei i totonu o le gafatia o le matou RDS faʻataʻitaʻiga (lea e le mafai ona taʻua e uiga i le fiasefulu afe). Mo nisi mafuaʻaga na i ai faʻalavelave faʻafuaseʻi i le numera o fesoʻotaʻiga, ae ui i lea, matou te leʻi matauina soʻo se fesoʻotaʻiga ma talosaga o loʻo oʻo mai.

O le taimi lea na matou naunau ai e suʻe ma faʻaumatia le mafuaʻaga o le faʻafitauli, ae le faʻatapulaʻaina i matou i le toe faʻafouina. I le Quay codebase na faia suiga e fa'atapula'a le numera o feso'ota'iga i fa'amaumauga mo tagata faigaluega ta'itasi gevent. O lenei numera na avea ma parakalafa i le faatulagaga: na mafai ona suia i luga o le lele e aunoa ma le fausiaina o se ata fou. Ina ia iloa pe fia le tele o fesoʻotaʻiga e mafai ona taulimaina moni, sa matou faia ni suʻega i se siosiomaga faʻatulagaina, faʻatulagaina tulaga taua e iloa ai pe faʻafefea ona aʻafia ai faʻataʻitaʻiga o suʻega uta. O se taunuuga, na maua ai lena mea Quay amata lafo 502 mea sese pe a sili atu le numera o fesoʻotaʻiga i le 10 afe.

Na vave ona matou faʻapipiʻiina lenei lomiga fou i le gaosiga ma amata mataʻituina le faasologa o fesoʻotaʻiga faʻamaumauga. I aso ua tuanaʻi, na lokaina le faʻavae pe a ma le 20 minute. Ina ua mavae le 30 minute leai ni faafitauli sa matou maua le faamoemoe, ma i le itula mulimuli ane sa matou maua ai le mautinoa. Na matou toe faʻaleleia auala i luga o le saite ma amata suʻesuʻega postmortem.

O le mafai ona alo ese le faʻafitauli e mafua ai le poloka, matou te leʻi mauaina ona mafuaʻaga moni. Na faʻamaonia e le fesoʻotaʻi ma soʻo se suiga i OpenShift 4.3.19, talu ai o le mea lava lea e tasi na tupu i luga o le version 4.3.18, lea na galue muamua ma Quay e aunoa ma se faʻafitauli.

E manino lava sa i ai se isi mea o loo lamalama i totonu o le fuifui.

Suesuega Auiliili

Quay.io faʻaogaina le faʻaogaina o tulaga e faʻafesoʻotaʻi ai i le database mo le ono tausaga e aunoa ma se faʻafitauli. O le a le mea na suia? O lo'o manino mai o le taimi atoa nei o fefa'ataua'iga i luga o le quay.io o lo'o fa'atupulaia pea. I la matou tulaga, e foliga mai ua ausia se tau maualuga, lea na avea ma faʻaosoina o fesoʻotaʻiga. Sa fa'aauau pea ona matou su'esu'eina fa'amaumauga o fa'amaumauga ina ua mae'a le toilalo lona lua, ae le'i maua ni fa'ata'ita'iga po'o ni va'aiga manino.

I le taimi nei, o lo'o galulue le vaega a le SRE i le fa'aleleia atili o le mata'ituina o talosaga a Quay ma le soifua maloloina lautele. metric ma dashboards fou ua fa'atinoina, faʻaalia po o fea vaega o le Quay e sili ona manaʻomia mai tagata faʻatau.

Quay.io galue lelei seia oʻo ia Iuni 9th. O le taeao nei (EDT) na matou toe vaʻaia ai se faʻaopoopoga tele i le numera o fesoʻotaʻiga faʻamaumauga. O le taimi lea sa leai se taimi malolo, talu ai o le parakalafa fou na faʻatapulaʻaina lo latou numera ma e leʻi faʻatagaina i latou e sili atu i le MySQL throughput. Ae ui i lea, mo le tusa ma le afa itula, e toʻatele tagata faʻaoga na maitauina le tuai o le faʻatinoga o quay.io. Na vave ona matou aoina faʻamatalaga talafeagai uma e faʻaaoga ai meafaigaluega mataʻituina faʻaopoopo. Na faafuasei lava ona tulai mai se mamanu.

A'o le'i o'o i le si'itia o feso'ota'iga, o le tele o talosaga na faia i le App Registry API. App Registry o se vaega e le lauiloa o quay.io. E fa'atagaina oe e teu mea e pei o Helm siata ma atigipusa ma metadata mauoa. Ole tele ole quay.io tagata fa'aoga e le galulue fa'atasi ma lenei vaega, ae o le Red Hat OpenShift e fa'aaogaina malosi. O le OperatorHub e avea o se vaega o le OpenShift e teu uma tagata fa'agaioiga i le App Registry. O nei fa'alapotopotoga e fa'atūina le fa'avae mo le OpenShift workload ecosystem ma fa'ata'ita'iga fa'agaioiga fa'a-paaga (aso 2 gaioiga).

E fa'aogaina e fa'alapotopotoga ta'itasi OpenShift 4 tagata fa'apitoa mai le OperatorHub ua fausia e fa'asalalau ai se fa'amaumauga o fa'alapotopotoga e avanoa mo le fa'apipi'iina ma tu'uina atu fa'afouga i latou ua uma ona fa'apipi'iina. Faatasi ai ma le faatupulaia o le lauiloa o OpenShift 4, ua faateleina foi le numera o fuifui i luga o le lalolagi atoa. O nei fuifui ta'itasi e la'u mai ai mea a le fa'afoe e fa'atino ai le OperatorHub ua fausia, fa'aaoga le App Registry i totonu quay.io e fai ma pito i tua. I la matou sailiga mo le mafuaʻaga o le faʻafitauli, na matou misia le mea moni e faʻapea, aʻo faasolosolo malie le faʻatupulaia o OpenShift i le lauiloa, o le uta i luga o se tasi o galuega e seasea faʻaaogaina quay.io na faʻateleina foi..

Na matou faia ni au'ili'iliga ole talosaga a le App Registry ma va'ai ile numera resitala. I le taimi lava lena, na faʻaalia ai faʻaletonu, ona o fesili i le database e leʻi faia lelei. Ina ua maualalo le avega, latou te leʻi tupu ai se faʻalavelave, ae a faʻateleina le uta, na avea ma faʻafitauli. App Registry na maua ai ni faʻafitauli faʻafitauli se lua e leʻi tali lelei i le faʻateleina o le uta: o le muamua na tuʻuina atu se lisi o afifi uma i totonu o le fale teu oloa, o le lona lua na toe faʻafoʻi uma poloka mo le afifi.

Aveesea o mafuaʻaga

I le vaiaso na sosoo ai, na matou faʻaaluina le faʻaogaina o le code o le App Registry lava ia ma lona siosiomaga. E manino lava le le aoga o fesili SQL na toe faʻaleleia ma faʻaumatia valaau le manaʻomia tar (na fa'agasolo i taimi uma e toe maua mai ai poloka), fa'aopoopo le fa'aoga i so'o se mea e mafai ai. Ona matou faia lea o le tele o suʻega faʻatinoga ma faʻatusatusa le saoasaoa o le App Registry aʻo leʻi faia suiga.

O talosaga API na alu muamua i le afa minute ua maeʻa nei ile milliseconds. O le vaiaso na sosoo ai na matou faʻaogaina ai suiga i le gaosiga, ma talu mai lena taimi o loʻo galue malosi quay.io. I le taimi lea, sa i ai le tele o faʻalavelave faʻafuaseʻi i feoaiga i luga o le App Registry endpoint, ae o le faʻaleleia atili na taofia ai le tapeina o faʻamaumauga.

O a mea ua tatou aoaoina?

E manino lava o soʻo se auaunaga e taumafai e aloese mai taimi malolo. I la matou tulaga, matou te talitonu o le motusia talu ai nei ua fesoasoani e faʻaleleia atili ai le quay.io. Ua matou aoaoina ni nai lesona autu matou te fia faasoa atu:

Fa'amatalaga e uiga i ai e fa'aogaina lau 'au'aunaga ma pe fa'apefea ona le fa'aaogaina. Ona o Quay "naʻo galue," matou te leʻi faʻaaluina le taimi e faʻamalieina ai feoaiga ma faʻatautaia uta. O nei mea uma na fatuina ai se lagona sese o le saogalemu e mafai e le auaunaga ona fuaina e le gata.
A alu i lalo le tautua, o le toe fa'aleleia ma fa'agaoioia ose fa'amuamua sili.. Ona o Quay na faʻaauau pea ona pagatia i se faʻamaumauga loka i le taimi muamua o le taʻavale, oa matou faiga masani e leʻi i ai le aafiaga faʻamoemoeina ma na le mafai ona matou toe faʻafoʻisia le auaunaga i le faʻaaogaina. O lea na mafua ai se tulaga e tatau ai ona faʻaalu le taimi e suʻesuʻe ai ma aoina faʻamaumauga i le faʻamoemoe e suʻe le mafuaʻaga - nai lo le taulaʻi uma o taumafaiga i le toe faʻaleleia o galuega.
Iloilo le a'afiaga o vaega ta'itasi o auaunaga. E seasea fa'aaogaina e tagata fa'atau le App Registry, o lea e le o se fa'amuamua mo la matou 'au. Pe a tau le fa'aogaina nisi o fa'ailoga o oloa, e seasea aliali mai a latou bug, ma fa'agata e le au atina'e le mata'ituina o le code. E faigofie lava ona pa'u'u i le manatu sese e faapea o le auala lea e tatau ona i ai-seia oo ina faafuasei ona maua lena galuega i le totonugalemu o se faalavelave tele.

o sosoo ai le a?

Le galuega ina ia mautinoa le mautu o le auaunaga e le muta ma o loʻo matou faʻaleleia pea. A'o fa'aauau pea le fa'atupula'ia o feoaiga i luga o le quay.io, matou te iloa e iai la matou matafaioi e fai mea uma matou te mafaia e ola ai i le fa'atuatuaga a matou tagata fa'atau. O le mea lea, o loʻo matou galulue nei i galuega nei:

Fa'ato'a na'o le faitau tusi fa'amaumauga e fesoasoani i le 'au'aunaga e fa'atautaia femalagaiga talafeagai pe a iai fa'afitauli i le fa'ata'ita'iga RDS muamua.
Fa'afouina se fa'ata'ita'iga RDS. O le lomiga o iai nei lava ia e le o le faʻafitauli. Nai lo lena, matou te mananao e aveese le auala sese (lea na matou mulimuli ai i le taimi o le toilalo); O le fa'atumauina o le polokalame fa'aonaponei o le a fa'ate'aina ai se isi mea pe a tupu i le lumana'i.
Fa'apipi'i fa'aopoopo i le fuifui atoa. Matou te fa'aauau pea ona su'e ni vaega e fa'aitiitia ai le uta i luga o fa'amaumauga.
Fa'aopoopoina o se 'upega tafa'ilagi (WAF) e va'ai ai po'o ai o lo'o feso'ota'i ile quay.io ma pe aisea.
Amata i le isi faʻasalalauga, Red Hat OpenShift fuifui o le a lafoaʻia le Faʻamaumauga Faʻatonu e faʻatatau i le Operator Catalogs e faʻavae i luga o ata atigipusa o loʻo maua ile quay.io.
O se suiga umi mo le App Registry e mafai ona avea ma lagolago mo Open Container Initiative (OCI) faʻamatalaga faʻapitoa. O lo'o fa'atinoina nei e pei o galuega fa'atino a le Quay ma o le a avanoa mo tagata fa'aoga pe a mae'a le fa'amatalaga.

O mea uma o loʻo taʻua i luga o se vaega o le faʻaauauina o tupe a Red Hat i quay.io aʻo tatou siitia mai se 'au laiti "startup-style" i se SRE-driven platform. Matou te iloa o le tele o matou tagata faʻatau e faʻalagolago i le quay.io ia latou galuega i aso uma (e aofia ai le Red Hat!) Ma matou taumafai e faʻamalamalama manino e uiga i faʻalavelave lata mai ma taumafaiga faifai pea e faʻaleleia.

PS mai faaliliu

Faitau foi i la matou blog:

puna: www.habr.com

Post Mortem ile Quay.io le avanoa