DBA bot Joe. Anatoly Stansler (Postgres.ai)

Moqapi oa backend o utloisisa joang hore potso ea SQL e tla sebetsa hantle ho "prod"? Lik'hamphaning tse kholo kapa tse ntseng li hōla ka potlako, hase bohle ba khonang ho fumana "sehlahisoa". Mme ka phihlello, ha se likopo tsohle tse ka hlahlojoang ntle le bohloko, mme ho etsa kopi ea database hangata ho nka lihora tse ngata. Ho rarolla mathata ana, re thehile DBA ea maiketsetso - Joe. E se e kentsoe ts'ebetsong ka katleho lik'hamphaning tse 'maloa' me e thusa bahlahisi ba fetang leshome le metso e 'meli.

Video:

Lumelang bohle! Lebitso la ka ke Anatoly Stansler. Ke sebeletsa k'hamphani postgres.ai. Re ikemiseditse ho potlakisa tshebetso ya ntshetsopele ka ho tlosa tieho e amanang le mosebetsi wa Postgres ho tswa ho bahlahisi, DBA le QAs.

Re na le bareki ba bohlokoa mme kajeno karolo ea tlaleho e tla neheloa linyeoeng tseo re kopaneng le tsona ha re ntse re sebetsa le bona. Ke tla bua ka hore na re ba thusitse joang ho rarolla mathata a tebileng.

Ha re ntse re nts'etsapele 'me re etsa meroalo e boima ea meroalo e mengata, re ipotsa potso: "Na ho falla hona ho tla tloha?". Re sebelisa tlhahlobo, re sebelisa tsebo ea basebetsi-'moho le bona ba nang le boiphihlelo, litsebi tsa DBA. 'Me ba ka tseba hore na e tla fofa kapa che.

Empa mohlomong ho ka ba molemo ha re ka e leka ka borona ka likopi tsa boholo bo felletseng. 'Me kajeno re tla bua feela ka mekhoa ea ho etsa liteko hona joale le hore na e ka etsoa hamolemo joang le ka lisebelisoa life. Re tla boela re bue ka melemo le boiketlo ba mekhoa e joalo, le seo re ka se lokisang mona.

Ke mang ea kileng a etsa li-index ka kotloloho ho prod kapa a etsa liphetoho? Hanyenyane haholo. 'Me sena se lebisitse ho bo-mang tabeng ea hore data e lahlehile kapa ho ne ho e-na le nako? Joale u tseba bohloko bona. Leboha Molimo ho na le li-backups.

Mokhoa oa pele ke ho etsa liteko ka prod. Kapa, ​​​​ha moqapi a lutse mochine oa lehae, o na le data ea teko, ho na le mofuta o itseng oa khetho e fokolang. Mme re qala ho hlahisa, mme re fumana boemo bona.

Ho bohloko, ho turu. Mohlomong ho molemo hore u se ke ua etsa joalo.

Hona ke tsela efe e molemohali ea ho e etsa?

Ha re nke sethala ebe re khetha karolo e 'ngoe ea prod moo. Kapa ka ho fetisisa, ha re nkeng prod ea 'nete, data eohle. 'Me ka mor'a hore re e ntlafatse sebakeng sa heno, re tla hlahloba hape hore na ho etsoa joang.

Sena se tla re lumella ho tlosa tse ling tsa liphoso, ke hore, ho li thibela ho ba prod.

Mathata ke afe?

• Bothata ke hore re arolelana sethala sena le basebetsi-'moho. 'Me hangata ho etsahala hore u etse phetoho ea mofuta o itseng, bam - mme ha ho na data, mosebetsi o theohile. Sethala se ne se le li-multi-terabyte. 'Me u tlameha ho ema nako e telele hore e tsohe hape. Mme re etsa qeto ya ho e phethela hosane. Ke phetho, re na le tsoelopele.
• Mme, ehlile, re na le basebetsi mmoho ba bangata ba sebetsang moo, dihlopha tse ngata. 'Me e tlameha ho etsoa ka letsoho. 'Me sena ha se na thuso.

'Me ho bohlokoa ho bolela hore re na le teko e le' ngoe feela, thunya e le 'ngoe, haeba re batla ho etsa liphetoho ho database, ama data, fetola sebopeho. 'Me haeba ho na le ntho e sa tsamaeeng hantle, haeba ho ne ho e-na le phoso ho falla, joale re ke ke ra potlakela ho khutlela morao.

Sena se molemo ho feta mokhoa o fetileng, empa ho ntse ho e-na le monyetla o moholo oa hore mofuta o mong oa phoso o tla ea tlhahiso.

Ke eng e re thibelang ho fa moqapi e mong le e mong benche ea liteko, kopi ea boholo bo felletseng? Ke nahana hore ho hlakile hore na ke eng e kenang tseleng.

Ke mang ea nang le database e kholo ho feta terabyte? Ho feta halofo ea kamore.

'Me ho hlakile hore ho boloka mechine bakeng sa moqapi e mong le e mong, ha ho na le tlhahiso e kholo joalo, e theko e boima haholo, ntle le moo, ho nka nako e telele.

Re na le bareki ba hlokometseng hore ke habohlokoa haholo ho hlahloba liphetoho tsohle ho likopi tse feletseng, empa database ea bona e ka tlaase ho terabyte, 'me ha ho na lisebelisoa tsa ho boloka benche ea teko bakeng sa moqapi e mong le e mong. Ka hona, ba tlameha ho khoasolla lithōle sebakeng sa bona mochining oa bona le ho etsa liteko ka tsela ena. Ho nka nako e ngata.

Leha o ka e etsa ka har'a meaho, ho jarolla terabyte e le 'ngoe ea data ka hora ho se ho ntse ho le ntle haholo. Empa ba sebelisa lithōle tse utloahalang, ba li khoasolla sebakeng sa heno ho tloha marung. Bakeng sa bona, lebelo ke hoo e ka bang 200 gigabytes ka hora. 'Me ho ntse ho nka nako ho furalla thotobolong e utloahalang, ho phutha li-index, joalo-joalo.

Empa ba sebelisa mokhoa ona hobane o ba lumella ho boloka prod e tšepahala.

Re ka etsang moo? Ha re etseng libenche tsa liteko ka theko e tlase mme re fe moetsi e mong le e mong benche ea hae ea liteko.

'Me sena se ka khoneha.

'Me ka mokhoa ona, ha re etsa li-clone tse tšesaane bakeng sa moqapi e mong le e mong, re ka li arolelana mochine o le mong. Mohlala, haeba u na le database ea 10TB 'me u batla ho e fa baetsi ba 10, ha ho hlokahale hore u be le XNUMX x XNUMXTB database. U hloka mochini o le mong feela ho etsa likopi tse tšesaane tse ikhethileng bakeng sa moqapi e mong le e mong ea sebelisang mochini o le mong. Ke tla u bolella hore na e sebetsa joang hamorao.

Mohlala oa 'nete:

• DB - 4,5 terabytes.

• Re ka fumana likopi tse ikemetseng ka metsotsoana e 30.

Ha ho hlokahale hore u emele sebaka sa teko 'me u itšetlehe ka hore na se seholo hakae. U ka e fumana ka metsotsoana. E tla ba libaka tse arohaneng ka ho felletseng, empa tse arolelanang data har'a tsona.

Sena se setle. Mona re bua ka boselamose le bokahohle bo tšoanang.

Tabeng ea rona, sena se sebetsa ho sebelisa sistimi ea OpenZFS.

OpenZFS ke sistimi ea likopi-on-write e ts'ehetsang linepe le li-clones ka ntle ho lebokose. E ka tšeptjoa ebile e ka senyeha. O bonolo haholo ho laola. E ka aroloa ka lihlopha tse peli ka ho toba.

Ho na le likhetho tse ling:

• lvm,

• Polokelo (mohlala, Polokelo e Hloekileng).

Database Lab eo ke buang ka eona ke modular. E ka sebelisoa ho sebelisa likhetho tsena. Empa hajoale, re tsepamisitse maikutlo ho OpenZFS, hobane ho bile le mathata ka LVM ka ho khetheha.

E sebetsa joang? Sebakeng sa ho hlakola data nako le nako ha re e fetola, re e boloka ka ho tšoaea feela hore data ena e ncha e tsoa sebakeng se secha ka nako, sets'oants'o se secha.

'Me nakong e tlang, ha re batla ho khutlela morao kapa re batla ho etsa clone e ncha ho tsoa ho mofuta o mong oa khale, re re feela: "Ho lokile, re fe li-blocks tsa data tse tšoailoeng tjena."

Mme mosebelisi enoa o tla sebetsa le sete e joalo ea data. O tla li fetola butle-butle, a iketsetse linepe.

'Me re tla makala. Moetsi e mong le e mong molemong oa rona o tla ba le monyetla oa ho ba le clone ea hae eo a e hlophisang, 'me data e arolelanoang e tla arolelanoa pakeng tsa motho e mong le e mong.

Ho tsamaisa sistimi e joalo lapeng, o hloka ho rarolla mathata a mabeli:

• Ea pele ke mohloli oa data, moo u tla e nka teng. U ka theha boikatiso ka tlhahiso. U se u ntse u ka sebelisa li-backups tseo u li lokisitseng, ke tšepa. WAL-E, WAL-G kapa Barman. Mme leha o sebelisa mofuta o mong oa tharollo ea Cloud joalo ka RDS kapa Cloud SQL, o ka sebelisa lithōle tse hlakileng. Empa re ntse re u eletsa hore u sebelise li-backups, hobane ka mokhoa ona u tla boela u boloke sebopeho sa 'mele sa lifaele, se tla u lumella hore u be haufi le metrics eo u ka e bonang tlhahisong e le hore u tšoase mathata ao a teng.

• Ea bobeli ke moo u batlang ho amohela Database Lab. E ka ba Leru, e ka ba Sebakeng. Ho bohlokoa ho bolela mona hore ZFS e ts'ehetsa khatello ea data. 'Me e etsa hantle haholo.

Nahana hore bakeng sa clone ka 'ngoe e joalo, ho latela ts'ebetso eo re e etsang ka base, mofuta o mong oa dev o tla hola. Bakeng sa sena, dev le eona e tla hloka sebaka. Empa ka lebaka la hore re nkile motheo oa 4,5 terabytes, ZFS e tla e hatella ho 3,5 terabytes. Sena se ka fapana ho latela litlhophiso. Mme re ntse re na le sebaka sa dev.

Sistimi e joalo e ka sebelisoa maemong a fapaneng.

• Bana ke bahlahisi, li-DBA tsa netefatso ea lipotso, bakeng sa ntlafatso.

• Sena se ka sebelisoa litekong tsa QA ho lekola phallo e itseng pele re e qala ho hlahisa. Hape re ka phahamisa maemo a khethehileng bakeng sa QA ka data ea sebele, moo ba ka lekang ts'ebetso e ncha. 'Me ho tla nka metsotsoana ho e-na le lihora tsa ho ema,' me mohlomong matsatsi maemong a mang moo likopi tse tšesaane li sa sebelisoeng.

• Le nyeoe e 'ngoe. Haeba k'hamphani e se na sistimi ea analytics e thehiloeng, joale re ka arola klone e tšesaane ea setsi sa sehlahisoa mme ra e fa lipotso tse telele kapa li-index tse khethehileng tse ka sebelisoang litlhahlobong.

Ka mokhoa ona:

1. Monyetla o tlase oa liphoso ho "prod", hobane re lekile liphetoho tsohle ho data ea boholo bo felletseng.

2. Re na le moetlo oa ho etsa liteko, hobane joale ha ua tlameha ho ema lihora tse ngata bakeng sa boemo ba hau.

3. 'Me ha ho na tšitiso, ha ho na ho ema pakeng tsa liteko. Ha e le hantle u ka ea hlahloba. Mme ho tla ba betere ka tsela ena ha re ntse re akofisa ntshetsopele.

• Ho tla ba le ho fokotseha ho fokolang. Litšitšili tse fokolang li tla fella ka tlhahiso. Re tla li fetola hanyane hamorao.

• Re ka fetola liphetoho tse ke keng tsa etsolloa. Sena ha se mokhoa o tloaelehileng.

1. Sena se molemo hobane re arolelana lisebelisoa tsa libenche tsa liteko.

E se e lokile, empa ke eng hape e ka potlakisoang?

Ka lebaka la tsamaiso e joalo, re ka fokotsa haholo moeli oa ho kena litekong tse joalo.

Hona joale ho na le selikalikoe se khopo moo moqapi a tlamehang ho ba setsebi e le hore a khone ho fihlella data ea boholo bo felletseng. O tlameha ho tšeptjoa ka monyetla o joalo.

Empa mokhoa oa ho hōla haeba e le sieo. Empa ho thoe'ng haeba u na le data e nyane haholo ea tlhahlobo e fumanehang ho uena? Joale u ke ke ua fumana phihlelo ea sebele.

Mokhoa oa ho tsoa ka har'a selikalikoe see? Joalo ka sebopeho sa pele, se loketseng bahlahisi ba boemo bofe kapa bofe, re khethile Slack bot. Empa e ka ba sebopeho se seng.

E u lumella ho etsa eng? U ka nka potso e itseng 'me ua e romela mocha o khethehileng oa database. Re tla sebelisa clone e tšesaane ka metsotsoana. Ha re sebetseng kopo ena. Re bokella metrics le likhothaletso. Ha re bontsheng pono. 'Me joale clone ena e tla sala e le hore potso ena e ka ntlafatsoa ka tsela e itseng, eketsa li-index, joalo-joalo.

Hape Slack e re fa menyetla ea tšebelisano ntle le lebokose. Kaha ena ke mocha feela, u ka qala ho buisana ka kopo ena hona moo khoeleng ea kopo e joalo, ping basebetsi-'moho le uena, li-DBA tse ka hare ho k'hamphani.

Empa ho hlakile hore ho na le mathata. Hobane lena ke lefatše la 'nete,' me re ntse re tsamaisa li-clone tse ngata ka nako e le 'ngoe, re tlameha ho hatella boholo ba mohopolo le matla a CPU a fumanehang ho li-clones.

Empa hore liteko tsena li utloahale, u hloka ho rarolla bothata bona ka tsela e itseng.

Ho hlakile hore ntlha ea bohlokoa ke data e tšoanang. Empa re se re ntse re e-na le eona. 'Me re batla ho finyella tlhophiso e tšoanang. 'Me re ka fana ka tlhophiso e batlang e tšoana.

Ho ka ba monate ho ba le lisebelisoa tse tšoanang le tsa tlhahiso, empa li ka fapana.

Ha re hopoleng hore na Postgres e sebetsa joang ka mohopolo. Re na le li-cache tse peli. E 'ngoe ho tsoa ho sistimi ea faele le Postgres e le' ngoe ea matsoalloa, ke hore, Shared Buffer Cache.

Ke habohlokoa ho hlokomela hore Shared Buffer Cache e abetsoe ha Postgres e qala, ho itšetlehile ka hore na u hlalosa boholo bofe tlhophisong.

'Me cache ea bobeli e sebelisa sebaka sohle se fumanehang.

'Me ha re etsa li-clone tse' maloa mochine o le mong, hoa bonahala hore butle-butle re tlatsa mohopolo. Mme ka tsela e ntle, Shared Buffer Cache ke 25% ea kakaretso ea memori e fumanehang mochining.

'Me ho bonahala eka haeba re sa fetole parameter ena, joale re tla khona ho tsamaisa mehlala ea 4 feela mochine o le mong, ke hore, 4 ea li-clone tsena tse tšesaane ka kakaretso. 'Me sena, ehlile, se mpe, hobane re batla ho ba le tse ngata tsa tsona.

Empa ka lehlakoreng le leng, Buffer Cache e sebelisetsoa ho etsa lipotso bakeng sa li-index, ke hore, leano le ipapisitse le hore na li-cache tsa rona li kholo hakae. 'Me haeba re nka parameter ena feela ebe re e fokotsa, joale merero ea rona e ka fetoha haholo.

Mohlala, haeba re na le cache e kholo ho prod, Postgres e tla khetha ho sebelisa index. 'Me haeba ho se joalo, ho tla ba le SeqScan. Mme molemo e ne e tla ba ofe haeba merero ea rona e sa kopane?

Empa mona re fihlela qeto ea hore ha e le hantle moralo oa Postgres ha o itšetlehe ka boholo bo khethehileng bo boletsoeng ho Shared Buffer morerong, ho itšetlehile ka katleho_cache_size.

Effective_cache_size ke palo e lekantsoeng ea cache e fumanehang ho rona, ke hore kakaretso ea Buffer Cache le cache ea sistimi ea faele. Sena se hlophisitsoe ke config. Mme memori ena ha e abelwe.

Mme ka lebaka la paramente ena, re ka qhekella Postgres, ra re re na le data e ngata e fumanehang, leha re sena data ena. 'Me kahoo, merero e tla lumellana ka ho feletseng le tlhahiso.

Empa sena se ka ama nako. 'Me re ntlafatsa lipotso ka nako, empa ho bohlokoa hore nako e ipapise le lintlha tse ngata:

• E itšetlehile ka mojaro o teng hona joale ho prod.

• E itšetlehile ka litšobotsi tsa mochine ka boeona.

'Me sena ke parameter e sa tobang, empa ha e le hantle re ka ntlafatsa hantle ka palo ea data eo potso ena e tla e bala ho fumana sephetho.

'Me haeba u batla hore nako e be haufi le seo re tla se bona ho prod, joale re lokela ho nka hardware e ts'oanang ka ho fetisisa, mohlomong, le ho feta e le hore li-clone tsohle li lekane. Empa sena ke ho sekisetsa, ke hore, o tla fumana merero e ts'oanang, o tla bona hore na potso e itseng e tla baloa hakae mme o tla khona ho etsa qeto ea hore na potso ena e ntle (kapa e falla) kapa e mpe, e ntse e hloka ho ntlafatsoa. .

Ha re shebeng hore na Joe o ntlafalitsoe ka ho khetheha joang.

Ha re nkeng kopo ho tsoa ho sistimi ea 'nete. Tabeng ena, database ke 1 terabyte. Mme re batla ho bala palo ea li-post tse ncha tse ratileng ho feta 10.

Re ngolla mocha molaetsa, clone e kentsoe molemong oa rona. 'Me re tla bona hore kopo e joalo e tla phethoa ka metsotso e 2,5. Ena ke ntho ea pele eo re e hlokomelang.

B Joe o tla u bontša likhothaletso tsa boiketsetso tse ipapisitseng le moralo le metrics.

Re tla bona hore potso e sebetsana le data e ngata haholo ho fumana palo e nyane ea mela. 'Me ho hlokahala mofuta o itseng oa index e khethehileng, kaha re hlokometse hore ho na le mela e mengata haholo potsong.

A re hlahlobeng se ileng sa etsahala. Ehlile, rea bona hore re balile hoo e ka bang gigabyte e le 'ngoe le halofo ea data ho tsoa ho cache ea faele kapa ho tsoa ho disk. Mme sena ha se setle, hobane re na le mela e 142 feela.

Mme, ho ka bonahala eka re na le index ea index mona mme re ka be re sebelitse kapele, empa kaha re sefa mela e mengata haholo (re ile ra tlameha ho e bala), potso e ile ea sebetsa butle.

'Me sena se etsahetse morerong ka lebaka la hore maemo a potso le maemo a index ha a lumellane.

Ha re leke ho etsa hore index e be e nepahetseng haholoanyane 'me re bone hore na tlhahlobo ea lipotso e fetoha joang kamora moo.

Ho bōptjoa ha index ho nkile nako e telele, empa joale re hlahloba potso mme re bona hore nako ho e-na le metsotso e 2,5 ke li-milliseconds tse 156 feela, tse lekaneng. 'Me re bala feela 6 megabytes ea data.

'Me joale re sebelisa index ea index feela.

Pale e 'ngoe ea bohlokoa ke hore re batla ho hlahisa moralo ka tsela e utloahalang haholoanyane. Re kentse tšebetsong pono ka ho sebelisa Flame Graph.

Ena ke kopo e fapaneng, e matla ho feta. 'Me re haha ​​Li-Graphs tsa Flame ho ea ka mekhahlelo e' meli: ena ke palo ea data eo node e itseng e balang moralo le nako, ke hore, nako ea ho phethahatsa node.

Mona re ka bapisa li-node tse khethehileng le tse ling. 'Me ho tla hlaka hore na ke efe ho tsona e nkang ho feta kapa ka tlaase ho moo, e leng seo hangata ho leng thata ho se etsa ka mekhoa e meng ea phetolelo.

Ehlile, bohle ba tseba explain.depesz.com. Tšobotsi e ntle ea pono ena ke hore re boloka moralo oa mongolo mme hape re beha likarolo tse ling tsa motheo tafoleng e le hore re ka li hlophisa.

'Me bahlahisi ba e-so tsebe taba ena le bona ba sebelisa explain.depesz.com, hobane ho bonolo ho bona ho fumana hore na metrics e bohlokoa le efe e seng ea bohlokoa.

Ho na le mokhoa o mocha oa ho bona - sena ke explain.dalibo.com. Ba etsa pono ea sefate, empa ho thata haholo ho bapisa li-node le tse ling. Mona o ka utloisisa sebopeho hantle, leha ho le joalo, haeba ho na le kopo e kholo, joale o tla hloka ho phenya pele le pele, empa hape le khetho.

tshebedisano

Mme, joalo ka ha ke boletse, Slack e re fa monyetla oa ho sebelisana. Mohlala, haeba re ka kopana le potso e rarahaneng e sa hlake hore na re ka e ntlafatsa joang, re ka hlakisa taba ena le basebetsi-'moho le rona ka khoele ea Slack.

Ho rona ho bonahala eka ho bohlokoa ho etsa liteko ho data ea boholo bo felletseng. Ho etsa sena, re entse sesebelisoa sa Update Database Lab, se fumanehang mohloling o bulehileng. U ka sebelisa bot ea Joe hape. U ka e nka hona joale 'me ua e sebelisa sebakeng sa hau. Litataiso tsohle li teng moo.

Hape ke habohlokoa ho hlokomela hore tharollo ka boeona ha e fetohe, hobane ho na le Delphix, empa ke tharollo ea khoebo. E koetsoe ka ho feletseng, e theko e boima haholo. Re sebetsa ka ho khetheha ho Postgres. Tsena ke lihlahisoa tsa mohloli o bulehileng. Tlo le rona!

Ke hona moo ke fellang teng. Kea leboha!

Lipotso

Lumela! Re leboha tlaleho! E thahasellisa haholo, haholo-holo ho 'na, hobane ke ile ka rarolla bothata bo tšoanang nakong e fetileng. 'Me kahoo ke na le lipotso tse' maloa. Ke tšepa hore bonyane ke tla fumana karolo ea eona.

Kea ipotsa hore na u bala sebaka sa tikoloho ee joang? Theknoloji e bolela hore tlas'a maemo a itseng, li-clone tsa hau li ka hola ho fihlela boholo ba boholo. Ka mantsoe a mang, haeba u na le database ea terabyte e leshome le li-clone tse 10, ho bonolo ho etsisa boemo boo clone ka 'ngoe e nang le boima ba 10 ea data e ikhethang. U bala sebaka see joang, ke hore, delta eo u buileng ka eona, moo li- clones tsee li tla lula ho eona?

Potso e ntle. Ho bohlokoa ho boloka tlaleho ea li-clones tse khethehileng mona. 'Me haeba clone e na le phetoho e kholo haholo, e qala ho hōla, joale re ka qala ho fana ka temoso ho mosebedisi ka sena, kapa hang-hang re emise clone ena e le hore re se ke ra ba le boemo ba ho hlōleha.

E, ke na le potso e tšoanang. Ke hore, u etsa bonnete ba hore potoloho ea bophelo ea limmojule tsee? Re na le bothata bona le pale e fapaneng. See se etsahala joang?

Ho na le ttl bakeng sa clone ka 'ngoe. Ha e le hantle, re na le ttl e tsitsitseng.

Ho thoe'ng, haeba e se lekunutu?

1 hora, ke hore, e sa sebetse - 1 hora. Haeba e sa sebelisoe, joale re e senya. Empa ha ho makatse mona, kaha re ka phahamisa clone ka metsotsoana. 'Me haeba u e hloka hape, ka kopo.

Ke boetse ke thahasella khetho ea theknoloji, hobane, ka mohlala, re sebelisa mekhoa e 'maloa ka tsela e tšoanang ka lebaka le leng kapa le leng. Ke hobane'ng ha ZFS? Hobaneng u sa sebelise LVM? U boletse hore ho na le mathata ka LVM. Mathata e ne e le afe? Ka maikutlo a ka, khetho e nepahetseng ka ho fetisisa ke ka polokelo, mabapi le ts'ebetso.

Bothata bo boholo ka ZFS ke bofe? Taba ea hore o tlameha ho matha ho moamoheli a le mong, ke hore, maemo ohle a tla phela ka har'a OS e tšoanang. 'Me tabeng ea polokelo, o ka hokahanya lisebelisoa tse fapaneng. 'Me botlolo ke feela li-blocks tse leng tsamaisong ea polokelo. 'Me potso ea khetho ea theknoloji e thahasellisa. Ke hobane'ng ha LVM?

Ka ho khetheha, re ka buisana ka LVM kopanong. Mabapi le polokelo - e theko e boima feela. Re ka kenya tšebetsong sistimi ea ZFS kae kapa kae. U ka e sebelisa mochineng oa hau. U ka khoasolla sebaka sa polokelo ebe u se tsamaisa. ZFS e kentsoe hoo e batlang e le hohle haeba re bua ka Linux. Ke hore, re fumana tharollo e bonolo haholo. Mme ka ntle ho lebokose, ZFS e fana haholo. U ka kenya data e ngata kamoo u ratang kateng, hokela palo e kholo ea li-disks, ho na le li-snapshots. 'Me, joalo ka ha ke boletse, ho bonolo ho tsamaisa. Ke hore, ho bonahala ho le monate haholo ho sebelisa. O lekoa, o lilemo li ngata. O na le sechaba se seholo haholo se ntseng se hola. ZFS ke tharollo e tšepahalang haholo.

Nikolai Samokhvalov: Na nka fana ka maikutlo ho feta? Lebitso la ka ke Nikolay, re sebetsa hammoho le Anatoly. Ke lumela hore polokelo e ntle. 'Me ba bang ba bareki ba rona ba na le Pure Storage joalo-joalo.

Anatoly o hlokometse ka nepo hore re tsepamisitse maikutlo ho modularity. 'Me nakong e tlang, o ka kenya ts'ebetsong sebopeho se le seng - ho nka setšoantšo, ho etsa clone, ho senya clone. Ho bonolo. 'Me polokelo e pholile, haeba ho joalo.

Empa ZFS e fumaneha ho motho e mong le e mong. DelPhix e se e lekane, ba na le bareki ba 300. Ho tsena, lehlohonolo la 100 le na le bareki ba 50, ke hore, ba lebisitsoe ho NASA, joalo-joalo Ke nako ea hore bohle ba fumane theknoloji ena. Ke ka lebaka leo re nang le Core e bulehileng. Re na le karolo ea sehokelo eo e seng mohloli o bulehileng. Sena ke sethala seo re tla se bontša. Empa re batla hore e fumanehe ho bohle. Re batla ho etsa phetoho e le hore bahlahlobi bohle ba khaotse ho hakanya ka lilaptop. Re tlameha ho ngola KHETHA 'me hang-hang re bone hore e lieha. Emisa ho emela hore DBA e u bolelle ka eona. Sepheo se seholo ke sena. Mme ke nahana hore bohle re tla fihla tabeng ena. 'Me re etsa ntho ena hore e mong le e mong a be le eona. Ka hona ZFS, hobane e tla fumaneha hohle. Ke leboha sechaba ka ho rarolla mathata le ho ba le laesense ea mohloli o bulehileng, joalo-joalo.*

Lumelang! Re leboha tlaleho! Lebitso la ka ke Maxim. Re sebetsane le tsona litaba tseo. Ba ile ba etsa qeto ka bobona. U arolelana lisebelisoa joang lipakeng tsa li-clones tsee? Clone e 'ngoe le e' ngoe e ka iketsetsa ntho ea eona ka nako leha e le efe: e mong o leka ntho e 'ngoe, e' ngoe, e mong o iketsetsa index, e mong o na le mosebetsi o boima. 'Me haeba u ntse u ka arola ka CPU, joale ka IO, u arola joang? Ena ke potso ea pele.

'Me potso ea bobeli e mabapi le ho se tšoane ha li-stand. Ha re re ke na le ZFS mona mme tsohle li pholile, empa moreki ho prod ha a na ZFS, empa ext4, mohlala. Joang tabeng ee?

Lipotso li ntle haholo. Ke buile bothata bona hanyane ka taba ea hore re arolelana lisebelisoa. Mme tharollo ke ena. Nka hore u ntse u etsa liteko sethaleng. U ka boela ua ba le boemo bo joalo ka nako e le 'ngoe hore motho e mong a fane ka mojaro, motho e mong. 'Me ka lebaka leo, u bona metrics e sa utloisiseheng. Esita le bothata bo tšoanang bo ka ba le prod. Ha u batla ho hlahloba kopo e itseng 'me u bone hore ho na le bothata bo itseng ka eona - e sebetsa butle-butle, joale ha e le hantle bothata bo ne bo se ka kopo, empa ka taba ea hore ho na le mofuta o itseng oa mojaro o tšoanang.

'Me ka hona, ke habohlokoa mona ho tsepamisa maikutlo ho seo moralo o tla ba sona, ke mehato efe eo re tla e nka moralo le hore na re tla hlahisa lintlha tse kae bakeng sa sena. Taba ea hore li-disk tsa rona, ka mohlala, li tla jarisoa ke ntho e itseng, e tla ama ka ho khetheha nako. Empa re ka hakanya hore na kopo ena e tletse hakae ka bongata ba data. Ha ho bohlokoa haholo hore ka nako e ts'oanang ho tla ba le mofuta o itseng oa ho bolaoa.

Ke na le lipotso tse peli. Sena ke ntho e ntle haholo. Na ho bile le maemo moo data ea tlhahiso e leng bohlokoa, joalo ka linomoro tsa karete ea mokoloto? Na ho se ho ntse ho e-na le ho hong ho lokisitsoeng kapa ke mosebetsi o arohaneng? Mme potso ya bobedi - na ho na le ntho e kang ena bakeng sa MySQL?

Mabapi le data. Re tla etsa obfuscation ho fihlela re etsa. Empa haeba u tsamaisa Joe hantle, haeba u sa fane ka phihlello ho bahlahisi, ha ho na phihlello ea data. Hobaneng? Hobane Joe ha a hlahise data. E bontša feela metrics, merero 'me ke phetho. Sena se entsoe ka boomo, hobane ena ke e 'ngoe ea litlhoko tsa moreki oa rona. Ba ne ba batla ho khona ho ntlafatsa ntle le ho fa motho e mong le e mong phihlello.

Mabapi le MySQL. Sistimi ena e ka sebelisoa bakeng sa eng kapa eng e bolokang boemo ho disk. 'Me kaha re ntse re etsa Postgres, joale re etsa li-automation tsohle tsa Postgres pele. Re batla ho iketsetsa data ho tsoa ho backup. Re ntse re hlophisa Postgres ka nepo. Re tseba ho etsa hore merero e tsamaisane, joalo-joalo.

Empa kaha sistimi e ea atolosoa, e ka sebelisoa hape bakeng sa MySQL. 'Me ho na le mehlala e joalo. Yandex e na le ntho e tšoanang, empa ha e phatlalatsoe kae kapa kae. Ba e sebelisa ka hare ho Yandex.Metrica. Mme ho na le pale feela ka MySQL. Empa mahlale a ts'oana, ZFS.

Re leboha tlaleho! Ke boetse ke na le lipotso tse 'maloa. U boletse hore cloning e ka sebelisoa bakeng sa li-analytics, mohlala ho theha li-index tse ling moo. A na u ka bolela ho eketsehileng ka hore na e sebetsa joang?

'Me hang-hang ke tla botsa potso ea bobeli mabapi le ho tšoana ha li-stand, ho tšoana ha merero. Morero o boetse o itšetlehile ka lipalo-palo tse bokelitsoeng ke Postgres. U rarolla bothata boo joang?

Ho ea ka li-analytics, ha ho na linyeoe tse tobileng, hobane ha re e-s'o e sebelise, empa ho na le monyetla o joalo. Haeba re bua ka li-index, joale nahana hore potso e lelekisa tafole e nang le lirekoto tse limilione tse makholo le kholomo eo hangata e sa ngolisoeng ho prod. 'Me re batla ho bala lintlha tse ling moo. Haeba kopo ena e romelloa ho prod, joale ho na le monyetla oa hore e tla ba bonolo ho prod, hobane kopo e tla sebetsoa moo ka motsotso.

Ho lokile, ha re etse clone e tšesaane e seng mpe ho emisa metsotso e seng mekae. 'Me e le ho etsa hore ho be bonolo ho bala li-analytics, re tla eketsa li-indices bakeng sa litšiea tseo re thahasellang data ho tsona.

Lenane le tla etsoa nako le nako?

U ka e etsa e le hore re ama data, re etse li-snapshots, ebe re tla hlaphoheloa setšoantšong sena ebe re khanna likopo tse ncha. Ke hore, u ka e etsa e le hore u ka phahamisa li-clone tse ncha tse nang le li-indices tse seng li ntse li kentsoe.

Ha e le potso e mabapi le lipalo-palo, haeba re khutlisa ho tsoa ho backup, haeba re pheta-pheta, lipalo-palo tsa rona li tla tšoana hantle. Hobane re na le sebopeho sa data sa 'mele, ke hore, re tla tlisa data joalo ka ha e le ka lipalo-palo tsohle tsa metrics.

Bothata bo bong ke bona. Haeba u sebelisa tharollo ea leru, joale ho na le libaka tse utloahalang feela tse fumanehang moo, hobane Google, Amazon ha e u lumelle ho nka kopi ea 'mele. Ho tla ba le bothata.

Ke leboha tlaleho. Ho ne ho e-na le lipotso tse peli tse ntle mona mabapi le MySQL le ho arolelana lisebelisoa. Empa, ha e le hantle, tsohle li theoha tabeng ea hore sena ha se taba ea DBMS e khethehileng, empa ea tsamaiso ea lifaele ka kakaretso. 'Me, ka hona, litaba tsa ho arolelana mehloli le tsona li lokela ho rarolloa ho tloha moo, eseng qetellong ea hore ke Postgres, empa tsamaisong ea faele, ho seva, mohlala.

Potso eaka e fapane hanyane. E haufi le database ea li-multi-layered, moo ho nang le lihlopha tse 'maloa. Mohlala, re theha ntlafatso ea setšoantšo sa li-terabyte tse leshome, re ntse re etsisa. 'Me ka ho khetheha re sebelisa tharollo ena bakeng sa li-database. Phetolelo e ntse e tsoela pele, data e ntse e ntlafatsoa. Ho na le basebetsi ba 100 ba sebetsang ka mokhoa o ts'oanang mona, ba lulang ba hlahisa lithunya tsena tse fapaneng. Se o lokelang ho se etsa? Joang ho etsa bonnete ba hore ha ho na khohlano, hore ba ile ba qala e le 'ngoe, ebe tsamaiso ea faele e fetoha,' me litšoantšo tsena kaofela li ile tsa tsamaea?

Ba ke ke ba ea hobane ke kamoo ZFS e sebetsang kateng. Re ka boloka ka thoko khoeleng e le 'ngoe liphetoho tsa sistimi ea faele tse tlang ka lebaka la ho pheta-pheta. 'Me u boloke li-clone tseo bahlahisi ba li sebelisang liphetolelong tsa khale tsa data. 'Me ea sebetsa bakeng sa rona, ntho e' ngoe le e 'ngoe e hlophisitsoe ka sena.

Hoa etsahala hore ntlafatso e tla etsahala e le lera le eketsehileng, 'me litšoantšo tsohle tse ncha li tla be li se li ntse li le teng, ho latela lera lena, na?

Ho tsoa ho mekhahlelo e fetileng e neng e tsoa ho lipehelo tse fetileng.

Likarolo tse fetileng li tla oa, empa li tla bua ka lera la khale, 'me na li tla nka litšoantšo tse ncha ho tloha karolong ea ho qetela e ileng ea amoheloa ntlafatsong?

Ka kakaretso, ho joalo.

Joale ka lebaka leo re tla ba le ho fihla ho feiga ea layers. 'Me ha nako e ntse e ea ba tla hloka ho hatelloa?

E, tsohle li nepahetse. Ho na le fensetere. Re boloka linepe tsa beke le beke. Ho itšetlehile ka hore na u na le mohloli ofe. Haeba u na le bokhoni ba ho boloka lintlha tse ngata, u ka boloka linepe ka nako e telele. Ba ke ke ba ikela ka bobona. Ha ho na ho ba le bobolu ba data. Haeba li-snapshots li siiloe ke nako, joalo ka ha li bonahala ho rona, ke hore, ho ipapisitse le leano la k'hamphani, joale re ka li hlakola feela ebe re lokolla sebaka.

Lumela, ke leboha tlaleho! Potso ka Joe. U itse moreki ha a batle ho fa motho e mong le e mong monyetla oa ho fumana lintlha. Ha e le hantle, haeba motho a e-na le sephetho sa Hlalosa Hlalosa, joale a ka sheba lintlha.

Ho joalo. Ka mohlala, re ka ngola: "KHETHA HO TLOHA KAE imeile = ho ea ho seo". Ke hore, re ke ke ra bona data ka boeona, empa re ka bona matšoao a mang a sa tobang. Sena se tlameha ho utloisisoa. Empa ka hlakoreng le leng, tsohle di teng. Re na le log audit, re na le taolo ea basebetsi-'moho le bona ba bonang seo bahlahisi ba se etsang. 'Me haeba motho a leka ho etsa sena, joale ts'ebeletso ea ts'ireletso e tla tla ho bona' me e sebetsane le taba ena.

Lumelang Re leboha tlaleho! Ke na le potso e khuts'oane. Haeba k'hamphani e sa sebelise Slack, na ho na le tlamo ho eona hona joale, kapa na hoa khoneha hore bahlahisi ba sebelise maemo e le ho hokela kopo ea tlhahlobo ho database?

Joale ho na le sehokelo sa Slack, ke hore, ha ho lenģosa le leng, empa ke hlile ke batla ho tšehetsa manģosa a mang. U ka etsa’ng? U ka sebelisa DB Lab ntle le Joe, tsamaea ka thuso ea REST API kapa ka thuso ea sethala sa rona mme u thehe li-clones le ho ikopanya le PSQL. Empa sena se ka etsoa haeba u se u itokiselitse ho fa baetsi ba hau monyetla oa ho fumana data, hobane ha ho sa tla hlola ho e-ba le skrine.

Ha ke hloke lera lena, empa ke hloka monyetla o joalo.

Joale e, e ka etsoa.

Source: www.habr.com