Tlatsetso ea Yandex ho li-database tse latelang e tla hlahlojoa.
- TlanyaHouse
- Odyssey
- Ho hlaphoheloa ka nako e itseng (WAL-G)
- PostgreSQL (ho kenyeletsoa li-logerrors, Amcheck, heapcheck)
- Greenplum
Video:
Lefatše Lumela! Lebitso la ka ke Andrey Borodin. 'Me seo ke se etsang ho Yandex.Cloud ke ho theha marang-rang a bulehileng a likamano molemong oa bareki ba Yandex.Cloud le Yandex.Cloud.
Puong ena, re tla bua ka mathata a tobaneng le li-database tse bulehileng ka bongata. Ke hobane'ng ha e le ea bohlokoa? Hobane mathata a manyane, a manyane ao, joalo ka menoang, ebe litlou. Li ba kholo ha u e-na le lihlopha tse ngata.
Empa hase eona taba ea mantlha. Ho etsahala ntho tse makatsang. Lintho tse etsahalang ketsahalong e le 'ngoe ho tse milione. 'Me tikolohong ea maru, u tlameha ho itokisetsa seo, hobane lintho tse makatsang li ka etsahala haholo ha ho na le ntho e itseng ka tekanyo.
Empa! Molemo oa li-database tse bulehileng ke ofe? 'Nete ke hore u na le monyetla oa ho sebetsana le bothata leha e le bofe. U na le khoutu ea mohloli, u na le tsebo ea lenaneo. Re e kopanya mme e sebetsa.
Ke mekhoa efe e teng ea ho sebetsa ho software ea open source?
- Mokhoa o bonolo ka ho fetisisa ke ho sebelisa software. Haeba u sebelisa li-protocol, haeba u sebelisa litekanyetso, haeba u sebelisa liforomo, haeba u ngola lipotso ho software e bulehileng ea mohloli, joale u se u ntse u e tšehetsa.
- U holisa tikoloho ea eona. U eketsa monyetla oa ho lemoha bothata kapele. U eketsa ho tšepahala ha tsamaiso ena. U eketsa boteng ba batho ba ntlafatsang 'marakeng. U ntlafatsa software ena. U se u ntse u le motlatsi haeba u sa tsoa qala ho fumana setaele le ho hokahana ka ho hong moo.
- Mokhoa o mong o utloisisoang ke ho tšehetsa software ea open source. Ka mohlala, lenaneo le tsebahalang la Google Summer of Code, ha Google e lefa palo e kholo ea liithuti tse tsoang lefats'eng lohle chelete e utloahalang e le hore ba hlahise merero e bulehileng ea software e finyellang litlhoko tse itseng tsa laesense.
- Ena ke mokhoa o khahlisang haholo hobane o lumella software hore e fetohe ntle le ho suthela hole le sechaba. Google, joalo ka senatla sa theknoloji, ha e re re batla tšobotsi ena, re batla ho lokisa bothata bona 'me ke hona moo re hlokang ho cheka. Google e re: “Etsa seo u se etsang. Tsoela pele ho sebetsa ka tsela eo u neng u ntse u sebetsa ka eona 'me tsohle li tla loka. ”
- Mokhoa o latelang oa ho kenya letsoho mohloling o bulehileng ke ho kenya letsoho. Ha o na le bothata ho software ea mohloli o bulehileng mme ho na le bahlahisi, bahlahisi ba hau ba qala ho rarolla mathata. Ba qala ho etsa hore lisebelisoa tsa hau li sebetse hantle, mananeo a hau a potlake ebile a ka tšeptjoa.
E 'ngoe ea merero e tsebahalang haholo ea Yandex tšimong ea software e bulehileng ke ClickHouse. Ena ke database e hlahileng e le karabelo ho liqholotso tse tobaneng le Yandex.Metrica.
'Me joalo ka database, e entsoe mohloling o bulehileng molemong oa ho theha tikoloho le ho e nts'etsapele hammoho le bahlahisi ba bang (eseng ka har'a Yandex feela). 'Me joale ona ke morero o moholo oo lik'hamphani tse ngata tse fapaneng li amehang ho oona.
Ho Yandex.Cloud, re thehile ClickHouse ka holim'a Yandex Object Storage, ke hore ka holim'a polokelo ea maru.
Ke hobane'ng ha see se le bohlokoa marung? Hobane database efe kapa efe e sebetsa ho triangolo ena, phiramideng ena, maemong ana a mefuta ea memori. U na le lirekoto tse potlakileng empa tse nyane le li-SSD tse kholo empa tse liehang, li-hard drive le lisebelisoa tse ling tse thibelang. 'Me haeba u sebetsa hantle ka holimo ho piramite, joale u na le database e potlakileng. haeba u sebetsa hantle botlaaseng ba phiramiti ena, joale u na le database e lekantsoeng. 'Me tabeng ena, ho eketsa lera le leng ho tloha ka tlase ke mokhoa o utloahalang oa ho eketsa scalability ea database.
E ne e ka etsoa joang? Ena ke ntlha ea bohlokoa tlalehong ena.
- Re ka kenya tšebetsong ClickHouse holim'a MDS. MDS ke sebaka sa kahare sa polokelo ea leru sa Yandex. E rarahane ho feta protocol e tloaelehileng ea S3, empa e loketse ho feta sesebelisoa sa block. Ho molemo ho rekota data. E hloka mananeo a mangata. Baetsi ba mananeo ba tla etsa lenaneo, le molemo le ho feta, lea thahasellisa.
- S3 ke mokhoa o tloaelehileng o etsang hore sebopeho se be bonolo ka litšenyehelo tsa ho ikamahanya le mefuta e itseng ea mesebetsi.
Ka tlhaho, ho batla ho fana ka ts'ebetso ho tikoloho eohle ea ClickHouse le ho etsa mosebetsi o hlokahalang ka hare ho Yandex.Cloud, re entse qeto ea ho etsa bonnete ba hore sechaba sohle sa ClickHouse se fumana molemo ho sona. Re kentse tšebetsong ClickHouse holim'a S3, eseng ClickHouse holim'a MDS. Mme ona ke mosebetsi o mongata.
Lipeeletso:
"Filesystem abstraction layer"
"Khokahano ea AWS SDK S3"
"Motheo oa ts'ebetsong ea IDisk interafce bakeng sa S3"
"Ho kopanngoa ha lienjineri tsa polokelo ea log le IDisk interface"
"Tšehetso ea enjine ea logi bakeng sa S3 le SeekableReadBuffer"
"Storage Stripe Log S3 tšehetso"
"Storage MergeTree tšehetso ea pele bakeng sa S3"
"MergeTree tšehetso e felletseng bakeng sa S3"
"Support ReplicatedMergeTree over S3"
"Eketsa lintlha tsa kamehla le lihlooho tsa tloaelo bakeng sa polokelo ea s3"
"S3 e nang le tlhophiso e matla ea proxy"
"S3 e nang le proxy solver"
Lena ke lenane la likopo tsa ho hula bakeng sa ho kenya tšebetsong sistimi ea faele e fumanehang ho ClickHouse. Ena ke palo e kholo ea likopo tsa ho hula.
Lipeeletso:
"DiskS3 hardlinks ts'ebetsong e nepahetseng"
"S3 HTTP moreki - Qoba ho kopitsa molaetsa oa karabo mohopolong"
"Qoba ho kopitsa molaetsa o felletseng oa karabo mohopolong ho S3 HTTP
moreki"
"Bokhoni ba ho boloka letšoao le index ea lifaele tsa S3 disk"
"Sutha likarolo ho tloha DiskLocal ho DiskS3 ka ho tšoana"
Empa mosebetsi ha oa ka oa fella moo. Ka mor'a hore karolo e etsoe, ho ne ho hlokahala mosebetsi o mong ho ntlafatsa tshebetso ena.
Lipeeletso:
"Eketsa SelectedRows le liketsahalo tsa SelectedBytes"
"Eketsa liketsahalo tsa profil ho tsoa ho kopo ea S3 ho system.events"
"Eketsa QueryTimeMicroseconds, KhethaQueryTimeMicroseconds le InsertQueryTimeMicroseconds"
'Me joale ho ne ho hlokahala ho etsa hore e hlahlojoe, ho theha leihlo le ho etsa hore e laolehe.
'Me sena sohle se entsoe e le hore sechaba sohle, ecosystem eohle ea ClickHouse, e fumane sephetho sa mosebetsi ona.
Ha re feteleng pele ho li-database tsa transaction, ho li-database tsa OLTP, tse haufi le 'na ka bonna.
Ena ke karolo e bulehileng ea ntlafatso ea DBMS. Bashemane bana ba etsa boselamose ba seterateng ho ntlafatsa marang-rang a bulehileng a transaction.
E 'ngoe ea merero, re sebelisa mohlala oo re ka buang ka oona le seo re se etsang, ke Connection Pooler ho Postgres.
Postgres ke database ea ts'ebetso. Sena se bolela hore database e lokela ho ba le likhokahano tse fokolang tsa marang-rang kamoo ho ka khonehang tse sebetsanang le litšebelisano.
Ka lehlakoreng le leng, tikolohong ea maru, boemo bo tloaelehileng ke ha likhokahano tse sekete li fihla sehlopheng se le seng hang-hang. 'Me mosebetsi oa sehokelo sa khokahano ke ho paka likhokahano tse sekete ho palo e nyane ea likhokahano tsa seva.
Re ka re sehokelo sa khokahano ke mosebeletsi oa mohala ea hlophisang li-byte hape e le hore li fihle ho database ka nepo.
Ka bomalimabe, ha ho na lentsoe le letle la Serussia bakeng sa pooler ea khokahano. Ka linako tse ling e bitsoa multiplexer connections. Haeba u tseba seo u ka se bitsang pooler ea khokahano, joale etsa bonnete ba hore u mpolella, ke tla thabela ho bua puo e nepahetseng ea Serussia.
Re ile ra etsa lipatlisiso tsa likhokahano tse neng li loketse sehlopha sa postgres se laoloang. Mme PgBouncer e bile khetho e ntle ka ho fetisisa bakeng sa rona. Empa re bile le mathata a 'maloa ka PgBouncer. Lilemong tse ngata tse fetileng, Volodya Borodin o ile a fana ka litlaleho tsa hore re sebelisa PgBouncer, re rata ntho e 'ngoe le e' ngoe, empa ho na le li-nuances, ho na le ntho e lokelang ho sebetsa.
Mme re ile ra sebetsa. Re lokisitse mathata ao re kopaneng le ona, ra pakela Bouncer, mme ra leka ho sutumelletsa likopo tsa ho hula holimo. Empa mokhoa oa motheo oa khoele e le 'ngoe o ne o le thata ho sebetsa le oona.
Re ile ra tlameha ho bokella li-cascade ho tsoa ho li-Bouncers tse patiloeng. Ha re e-na le li-Bouncers tse ngata tse nang le khoele e le 'ngoe, likhokahano tse ka holimo li fetisetsoa karolong e ka hare ea Bouncers. Ena ke sistimi e sa laoheng hantle eo ho leng thata ho e aha le ho theola ho ea pele le pele.
Re fihletse qeto ea hore re iketselitse pokello ea rona ea khokahano, e bitsoang Odyssey. Re e ngotse ho tloha qalong.
Ka selemo sa 2019, kopanong ea PgCon, ke ile ka hlahisa sesebelisoa sena ho sechaba sa nts'etsopele. Hona joale re na le linaleli tse ka tlaase ho 2 ho GitHub, ke hore morero o ntse o phela, morero ona o tumme.
'Me haeba u theha sehlopha sa Postgres ho Yandex.Cloud, joale e tla ba sehlopha se nang le Odyssey e hahiloeng, e hlophisitsoeng hape ha e lekanya sehlopha ka morao kapa pele.
Re ithutile’ng morerong oo? Ho qala morero oa tlholisano kamehla ke mohato o mabifi, ke tekanyo e feteletseng ha re re ho na le mathata a sa rarolloeng ka potlako, a sa rarolloeng ka linako tse ka re tšoanelang. Empa ena ke tekanyo e sebetsang.
PgBouncer e ile ea qala ho hola kapele.
'Me joale merero e meng e hlahile. Ka mohlala, pgagroal, e hlahisoang ke baetsi ba Red Hat. Ba phehella lipakane tse tšoanang le ho kenya ts'ebetsong mehopolo e ts'oanang, empa, ho hlakile, ka lintlha tsa bona tse tobileng, tse haufi le baetsi ba pgagroal.
Taba e 'ngoe ea ho sebetsa le sechaba sa postgres ke ho khutlisetsa nako. Hona ke ho hlaphoheloa ka mor'a ho hlōleha, hona ke ho hlaphoheloa ho tsoa ho "backup".
Ho na le li-backups tse ngata 'me kaofela li fapane. Hoo e batlang e le morekisi e mong le e mong oa Postgres o na le tharollo ea hae ea ho boloka.
Haeba u nka lits'ebetso tsohle tsa bekapo, theha sebopeho sa matrix 'me ka bosoasoi u bale sekhetho ho matrix ena, e tla ba zero. See se bolelang? Ho thoe'ng haeba u nka faele e itseng ea bekapo, joale e ke ke ea bokelloa ho tsoa likotong tsa tse ling kaofela. E ikhetha ka ts'ebetsong ea eona, e ikhetha ka morero oa eona, e ikhetha ka mehopolo e kentsoeng ho eona. 'Me kaofela ha tsona li tobileng.
Ha re ntse re sebetsana le taba ena, CitusData e ile ea qala morero oa WAL-G. Ena ke sistimi ea bekapo e entsoeng ka leihlo ho tikoloho ea maru. Hona joale CitusData e se e le karolo ea Microsoft. Mme ka nako eo, re ratile haholo mehopolo e neng e behiloe liphatlalatsong tsa pele tsa WAL-G. Mme re ile ra qala ho kenya letsoho morerong ona.
Hona joale ho na le batho ba bangata ba ntlafatsang morero ona, empa bafani ba holimo ba 10 ho WAL-G ba kenyelletsa 6 Yandexoids. Re tlisitse maikutlo a rona a mangata moo. 'Me, ehlile, re ile ra li kenya ts'ebetsong ka borona, ra li leka ka borona, ra li kenya ka borona, ra li sebelisa ka borona, rona ka borona re tseba hore na re ka ea kae, ha re ntse re buisana le sechaba se seholo sa WAL-G.
'Me ho ea ka pono ea rona, joale tsamaiso ena ea "backup", ho kenyelletsa le ho ela hloko boiteko ba rona, e fetohile e nepahetseng bakeng sa tikoloho ea maru. Ena ke litšenyehelo tse ntle ka ho fetisisa tsa ho tšehetsa Postgres ka leru.
E bolelang? Re ne re khothaletsa mohopolo o moholo: "backup" e lokela ho ba e sireletsehileng, e theko e tlase ho sebetsa le ho e khutlisa kapele kamoo ho ka khonehang.
Ke hobane'ng ha ho lokela ho ba theko e tlaase ho sebetsa? Ha ho se letho le robehileng, ha ua lokela ho tseba hore u na le li-backups. Ntho e 'ngoe le e' ngoe e sebetsa hantle, u senya CPU e nyenyane ka hohle kamoo ho ka khonehang, u sebelisa lisebelisoa tse fokolang tsa disk ka hohle kamoo ho ka khonehang, 'me u romela li-byte tse seng kae ho marang-rang kamoo ho ka khonehang e le hore u se ke ua kena-kenana le mojaro oa litšebeletso tsa hau tsa bohlokoa.
'Me ha ntho e' ngoe le e 'ngoe e robeha, ka mohlala, mookameli o ile a lahlela data, ho na le ntho e sa tsamaeeng hantle,' me ka potlako u lokela ho khutlela nakong e fetileng, u hlaphoheloe ka chelete eohle, hobane u batla hore data ea hau e khutlele kapele le e tsitsitseng.
'Me re khothalelitse mohopolo ona o bonolo. 'Me, ho bonahala ho rona, re khonne ho e phethahatsa.
Empa ha se eona feela. Re ne re batla ntho e ’ngoe hape e nyenyane. Re ne re batla li-database tse ngata tse fapaneng. Ha se bareki bohle ba rona ba sebelisang Postgres. Batho ba bang ba sebelisa MySQL, MongoDB. Sechabeng, bahlahisi ba bang ba tšehelitse FoundationDB. 'Me lethathamo lena le ntse le eketseha kamehla.
Sechaba se rata mohopolo oa hore database e tsamaisoa sebakeng se laoloang marung. 'Me ba ntlafatsang ba boloka li-database tsa bona, tse ka tšehetsoang ka mokhoa o ts'oanang hammoho le Postgres ka sistimi ea rona ea bekapo.
Re ithutile’ng paleng ee? Sehlahisoa sa rona, joalo ka karohano ea nts'etsopele, ha se mela ea khoutu, ha se lipolelo, ha se lifaele. Sehlahisoa sa rona ha se likopo tsa ho hula. Ke mehopolo eo re e fetisetsang sechabeng. Ena ke boitseanape ba thekenoloji le motsamao oa thekenoloji ho leba tikolohong ea maru.
Ho na le database e joalo ka Postgres. Ke rata Postgres ea mantlha haholo. Ke qeta nako e ngata ke ntshetsa pele Postgres konokono le sechaba.
Empa mona ho tlameha ho boleloa hore Yandex.Cloud e na le ts'ebetso ea ka hare ea li-database tse laoloang. 'Me e qalile khale ho Yandex.Mail. Bohlale boo hajoale bo lebisitseng ho Postgres e laoloang bo ile ba bokelloa ha mangolo a batla ho fallela Postgres.
Mail e na le litlhoko tse tšoanang haholo le leru. E hloka hore o tsebe ho hola ho fihlela kholo e sa lebelloang ka nako efe kapa efe ho data ea hau. 'Me mangolo a ne a se a ntse a e-na le moroalo o nang le mabokose a limilione tse makholo a basebelisi ba bangata ba lulang ba etsa likopo tse ngata.
Mme ena e ne e le phephetso e kholo ho sehlopha se neng se nts'etsapele Postgres. Mehleng eo, mathata leha e le afe ao re neng re kopana le ’ona a ne a tlalehoa sechabeng. 'Me mathata ana a ile a lokisoa,' me a lokisoa ke sechaba libakeng tse ling esita le boemong ba tšehetso e lefuoang bakeng sa li-database tse ling le ho feta. Ke hore, o ka romella lengolo ho PgSQL hacker mme o fumana karabo nakong ea metsotso e 40. Tšehetso e lefuoang litsing tse ling e ka nahana hore ho na le lintho tse tlang pele ho feta kokoana ea hau.
Hona joale ho kenngoa ka hare ho Postgres ke li-petabytes tse ling tsa data. Tsena ke likopo tse limilione ka motsotsoana. Tsena ke likete tsa lihlopha. E kholo haholo.
Empa ho na le nuance. Ha e phele ka li-drive tsa marang-rang tse majabajaba, empa ka lisebelisoa tse bonolo. 'Me ho na le tikoloho ea liteko ka ho khetheha bakeng sa lintho tse ncha tse khahlisang.
'Me ka nako e itseng tikolohong ea liteko re ile ra fumana molaetsa o bontšang hore li-invariants tsa ka hare tsa li-index tsa database li hatakeloa.
Ntho e sa fetoheng ke kamano ea mofuta o itseng eo re lebelletseng ho e tšoara kamehla.
Boemo bo mahlonoko haholo bakeng sa rona. E bontša hore e ka 'na eaba data e 'ngoe e lahlehile. 'Me tahlehelo ea data ke ntho e kotsi haholo.
Khopolo e akaretsang eo re e latelang ho li-database tse laoloang ke hore le ka boiteko, ho tla ba thata ho lahleheloa ke data. Esita le haeba u li tlosa ka boomo, u ntse u tla lokela ho hlokomoloha bosieo ba tsona ka nako e telele. Tšireletso ea data ke bolumeli boo re bo latelang ka hloko.
’Me mona ho hlaha boemo bo bontšang hore ho ka ’na ha e-ba le boemo boo e ka ’nang eaba ha rea itokisetsa. Mme re ile ra qala ho itokisetsa boemo bona.
Ntho ea pele eo re e entseng e ne e le ho epela lifate tse tsoang lihlopha tsena tse likete. Re fumane hore na ke lihlopha life tse neng li le ho li-disk tse nang le mathata a firmware a neng a lahleheloa ke lisebelisoa tsa maqephe a data. E tšoaile khoutu eohle ea data ea Postgres. 'Me re tšoaile melaetsa eo e bonts'ang litlolo tsa li-invariants tsa kahare ka khoutu e etselitsoeng ho bona bobolu ba data.
Sekhechana sena se ile sa amoheloa ke sechaba ntle le lipuisano tse ngata, hobane tabeng e 'ngoe le e 'ngoe ho ne ho hlakile hore ho na le ntho e mpe e etsahetseng mme e hloka ho tlalehoa ho log.
Ka mor'a sena, re ile ra fihla tabeng ea hore re be le monitoring e hlahlobang li- log. 'Me haeba ho na le melaetsa e belaetsang, o tsosa ofisiri ea mosebetsi, 'me ofisiri ea mosebetsi e e lokisa.
Empa! Scanning logs ke ts'ebetso e theko e tlase sehlopheng se le seng 'me e theko e boima haholo bakeng sa lihlopha tse sekete.
Re ngotse katoloso e bitsoang . E etsa hore ho be le pono ea database eo ho eona u ka khethang ka theko e tlaase le ka potlako lipalo-palo tsa liphoso tse fetileng. 'Me haeba re hloka ho tsosa ofisiri ea mosebetsi, joale re tla tseba ka sena ntle le ho hlahloba lifaele tsa gigabyte, empa ka ho ntša li-byte tse seng kae tafoleng ea hash.
Katoloso ena e amohetsoe, ho etsa mohlala, sebakeng sa polokelo bakeng sa . Haeba u batla ho e sebelisa, u ka iketsetsa eona. Ehlile ke mohloli o bulehileng.
Empa ha se eona feela. Re qalile ho sebelisa Amcheck, katoloso e hahiloeng ke sechaba, ho fumana litlolo tse sa fetoheng ho li-index.
'Me re fumane hore haeba u e sebelisa ka tekanyo, ho na le likokoana-hloko. Re ile ra qala ho li lokisa. Litokiso tsa rona li amohetsoe.
Re fumane hore katoloso ena ha e khone ho sekaseka li-index tsa GiST & GIT. Re ile ra ba tšehetsa. Empa ts'ehetso ena e ntse e tšohloa ke sechaba, hobane sena ke ts'ebetso e batlang e le ncha 'me ho na le lintlha tse ngata moo.
Hape re fumane hore ha re hlahloba li-index bakeng sa tlōlo ea molao ho moetapele oa ho pheta-pheta, ho monghali, ntho e 'ngoe le e' ngoe e sebetsa hantle, empa ho li-replicas, ho molateli, ho batla bobolu ha ho atlehe hakaalo. Ha se liphetolelo tsohle tse hlahlojoang. 'Me motho e mong ea sa fetoheng o ile a re tšoenya haholo. 'Me re qetile selemo le halofo re buisana le sechaba e le hore re khone ho hlahloba likopi.
Re ngotse khoutu e lokelang ho latela bohle can... protocol. Re buisane ka patch ena nako e telele le Peter Gaghan oa Crunchy Data. O ile a tlameha ho fetola hanyenyane sefate sa B se teng Postgres e le hore a amohele patch ena. O ile a amoheloa. 'Me joale ho hlahloba li-index ho likopi le hona ho se ho sebetsa ka ho lekana ho bona litlolo tseo re kopaneng le tsona. Ke hore, tsena ke litlolo tse ka bakoang ke liphoso ho disk firmware, likokoana-hloko ho Postgres, likokoana-hloko ho Linux kernel, le mathata a hardware. Lethathamo le pharaletseng la mehloli ea mathata eo re neng re e lokisetsa.
Empa ntle le li-index, ho na le karolo e kang qubu, ke hore, sebaka seo data e bolokiloeng ho sona. 'Me ha ho na liphetoho tse ngata tse ka hlahlojoang.
Re na le katoloso e bitsoang Heapcheck. Re ile ra qala ho e ntlafatsa. Mme ka ho tshwana, mmoho le rona, khamphani ya EnterpriseDB le yona e ile ya qala ho ngola mojule, oo ba o bitsitseng Heapcheck ka tsela e tshwanang. Feela re e bitsitse PgHeapcheck, mme ba mpa ba e bitsa Heapcheck. Ba na le eona e nang le mesebetsi e tšoanang, tekeno e fapaneng hanyane, empa e nang le mehopolo e ts'oanang. Ba ile ba li kenya tšebetsong hamolemonyana libakeng tse ling. 'Me ba ile ba e beha mohloling o bulehileng pele.
'Me hona joale re ntse re ntlafatsa katoloso ea bona, hobane ha e sa le katoloso ea bona, empa ke katoloso ea sechaba. 'Me nakong e tlang, ena ke karolo ea kernel e tla fuoa motho e mong le e mong e le hore a tsebe ka mathata a kamoso esale pele.
Libakeng tse ling, re bile ra fihlela qeto ea hore re na le maikutlo a fosahetseng mekhoeng ea rona ea ho beha leihlo. Ka mohlala, tsamaiso ea 1C. Ha o sebelisa database, ka linako tse ling Postgres e ngola lintlha ho eona tseo e ka li balang, empa pg_dump ha e khone ho bala.
Boemo bona bo ne bo shebahala joaloka bobolu tsamaisong ea rona ea ho lemoha mathata. Ofisiri ea mosebetsi e ile ea tsosoa. Ofisiri ea mosebetsi e ile ea sheba se etsahalang. Ka mor'a nako e itseng, motho e mong ea neng a tlela moreki o ile a tla 'me a mpolella hore ke na le mathata. Mohlanka o ile a hlalosa hore na bothata ke bofe. Empa bothata bo ho Postgres mantlha.
Ke fumane puisano ka tšobotsi ena. Mme o ngotse hore re kopane le tšobotsi ena mme e ne e sa thabise, motho o ne a tsoha bosiu e le hore a tsebe hore na ke eng.
Sechaba se ile sa arabela, "Oh, re hlile re hloka ho e lokisa."
Ke na le papiso e bonolo. Haeba u tsamaea ka seeta se nang le thollo ea lehlabathe ho eona, joale, ka molao-motheo, u ka tsoela pele - ha ho bothata. Haeba u rekisetsa batho ba likete libutsi, joale a re etseng lieta ntle le lehlabathe ho hang. 'Me haeba e mong oa basebelisi ba lieta tsa hau a tla matha marathon, joale u batla ho etsa lieta tse ntle haholo, ebe o li lekanyetsa ho basebelisi bohle ba hau. 'Me basebelisi ba joalo ba sa lebelloang ba lula ba le sebakeng sa maru. Kamehla ho na le basebelisi ba qhekellang sehlopha ka tsela e itseng ea mantlha. U tlameha ho itokisetsa sena kamehla.
Re ithutile eng moo? Re ithutile ntho e bonolo: ntho ea bohlokoa ka ho fetisisa ke ho hlalosetsa sechaba hore ho na le bothata. Haeba sechaba se hlokometse bothata, joale tlhōlisano ea tlhaho e hlaha ho rarolla bothata. Hobane e mong le e mong o batla ho rarolla bothata ba bohlokoa. Barekisi bohle, barekisi bohle ba utloisisa hore bona ka bobona ba ka hata sethaleng sena, kahoo ba batla ho ba felisa.
Haeba u sebetsana le bothata, empa ha bo khathatse motho haese uena, empa u sebetsa ho eona ka mokhoa o hlophisitsoeng 'me qetellong e nkoa e le bothata, joale kopo ea hau ea ho hula e tla amoheloa ka sebele. Patch ea hau e tla amoheloa, lintlafatso tsa hau kapa likopo tsa ntlafatso li tla hlahlojoa ke sechaba. Qetellong ea letsatsi, re etsa hore database e be betere bakeng sa e mong.
Sebaka sa polokelo ea litaba se khahlisang ke Greenplum. Ke database e bapileng haholo e thehiloeng ho Postgres codebase, eo ke e tsebang haholo.
Mme Greenplum e na le ts'ebetso e khahlisang - eketsa litafole tse ntlafalitsoeng. Tsena ke litafole tseo u ka li eketsang kapele. Li ka ba columnar kapa mola.
Empa ho ne ho se na lihlopha, ke hore, ho ne ho se na ts'ebetso moo u ka hlophisang lintlha tse teng tafoleng ho latela tatellano e leng ho e 'ngoe ea li-index.
Bahlankana ba tekesing ba ile ba tla ho ’na ’me ba re: “Andrey, ua tseba Postgres. 'Me mona e batla e tšoana. Fetohela ho metsotso e 20. U e nke u e etse.” Ke ne ke nahana hore e, ke tseba Postgres, ho fetola metsotso ea 20 - ke hloka ho etsa sena.
Empa che, e ne e se metsotso e 20, ke ile ka e ngola ka likhoeli tse ngata. Sebokeng sa PgConf.Russia, ke ile ka ea ho Heikki Linakangas oa Pivotal ’me ka botsa: “Na ho na le mathata ka see? Ke hobane'ng ha ho se na lihlopha tse ntlafalitsoeng tsa tafole?" O re: “U nka lintlha. Ua hlophisa, u hlophisa bocha. Ke mosebetsi feela." Nna: "Ee, o hloka feela ho e nka mme o e etse." O re: "E, re hloka matsoho a mahala ho etsa sena." Ke ne ke nahana hore ke hlile ke hloka ho etsa sena.
'Me likhoeli tse' maloa hamorao ke ile ka kenya kopo ea ho hula e ileng ea phethahatsa ts'ebetso ena. Kopo ena ea ho hula e ile ea hlahlojoa ke Pivotal hammoho le sechaba. Ha e le hantle, ho ne ho e-na le likokoana-hloko.
Empa ntho e thahasellisang ka ho fetisisa ke hore ha kopo ena ea ho hula e kopantsoe, likokoana-hloko li ile tsa fumanoa Greenplum ka boeona. Re fumane hore ka linako tse ling litafole tsa heap li senya transactionality ha li kopane. 'Me sena ke ntho e lokelang ho lokisoa. Mme o sebakeng seo ke qetang ho se ama. Mme karabelo ya ka ya tlhaho e bile - ho lokile, e re ke etse sena le nna.
Ke lokisitse bothata bona. O rometse kopo ea ho hula ho ba lokisang. O ile a bolaoa.
Ka mor'a moo ho ile ha fumaneha hore ts'ebetso ena e hloka ho fumanoa phetolelong ea Greenplum bakeng sa PostgreSQL 12. Ke hore, leeto la metsotso e 20 le ntse le tsoela pele ka liketsahalo tse ncha tse thahasellisang. Ho ne ho thahasellisa ho ama tsoelo-pele ea hona joale, moo sechaba se khaolang likarolo tse ncha le tsa bohlokoa ka ho fetisisa. E hoamme.
Empa ha ea ka ea fella moo. Kamora tsohle, ho ile ha fumaneha hore re hloka ho ngola litokomane bakeng sa sena sohle.
Ke ile ka qala ho ngola litokomane. Ka lehlohonolo, baetsi ba litokomane ba tsoang Pivotal ba ile ba tla. Senyesemane ke puo ea bona ea tlhaho. Ba ile ba nthusa ka litokomane. Ha e le hantle, bona ka bobona ba ile ba ngola seo ke se khothalelitseng hore e be Senyesemane sa sebele.
'Me mona, ho bonahala eka, papali e felile. Mme na o a tseba hore na ho ile ha etsahalang ka nako eo? Bahlankana ba tekesing ba ile ba tla ho ’na ’me ba re: “Ho sa ntse ho e-na le liketsahalo tse peli, e ’ngoe le e ’ngoe e nka metsotso e 10.” Mme ke ba bolelle eng? Ke itse joale ke tla fana ka tlaleho ka tekanyo, joale re tla bona liketsahalo tsa hau, hobane ona ke mosebetsi o thahasellisang.
Re ithutile’ng nyeoeng ee? Hobane ho sebetsa le mohloli o bulehileng kamehla ho sebetsa le motho ea itseng, ho sebetsa kamehla le sechaba. Hobane mothating o mong le o mong ke ne ke sebetsa le moqapi e mong, mohlahlobi e mong, mohatelli e mong, setsebi se seng sa litokomane, setsebi se seng sa meralo. Ha kea sebetsa le Greenplum, ke sebelitse le batho ba haufi le Greenplum.
Empa! Ho na le ntlha e 'ngoe ea bohlokoa - ke mosebetsi feela. Ke hore, u tla, u noa kofi, ngola khoutu. Mefuta eohle ea li-invariants tse bonolo lia sebetsa. Etsa joalo ka tloaelo - ho tla ba hantle! 'Me ke mosebetsi o monate haholo. Ho na le kopo ea mosebetsi ona ho tsoa ho bareki ba Yandex.Cloud, basebelisi ba lihlopha tsa rona ka hare ho Yandex le ka ntle. 'Me ke nahana hore palo ea merero eo re kopanelang ho eona e tla eketseha le botebo ba ho kenya letsoho ha rona le bona bo tla eketseha.
Ke phetho. Ha re feteleng pele ho lipotso.
Seboka sa lipotso
Lumela! Re na le karolo e 'ngoe ea lipotso le likarabo. Le ka studio Andrei Borodin. Enoa ke motho ea sa tsoa u bolella ka monehelo oa Yandex.Cloud le Yandex ho bula mohloli. Tlaleho ea rona hona joale ha e bue ka Leru ka botlalo, empa ka nako e ts'oanang re ipapisitse le mahlale a joalo. Ntle le seo u se entseng ka hare ho Yandex, ho ne ho ke ke ha e-ba le tšebeletso ho Yandex.Cloud, kahoo ke leboha ho tsoa ho 'na ka boeena. Mme potso ea pele ho tsoa khaso: "E 'ngoe le e 'ngoe ea merero eo u e boletseng e ngotsoe ho eng?"
Sistimi ea bekapo ho WAL-G e ngotsoe ho Go. Ena ke e 'ngoe ea merero e mecha eo re sebelitseng ho eona. Ha e le hantle o lilemo li 3 feela. 'Me database hangata e bua ka ho tšepahala. 'Me sena se bolela hore li-database li tsofetse haholo' me hangata li ngotsoe ka C. Morero oa Postgres o qalile lilemo tse ka bang 30 tse fetileng. Joale C89 e ne e le khetho e nepahetseng. 'Me Postgres e ngotsoe ho eona. Li-database tse ling tsa sejoale-joale tse kang ClickHouse hangata li ngoloa ka C ++. Tsoelo-pele ea tsamaiso eohle e thehiloe ho pota C le C ++.
Potso e tsoang ho mookameli oa rona oa lichelete, ea ikarabellang bakeng sa litšenyehelo ho Cloud: "Hobaneng Cloud e sebelisa chelete ho tšehetsa mohloli o bulehileng?"
Ho na le karabo e bonolo bakeng sa mookameli oa lichelete mona. Re etsa sena ho ntlafatsa litšebeletso tsa rona. Re ka ntlafatsa ka litsela life? Re ka etsa lintho ka katleho, kapele, 'me ra etsa hore lintho li be bonolo haholoanyane. Empa ho rona, pale ena e bua haholo ka ho tšepahala. Ka mohlala, tsamaisong ea "backup" re hlahloba 100% ea lipache tse sebetsang ho eona. Rea tseba hore na khoutu ke eng. 'Me re phutholohile ho hlahisa mefuta e mecha ho tlhahiso. Ke hore, pele ho tsohle, e mabapi le ho itšepa, ho itokisetsa tsoelo-pele le ho tšepahala
Potso e 'ngoe: "Na litlhoko tsa basebelisi ba kantle ba lulang Yandex.Cloud li fapane le basebelisi ba ka hare ba lulang Cloud e ka hare?"
Ehlile, profil ea mojaro e fapane. Empa ho ea ka pono ea lefapha la ka, linyeoe tsohle tse khethehileng le tse thahasellisang li bōptjoa ka mojaro o sa tloaelehang. Bahlahisi ba nang le mehopolo, bahlahisi ba etsang lintho tse sa lebelloang, ba ka 'na ba fumanoa ka hare le ka ntle. Tabeng ena, kaofela re batla re tšoana. 'Me, mohlomong, tšobotsi feela ea bohlokoa ka hare ho ts'ebetso ea Yandex ea li-database e tla ba hore ka hare ho Yandex re na le thuto. Ka nako e 'ngoe, libaka tse ling tse fumanehang li kena moriting,' me litšebeletso tsohle tsa Yandex li tlameha ho tsoela pele ho sebetsa ho sa tsotellehe sena. Ena ke phapang e nyane. Empa e theha nts'etsopele e ngata ea lipatlisiso ho sebopeho sa database le marang-rang. Ho seng joalo, lits'ebetso tsa kantle le tsa kahare li hlahisa likopo tse tšoanang tsa likarolo le likopo tse ts'oanang tsa ho ntlafatsa ts'epo le ts'ebetso.
Potso e latelang: "Uena u ikutloa joang ka taba ea hore boholo ba seo u se etsang se sebelisoa ke Maru a mang?" Re ke ke ra bolela mabitso a itseng, empa merero e mengata e entsoeng Yandex.Cloud e sebelisoa marung a batho ba bang.
Sena se monate. Ea pele, ke pontšo ea hore re entse ntho e nepahetseng. 'Me e senya boitlhompho. ’Me re kholisehile haholoanyane hore re entse qeto e nepahetseng. Ka lehlakoreng le leng, ena ke tšepo ea hore nakong e tlang sena se tla re tlisetsa maikutlo a macha, likōpo tse ncha tse tsoang ho basebelisi ba mekhatlo ea boraro. Litaba tse ngata ho GitHub li bōpiloe ke batsamaisi ba tsamaiso ka bomong, li-DBA ka bomong, baetsi ba meralo ka bomong, baenjiniere ka bomong, empa ka linako tse ling batho ba nang le phihlelo e hlophisitsoeng ba tla 'me ba re ho 30% ea linyeoe tse itseng re na le bothata bona' me re nahane ka mokhoa oa ho bo rarolla. Sena ke seo re se lebeletseng haholo. Re labalabela ho arolelana liphihlelo le li-platform tse ling tsa maru.
U buile haholo ka marathone. Kea tseba hore u mathile marathone Moscow. Ka hoo? Na u fihletse bashanyana ba PostgreSQL?
Che, Oleg Bartunov o matha ka potlako haholo. O qetile hora pele ho nna. Ka kakaretso, ke thabetse bohole boo ke bo fihletseng. Ho 'na, ho qeta e ne e le katleho. Ka kakaretso, hoa makatsa hore ebe ho na le limathi tse ngata hakana sechabeng sa postgres. Ho 'na ho bonahala eka ho na le kamano ea mofuta o itseng pakeng tsa lipapali tsa aerobic le takatso ea mananeo a tsamaiso.
Na u re ha ho na limathi ho ClickHouse?
Ke tseba hantle hore ba teng. ClickHouse le eona ke database. Hajoale, Oleg o ntse a 'ngolla: "Na re tla matha ka mor'a tlaleho?" Ena ke mohopolo o motle.
Potso e 'ngoe e tsoang phatlalatsong e tsoang ho Nikita: "Hobaneng ha u ile ua lokisa bothata ho Greenplum u sa e fe bacha?" Ke 'nete, ha ho hlake hore na kokoana ke eng le hore na ke ts'ebeletso efe, empa mohlomong e bolela eo u buileng ka eona.
E, ha e le hantle, e ka be e fuoe motho e mong. E ne e le khoutu feela eo ke sa tsoa e fetola. ’Me e ne e le ha tlhaho ho tsoela pele ho e etsa hang-hang. Ha e le hantle, mohopolo oa ho arolelana boiphihlelo le sehlopha ke mohopolo o motle. Ka sebele re tla arolelana mesebetsi ea Greenplum har'a litho tsohle tsa karolo ea rona.
Kaha re bua ka bacha, potso ke ena. Motho eo o ile a etsa qeto ea ho theha boitlamo ba pele ho Postgres. O lokela ho etsa eng ho etsa boitlamo ba pele?
Ena ke potso e thahasellisang: "Ho qala kae?" Hangata ho thata ho qala ka ho hong ho kernel. Ho Postgres, mohlala, ho na le lethathamo la lintho tseo u lokelang ho li etsa. Empa ha e le hantle, ena ke leqephe la seo ba lekileng ho se etsa, empa ha baa ka ba atleha. Tsena ke lintho tse rarahaneng. Mme hangata o ka fumana lits'ebeletso tse ling tikolohong ea tikoloho, li-extensions tse ling tse ka ntlafatsoang, tse hohelang tlhokomelo e nyane ho tsoa ho baetsi ba kernel. 'Me, ka hona, ho na le lintlha tse eketsehileng bakeng sa kholo moo. Lenaneong la Google Lehlabula la khoutu, selemo se seng le se seng sechaba sa postgres se hlahisa lihlooho tse ngata tse fapaneng tse ka rarolloang. Selemong sena, ke nahana, re bile le baithuti ba bararo. E mong o bile a ngola ho WAL-G ka lihlooho tse bohlokoa ho Yandex. Greenplum, ntho e 'ngoe le e' ngoe e bonolo ho feta sechabeng sa Postgres, hobane li-hackers tsa Greenplum li tšoara likōpo tsa ho hula hantle 'me li qala ho hlahloba hang-hang. Ho romella patch ho Postgres ke taba ea likhoeli, empa Greenplum e tla tla ka letsatsi 'me e bone seo u se entseng. Ntho e 'ngoe ke hore Greenplum e hloka ho rarolla mathata a hajoale. Greenplum ha e sebelisoe haholo, kahoo ho fumana bothata ba hau ho thata haholo. Mme pele ho tsohle, re hloka ho rarolla mathata, ehlile.
Source: www.habr.com