O le sao a Yandex i faʻamaumauga nei o le a toe iloiloina.
- Kiliki Fale
- Odyssey
- Toe fa'aleleia i se taimi (WAL-G)
- PostgreSQL (e aofia ai logerrors, Amcheck, heapcheck)
- Greenplum
Vitio:
Talofa le lalolagi! O loʻu igoa o Andrey Borodin. Ma o le mea ou te faia i Yandex.Cloud o loʻo atiaʻe faʻamaumauga fesoʻotaʻiga matala mo le fiafia o tagata Yandex.Cloud ma Yandex.Cloud.
I lenei lauga, o le a tatou talanoa e uiga i luʻitau o loʻo feagai ma faʻamaumauga tatala i le fua. Aisea e taua ai? Aua o nai faafitauli laiti, e pei o namu, ona avea ai lea ma elefane. E tetele pe a tele au fuifui.
Ae e le o le mea autu lena. E tutupu mea ofoofogia. O mea e tupu i le tasi i le miliona mataupu. Ma i totonu o le ao, e tatau ona e saunia mo lena mea, aua o mea mataʻina e mafai ona faʻaalia pe a iai se mea i le fua.
Ae! O le a le aoga o faʻamaumauga tatala? O le mea moni o loʻo ia te oe se avanoa faʻapitoa e faʻafetaui ai soʻo se faʻafitauli. O lo'o ia te oe le source code, o lo'o ia te oe le poto fa'apolokalame. Matou te tuʻufaʻatasia ma e aoga.
O a auala o loʻo i ai i le galue i luga o polokalama tatala punaoa?
- O le auala sili ona faigofie o le faʻaaogaina lea o polokalama. Afai e te faʻaogaina faʻasalalauga, afai e te faʻaogaina tulaga faʻapitoa, pe a e faʻaogaina faʻasologa, afai e te tusia fesili i le polokalama tatala punaoa, ona e lagolagoina lea.
- O lo'o e fa'ateleina lona fa'anatura. E te fa'ateleina le avanoa e vave iloa ai se bug. E te faateleina le faatuatuaina o lenei faiga. E te faʻateleina le avanoa o atinaʻe i le maketi. E te fa'aleleia lenei polokalama. Ua uma ona e fai sao pe a fai na e fa'ato'a fa'atupu lau sitaili ma fai se mea iina.
- O le isi auala malamalama o le lagolagoina o polokalama tatala punaoa. Mo se faʻataʻitaʻiga, le lauiloa Google Summer of Code program, pe a totogi e Google se numera tele o tamaiti aʻoga mai le lalolagi atoa o tupe malamalama ina ia latou atinaʻe polokalame faʻapipiʻi tatala e fetaui ma manaoga faapitoa o laisene.
- O se faiga manaia tele lea aua e mafai ai ona fa'asolo le polokalame e aunoa ma le suia o le taulaiga mai le alalafaga. Google, i le avea ai ma se tekinolosi, e le o fai mai matou te mananaʻo i lenei uiga, matou te mananaʻo e faʻaleleia lenei pusa ma o le mea lea matou te manaʻomia e eli ai. Google fai mai: “Fai le mea e te faia. Tau lava o le galue pea i le auala sa e galue ai ma o le a lelei mea uma."
- O le isi auala i le auai i punaoa tatala o le auai. A iai sau faʻafitauli ile polokalama faʻapipiʻi matala ma o loʻo i ai tagata atiae, e amata ona foia e au atinaʻe ia faʻafitauli. Ua amata ona latou fa'aleleia atili au atina'e, fa'avavevave au polokalame ma fa'atuatuaina.
O se tasi o galuega sili ona taʻutaʻua Yandex i le fanua o punaoa tatala polokalama o le ClickHouse. O se faʻamaumauga lea na fanau mai o se tali i luʻitau o loʻo feagai ma Yandex.Metrica.
Ma i le avea ai o se faʻamaumauga, na faia i le punaoa tatala ina ia mafai ai ona fausia se faʻalapotopotoga faʻanatura ma atiina ae faʻatasi ma isi atinaʻe (e le gata i totonu o Yandex). Ma o lenei o se galuega tele lea e tele kamupani eseese o loʻo aofia ai.
I le Yandex.Cloud, na matou fatuina ai le ClickHouse i luga o le Yandex Object Storage, o lona uiga i luga o le teuina o ao.
Aisea e taua ai lenei mea i le ao? Ona o soʻo se faʻamaumauga e galue i lenei tafatolu, i lenei pyramid, i lenei faʻasologa o ituaiga manatua. E iai sau resitara vave ae laiti ma taugofie SSD lapopoa ae tuai, ta'avale malo ma isi masini poloka. Ma afai e te lelei i le pito i luga o le pyramid, ona i ai lea o lau faʻamaumauga vave. afai e te lelei i le pito i lalo o lenei pyramid, ona i ai lea o lau faʻamaumauga faʻavasega. Ma i lenei itu, o le faʻaopoopoina o se isi vaega mai lalo o se auala talafeagai e faʻateleina ai le faʻalauteleina o le database.
E mafai faapefea ona fai? O se itu taua lea i lenei lipoti.
- E mafai ona matou faʻatinoina ClickHouse i luga ole MDS. MDS o le Yandex cloud storage interface. E sili atu le lavelave nai lo le masani S3 protocol, ae sili atu ona talafeagai mo se masini poloka. E sili atu mo le pueina o faʻamaumauga. E manaʻomia le tele o polokalame. O le a faʻapolokalame e le au fai polokalame, e lelei tele, e manaia.
- O le S3 o se auala sili ona taatele e faafaigofie ai le atinaʻe i le tau o le faʻaitiitia o fetuunaiga i nisi ituaiga o galuega mamafa.
E masani lava, o le manaʻo e tuʻuina atu galuega i le ClickHouse ecosystem atoa ma fai le galuega o loʻo manaʻomia i totonu o Yandex.Cloud, na matou filifili e faʻamautinoa o le a manuia le faʻalapotopotoga ClickHouse atoa. Na matou faʻatinoina le ClickHouse i luga ole S3, ae le o le ClickHouse ile MDS. Ma o se galuega tele lenei.
Faʻamatalaga:
"Faiga fa'apipi'iina o faila"
"AWS SDK S3 tu'ufa'atasia"
"Faʻavae faʻatinoga o fesoʻotaʻiga IDisk mo S3"
"Tu'ufa'atasiga o masini e teu ai ogalaau ma le IDisk interface"
"Log engine support mo S3 ma SeekableReadBuffer"
"Storage Stripe Log S3 lagolago"
"Storage MergeTree lagolago muamua mo S3"
"MergeTree lagolago atoatoa mo S3"
"Lagolago le ReplicatedMergeTree i luga ole S3"
"Faʻaopoopo faʻamatalaga faʻamaonia ma ulutala masani mo le teuina s3"
"S3 fa'atasi ai ma le fa'atulagaina o sui fa'apitoa"
"S3 ma sui fofo"
Ole lisi lea ole talosaga mo le faʻatinoina o se faila faila faila ile ClickHouse. Ole numera tele lea ole toso talosaga.
Faʻamatalaga:
"DiskS3 hardlinks fa'atinoga sili ona lelei"
"S3 HTTP client - Aloese mai le kopiina o le tali i le mafaufau"
"Aloese mai le kopiina o le tali atoa i le mafaufau ile S3 HTTP
tagata fa'atau"
"O le mafai ona faʻailoga faʻailoga ma faʻailoga faila mo le S3 disk"
"Sii vaega mai le DiskLocal i le DiskS3 i le tutusa"
Ae e le'i gata ai iina le galuega. Ina ua mae'a ona faia le fa'aaliga, sa mana'omia nisi galuega ina ia fa'amalieina ai lenei fa'atinoga.
Faʻamatalaga:
"Faaopoopo mea FilifiliaRows ma SelectedBytes"
"Fa'aopoopo fa'amatalaga fa'amatalaga mai le S3 talosaga ile system.events"
"Faaopoopo QueryTimeMicroseconds, SelectQueryTimeMicroseconds ma InsertQueryTimeMicroseconds"
Ona tatau ai lea ona faʻamaonia, faʻatulagaina le mataʻituina ma faʻaogaina.
Ma o nei mea uma na faia ina ia maua ai e le alalafaga atoa, o le ClickHouse ecosystem atoa, le taunuuga o lenei galuega.
Se'i o tatou aga'i atu i fa'amaumauga tau fefa'ataua'iga, i fa'amaumauga a le OLTP, ia e latalata mai ia te a'u lava ia.
Ole vaega lea ole atina'e ole DBMS. O nei tama o loʻo faia togafiti faʻataulāitu e faʻaleleia ai faʻamatalaga tatala faʻamatalaga.
O se tasi o poloketi, faʻaaogaina se faʻataʻitaʻiga e mafai ona tatou talanoa e uiga i le auala ma le mea tatou te faia, o le Connection Pooler i Postgres.
Postgres o se faʻamaumauga faʻasologa. O lona uiga o le database e tatau ona i ai ni nai fesoʻotaʻiga fesoʻotaʻiga e mafai ona faʻatautaia fefaʻatauaiga.
I le isi itu, i totonu o le ao, o se tulaga masani o le afe o fesoʻotaʻiga e oʻo mai i le tasi fuifui i le taimi e tasi. Ma o le galuega a le pooler fesoʻotaʻiga o le faʻapipiʻiina lea o le afe o fesoʻotaʻiga i se numera itiiti o fesoʻotaʻiga server.
E mafai ona tatou fai atu o le tagata faʻapipiʻi fesoʻotaʻiga o le telefoni feaveaʻi na te toe faʻatulagaina le bytes ina ia latou oʻo lelei i le database.
Ae paga lea, e leai se upu Rusia lelei mo le pooler sootaga. O nisi taimi e taʻua o fesoʻotaʻiga multiplexer. Afai e te iloa le mea e taʻua o le pooler fesoʻotaʻiga, ia mautinoa e taʻu mai ia te aʻu, o le a ou matua fiafia lava e tautala i le gagana Rusia saʻo.
Sa matou su'esu'eina fa'aputuga feso'ota'iga e fetaui lelei mo se fa'aputuga fa'aulu. Ma o le PgBouncer o le filifiliga sili lea mo matou. Ae na matou feagai ma le tele o faʻafitauli i le PgBouncer. I le tele o tausaga talu ai, na tuʻuina mai ai e Volodya Borodin lipoti matou te faʻaogaina le PgBouncer, matou te fiafia i mea uma, ae o loʻo i ai nuances, o loʻo i ai se mea e galue ai.
Ma sa matou galulue. Na matou faʻaleleia faʻafitauli na matou feagai, na matou faʻapipiʻi le Bouncer, ma taumafai e tuleia talosaga toso i luga. Ae sa faigata ona galue i le filo fa'avae tasi.
Sa tatau ona matou aoina cascades mai Bouncers patched. A tele a tatou Bouncers fa'a-fa'ato'a tasi, o feso'ota'iga i luga o le vaega pito i luga e fa'afeiloa'i i le pito i totonu o Bouncers. Ole faiga lea ole pulea lelei lea e faigata ona fau ma fua i tua ma luma.
Na matou oʻo mai i le faaiuga na matou fatuina a matou lava fesoʻotaʻiga pooler, lea e taʻua o Odyssey. Sa matou tusia mai le amataga.
I le 2019, i le fonotaga a le PgCon, na ou tuʻuina atu ai lenei pooler i le atinaʻe faʻalapotopotoga. Ole taimi nei e itiiti ifo nai lo le 2 fetu ile GitHub, o lona uiga o loʻo ola le poloketi, o le poloketi e lauiloa.
Ma afai e te fatuina se faʻapipiʻi Postgres i Yandex.Cloud, ona avea lea o se fuifui ma Odyssey fausia, lea e toe faʻaleleia pe a faʻapipiʻi le fuifui i tua poʻo luma.
O le a se mea na tatou aoaoina mai lenei galuega faatino? O le faʻalauiloaina o se poloketi faʻatauvaʻa e masani lava o se laasaga faʻamalosi, o se fua faʻatatau pe a tatou fai atu o loʻo i ai faʻafitauli e leʻo vave foia, e leʻo foia i taimi vaeluaga e fetaui ma i tatou. Ae o se fua aoga lea.
O le PgBouncer na amata vave ona atiaʻe.
Ma o lea ua aliali mai isi galuega faatino. Mo se faʻataʻitaʻiga, pgagroal, lea e atiaʻe e Red Hat developers. Latou te tulituliloaina sini tutusa ma faʻatino manatu tutusa, ae, ioe, faʻatasi ai ma a latou lava mea faʻapitoa, lea e latalata atu i le au atinaʻe pgagroal.
O le isi tulaga o le galulue faatasi ma le postgres community o loʻo toe faʻaleleia i se taimi i le taimi. O le toe faʻaleleia lea pe a maeʻa le toilalo, o le toe faʻaleleia lea mai se faʻamaumauga.
E tele backups ma e eseese uma. Toeitiiti lava o fa'atau uma a le Postgres e iai lana lava fofo fa'asao.
Afai e te ave uma faiga faaleoleo, fai se vaega matrix ma tausua fuafua le determinant i lenei matrix, o le a leai. O le a le uiga o lenei mea? Ae a pe afai e te ave se faila faaleoleo patino, ona le mafai lea ona tuufaatasia mai vaega o isi uma. E tulaga ese i lona faatinoga, e tulaga ese i lona faamoemoega, e tulaga ese i manatu o loo i totonu. Ma e patino uma.
A o matou galulue i lenei mataupu, na faʻalauiloa e CitusData le poloketi WAL-G. O se faiga fa'asao lea na faia ma le mata i le siosiomaga ao. Ole taimi nei ole CitusData ose vaega ole Microsoft. Ma i lena taimi, matou te matua fiafia lava i manatu na tuʻuina i lalo i uluai faʻasalalauga a WAL-G. Ma sa amata ona matou saofagā i lenei poloketi.
Ole taimi nei e tele le tele o atinaʻe i lenei poloketi, ae o le 10 pito i luga o sao i le WAL-G e aofia ai le 6 Yandexoids. Sa matou aumaia le tele o matou manatu iina. Ma, ioe, na matou faʻatinoina i matou lava, faʻataʻitaʻiina i matou lava, faʻasalalau i latou i le gaosiga o matou lava, matou te faʻaaogaina i matou lava, matou te iloa le mea e sosoo ai, aʻo fegalegaleai ma le lautele o le WAL-G community.
Ma mai la matou vaaiga, o lenei faiga faaleoleo, e aofia ai le amanaia o matou taumafaiga, ua sili ona lelei mo se siosiomaga ao. Ole tau sili lea ole lagolago ole Postgres ile ao.
O le a le uiga? Sa matou fa'alauiloaina se manatu tele lava: e tatau ona fa'amautu le fa'asao, taugofie e fa'agaioi ma vave fa'afo'i.
Aisea e tatau ai ona taugofie le faagaoioia? A leai se mea e malepe, e le tatau ona e iloa o loʻo i ai au faʻamaumauga. E lelei mea uma, e te faʻaumatia sina PPU pe a mafai, e te faʻaaogaina sina mea itiiti o au punaoa tisiki pe a mafai, ma e te lafoina ni nai paita i le fesoʻotaʻiga e mafai ai ina ia aua neʻi faʻalavelaveina le uta o au auaunaga taua.
Ma ina ua malepe mea uma, mo se faʻataʻitaʻiga, na tuʻu e le pule faʻamaumauga, na i ai se mea na tupu, ma e te manaʻomia vave e toe foʻi i le taimi ua tuanaʻi, e te toe faʻaleleia ma tupe uma, aua e te manaʻo e toe faʻafoʻi vave au faʻamatalaga ma faʻamautu.
Ma sa matou faalauiloaina lenei manatu faigofie. Ma, e foliga mai ia i matou, na mafai ona matou faʻatinoina.
Ae e le ona pau lea. Sa matou toe mananao i se isi mea itiiti. Matou te mananaʻo i le tele o faʻamaumauga eseese. E le o matou tagata faʻatau uma e faʻaaogaina Postgres. O nisi tagata e faʻaaoga MySQL, MongoDB. I totonu o le alalafaga, o isi atinaʻe na lagolagoina le FoundationDB. Ma o lenei lisi o loʻo faʻalauteleina pea.
E fiafia le alalafaga i le manatu o le database o loʻo faʻatautaia i se siosiomaga pulea i le ao. Ma o loʻo tausia e le au atinaʻe a latou faʻamaumauga, lea e mafai ona lagolagoina faʻatasi ma Postgres ma la tatou polokalama faʻapipiʻi.
O le ā ua tatou aʻoaʻoina mai i lenei tala? O a matou oloa, i le avea ai o se vaega o atinaʻe, e le o ni laina faʻailoga, e le o ni faʻamatalaga, e le o ni faila. O a matou oloa e le o ni talosaga toso. O manatu ia e momoli atu i le atunuu. Ole tomai fa'atekonolosi lea ma le fa'agaoioiga o tekonolosi aga'i ile si'osi'omaga ao.
O loʻo i ai se faʻamaumauga e pei o Postgres. Ou te fiafia tele i le Postgres core. Ou te faʻaaluina le tele o taimi e atiaʻe ai le Postgres core ma le alalafaga.
Ae o iinei e tatau ona fai mai o Yandex.Cloud o loʻo i ai se faʻapipiʻi totonu o faʻamaumauga faʻatautaia. Ma na amata i se taimi ua leva i Yandex.Mail. O le tomai lea ua taʻitaʻia nei i le puleaina o Postgres na faʻaputuina ina ua manaʻo le meli e alu i Postgres.
Meli e tutusa lava manaoga ma le ao. E mana'omia oe ina ia mafai ona fua i le fa'atupulaia fa'afuase'i fa'atele i so'o se itu i au fa'amaumauga. Ma o le meli ua uma ona i ai se uta ma le fiaselau miliona o pusameli o se numera tele o tagata faʻaoga e faia pea le tele o talosaga.
Ma o se luitau ogaoga lea mo le 'au o loʻo atiaʻe Postgres. I aso la, soʻo se faʻafitauli na matou faʻafeiloaʻi na lipotia i le nuʻu. Ma o nei faʻafitauli na faʻasaʻo, ma faʻasaʻo e le alalafaga i nisi o nofoaga e oʻo lava i le maualuga o le lagolago totogi mo nisi faʻamaumauga ma sili atu. O lona uiga, e mafai ona e lafoina se tusi i le PgSQL hacker ma maua se tali i totonu ole 40 minute. Totogi lagolago i nisi fa'amaumauga e ono manatu e sili atu mea fa'amuamua nai lo lau bug.
O le taimi nei o le faʻapipiʻiina i totonu o Postgres o nisi petabytes o faʻamaumauga. O ni nai miliona ia talosaga i le sekone. E faitau afe ia fuifui. E matua tele lava.
Ae o loʻo i ai se nuance. E le ola i luga o fesoʻotaʻiga taʻavale, ae i luga o meafaigaluega faigofie. Ma o loʻo i ai se siosiomaga suʻega faʻapitoa mo mea fou manaia.
Ma i se taimi patino i le siosiomaga o le suʻega na matou maua ai se feʻau e faʻaalia ai le solia o le totonugalemu o faʻamaumauga faʻamaumauga.
O le invariant o se ituaiga o mafutaga tatou te faʻamoemoe e taofi i taimi uma.
O se tulaga faigata tele mo i tatou. O lo'o fa'ailoa mai ai o nisi fa'amatalaga atonu na leiloa. Ma o faamatalaga leiloa o se mea downright mala.
O le manatu lautele tatou te mulimulitaʻia i faʻamaumauga faʻatautaia e tusa lava pe i ai se taumafaiga, o le a faigata ona leiloa faʻamatalaga. E tusa lava pe e te aveesea ma le loto i ai, e tatau lava ona e le amanaiaina lo latou toesea mo se taimi umi. O le saogalemu o faʻamatalaga o se lotu tatou te mulimulitaʻia ma le filiga.
Ma o lea ua tulai mai ai se tulaga e ta’u mai ai atonu e i ai se tulaga atonu tatou te le o saunia ai. Ma sa amata ona matou saunia mo lenei tulaga.
O le mea muamua na matou faia o le tanumia o ogalaau mai nei afe o fuifui. Na matou maua po'o fea o fuifui sa tu i luga o tisiki ma fa'afitauli fa'aletonu o lo'o leiloa fa'afouga itulau fa'amaumauga. Fa'ailoga uma fa'amaumauga fa'amaumauga a Postgres. Ma na matou faailogaina na feʻau e faʻaalia ai le soliga o faʻalavelave i totonu ma le faʻailoga ua mamanuina e iloa ai le pala o faʻamatalaga.
O lenei patch sa toetoe lava a taliaina e le nuu e aunoa ma le tele o talanoaga, aua i tulaga patino taitasi sa manino lava o se mea leaga na tupu ma e tatau ona lipotia i le ogalaau.
Ina ua maeʻa lenei mea, na matou oʻo i le tulaga o loʻo i ai le matou mataʻituina o loʻo suʻeina ogalaau. Ma afai e iai ni feʻau masalosalo, na te fafagu i luga le ofisa tiute, ma toe faaleleia e le ofisa tiute.
Ae! O le su'eina o ogalaau o se galuega taugofie i luga o le tasi fuifui ma fa'alavelave taugata mo le afe fuifui.
Na matou tusia se faʻaopoopoga e taʻua . E fatuina ai se vaaiga o le database lea e mafai ai ona e taugofie ma vave filifili fuainumera i mea sese ua tuanai. Ma afai tatou te manaʻomia le fafagu i luga o le ofisa o le tiute, o le a tatou iloa e uiga i lenei mea e aunoa ma le suʻeina o faila gigabyte, ae ala i le aveeseina o nai paita mai le laulau hash.
O lenei faʻaopoopoga ua faʻaaogaina, mo se faʻataʻitaʻiga, i le fale teu oloa mo . Afai e te manaʻo e faʻaaogaina, e mafai ona e faʻapipiʻi oe lava ia. O le mea moni e tatala le puna.
Ae e le ona pau lea. Na amata ona matou fa'aogaina Amcheck, o se fa'aopoopoga fau fa'aalalafaga, e su'e ai soliga fa'aletonu i fa'asino igoa.
Ma na matou iloa afai e te faʻaaogaina i le fua, o loʻo i ai faʻamaʻi. Sa amata ona matou faaleleia. Ua talia a matou faasa'oga.
Na matou iloa e le mafai e lenei faʻaopoopoga ona suʻeina faʻamatalaga GiST & GIT. Sa matou faia i latou e lagolago. Ae o lenei lagolago o loʻo faʻatalanoaina pea e le atunuʻu, ona o se galuega fou lea ma e tele faʻamatalaga iina.
Ma na matou iloa foi pe a siaki faʻasino igoa mo soliga i luga o le taʻitaʻi kopi, i luga o le matai, e lelei mea uma, ae i luga o faʻataʻitaʻiga, i luga o le tagata mulimuli, o le sailiga mo faiga piʻopiʻo e le aoga tele. E le o fa'ailoga uma e siaki. Ma o le tasi le suiga na matua faʻalavelaveina i matou. Ma sa matou faʻaaluina le tausaga ma le afa e fesoʻotaʻi ma le nuʻu ina ia mafai ai lenei siaki i luga o kopi.
Na matou tusia le code e tatau ona mulimulitaʻi uma e mafai ... protocols. Na matou talanoaina lenei patch mo sina taimi ma Peter Gaghan mai Crunchy Data. Sa tatau ona ia toe faʻaleleia le B-laau o loʻo iai i Postgres ina ia mafai ai ona talia lenei patch. Sa talia o ia. Ma o le taimi nei o le siakiina o faʻailoga i luga o faʻataʻitaʻiga ua lava ma aoga e iloa ai soliga na matou feagai. O lona uiga, o soliga ia e mafai ona mafua mai i mea sese i le firmware disk, bugs i Postgres, bugs i le Linux kernel, ma faʻafitauli faʻapitoa. Ose lisi tele o fa'apogai o fa'afitauli sa matou tapenaina.
Ae e ese mai i faʻasinomaga, o loʻo i ai se vaega e pei o le faʻaputuga, o lona uiga o le nofoaga o loʻo teuina ai faʻamatalaga. Ma e le tele ni suiga e mafai ona siakiina.
E iai la matou fa'aopoopoga e ta'ua o le Heapcheck. Na amata ona matou atiina ae. Ma i se tulaga tutusa, faatasi ai ma i matou, na amata foi ona tusia e le kamupani EnterpriseDB se module, lea na latou taʻua o Heapcheck i le auala lava e tasi. Na'o matou ta'ua o le PgHeapcheck, ae na'o latou ta'ua o le Heapcheck. O loʻo i ai i latou faʻatasi ma galuega faʻapitoa, o se saini e ese lava, ae faʻatasi ai ma manatu tutusa. Sa latou fa'atinoina lelei teisi i nisi o nofoaga. Ma sa latou lafoina i luga o punaoa tatala muamua.
A’o lea ua tatou atia’e le latou fa’alautelega, aua ua le o toe fa’alautele, ae o le fa’alauteleina o le nu’u. Ma i le lumanaʻi, o se vaega lea o le fatu o le a tuʻuina atu i tagata uma ina ia mafai ona latou iloa muamua faʻafitauli i le lumanaʻi.
I nisi o nofoaga, na matou oʻo lava i le faʻaiʻuga o loʻo i ai a matou mea lelei i totonu oa matou faiga mataʻituina. Mo se faʻataʻitaʻiga, o le 1C system. Pe a faʻaaogaina se faʻamaumauga, o nisi taimi e tusia ai e Postgres faʻamatalaga i totonu e mafai ona faitau, ae le mafai e le pg_dump ona faitau.
O lenei tulaga na foliga mai o se faiga pi'opi'o i la tatou faiga e su'e ai fa'afitauli. Na fafagu i luga le ofisa tiute. Na tilotilo le tagata ofisa tiute i le mea o loʻo tupu. Ina ua mavae sina taimi, sa sau se tagata o tausia ma fai mai ua i ai o'u faafitauli. Na faamatala e le auauna le faafitauli. Ae o le faʻafitauli o loʻo i totonu o le Postgres core.
Na ou mauaina se talanoaga e uiga i lenei vaega. Ma na ia tusia na matou fetaiai ma lenei vaega ma e le fiafia, na ala mai se tagata i le po ina ia iloa po o le a.
Sa tali atu le nuu, “Oi, e tatau lava ona tatou faaleleia.”
E i ai sa'u talafaatusa faigofie. Afai o loʻo e savali i se seevae o loʻo i ai se fatu oneone i totonu, o lona uiga, i le mataupu faavae, e mafai ona e faʻaauau - leai se faʻafitauli. Afai e te faʻatau atu seevae i le faitau afe o tagata, ona tatou faia lea o seevae e aunoa ma se oneone. Ma afai o se tasi o tagata faʻaoga o ou seevae o le a tamoe i se malafoni, ona e manaʻo lea e fai ni seevae sili ona lelei, ona faʻatatau lea i au tagata faʻaoga uma. Ma o ia tagata e leʻi faʻamoemoeina o loʻo i ai i taimi uma i le siosiomaga ao. E iai lava tagata fa'aoga latou te fa'aogaina le fuifui i se auala muamua. E tatau ona e saunia i taimi uma mo lenei mea.
O a mea ua tatou aoaoina iinei? Na matou aʻoaʻoina se mea faigofie: o le mea sili ona taua o le faʻamalamalamaina i le nuʻu o loʻo i ai se faʻafitauli. Afai ua iloa e le nuu le faafitauli, ona tulai mai ai lea o tauvaga masani e foia ai le faafitauli. Aua e mananao tagata uma e foia se faafitauli taua. O tagata faʻatau uma, tagata taʻavale uma e malamalama e mafai ona latou laa i luga o lenei rake, o lea latou te mananaʻo ai e faʻaumatia.
Afai o loʻo e galue i se faʻafitauli, ae e leai se tasi e faʻalavelave ae na o oe, ae e te galue i luga o le faʻaogaina ma e iʻu lava ina manatu o se faʻafitauli, o le a mautinoa lava le taliaina o lau talosaga toso. O lau patch o le a talia, o au faʻaleleia poʻo talosaga mo faʻaleleia o le a toe iloiloina e le alalafaga. I le faaiuga o le aso, matou te faia le faʻamaumauga ia sili atu mo le tasi ma le isi.
O se faʻamatalaga mataʻina o Greenplum. O se fa'amaumauga tu'ufa'atasi maualuga e fa'avae i luga o le Postgres codebase, lea ou te masani ai.
Ma o le Greenplum o loʻo i ai se galuega manaia - faʻapipiʻi laulau sili ona lelei. O laulau ia e mafai ona vave fa'aopoopo i ai. E mafai ona avea ma koluma po'o se laina.
Ae leai se faʻapipiʻi, o lona uiga e leai se faʻatinoga e mafai ai ona e faʻatulagaina faʻamaumauga o loʻo i totonu o le laulau e tusa ai ma le faʻatonuga o loʻo i totonu o se tasi o faʻamatalaga.
Na o mai ia te au tama mai le taxi ma fai mai: “Andrei, e te iloa Postgres. Ma o iinei e toetoe lava tutusa. Su'e ile 20 minute. Ia e ave ma fai.” Na ou manatu ioe, ou te iloa Postgres, sui mo 20 minute - e tatau ona ou faia lenei mea.
Ae leai, e leʻi 20 minute, na ou tusia i masina. I le konafesi a le PgConf.Russia, na ou alu atu ai ia Heikki Linakangas mai Pivotal ma fesili: “E i ai ni faafitauli i lenei mea? Aisea ua leai ai se fa'apipi'i fa'apipi'i fa'apipi'iina laulau?" Fai mai o ia: “E te ave faamatalaga. E te fa'avasega, e te toe fa'atulaga. Ua na o se galuega." Au: “Oi, ioe, e tatau lava ona e ave ma fai.” Na ia faapea mai: “Ioe, matou te manaʻomia ni lima saoloto e faia ai lenei mea.” Sa ou manatu e tatau ona ou faia lenei mea.
Ma i ni nai masina mulimuli ane na ou tuʻuina atu ai se talosaga toso na faʻatinoina lenei galuega. O lenei talosaga toso na toe iloiloina e Pivotal faatasi ai ma le nuu. Ioe, sa i ai ni mea sese.
Ae o le mea e sili ona manaia o le taimi na tuʻufaʻatasia ai lenei talosaga toso, na maua ai pusa i Greenplum lava ia. Ua matou iloa o laulau fa'aputu i nisi taimi e malepe ai fefa'ataua'iga pe a fa'aputu. Ma o se mea lea e tatau ona toe faaleleia. Ma o loʻo i ai o ia i le nofoaga na ou paʻi i ai. Ma o laʻu tali masani - lelei, seʻi ou faia foi lenei mea.
Na ou faaleleia lenei bug. Tuuina atu se talosaga toso i le au faʻapipiʻi. Na fasiotia o ia.
Ina ua maeʻa na faʻaalia ai o lenei gaioiga e manaʻomia ona maua i le Greenplum version mo PostgreSQL 12. O lona uiga, o le 20-minute faʻataʻitaʻiga e faʻaauau pea ma ni mea fou fiafia. Sa manaia le paʻi atu i le atinaʻe o loʻo i ai nei, lea o loʻo tipiina ai e le nuʻu ni mea fou ma sili ona taua. Ua aisa.
Ae e le'i gata ai iina. Ina ua uma mea uma, na foliga mai e manaʻomia ona matou tusia ni faʻamaumauga mo nei mea uma.
Sa amata ona ou tusia faamaumauga. O le mea e laki ai, na o mai le au fai ata mai Pivotal. O le Igilisi o la latou lava gagana. Sa latou fesoasoani ia te aʻu i faʻamaumauga. O le mea moni, latou te toe tusia le mea na ou fautuaina i le Igilisi moni.
Ma o iinei, e foliga mai, na muta le malaga. Ma e te iloa le mea na tupu i lena taimi? Na o mai ia te aʻu tama mai le taxi ma fai mai: “E lua lava mea e tutupu, e taʻi 10 minute taʻitasi.” Ma o le a se mea e tatau ona ou ta'u atu ia i latou? Na ou fai atu o lea o le a ou tuuina atu se lipoti i luga o le fua, ona tatou vaʻai lea i au faʻalavelave, aua o se galuega manaia.
O le ā na tatou aʻoaʻoina mai i lenei mataupu? Talu ai ona o le galue i punaoa tatala e masani lava ona galulue ma se tagata patino, o loʻo galue pea ma le alalafaga. Aua i laʻasaga taʻitasi taʻitasi sa ou galue ai ma se tagata faʻapipiʻi, o se tagata suʻega, o se tagata faʻapipiʻi, o se tusitala, o se tusiata. Ou te leʻi galue ma Greenplum, sa ou faigaluega ma tagata i Greenplum.
Ae! E i ai le isi itu taua - na o le galue. O lona uiga, e te sau, inu kofe, tusi le code. O ituaiga uma o invariants faigofie e aoga. Fai masani - o le a lelei! Ma o se galuega manaia tele. O loʻo i ai se talosaga mo lenei galuega mai Yandex.Cloud tagata faʻatau, tagata faʻaoga o matou fuifui i totonu o Yandex ma fafo. Ma ou te manatu o le a faateleina le numera o poloketi tatou te auai ma o le a faateleina foi le loloto o lo tatou auai.
Pau lava lena. Sei o tatou agai atu i fesili.
Sauniga o fesili
Talofa! E i ai se isi a matou fesili ma tali. Ma i totonu o le studio Andrei Borodin. O le tagata lea na faatoa taʻu atu ia te oe le sao o Yandex.Cloud ma Yandex e tatala ai punaoa. O la matou lipoti i le taimi nei e leʻo faʻatatau i le Ao, ae i le taimi lava e tasi matou te faʻavae i luga o ia tekinolosi. A aunoa ma le mea na e faia i totonu o Yandex, semanu e leai se auaunaga i Yandex.Cloud, faʻafetai lava mai ia te aʻu lava ia. Ma o le fesili muamua mai le faʻasalalauga: "O a galuega taʻitasi na e taʻua na tusia ai?"
O le faiga faaleoleo i le WAL-G ua tusia i le Go. O se tasi lea o poloketi fou ua matou galulue ai. E na'o le 3 ona tausaga. Ma o se faʻamaumauga e masani ona faʻatatau i le faʻamaoni. Ma o lona uiga o faʻamaumauga e fai si tuai ma e masani ona tusia i le C. O le Postgres project na amata ile 30 tausaga talu ai. Ona o le C89 o le filifiliga saʻo. Ma o loʻo tusia ai Postgres. Ole tele o fa'amaumauga fa'aonaponei e pei ole ClickHouse e masani ona tusia ile C++. O atina'e uma e fa'avae ile C ma le C++.
O se fesili mai le matou pule tau tupe, o ia lea e nafa ma tupe faʻaalu i Cloud: "Aisea e faʻaalu ai e Cloud tupe i le lagolagoina o punaoa tatala?"
E i ai se tali faigofie mo le pule o tupe iinei. Matou te faia lenei mea ina ia sili atu a matou auaunaga. O a ni auala e mafai ona tatou faia ia sili atu? E mafai ona tatou faia mea e sili atu ona lelei, vave, ma faia mea ia sili atu ona faʻalauteleina. Ae mo i matou, o lenei tala e faʻatatau i le faʻamaoni. Mo se faʻataʻitaʻiga, i totonu o se polokalama faʻapipiʻi matou te iloiloina 100% o patches e faʻatatau i ai. Matou te iloa le tulafono. Ma e sili atu ona matou faʻalelei le taʻavaleina o lomiga fou i le gaosiga. O lona uiga, muamua lava, e uiga i le mautinoa, e uiga i le saunia mo le atinaʻe ma e uiga i le faʻamaoni
O le isi fesili: "O manaoga o tagata faʻaoga fafo o loʻo nonofo i Yandex.Cloud e ese mai tagata faʻaoga i totonu o loʻo nonofo i totonu o le Cloud?"
O le faʻailoga o le uta, ioe, e ese. Ae mai le vaaiga a laʻu matagaluega, o mataupu faʻapitoa ma manaia uma e faia i luga o se uta e le masani ai. O tagata atiae ma mafaufauga, tagata atiae e faia mea e leʻi mafaufauina, e foliga mai e maua uma i totonu ma fafo. I lea tulaga, e toetoe lava tutusa i tatou uma. Ma, masalo, na o le pau lava le mea taua i totonu o le Yandex faʻaogaina o faʻamaumauga o le i totonu o Yandex o loʻo i ai a matou aʻoaʻoga. I se taimi, o nisi sone avanoa e alu uma lava i le ata lafoia, ma o auaunaga uma a Yandex e tatau ona faʻaauau pea ona galue e ui lava i lea. O se eseesega itiiti lea. Ae na te fatuina le tele o suʻesuʻega suʻesuʻega i le faʻaogaina o le database ma le upega o fesoʻotaʻiga. A leai, fa'apipi'i i fafo ma totonu e fa'atupuina ai talosaga tutusa mo foliga ma talosaga tutusa mo le fa'aleleia atili o le fa'amaoni ma le fa'atinoga.
Le isi fesili: "O le a sou lagona patino e uiga i le mea moni o le tele o mea e te faia o loʻo faʻaaogaina e isi Ao?" Matou te le taʻua ni mea patino, ae o le tele o galuega faatino na faia i Yandex.Cloud o loʻo faʻaaogaina i ao o isi tagata.
E manaia lenei. Muamua, o se faailoga ua tatou faia se mea sa'o. Ma e valuvalusia ai le loto. Ma e sili atu lo matou mautinoa na matou faia le filifiliga saʻo. I le isi itu, o le faʻamoemoe lea i le lumanaʻi o le a aumaia ai ia i tatou manatu fou, talosaga fou mai tagata faʻaoga lona tolu. Ole tele o mataupu ile GitHub e faia e tagata taʻitoʻatasi faʻalapotopotoga, DBA taʻitoʻatasi, tusiata taʻitoʻatasi, inisinia taʻitoʻatasi, ae o nisi taimi e oʻo mai tagata e iai le poto masani faʻapitoa ma fai mai i le 30% o nisi tulaga tatou te maua ai lenei faʻafitauli ma tatou mafaufau pe faʻafefea ona foia. O le mea lenei o loʻo matou tulimatai atu i ai. Matou te tulimatai atu e faʻasoa faʻamatalaga i isi faʻasalalauga ao.
Na e talanoa tele e uiga i le malafoni. Ou te iloa na e tamoe i se malafoni i Moscow. O le faaiuga? Na maua mai tama mai PostgreSQL?
Leai, o Oleg Bartunov e saoasaoa tele. Na ia faamaeaina se itula i luma atu ia te au. I le aotelega, ou te fiafia i le mamao na ou oo i ai. Ia te au, o le na o le faauma o se ausiaga. I le aotelega, e ofo tele le tele o tagata tamo'e i le postgres community. E foliga mai ia te aʻu o loʻo i ai se ituaiga o fesoʻotaʻiga i le va o taʻaloga aerobic ma le manaʻoga mo polokalame polokalame.
O e fai mai e leai ni tagata tamo'e ile ClickHouse?
Ou te iloa mautinoa o loo latou i ai iina. ClickHouse ose faʻamaumauga foʻi. I le auala, o loʻo tusi mai nei Oleg ia te aʻu: "E tatau ona tatou tamoe pe a uma le lipoti?" Ose manatu lelei tele lea.
O le isi fesili mai le faʻasalalauga mai ia Nikita: "Aisea na e faʻapipiʻi ai le pusa i Greenplum oe lava ae le tuʻuina atu i tamaiti laiti?" E moni, e le o manino lelei po o le a le pusa ma po o fea le tautua, ae atonu o lona uiga o le mea na e talanoa ai.
Ioe, i le mataupu faavae, sa mafai ona tuuina atu i se tasi. Na o le code lea faatoa ou suia. Ma o se mea masani le faaauau pea ona faia i le taimi lava lena. I le faʻavae, o le manatu o le faʻasoaina o tomai ma le 'au o se manatu lelei. E mautinoa lava matou te fa'asoa galuega a Greenplum i sui uma o la matou vaega.
Talu ai o loʻo tatou talanoa e uiga i le au laiti, o se fesili lenei. Na filifili le tagata e faia le tautinoga muamua i Postgres. O le a le mea e tatau ona ia faia e fai ai le tautinoga muamua?
O se fesili manaia lenei: “O fea e amata ai?” E masani lava e fai si faigata ona amata i se mea i le fatu. I Postgres, mo se faʻataʻitaʻiga, o loʻo i ai se lisi o mea e fai. Ae o le mea moni, o se laupepa lenei o mea na latou taumafai e fai, ae leʻi manuia. O mea lavelave ia. Ma e masani lava e mafai ona e mauaina nisi mea aoga i totonu o le faʻalapotopotoga, o nisi faʻaopoopoga e mafai ona faʻaleleia, e tosina mai ai le faʻaitiitia o le gauai mai le fatu fatu. Ma, e tusa ai, e tele atu vaega mo le tuputupu aʻe iina. I le Google Summer of code program, o tausaga uma e tuʻuina atu ai e le postgres community le tele o mataupu eseese e mafai ona faʻatalanoaina. O lenei tausaga, ou te manatu, e toatolu tamaiti aoga. Na tusia e se tasi i le WAL-G i autu e taua mo Yandex. I Greenplum, e sili atu le faigofie o mea uma nai lo le Postgres community, aua o le Greenplum hackers e togafitia lelei talosaga toso ma amata loa ona toe iloilo. O le lafoina o se patch i Postgres o se mataupu o masina, ae o le a sau Greenplum i se aso ma vaʻai i mea na e faia. O le isi mea e manaʻomia e Greenplum ona foia faʻafitauli o loʻo iai nei. Greenplum e le faʻaaogaina lautele, o le suʻeina o lou faʻafitauli e fai si faigata. Ma muamua lava, e tatau ona tatou foia faafitauli, ioe.
puna: www.habr.com