Nga hapa angamaheni i roto i nga tono e arahi ana ki te pupuhi i roto i te postgresql. Andrey Salnikov

Ka kii ahau kia panui koe i te tuhinga o te purongo mai i te timatanga o te tau 2016 na Andrey Salnikov "Nga hapa i roto i nga tono e arahi ana ki te pupuhi i te postgresql"

I roto i tenei purongo, ka wetewete au i nga hapa matua o nga tono ka puta ake i te waahi o te hoahoa me te tuhi i te waehere tono. A ka tangohia e ahau nga hapa anake e arahi ana ki te pupuhi i Postgresql. Hei tikanga, koinei te timatanga o te mutunga o nga mahi o to punaha katoa, ahakoa i te tuatahi kaore i kitea nga whakaritenga mo tenei.

Ka koa ki te mihi ki te katoa! Ko tenei purongo ehara i te mea hangarau pera i to mua mai i taku hoa mahi. Ko te nuinga o tenei ripoata ko nga kaiwhakawhanake punaha o muri na te mea he maha tonu o taatau kiritaki. A he rite tonu nga hapa o ratou katoa. Ka korerotia e ahau ki a koe mo ratou. Ka whakamaramatia e au he aha nga mea whakamate me nga mea kino ka puta mai enei he.

He aha i hapa ai? E rua nga take i mahia ai: i te tupono noa, tera pea ka pai, na te kore mohio ki etahi tikanga ka puta i te taumata i waenga i te papaaarangi me te tono, me te papaaarangi ano.

Ka hoatu e ahau etahi tauira e toru me nga pikitia whakamataku mo te kino o nga mea. Ka korero poto ahau ki a koe mo te tikanga ka puta ki reira. Me pehea te mahi ki a raatau, i te wa i pa ai, me nga tikanga aukati hei aukati i nga hapa. Ka korero ahau ki a koe mo nga taputapu awhina me te whakarato hononga whai hua.

I whakamahia e ahau he papaa raraunga whakamatautau e rua aku tepu. Ko tetahi pereti me nga kaute a nga kaihoko, ko tetahi me nga whakawhitinga i runga i enei kaute. A me etahi wa ka whakahouhia e matou nga toenga i runga i enei kaute.

Ko nga raraunga tuatahi o te pereti: he iti rawa, 2 MB. Ko te wa whakautu mo te papaaarangi me te tohu mo te tohu he tino pai hoki. Me te kawenga tino pai - 2 nga mahi mo ia hekona e ai ki te pereti.

A na roto i tenei purongo ka whakaatu au i nga kauwhata kia marama ai koe ki nga mahi. E 2 nga kiriata me nga kauwhata i nga wa katoa. Ko te kiriata tuatahi ko te mea ka tupu i runga i te tūmau.

A i roto i tenei ahuatanga, ka kite tatou he tohu iti to tatou. He iti te taupū ki te 2 MB. Koinei te kauwhata tuatahi kei te taha maui.

Ko te wa whakautu toharite i runga i te tūmau he pumau me te poto. Koinei te kauwhata matau o runga.

Ko te kauwhata maui o raro e whakaatu ana i nga whakawhitinga roa rawa atu. Ka kite matou ka tere te whakaoti i nga whakawhitinga. A kaore ano kia mahi te miihini aunoa i konei, na te mea he whakamatautau timata. Ka mahi tonu, ka whai hua ki a tatou.

Ko te kiriata tuarua ka whakatapua tonu ki te pereti e whakamatautauria ana. I tenei ahuatanga, ka whakahou tonu matou i nga toenga kaute a te kiritaki. Na ka kite matou he pai te wa whakautu mo te mahi whakahou, iti iho i te mirihakona. E kite ana matou ko nga rauemi tukatuka (koinei te kauwhata matau o runga) he rite tonu te pau me te iti.

Ko te kauwhata matau o raro e whakaatu ana i te nui o te mahi me te mahara kōpae e haere ana tatou ki te rapu i ta tatou raina e hiahiatia ana i mua i te whakahou. A ko te maha o nga mahi e ai ki te tohu he 2 ia hekona, pera i taku korero i te timatanga.

Na inaianei he aitua ta tatou. Mo etahi take he tauwhitinga kua warewarehia. Ko nga take he maamaa noa:

• Ko tetahi o nga mea noa i timata matou ki te uru atu ki tetahi ratonga o waho i roto i te waehere tono. A kaore tenei ratonga e whakahoki mai i a maatau. Arā, i whakatuwherahia e matou he tauwhitinga, i whakarereke i te paataka korero me te haere atu i te tono ki te panui mēra, ki tetahi atu ratonga ranei i roto i o maatau hanganga, a na etahi take kaore e aro mai ki a maatau. Na ka mau ta matou huihuinga i roto i te ahua kaore i te mohiotia ahea ka whakatauhia.
• Ko te ahuatanga tuarua ko te wa i puta he rereke i roto i ta maatau waehere mo etahi take. A i te mea kaore matou i whakahaere i te kati o te tauwhitinga. Na ka mutu ta maatau he huihuinga iri me tetahi tauwhitinga tuwhera.
• A ko te mea whakamutunga he keehi tino noa. He waehere kounga iti tenei. Ko etahi angamahi ka whakatuwhera i tetahi tauwhitinga. Ka iri, kare pea koe e mohio i roto i te tono kei a koe e iri ana.

Ka ahu mai enei mea ki hea?

Ki te waahi ka timata a tatou tepu me o maatau tohu ki te pupuhi nui. He rite tonu te paanga o te pupuhi. Mo te papaunga raraunga, ko te tikanga tenei ka tino kaha te piki o te wa whakautu raraunga, ka piki ake te utaina ki runga i te tūmau papaunga raraunga. A, ko te mutunga, ka raru to maatau tono. Na te mea ki te pau koe i te 10 manomano i roto i to waehere i runga i te tono ki te paataka raraunga, 10 milliseconds i runga i to arorau, katahi ka 20 milliseconds ki te whakaoti. Na inaianei ka tino pouri to ahuatanga.

A ka kite tatou ka ahatia. Ko te kauwhata maui o raro e whakaatu ana he roa te tauwhitinga. A, ki te titiro tatou ki te kauwhata maui o runga, ka kite tatou kua peke ohorere te rahi o to tatou teepu mai i te rua megabytes ki te 300 megabytes. I te wa ano, ko te nui o nga raraunga i roto i te ripanga kaore i rereke, ara he nui te nui o te paru kei reira.

Ko te ahuatanga whanui mo te wa whakautu a te tūmau kua rereke ano e te maha o nga ota nui. Arā, ko nga tono katoa i runga i te tūmau ka tiimata te heke rawa. Na i te wa ano, i whakarewahia nga tukanga o roto o Postgres i roto i te ahua o te autovacuum, e ngana ana ki te mahi i tetahi mea me te whakapau rauemi.

He aha ta tatou tohu? He pera ano. Ko ta matou wa whakautu toharite e ai ki te tohu kua piki ake etahi ota o te nui. Ina koa mo nga rauemi kua pau, ka kite tatou kua nui haere te utaina o te kaitukatuka. Koinei te kauwhata matau o runga. Na kua piki ake na te mea me whakariterite e te kaitukatuka nga rarangi o nga raina korekore ki te rapu i te mea e hiahiatia ana. Koinei te kauwhata matau o raro. Na, ko te mutunga mai, ka tiimata te heke o te maha o nga waea mo ia hekona, na te mea kaore i whai wa te putunga korero ki te whakahaere i te maha o nga tono.

Me hoki tatou ki te ora. Ka haere matou ki te ipurangi ka kitea ko nga whakawhitinga roa ka puta he raruraru. Ka kitea, ka patua e matou tenei tauwhitinga. A kei te noho noa nga mea katoa mo tatou. Ka mahi nga mea katoa e tika ana.

I marino matou, engari i muri i etahi wa ka timata matou ki te kite kaore te tono e mahi pera i mua i te ohorere. Kei te puhoi tonu te tukatuka o nga tono, me te tino puhoi. Kotahi me te hawhe ki te rua nga wa puhoi ake i roto i taku tauira. He teitei ake hoki te uta i runga i te tūmau i mua i te aituā.

A ko te patai: "He aha te mea e pa ana ki te turanga i tenei wa?" Na ka puta te ahuatanga e whai ake nei me te turanga. I runga i te tūtohi tauwhitinga ka kite koe kua mutu, kaore rawa he whakawhitinga mo te wa roa. Engari ka nui haere te rahi o te tohu i te wa o te aitua. A mai i tera wa kaore ano kia heke iho. Ko te wa toharite i runga i te turanga kua pumau. A ko nga whakautu ka tae mai i runga i te tere e manakohia ana e matou. I kaha ake te kaha o te autovacuum ka timata ki te mahi i tetahi mea me te tohu, na te mea me tatari kia nui ake nga raraunga.

Ko te mea motuhake, e ai ki te pereti whakamatautau me nga kaute, i reira ka huri tatou i nga pauna: ko te wa whakautu mo te tono kua hoki mai ano ki te tikanga. Engari i roto i te meka he kotahi me te hawhe nga wa teitei ake.

A, mai i te kawenga i runga i te tukatuka, ka kite tatou ko te kawenga i runga i te tukatuka kaore i hoki mai ki te uara e hiahiatia ana i mua i te tukinga. A ko nga take kei reira kei te kauwhata matau o raro. Ka kitea kei te rapua etahi maharatanga ki reira. Arā, ki te kimi i te raina e hiahiatia ana, ka moumou matou i nga rauemi o te tūmau pātengi raraunga i te wā e kōmaka ana i ngā raraunga koretake. Kua tau te maha o nga whakawhitinga mo ia hēkona.

He pai te katoa, engari he kino ke atu te ahuatanga. Maamaa te paheketanga o te patengi raraunga na runga i ta maatau tono e mahi tahi ana me tenei patengi raraunga.

A kia mohio ai koe ki nga mea kei reira, mena kaore koe i te purongo o mua, inaianei me tiki he ariā iti. Te ariā mo te tukanga o roto. He aha te mokohau waka me te aha?

He kupu poto mo te maarama. I etahi wa he tepu ta matou. He rarangi kei te tepu. Ka taea e enei raina te kaha, te ora, me nga mea e hiahiatia ana e tatou inaianei. Kua tohua ki te kakariki i te pikitia. A tera ano etahi rarangi mate kua oti kee te mahi, kua whakahoungia, kua puta nga tuhinga hou ki runga. A ka tohuhia kua kore e aro atu ki te paataka raraunga. Engari kei roto i te teepu na te ahuatanga o Postgres.

He aha koe e hiahia ai ki te mokowai waka? I etahi wa, ka tae mai te autovacuum, ka uru atu ki te paataka korero ka patai atu: "Tena koa homai mai ki ahau te id o te tauwhitinga tawhito e tuwhera ana i tenei wa i roto i te paataka." Ka whakahokia e te pātengi raraunga tēnei id. Na te autovacuum, e whakawhirinaki ana ki a ia, ka tohatoha i nga rarangi o te tepu. A, ki te kite ia i whakarerekehia etahi raina e nga tauwhitinga tawhito ake, katahi ka whai mana ia ki te tohu hei rarangi ka taea e tatou te whakamahi ano a muri ake nei ma te tuhi raraunga hou ki reira. He tukanga papamuri tenei.

I tenei wa, ka mahi tonu matou me te paataka raraunga me te mahi tonu i etahi huringa ki te ripanga. Na i runga i enei rarangi, ka taea e matou te whakamahi ano, ka tuhia e matou he raraunga hou. Na ka whiwhi tatou i te huringa, ara i nga wa katoa ka puta etahi rarangi tawhito mate ki reira, hei utu mo era ka tuhia e matou nga rarangi hou e hiahia ana matou. A he ahua noa tenei mo te mahi a PostgreSQL.

I ahatia i te wā o te aituā? I pehea te mahi i reira?

He tohu ta matou i etahi ahuatanga, etahi e ora ana, etahi raina mate. Kua tae mai te korehau waka. I patai atu ia ki te putunga korero he aha ta matou tauhokohoko tawhito me te aha tona id. I whiwhi ahau i tenei id, he maha nga haora i mua, he tekau meneti pea i mua. Kei runga i te taumaha o te kawenga kei runga i to papaunga raraunga. Na ka haere ia ki te rapu rarangi ka taea e ia te tohu kua whakamahia ano. A kaore au i kite i nga rarangi penei i roto i ta maatau tepu.

Engari i tenei wa ka mahi tonu matou me te tepu. Ka mahia e matou tetahi mea i roto, whakahou, huri i nga raraunga. Me aha te pātengi raraunga i tēnei wā? Karekau he whiringa engari ko te taapiri i nga rarangi hou ki te mutunga o te ripanga o naianei. Na reira ka timata to tatou rahi tepu ki te pupuhi.

I roto i te meka, e hiahia ana matou i nga raina matomato ki te mahi. Engari i te wa e raru ana, ka kitea he iti rawa te paheketanga o nga raina matomato puta noa i te tepu katoa.

A, ka mahia e matou he patai, me haere te paataka raraunga ki nga rarangi katoa: he whero me te kaariki, kia kitea te rarangi e hiahiatia ana. A ko te hua o te pupuhi i te teepu me nga raraunga koretake ka kiia ko "bloat", e kai ana hoki i to maatau mokowā kōpae. Kia maumahara, he 2 MB, kua 300 MB? Inaianei hurihia nga megabytes ki nga gigabytes ka tere ngaro katoa o rauemi kōpae.

He aha nga hua ka puta mo tatou?

• I taku tauira, 150 nga wa i piki ake ai te ripanga me te taurangi. Ko etahi o o taatau kiritaki he maha ake nga keehi mate i te wa i timata noa ai te pau o te mokowā kōpae.
• Ko te rahi o nga teepu ake e kore e heke iho. I etahi wa ka taea e Autovacuum te tapahi i te hiku o te tepu mena he raina mate anake. Engari i te mea he hurihanga tonu, ka whakatio tetahi raina matomato i te mutunga ka kore e whakahouhia, ko era atu katoa ka tuhia ki tetahi waahi i te timatanga o te pereti. Engari he kaupapa kore tenei ka iti haere te rahi o to tepu, no reira kaua koe e tumanako.
• Me kōmaka te pātengi raraunga i roto i te huinga katoa o ngā rārangi huakore. A ka moumou rauemi kōpae, moumou rauemi tukatuka me te hiko.
• A ka pa tika tenei ki ta maatau tono, na te mea i te timatanga i pau te 10 milliseconds i runga i te tono, 10 milliseconds i runga i ta maatau waehere, na i te wa o te tukinga ka tiimata matou ki te whakapau tuarua mo te tono me te 10 milliseconds i runga i te waehere, ara he ota o kua heke te nui o te mahi tono. A, ka whakatauhia te aitua, ka timata matou ki te whakapau 20 milliseconds i runga i te tono, 10 milliseconds i runga i te waehere. Ko te tikanga i heke tonu tatou i te kotahi me te hawhe nga wa o te hua. A ko tenei katoa na te mea kotahi te tauwhitinga i tio, na matou pea te he.
• A ko te patai: "Me pehea e hoki mai ai nga mea katoa?" kia pai nga mea katoa ki a maatau me nga tono ka tae wawe mai i mua i te aitua.

Mo tenei kaupapa kei reira tetahi huringa o nga mahi ka mahia.

Tuatahi me rapu i nga ripanga raruraru kua pupuhi. Kei te mohio matou kei etahi ripanga he kaha ake te rekoata, i etahi atu he iti ake te kaha. Na mo tenei ka whakamahia e matou te toronga pgstattuple. Ma te whakauru i tenei toronga, ka taea e koe te tuhi patai hei awhina i a koe ki te kimi i nga ripanga kua tino pupuhi.

Kia kitea e koe enei ripanga, me kōpeke koe. He taputapu kee mo tenei. I roto i ta maatau kamupene ka whakamahia e matou nga taputapu e toru. Ko te tuatahi ko te VACUUM FULL i hangaia. He nanakia, he nanakia, he kore aroha, engari i etahi wa ka tino whai hua ia. Pg_repack и pgcompacttable - He taputapu tuatoru enei mo te kopiri i nga ripanga. A ka kaha ake ta raatau mahi i te paataka raraunga.

Ka whakamahia i runga i nga mea e pai ake ana mo koe. Engari ka korero ahau ki a koe mo tenei i te mutunga. Ko te mea nui e toru nga taputapu. He maha nga whiringa hei whiriwhiri.

I muri i ta maatau whakatika nga mea katoa me te mohio kei te pai nga mea katoa, me mohio tatou ki te aukati i tenei ahuatanga a muri ake nei:

• Ka taea te arai ngawari. Me aroturuki koe i te roanga o nga huihuinga i runga i te Kaiwhakaako Kaiwhakaako. Ina koa nga huihuinga kino i roto i te noho mangere i roto i te ahua tauwhitinga. Ko enei te hunga i whakatuwhera noa i te tauwhitinga, i mahi i tetahi mea ka mahue, ka whakairi noa ranei, ka ngaro i roto i te waehere.
• A, mo koe, hei kaiwhakawhanake, he mea nui ki te whakamatau i to waehere ina puta enei ahuatanga. Ehara i te mea uaua ki te mahi. He haki whai hua tenei. Ka karohia e koe te maha o nga raruraru "tamariki" e pa ana ki nga whakawhitinga roa.

I roto i enei kauwhata, i hiahia ahau ki te whakaatu ki a koe i pehea te whakarereketanga o te tohu me te whanonga o te paataka raraunga i muri i taku haerenga ki te tohu me te VACUUM FULL i tenei keehi. Ehara tenei i te whakaputanga maku.

Ko te rahi o te teepu ka hoki tonu ki tona ahuatanga whakahaere o te rua megabytes. Kaore tenei i tino pa ki te wa whakautu toharite mo te tūmau.

Engari mo ta matou tohu whakamatautau, i reira i whakahouhia e matou nga pauna kaute, ka kite matou ko te wa whakautu toharite mo te tono ki te whakahou i nga raraunga i roto i te tohu i whakahekehia ki nga taumata ohorere. Ko nga rauemi i pau i te tukatuka ki te whakaoti i tenei tono ka heke ano ki nga taumata o mua i te tukinga. A ko te kauwhata matau o raro e whakaatu ana inaianei ka kitea e matou te raina e hiahiatia ana i tenei wa tonu, me te kore e haere i roto i nga puranga o nga raina mate i reira i mua i te kopaki o te tepu. A i noho tonu te wa tono toharite ki te taumata kotahi. Engari i konei, he hapa kei roto i taku taputapu.

I konei ka mutu te korero tuatahi. Ko te mea tino noa. A ka pa ki nga tangata katoa, ahakoa he aha te wheako o te kiritaki me te pehea o te tohu o nga kaiwhakaputa. Ake ake nei ka tupu tenei.

Ko te korero tuarua, ka tohatohahia e matou te kawenga me te arotau i nga rauemi tūmau

• Kua pakeke ake matou, kua noho hei tama tino nui. A ka mohio matou he tauira ta matou, he pai ki a matou te whakataurite i te kawenga: tuhia ki te Kaiwhakaako, ka panui mai i te tauira. A ko te tikanga ka puta ake tenei ahuatanga ina hiahia ana matou ki te whakarite i etahi purongo, ETL ranei. A he tino harikoa te pakihi mo tenei. E tino hiahia ana ia ki nga momo purongo me te maha o nga tātaritanga uaua.
• He maha nga haora e roa ana nga purongo, na te mea kaore e taea te tatau i nga tātaritanga uaua i roto i nga manomano. Ko matou, he rite ki nga tangata toa, ka tuhi waehere. I roto i te tono whakauru ka mahia e matou te rekoata ki te Kaiwhakaako, ka mahia nga purongo mo te tauira.
• Te tohatoha i te kawenga.
• Ka mahi pai nga mea katoa. He rawe matou.

A he aha te ahua o tenei ahuatanga? I runga i enei kauwhata, i taapirihia e au te roanga o nga whakawhitinga mai i te tauira mo te roanga tauwhitinga. Ko etahi atu kauwhata katoa e tohu ana ki te tūmau Matua anake.

I tenei wa, kua tipu taku poari ripoata. He maha atu o ratou. Ka kite matou kei te pumau tonu te wa whakautu a te tūmau. Ka kite matou kei runga i te tauira he tauwhitinga roa e haere ana mo te 2 haora. Ka kite tatou i te mahi ata noho o te mokorua, e whakahaere ana i nga raina mate. A he pai nga mea katoa ki a tatou.

Inaa, e ai ki te pereti kua whakamatauria, kei te whakahou tonu matou i nga toenga kaute ki reira. A kei a matou ano te wa whakautu mo nga tono, te kohi rauemi pumau. Kei te pai nga mea katoa ki a tatou.

Kei te pai nga mea katoa tae noa ki te wa ka timata enei purongo ki te puhipuhi mai na te raruraru me te tukurua. Na ka pupuhi ano ratou i nga wa katoa.

Ka haere matou ki runga ipurangi ka tiimata ki te panui he aha i penei ai. A ka kitea e matou he otinga.

Ko te otinga tuatahi ko te whakanui ake i te roanga tukurua. E mohio ana matou e 3 haora te roa o ta matou ripoata. Ka whakatauhia e matou te roa o te tukurua ki te 3 haora. Kei te whakarewahia e matou nga mea katoa, engari kei te raru tonu matou ki nga purongo ka whakakorehia i etahi wa.

E hiahia ana matou kia tino tika nga mea katoa. Ka piki ake tatou. Na ka kitea e matou he waahi hauhautanga i runga ipurangi - hot_standby_feedback. Kia whakakā tatou. Hot_standby_feedback ka taea e tatou te pupuri i te mokohau aunoa i runga i te Kaiwhakaako. No reira, ka tino whakakorehia e matou nga pakanga tukurua. A he pai nga mea katoa mo tatou me nga purongo.

A he aha te mahi ki te kaimau Matua i tenei wa? A kei te tino raruraru matou ki te kaimau Matua. Inaianei kei te kite tatou i nga kauwhata i te wa e taea ana e au enei tautuhinga e rua. Na ka kite tatou i timata te huihuinga i runga i ta maatau tauira ki te awe i te ahuatanga i runga i te Kaiwhakaako Kaiwhakaako. Ka whai hua a ia na te mea i whakataa e ia te mokohau aunoa, ka whakakore i nga raina mate. Kua piki ano te rahi o to maatau tepu. Ko te toharite o te wa mahi uiui puta noa i te katoa o te patengi raraunga i piki hoki. He iti ake te whakamaaramatanga o nga miihini aunoa.

Inaa, mai i ta maatau pereti, ka kite tatou i peke ano te whakahou raraunga ki runga ki te rangi. Ko te kai PTM kua tino piki ake. Kei te haere ano tatou i te tini o nga raina mate, koretake. Na kua heke te wa whakautu mo tenei tohu me te maha o nga whakawhitinga.

Ka pehea te ahua ki te kore tatou e mohio ki aku korero i mua?

• Ka timata tatou ki te rapu raruraru. Mena ka raru matou i te waahanga tuatahi, ka mohio matou na te roa o te whakawhitiwhitinga ka haere ki te Kaiwhakaako. He raruraru kei runga i te Kaiwhakaako. Hotiti ia. Ka wera ake, ko tana Wawaenga Uta kei te kotahi rau pea.
• He puhoi nga tono ki reira, engari kaore matou e kite i nga tauwhitinga roa i reira. A kaore matou e mohio he aha te take. Kare matou e marama ki te titiro ki hea.
• Ka tirohia e matou nga taputapu tūmau. I hinga pea ta matou whakaeke. Kua wera pea to tatou rakau mahara. Ae, ka taea e tetahi mea te tupu. Engari kaore, he hou nga kaitoro, he pai nga mea katoa.
• Kei te rere nga tangata katoa: nga kaiwhakahaere, nga kaihanga me te kaiwhakahaere. Kaore he mea hei awhina.
• A i etahi wa ka timata nga mea katoa ki te whakatika i a ia ano.

I tenei wa, i tukatukahia te tono i runga i ta maatau tauira ka waiho. I whiwhi matou i te ripoata. Kei te koa tonu te pakihi. Ka kite koe, kua tipu ano to tatou tohu, e kore e mimiti. I runga i te kauwhata me nga waahi, i waiho e ahau tetahi waahanga o tenei tauwhitinga roa mai i te tauira kia taea ai e koe te whakatau i te roa o te waa kia tau te ahuatanga.

Kua mutu te huihuinga. A, i muri noa iho i etahi wa ka tae mai te kaimau i roto i te raupapa. A ko te wa whakautu toharite mo nga tono i runga i te Kaiwhakaako ka hoki mai ano. Na te mea, i te mutunga, ka whai waahi te autovacuum ki te horoi me te tohu i enei raina mate. Na ka timata ia ki te mahi i tana mahi. Me pehea te tere o tana mahi, ka tere tonu taatau.

E ai ki te papa i whakamatauria, i reira ka whakahouhia e matou nga toenga kaute, ka kite matou i te ahua rite tonu. Ko te waa whakahou kaute kei te huri haere hoki. Ko nga rauemi e pau ana i te tukatuka ka whakaitihia ano. A ko te maha o nga whakawhitinga mo ia hekona ka hoki ki te tikanga. Engari ano kua hoki ano tatou ki to tatou ahua, kaore i te rite ki o mua o te aitua.

Ahakoa he aha, ka whiwhi tatou i te whakahekenga mahi, penei i te keehi tuatahi, ma te kotahi me te hawhe ki te rua nga wa, me etahi wa ka nui ake.

Te ahua nei kua tika ta matou mahi. Tohaina te kawenga. Ko nga taputapu kaore i te waatea. I wehea e matou nga tono i runga i o maatau whakaaro, engari he kino tonu nga mea katoa.

• Kaua e whakahohea hot_standby_feedback? Ae, kaore i te tūtohutia kia whakakāhia me te kore he take tino kaha. Na te mea ka pa tika tenei hurihanga ki te kaimau Matua me te whakatārewa i te mahi o te mokohau ki reira. Ma te whakaahei i runga i etahi tauira me te wareware ki a ia, ka taea e koe te patu i te Kaiwhakaako me te raru nui ki te tono.
• Whakanuia te max_standby_streaming_delay? Ae, mo nga ripoata he pono tenei. Mena kei a koe he purongo e toru-haora, kaore koe e pai kia pakaru na runga i nga taupatupatu tukurua, me whakanui noa te roa. Ko te ripoata mo te wa roa kaore e hiahiatia he raraunga kua tae mai ki roto i te paataka raraunga inaianei. Mena kei a koe mo nga haora e toru, ka whakahaerehia e koe mo etahi waa raraunga tawhito. A, ki a koe, ahakoa e toru haora te roa, e ono haora ranei te roa, kare he rerekee, engari ka whiwhi purongo i nga wa katoa karekau he raru ki te taka.
• Ko te tikanga, me whakahaere e koe nga wa roa i runga i nga tauira, ina koa ka whakatau koe ki te whakahohe i te hot_standby_feedback i runga i te tauira. No te mea ka tupu tetahi mea. I hoatu e matou tenei tauira ki te kaiwhakawhanake kia taea e ia te whakamatautau i nga patai. I tuhia e ia he tono haurangi. Ka whakarewahia e ia ka haere ki te inu ti, ka riro mai i a maua te Kaiwhakaako. Akene pea i he te tono ki roto. He rereke nga ahuatanga. Ko nga huihuinga i runga i nga tauira me tino tirotirohia kia rite ki te Kaiwhakaako.
• A, ki te whai koe i nga patai tere me te roa mo nga tauira, na i tenei keehi he pai ake te wehewehe ki te tohatoha i te kawenga. He hononga tenei ki te streaming_delay. Mo nga mea tere, kia kotahi te tauira me te whakaroa iti. Mo nga tono purongo roa, me whai tauira ka taea te whakaroa mo te 6 haora, ia ra ranei. He ahuatanga noa tenei.

Ka whakakorehia e matou nga hua i te huarahi ano:

• Ka kitea e matou nga tepu pupuhi.
• Na ka kopakihia e matou me te taputapu tino watea e pai ana ki a maatau.

Ka mutu te korero tuarua i konei. Ka neke tatou ki te korero tuatoru.

He tino noa mo tatou i roto i ta tatou mahi heke.

• Kei te tipu haere tetahi hua rorohiko. Kei te huri haere nga whakaritenga mo tera. Ahakoa he aha, e hiahia ana matou ki te whakawhanake. A ko te mea me whakahou i nga raraunga i te ripanga, ara ki te whakahaere i te whakahou i runga i to maatau hekenga mo nga mahi hou e whakauruhia ana e matou hei waahanga o to maatau whanaketanga.
• Ko te whakatakotoranga raraunga tawhito kaore i te pai. Me kii ka huri tatou ki te teepu tuarua, kei reira aku tauwhitinga mo enei kaute. A me kii kei roto i nga rubles, a ka whakatau matou ki te whakanui ake i te tika me te mahi i roto i nga kopecks. Na mo tenei me hanga he whakahou: whakareatia te mara me te nui o te tauwhitinga ki te kotahi rau.
• I roto i te ao o enei ra, ka whakamahia e matou nga taputapu mana putanga raraunga aunoa. Me kii tatou Liquibase. Ka rehita matou i to matou hekenga ki reira. Ka whakamatauhia e matou i runga i ta maatau turanga whakamatautau. He pai nga mea katoa. Kei te haere tonu te whakahou. Ka aukati te mahi mo te wa poto, engari ka whiwhi matou i nga raraunga whakahou. A ka taea e taatau te whakarewa i nga mahi hou mo tenei. I whakamatauria nga mea katoa me te tirotiro. I whakapumautia nga mea katoa.
• I mahia e matou nga mahi kua whakamaheretia me te kawe i te heke.

Anei te hekenga me te whakahōutanga kei mua i a koe. I te mea ko aku whakawhitinga putea enei, ko te pereti 15 GB. A, i te mea ka whakahouhia e matou nga rarangi katoa, ka ruarua te rahi o te ripanga me te whakahou, na te mea i tuhi ano matou i ia rarangi.

I te wa o te hekenga, kaore e taea e matou te mahi i tetahi mea ki tenei pereti, na te mea i tutiraa nga tono katoa ki a ia ka tatari kia oti ra ano tenei whakahou. Engari i konei e hiahia ana ahau ki te kukume i to whakaaro ki nga tau kei runga i te tuaka poutū. Arā, kei a matou he wa tono toharite i mua i te hekenga o te 5 milliseconds me te utaina o te tukatuka, ko te maha o nga mahi poraka mo te panui mahara kōpae he iti iho i te 7,5.

I mahia e matou te hekenga ka raru ano.

I angitu te heke, engari:

• Inaianei ka roa ake te mahi tawhito ki te whakaoti.
• Ka tipu ano te tepu.
• Ka nui ake ano te uta i runga i te tūmau i mua.
• Ae ra, kei te tarai tonu matou ki nga mahi i pai te mahi, kua pai ake taatau.

Na ko te pupuhi ano tenei, ka pakaru ano to tatou oranga.

I konei ka whakaatu ahau ko te teepu, penei i nga keehi e rua o mua, e kore e hoki ki ona rahi o mua. Te ahua nei kei te tika te kawenga o te tūmau.

A, ki te huri tatou ki te ripanga me nga kaute, ka kite tatou kua ruarua te wa tono mo tenei tepu. Ko te kawenga i runga i te tukatuka me te maha o nga raina kua tohua ki roto i te mahara ka peke ki runga ake i te 7,5, engari he iti ake. Na ka pekehia e 2 nga wa i roto i te keehi o nga kaiwhakatikatika, 1,5 nga wa i roto i te keehi o nga mahi poraka, ara, ka paheke te mahi a te tūmau. Na ko te hua - te paheketanga o te mahinga o ta maatau tono. I taua wa ano, i noho tonu te maha o nga waea ki te taumata kotahi.

A ko te mea nui i konei ko te maarama me pehea te mahi tika i aua hekenga. A me mahi ratou. He rite tonu ta matou mahi i enei heke.

• Ko enei hekenga nunui e kore e puta aunoa. Me noho tonu i raro i te mana whakahaere.
• Ko te tirotiro a te tangata mohio. Mena kei a koe he DBA kei runga i to roopu, ma te DBA e mahi. Ko tana mahi. Ki te kore, ma te tangata tino mohio e mahi, ko wai e mohio ana ki te mahi me nga papaa raraunga.
• He aronuinga pātengi raraunga hōu, ahakoa ka whakahōuhia e mātou tētahi tīwae, ka whakareri i ngā wā katoa, arā, i mua i mua i te whakaputanga o te putanga hōu o te tono:
• Ka taapirihia nga mara hou hei tuhi i nga raraunga kua whakahoutia.
• Ka whakawhitihia e matou nga raraunga mai i te mara tawhito ki te mara hou i nga waahanga iti. He aha tatou i penei ai? Tuatahi, ka whakahaere tonu matou i te tukanga o tenei tukanga. E mohio ana matou kua whakawhitia e matou te maha o nga roopu me te maha o taatau e toe ana.
• A ko te tuarua o nga hua pai ko te mea i waenga i ia roopu penei ka kati tatou i te tauwhitinga, whakatuwhera i tetahi mea hou, ka taea e te autovacuum te mahi kia rite ki te pereti, tohuhia nga raina mate hei whakamahi ano.
• Mo nga rarangi ka puta mai i te wa e rere ana te tono (kei te haere tonu te tono tawhito), ka taapirihia he keu hei tuhi uara hou ki nga mara hou. Ki a maatau, he whakareatanga tenei ki te kotahi rau o te uara tawhito.
• Mena kei te tino pukumahi matou me te hiahia ki te mara kotahi, ka mutu nga hekenga katoa me mua i te huri i tetahi putanga hou o te tono, ka whakaingoatia noa nga mara. Ka whakaingoatia nga ingoa tawhito, ka whakaingoatia nga mara hou ki nga mara tawhito.
• A muri noa ka whakarewahia e matou he putanga hou o te tono.

A i te wa ano e kore tatou e whiwhi i te pupuhi me te kore e mamae i runga i nga mahi.

I konei ka mutu te korero tuatoru.

https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat.sql

https://github.com/dataegret/pg-utils/blob/master/sql/table_bloat_approx.sql

Na inaianei he iti ake nga korero mo nga taputapu i whakahuahia e au i te korero tuatahi.

I mua i te rapu mo te pupuhi, me whakauru koe i te toronga pgstattuple.

Kia kore ai koe e whai patai, kua tuhia e matou enei patai ki roto i a maatau mahi. Ka taea e koe te whakamahi. E rua nga tono i konei.

• Ko te mea tuatahi he roa te wa ki te mahi, engari ka whakaatu ki a koe nga uara putunga tika mai i te tepu.
• Ko te tuarua ka tere ake te mahi me te tino whai hua ina hiahia wawe koe ki te aromatawai mehemea he pupuhi, kaore ranei e ai ki te tepu. Me mohio ano koe kei te noho tonu te pupuhi i roto i te tepu Postgres. He ahuatanga tenei o tana tauira MVCC.
• A ko te 20% te pupuhi he mea noa mo nga tepu i te nuinga o nga keehi. Arā, kaua koe e māharahara me te kōpeke i tēnei tepu.

I whakaaro matou me pehea te tautuhi i nga ripanga kua pupuhi me nga raraunga kore.

Inaianei me pehea te whakatika i te pupuhi:

• Mena he papa iti to maatau me nga kopae pai, ara, i runga i te papa tae atu ki te gigabyte, ka taea te whakamahi VACUUM FULL. Ka tangohia e ia he raka motuhake mai i a koe i runga i te teepu mo etahi hēkona ka pai, engari ka tere, ka kaha te mahi i nga mea katoa. He aha te mahi a VACUUM FULL? Ka tangohia he raka motuhake i runga i te teepu me te tuhi ano i nga rarangi ora mai i nga ripanga tawhito ki te tepu hou. A i te mutunga ka whakakapia e ia. Ka whakakorehia nga konae tawhito me te whakakapi i nga mea tawhito me nga mea hou. Engari mo te roanga o tana mahi, ka mau te raka motuhake i runga i te tepu. Ko te tikanga tenei e kore e taea e koe tetahi mea ki tenei ripanga: kaua e tuhi ki reira, kaua e panui ki roto, kaua e whakarereketia. Me te VACUUM FULL he mokowā kōpae taapiri hei tuhi raraunga.
• Utauta panuku pg_repack. I roto i tana kaupapa, he tino rite ki te VACUUM FULL, no te mea ka tuhia ano e ia nga raraunga mai i nga konae tawhito ki nga mea hou ka whakakapi i te ripanga. Engari i te wa ano, kaore e tangohia he raka motuhake i runga i te teepu i te timatanga o tana mahi, engari ka mau noa i te waa kua rite ana nga raraunga hei whakakapi i nga konae. He rite ona whakaritenga rauemi kōpae ki te VACUUM FULL. Kei te hiahia koe ki etahi atu mokowā kōpae, a he mea nui tenei ki te whai koe i nga ripanga terabyte. A he tino hiakai-tukatuka na te mea ka kaha te mahi me te I/O.
• Ko te taputapu tuatoru pgcompacttable. He nui ake te tupato ki nga rauemi na te mea e mahi ana i runga i nga kaupapa rereke rereke. Ko te whakaaro nui o pgcompacttable ko te neke i nga rarangi ora katoa ki te timatanga o te tepu ma te whakamahi i nga whakahou i te ripanga. Na ka rere he korehau i runga i tenei teepu, na te mea e mohio ana tatou kei a tatou nga rarangi ora i te timatanga me nga rarangi mate i te mutunga. Na te korehau ano e tapahi i tenei hiku, ara, kaore e nui atu te mokowā kōpae. A i te wa ano, ka taea tonu te kopiri i runga i nga rauemi.

Nga mea katoa me nga taputapu.

Mena ka kitea e koe te kaupapa bloat he mea whakamere i roto i nga korero o roto, kei konei etahi hononga whai hua:

• https://www.slideshare.net/alexius2Mb/where-is-the-space-postgres - He purongo tenei na taku hoa mahi. He mea whanui mo te waahi e haere ana te waahi o Postgres i te wa e mahi ana me ana oranga. A he waahanga hangarau tino nui me te taipitopito mo nga kaiwhakahaere papaa raraunga mo te pupuhi.
• https://github.com/dataegret/pg-utils – he hononga tenei ki ta matou putunga, kei reira matou e penapena ai i nga momo tuhinga whaihua hei tirotiro i te ahua o te papaaarangi. I reira ka kitea e koe nga tuhinga hei rapu mo te pupuhi.
• Ko te tuatoru и tuawha hononga ki nga taputapu ka awhina koe ki te whakaheke i nga tohu.
• http://blog.dataegret.com/2Mb018/03/postgresql-bloatbusters.html – he panui tenei na taku hoa mahi. I reira ka tino tātarihia e ia te pupuhi i te taumata e tata ana ki nga kaiwhakahaere.

I kaha ake ahau ki te whakaatu i tetahi korero whakamataku mo nga kaiwhakawhanake, na te mea ko o matou kaihoko tika o nga papaa raraunga me maarama he aha nga mahi ka puta. Ko taku tumanako i angitu ahau. Mauruuru koe mo to aro!

Au uiui

Nga mihi mo te ripoata! I korero koe me pehea e mohio ai koe ki nga raru. Me pehea e whakatupato ai ratou? Arā, he waahi taku i whakairihia ai nga tono ehara i te mea i uru atu ki etahi ratonga o waho. He hononga mohoao noa enei. Ko etahi tono iti, kino kino i noho mo te ra kotahi, katahi ka timata ki te mahi poauau. Arā, he rite tonu ki tāu e whakaahua nei. Me pehea te whai i tenei? Noho me te matakitaki tonu ko tehea tono e mau ana? Me pehea te aukati i tenei?

I tenei take, he mahi tenei mo nga kaiwhakahaere o to kamupene, ehara i te mea mo te DBA.

He kaiwhakahaere ahau.

He tirohanga a PostgreSQL e kiia ana ko pg_stat_activity e whakaatu ana i nga patai tarewa. A ka kite koe i te roa e iri ana ki reira.

Me kuhu mai ahau ki te titiro ia 5 meneti?

Whakaturia cron ka taki. Mena he tono mo te wa roa, tuhia he reta ka mutu. Koinei, kaore koe e hiahia ki te titiro ki o kanohi, ka taea te mahi aunoa. Ka whiwhi koe i tetahi reta, ka whakautu koe. Ka taea ranei e koe te pupuhi aunoa.

Te vai ra anei te tahi mau tumu papu i tupu ai te reira?

Kua whakarārangihia e au etahi. Ko etahi atu tauira uaua ake. A ka taea te korero mo te wa roa.

Nga mihi mo te ripoata! I hiahia ahau ki te whakamarama mo te whaipainga pg_repack. Ki te kore e mahia e ia he raka motuhake, ka...

Ka mahia e ia he raka motuhake.

... katahi ka ngaro pea au i nga raraunga. Me kore taku tono e tuhi i tetahi mea i tenei wa?

Kao, he pai te mahi me te tepu, ara ko pg_repack te whakawhiti tuatahi i nga raina ora katoa e noho ana. Ko te tikanga, ko etahi momo urunga ki roto i te tepu ka puta ki reira. Kei te maka noa ia i tenei hiku.

Arā, ka mahia e ia i te mutunga?

I te mutunga, ka tangohia e ia he raka motuhake hei huri i enei konae.

Ka tere ake i te KAUPAPA KIA?

Korekau Kī, no te tiimatanga, ka mau tonu he raka motuhake. A tae noa ki tana mahi i nga mea katoa, kaore ia e tuku ia ia. Na ka mau te pg_repack i tetahi raka motuhake i te wa o te whakakapinga o nga konae. I tenei wa kaore koe e tuhi ki reira, engari kaore e ngaro nga raraunga, ka pai nga mea katoa.

Kia ora! I korero koe mo te mahi o te korehau waka. He kauwhata me te whero, te kowhai me te kaakaariki nga putau rekoata. Arā, ko ngā kōwhai - i tohua e ia kua mukua. A, ko te mutunga, ka taea te tuhi i tetahi mea hou ki roto i a raatau?

Ae. Kaore nga Postgres e muku i nga raina. He ahua motuhake ano tana. Mena ka whakahouhia e matou tetahi raina, ka tohua e matou te mea tawhito kua mukua. Ko te id o te tauwhitinga i whakarereke i tenei raina ka puta ki reira, ka tuhia e matou he raina hou. A kei a maatau nga huihuinga ka taea pea te panui. I etahi wa ka tino koroheke ratou. A ko te tino tikanga o te mahi a te autovacuum ko te haere i roto i enei raina me te tohu he koretake. A ka taea e koe te tuhirua raraunga ki reira.

Kei te mohio ahau. Engari ehara i te mea ko te patai. Kaore au i oti. Me whakaaro he tepu ta tatou. He mara taurangi te rahi. A, ki te ngana ahau ki te whakauru i tetahi mea hou, kare pea e uru ki roto i te pūtau tawhito.

Kao, ahakoa ka whakahouhia te raina katoa ki reira. E rua nga tauira rokiroki raraunga a Postgres. Ka tohua mai i te momo raraunga. He raraunga kei te penapena tika ki te ripanga, kei reira ano he raraunga tos. He nui nga raraunga enei: kuputuhi, json. Ka penapenahia ki nga pereti motuhake. A, e ai ki enei papa, ko te korero ano me te pupuhi ka puta, ara he rite nga mea katoa. Kua whakarārangihia kētia.

Nga mihi mo te ripoata! He pai ki te whakamahi i nga uiuinga wa paunga korero hei whakawhāiti i te roanga?

Tino pai. Ka whakamahia e matou i nga waahi katoa. A, i te mea karekau a maatau ake ratonga, ka whakaratohia e matou he tautoko mamao, he maha nga kaihoko. Na ka tino makona nga tangata katoa ki tenei. Arā, kei a matou nga mahi cron e taki ana. Ko te roanga o nga huihuinga ka whakaae noa me te kaihoko, i mua atu kaore matou e whakaae. He meneti pea, he 10 meneti pea. Kei runga i te kawenga o te turanga me tona kaupapa. Engari ka whakamahi katoa matou i te pg_stat_activity.

Nga mihi mo te ripoata! E ngana ana ahau ki te tono i to ripoata ki aku tono. A ko te ahua nei ka timata taatau i tetahi tauwhitinga i nga waahi katoa, ka tino oti i nga waahi katoa. Mena he rereke, ka hoki tonu te hurihanga. Na ka timata ahau ki te whakaaro. I muri i nga mea katoa, kaore pea te tauwhitinga e timata marama. He tohu pea tenei mo te kotiro. Mena ka whakahou noa ahau i tetahi rekoata, ka timata te tauwhitinga ki PostgreSQL ka oti noa ka momotu te hononga?

Mena kei te korero koe inaianei mo te taumata tono, ka whakawhirinaki ki te taraiwa e whakamahia ana e koe, ki te ORM e whakamahia ana. He maha nga tautuhinga kei reira. Mena kua whakahohea e koe te whakauru aunoa, katahi ka timata te tauwhitinga ki reira ka kati tonu.

Arā, ka kati i muri tonu i te whakahou?

Kei runga i nga tautuhinga. I whakaingoatia e ahau tetahi tautuhinga. Ko te mahi aunoa tenei. He mea noa. Mena kua whakahohea, kua whakatuwherahia, kua kati te tauwhitinga. Ki te kore koe i tino kii "tīmata tauwhitinga" me te "whakamutunga tauwhitinga", engari i tukuna noa he tono ki roto i te huihuinga.

Kia ora! Nga mihi mo te ripoata! Me whakaaro ake kei a tatou he paparangi raraunga e pupuhi ana, e pupuhi ana, katahi ka pau te waahi i runga i te tūmau. He taputapu hei whakatika i tenei ahuatanga?

Ko te waahi kei runga i te tūmau me aroturuki tika.

Hei tauira, i haere te DBA ki te tii, i te kaainga, aha atu.

Ina hangahia he punaha konae, he iti rawa te ahua o te waahi taapiri ka hangaia ki te kore e tuhia nga raraunga.

He aha mehemea kei raro rawa i te kore?

I reira ka kiia ko te waahi kua rahuitia, ara, ka taea te wetewete me te nui o te hanga, ka whiwhi koe i te waahi kore utu. Ma te taunoa kare au e mohio e hia. A, i tetahi atu keehi, tukuna nga kōpae kia whai waahi koe ki te mahi i tetahi mahi whakatikatika. Ka taea e koe te whakakore i etahi ripanga e kore e hiahiatia e koe.

He taputapu ke atu ano?

He mea hanga ringa tonu. A ka marama te rohe he aha te mea pai hei mahi i reira, na te mea he mea tino nui etahi raraunga ko etahi karekau. A mo ia putunga raraunga me te tono e mahi tahi ana, ka whakawhirinaki ki te pakihi. I nga wa katoa ka whakatauhia e te rohe.

Nga mihi mo te ripoata! E rua aku patai. Tuatahi, i whakaatu koe i nga kiriata e whakaatu ana i te wa e mau ana nga tauwhitinga, ka tipu te rahi o te mokowā ripanga me te rahi o te taupū. I tua atu i runga i te ripoata he maha nga taputapu kei te kohikohi i te papa. Me pehea te taurangi?

Ka takai hoki ratou.

Engari karekau te korehau e pa ki te taurangi?

Ko etahi ka mahi me te taurangi. Hei tauira, pg_rapack, pgcompacttable. Ka hanga ano e te korehau nga tohu ka pa ki a raatau. Ki te VACUUM FULL te whakaaro ko te tuhirua i nga mea katoa, ara, ka mahi ki te katoa.

A ko te patai tuarua. Kare au i te marama he aha te take i whakawhirinaki nui ai nga purongo mo nga tauira ki te tukurua ano. Ki taku whakaaro ka panuihia nga purongo, ka tuhia te kape.

He aha te take he papā tukurua? He Kaiwhakaako to maatau mo nga mahi ka mahia. Kei a matou he motika waka e haere ana. He aha te mahi a te miihini aunoa? Kei te tapahi ia i etahi raina tawhito. Mena i tenei wa ka tono matou mo te tauira e panui ana i enei rarangi tawhito, a, i runga i te Kaiwhakaako ka puta he ahuatanga i tohuhia e te autovacuum enei rarangi ka taea hei tuhirua, katahi ka hurihia e matou. Na ka whiwhi matou i tetahi putea raraunga, ina hiahia matou ki te tuhi ano i nga rarangi e hiahiatia ana e te tono ki runga i te tauira, ka tatari te tukanga tukurua mo te wa i whirihorahia e koe. Na ka whakatauhia e PostgreSQL he aha te mea nui ake. A he mea nui ake te tukurua ki a ia i te tono, a ka koperehia e ia te tono kia mahia enei huringa ki runga i te tauira.

Andrey, he patai taku. Ko enei kauwhata whakamiharo i whakaatuhia e koe i te wa o te whakaaturanga, koinei nga hua o nga mahi a etahi momo whaipainga nau? I pehea te hanga o nga kauwhata?

He ratonga tenei Okmeter.

He hua arumoni tenei?

Ae. He hua arumoni tenei.

Source: will.com