Ko te korero mo te whakakore tinana 300 miriona rekoata i MySQL

Whakataki

Kia ora. Ko ningenMe ahau, kaiwhakawhanake paetukutuku.

E ai ki te taitara, ko taku korero ko te korero mo te whakakore tinana 300 miriona rekoata i MySQL.

I tino hiahia ahau ki tenei, no reira ka whakatau ahau ki te whakamaumahara (tohutohu).

Kāinga - Matohi

Ko te tūmau puranga e whakamahia ana e ahau me te pupuri he tukanga auau e kohikohi ana i nga raraunga o tera marama mai i MySQL kotahi i te ra.

I te nuinga o te wa ka oti tenei mahi i roto i te 1 haora, engari i tenei wa kaore i oti mo te 7, 8 haora ranei, kaore ano te matohi i mutu te pahū ake...

Te rapu take

I ngana ahau ki te timata ano i te tukanga me te titiro ki nga rakau, engari kaore au i kite i tetahi mea he.
I taupū tika te uiui. Engari i taku whakaaro he aha te he, ka mohio ahau he nui te rahi o te papaa raraunga.

hoge_table | 350'000'000 |

350 miriona rekoata. Ko te ahua kei te mahi tika te mahi, he puhoi noa.

Ko te kohinga raraunga e hiahiatia ana mo ia marama he 12 nga rekoata. Te ahua nei kua roa te tono kua tohua, a kaore i mahia te tauwhitinga mo te wa roa.

DB

Ko te tikanga he teepu e piki ana ma te 400 nga whakaurunga ia ra. Ko te tikanga ko te putunga raraunga hei kohi raraunga anake mo te marama kua hipa, no reira, ko te whakaaro ka mau tonu ki tenei nui o nga raraunga, engari, kaore i whakauruhia te mahi hurihuri.

Ko tenei papaa raraunga kaore i whakawhanakehia e au. I tangohia e au mai i tetahi atu kaiwhakawhanake, na te ahua ano he nama hangarau.

I tae mai te waahi ka nui te rahi o nga raraunga ka whakauruhia ia ra, ka tae ki tona rohe. E kiia ana ko te wa e mahi ana me te nui o nga raraunga, me wehe ke atu, engari ko tenei, kaore i mahia.

Na ka timata ahau ki te mahi.

Whakatikatika

He pai ake te whakaiti i te rahi o te papaa raraunga ake me te whakaiti i te wa mo te tukatuka i te whakarereke i te arorau ake.

Me tino rerekee te ahuatanga mena ka whakakorehia e koe te 300 miriona rekoata, no reira ka whakatau ahau ki te pera... Eh, i whakaaro ahau ka tino pai tenei.

Mahi 1

I te whakarite i tetahi taapiri pono, ka tiimata ahau ki te tuku tono.

「Te tuku tono」

DELETE FROM hoge_table WHERE create_time <= 'YYYY-MM-DD HH:MM:SS';

"…"

"…"

“Hmm... Karekau he whakautu. Ka roa pea te mahi?” — I whakaaro ahau, engari i roto i te take, ka titiro ahau ki te grafana ka kite kei te tere haere te uta o te kōpae.
"He kino," ka whakaaro ano ahau ka mutu tonu te tono.

Mahi 2

I muri i te tātari i nga mea katoa, ka mohio ahau he nui rawa te rahi o nga raraunga ki te whakakore i nga mea katoa i te wa kotahi.

I whakatau ahau ki te tuhi i tetahi tuhinga ka taea te whakakore i te 1 nga rekoata ka whakarewahia.

「Ka whakatinana ahau i te tuhinga」

"Na ka tino mahi tenei," i whakaaro ahau.

Mahi 3

Ko te tikanga tuarua i whai hua, engari i puta he tino mahi.
Ki te mahi i nga mea katoa, me te kore he uaua, ka roa pea te rua wiki. Heoi ano, kaore tenei ahuatanga i tutuki i nga whakaritenga ratonga, na reira me neke atu matou i tera.

Na koinei te mea i whakatau ahau ki te mahi:

Tāruatia te ripanga ka whakaingoa anō

Mai i te taahiraa o mua, i mohio ahau ko te whakakore i te nui o nga raraunga ka hangaia he kawenga nui. Na ka whakatau ahau ki te hanga tepu hou mai i te wahanga ma te whakauru me te nuku i nga raraunga ka mukua e ahau ki roto.

| hoge_table     | 350'000'000|
| tmp_hoge_table |  50'000'000|

Mena ka rite te rahi o te ripanga hou ki runga ake nei, me 1/7 tere ake te tere tukatuka raraunga.

Whai muri i te hanga i te tepu me te whakaingoa ano, ka tiimata ahau ki te whakamahi hei tepu matua. Inaianei ki te taka ahau i te teepu me te 300 miriona rekoata me pai nga mea katoa.
I kitea e au ko te tapahi, te maturuturu ranei ka iti ake te ahua o runga ake i te muku ka whakatau ki te whakamahi i tenei tikanga.

Mahi

「Te tuku tono」

INSERT INTO tmp_hoge_table SELECT FROM hoge_table create_time > 'YYYY-MM-DD HH:MM:SS';

"…"
"…"
"Em...?"

Mahi 4

I whakaaro ahau ka pai te whakaaro o mua, engari i muri i te tuku i te tono whakauru, he maha nga hapa i puta. Kaore a MySQL e muru.

Kua tino ngenge ahau ka timata ahau ki te whakaaro kaore au e pai ki te mahi ano.

I noho ahau ki te whakaaro me te mohio he maha rawa nga patai whakauru mo te wa kotahi...
I ngana ahau ki te tuku tono whakauru mo te nui o nga raraunga ka mahia e te papaunga raraunga i roto i te 1 ra. Kua tupu!

Ana, i muri i tera ka tukuna tonu e matou nga tono mo te nui o nga raraunga. I te mea me tango e matou nga raraunga mo te marama kotahi, ka whakahoki ano matou i tenei mahi tata ki te 35 nga wa.

Te whakaingoa anō i te tēpu

Ko te waimarie kei toku taha: i pai nga mea katoa.

Kua ngaro te matohi

Kua piki ake te tere tukatuka puranga.

I mua kotahi haora te roa o tenei mahi, inaianei e 2 meneti te roa.

I muri i taku mohio kua whakatauhia nga raruraru katoa, ka tukuna e ahau nga rekoata 300 miriona. I mukua e ahau te teepu me te whanau ano.

Whakarāpopototanga

I mohio ahau kei te ngaro te tukatuka hurihuri i roto i te tukatuka puranga, a koinei te raru nui. Ko tenei momo hapa hoahoanga ka arahi ki te moumou taima.

Ka whakaaro koe mo te kawenga i te wa e tukurua ana nga raraunga i te wa e mukua ai nga rekoata mai i te putunga? Kaua e utaina a MySQL.

Ko te hunga e tino mohio ana ki nga papa korero ka kore rawa e pa ki tenei raru. Mo te toenga o koutou, ko taku tumanako i whai hua tenei tuhinga.

Nga mihi mo te panui!

Ka tino koa matou ki te korero mai koe mena he pai ki a koe tenei tuhinga, he maamaa te whakamaoritanga, he pai ranei ki a koe?

Source: will.com

Tāpiri i te kōrero