Taw qhia
Nyob zoo. Kuv yog ningenMe, tus tsim tawm lub vev xaib.
Raws li lub npe hais, kuv zaj dab neeg yog zaj dab neeg ntawm lub cev tshem tawm 300 lab cov ntaub ntawv hauv MySQL.
Kuv tau nyiam qhov no, yog li kuv txiav txim siab ua ib qho kev ceeb toom (cov lus qhia).
Tsev - ceeb toom
batch server kuv siv thiab tswj muaj cov txheej txheem tsis tu ncua uas sau cov ntaub ntawv lub hli dhau los ntawm MySQL ib hnub ib zaug.
Feem ntau cov txheej txheem no ua tiav li ntawm 1 teev, tab sis lub sijhawm no nws tsis ua tiav rau 7 lossis 8 teev, thiab kev ceeb toom tsis nres ...
Tshawb nrhiav vim li cas
Kuv sim rov pib txheej txheem thiab saib cov cav, tab sis kuv tsis pom dab tsi tsis ncaj ncees lawm.
Cov lus nug raug ntsuas kom raug. Tab sis thaum kuv xav txog dab tsi yuav mus tsis ncaj ncees lawm, kuv pom tau hais tias lub database loj heev.
hoge_table | 350'000'000 |350 lab cov ntaub ntawv. Indexing zoo li ua haujlwm raug, tsuas yog qeeb heev.
Cov ntaub ntawv xav tau hauv ib hlis yog kwv yees li 12 cov ntaub ntawv. Nws zoo li cov lus txib xaiv tau siv sijhawm ntev thiab kev lag luam tsis tau ua tiav ntev.
DB
Nws yog qhov tseem ceeb ntawm lub rooj uas loj hlob li ntawm 400 nkag txhua hnub. Cov ntaub ntawv yuav tsum tau sau cov ntaub ntawv tsuas yog rau lub hli tas los, yog li ntawd, nws xav tias nws yuav tiv taus cov ntaub ntawv no raws nraim, tab sis, hmoov tsis, kev hloov pauv tsis suav nrog.
Cov ntaub ntawv no tsis yog tsim los ntawm kuv. Kuv tau coj nws los ntawm lwm tus tsim tawm, yog li nws tseem xav tias zoo li cov nuj nqis technical.
Muaj ib qho taw tes thaum lub ntim ntawm cov ntaub ntawv tso rau txhua hnub tau loj thiab thaum kawg mus txog qhov txwv. Nws yog xav tias thaum ua hauj lwm nrog xws li ib tug loj npaum li cas ntawm cov ntaub ntawv, nws yuav tsum tau cais lawv, tab sis qhov no, hmoov tsis, tsis tau ua.
Thiab tom qab ntawd kuv tau los ua haujlwm.
Kev kho
Nws yog qhov tsim nyog los txo qhov loj ntawm cov ntaub ntawv nws tus kheej thiab txo lub sijhawm ua nws dua li hloov lub logic nws tus kheej.
Qhov xwm txheej yuav tsum hloov pauv loj yog tias koj tshem tawm 300 lab cov ntaub ntawv, yog li kuv txiav txim siab ua li ntawd ... Eh, Kuv xav tias qhov no yuav ua haujlwm tiag tiag.
Kev Ua 1
Tau npaj cov thaub qab txhim khu kev qha, kuv thaum kawg pib xa cov lus thov.
γXa kev thovγ
DELETE FROM hoge_table WHERE create_time <= 'YYYY-MM-DD HH:MM:SS';"β¦"
"β¦"
βHumβ¦ Tsis teb. Tej zaum cov txheej txheem yuav siv sij hawm ntev?" - Kuv xav, tab sis tsuas yog nyob rau hauv rooj plaub, kuv saib ntawm grafana thiab pom tias lub disk load tau loj hlob sai heev.
"Phem,"Kuv xav dua thiab tam sim ntawd nres qhov kev thov.
Kev Ua 2
Tom qab txheeb xyuas txhua yam, kuv pom tau hais tias qhov ntim ntawm cov ntaub ntawv loj dhau los tshem tawm txhua yam ib zaug.
Kuv txiav txim siab los sau ib tsab ntawv uas tuaj yeem tshem tawm txog 1 cov ntaub ntawv thiab pib nws.
'Kuv siv tsab ntawv'
"Tam sim no qhov no yuav ua haujlwm tiag tiag," kuv xav.
Kev Ua 3
Qhov thib ob txoj kev ua haujlwm, tab sis hloov mus ua haujlwm hnyav heev.
Txhawm rau ua txhua yam kom zoo, tsis muaj cov hlab ntsha tsis tsim nyog, yuav siv sijhawm li ob lub lis piam. Tab sis tseem, qhov xwm txheej no tsis tau raws li qhov yuav tsum tau ua, yog li peb yuav tsum tau txav deb ntawm nws.
Yog li ntawm no yog qhov kuv txiav txim siab ua:
Luam lub rooj thiab rename nws
Los ntawm cov kauj ruam dhau los, kuv pom tau hais tias kev rho tawm cov ntaub ntawv loj no ua rau muaj qhov sib npaug loj. Yog li kuv txiav txim siab los tsim ib lub rooj tshiab los ntawm kos siv ntxig thiab txav cov ntaub ntawv kuv yuav rho tawm rau hauv nws.
| hoge_table | 350'000'000|
| tmp_hoge_table | 50'000'000|Yog tias koj ua cov lus tshiab zoo ib yam li saum toj no, cov ntaub ntawv ua haujlwm ceev yuav tsum dhau los ua 1/7 sai dua.
Tom qab tsim lub rooj thiab renaming nws, kuv pib siv nws ua tus tswv lub rooj. Tam sim no yog tias kuv tso lub rooj nrog 300 lab cov ntaub ntawv txhua yam yuav tsum zoo.
Kuv pom tias truncate los yog poob tsim tsawg dua nyiaj siv ua haujlwm tshaj li tshem tawm thiab txiav txim siab siv txoj kev no.
Kev ua tau zoo
γXa kev thovγ
INSERT INTO tmp_hoge_table SELECT FROM hoge_table create_time > 'YYYY-MM-DD HH:MM:SS';
"β¦"
"β¦"
"Em...?"
Kev Ua 4
Kuv xav tias lub tswv yim yav dhau los yuav ua haujlwm, tab sis tom qab xa daim ntawv thov ntxig, ntau qhov yuam kev tshwm sim. MySQL tsis zam txim rau.
Kuv twb nkees heev kuv pib xav tias kuv tsis xav ua qhov no ntxiv lawm.
Kuv zaum thiab xav thiab pom tau tias tej zaum muaj ntau cov lus nug ntxiv rau ib zaug ...
Kuv sim xa ib daim ntawv thov rau tus nqi ntawm cov ntaub ntawv uas cov ntaub ntawv yuav tsum ua hauv 1 hnub. tshwm sim!
Zoo, tom qab ntawd peb txuas ntxiv xa cov ntawv thov rau tib tus nqi ntawm cov ntaub ntawv. Txij li thaum peb yuav tsum tshem tawm ib lub hlis tus nqi ntawm cov ntaub ntawv, peb rov ua qhov haujlwm no kwv yees li 35 zaug.
Renaming ib lub rooj
Ntawm no hmoov yog nyob ntawm kuv sab: txhua yam mus smoothly.
Alert ploj lawm
Batch ua ceev tau nce.
Yav dhau los tus txheej txheem no siv sijhawm li ib teev, tam sim no nws yuav siv li 2 feeb.
Tom qab kuv paub tseeb tias tag nrho cov teeb meem raug daws, kuv poob 300 lab cov ntaub ntawv. Kuv deleted lub rooj thiab xav tias reborn.
Cov ntsiab lus
Kuv pom tau hais tias kev sib hloov ua haujlwm tau ploj lawm hauv batch ua, thiab qhov ntawd yog qhov teeb meem loj. Qhov kev ua vaj tsev zoo li no ua rau lub sijhawm nkim sijhawm.
Koj puas xav txog kev thauj khoom thaum cov ntaub ntawv rov ua dua thaum tshem cov ntaub ntawv los ntawm cov ntaub ntawv? Cia peb tsis txhob overload MySQL.
Cov neeg uas paub zoo nyob rau hauv databases yuav twv yuav raug hu tsis ntsib xws li teeb meem. Rau lwm tus, kuv vam tias tsab xov xwm no muaj txiaj ntsig.
Tsaug nyeem ntawv!
Peb yuav zoo siab heev yog tias koj qhia peb seb koj puas nyiam tsab xov xwm no, seb qhov kev txhais lus puas meej, seb nws puas muaj txiaj ntsig rau koj?
Tau qhov twg los: www.hab.com