Koj yuav xav li cas yog tias ib hnub zoo rau lub caij ntuj sov lub chaw zov me nyuam nrog koj cov cuab yeej zoo li no?
Nyob zoo sawv daws! Kuv lub npe yog Dmitry Samsonov, Kuv ua haujlwm ua tus thawj coj ntawm lub system "" Daim duab qhia tau hais tias ib qho ntawm plaub lub chaw khaws ntaub ntawv uas cov cuab yeej ua haujlwm pabcuam peb qhov project raug teeb tsa. Tom qab cov phab ntsa no muaj txog 4 txhiab daim ntawm cov khoom siv: servers, cov ntaub ntawv khaws cia, cov khoom siv network, thiab lwm yam. - yuav luag β
ntawm tag nrho peb cov khoom siv.
Feem ntau cov servers yog Linux. Kuj tseem muaj ntau lub kaum os servers ntawm Windows (MS SQL) - peb cov cuab yeej cuab tam, uas peb tau tso tseg rau ntau xyoo.
Yog li, thaum Lub Rau Hli 5, 2019 ntawm 14: 35, cov kws tshaj lij ntawm ib qho ntawm peb cov chaw khaws ntaub ntawv tau tshaj tawm lub tswb hluav taws.
Tsis kam
14:45 ib. Cov xwm txheej me me hauv cov chaw khaws ntaub ntawv muaj ntau dua li qhov koj xav. Cov ntsuas hauv cov chav tsev yog qhov qub, yog li peb thawj cov tshuaj tiv thaiv kuj tseem nyob twj ywm: lawv tau qhia txog kev txwv tsis pub ua haujlwm nrog kev tsim khoom, uas yog, ntawm txhua qhov kev hloov pauv, ntawm dov tawm cov qauv tshiab, thiab lwm yam, tshwj tsis yog kev ua haujlwm cuam tshuam txog kev kho qee yam.
Npau taws
Koj puas tau sim tshawb nrhiav los ntawm cov neeg tua hluav taws raws nraim qhov hluav taws kub tshwm sim ntawm lub ru tsev, lossis mus rau ntawm lub ru tsev kub ntawm koj tus kheej los ntsuas qhov xwm txheej? Dab tsi yuav yog qhov kev ntseeg siab ntawm cov ntaub ntawv tau txais los ntawm tsib tus neeg?
14: 50. Cov ntaub ntawv tau txais tias qhov hluav taws kub tau nce mus txog qhov cua txias. Tab sis nws puas tuaj? Tus thawj tswj hwm ntawm lub luag haujlwm tshem tawm cov tsheb khiav tawm sab nraud los ntawm sab xub ntiag ntawm qhov chaw khaws ntaub ntawv no.
Tam sim no, lub fronts ntawm tag nrho peb cov kev pab cuam yog duplicated nyob rau hauv peb cov ntaub ntawv chaw, sib npaug yog siv nyob rau hauv lub DNS theem, uas tso cai rau peb tshem tawm qhov chaw nyob ntawm ib tug data center los ntawm DNS, yog li tiv thaiv cov neeg siv los ntawm tej yam teeb meem nrog rau cov kev pab cuam. . Yog hais tias muaj teeb meem twb tshwm sim nyob rau hauv cov ntaub ntawv chaw, nws tawm lub rotation txiav. Koj tuaj yeem nyeem ntxiv ntawm no:
Qhov hluav taws kub tsis tau cuam tshuam rau peb nyob rau hauv ib txoj kev tseem - tsis yog cov neeg siv thiab cov khoom siv puas lawm. Qhov no puas yog kev huam yuaj? Thawj ntu ntawm cov ntaub ntawv "Kev Npaj Ua Txhaum Cai" txhais lub tswv yim ntawm "Kev Ua Phem Txhaum Cai", thiab ntu xaus li no:
Β«Yog tias muaj qhov tsis ntseeg tias muaj kev huam yuaj lossis tsis yog, yog kev sib tsoo!Β»
14:53 ib. Tus neeg saib xyuas xwm txheej ceev raug xaiv.
Tus neeg saib xyuas yog tus tswj xyuas kev sib txuas lus ntawm txhua tus neeg koom, ntsuas qhov ntsuas ntawm qhov xwm txheej, siv Txoj Kev Npaj Ua Haujlwm Kub Ceev, nyiam cov neeg ua haujlwm tsim nyog, saib xyuas kev ua tiav ntawm kev kho, thiab qhov tseem ceeb tshaj, delegates txhua txoj haujlwm. Hauv lwm lo lus, qhov no yog tus neeg uas tswj hwm tag nrho cov txheej txheem thaum muaj xwm txheej ceev.
Auction
15:01 Nws. Peb pib lov tes taw servers uas tsis cuam tshuam nrog kev tsim khoom.
15:03 ib. Peb raug kaw tag nrho cov kev pabcuam tshwj tseg.
Qhov no suav nrog tsis yog tsuas yog pem hauv ntej (uas los ntawm cov neeg siv cov ntsiab lus no tsis tuaj yeem nkag mus) thiab lawv cov kev pabcuam pabcuam (kev lag luam logic, caches, thiab lwm yam), tab sis kuj muaj ntau yam databases nrog replication factor 2 lossis ntau dua (, , , lwm yam).
15: 06. Cov ntaub ntawv tau txais tias hluav taws kub hem ib qho ntawm cov ntaub ntawv chaw tsev. Peb tsis muaj cov cuab yeej siv hauv chav no, tab sis qhov tseeb tias qhov hluav taws kub tuaj yeem kis tau los ntawm lub ru tsev mus rau cov chav tsev zoo heev hloov cov duab ntawm qhov tshwm sim.
(Nws tom qab ntawd tau pom tias tsis muaj kev hem thawj rau lub tsev, vim tias nws tau raug kaw los ntawm lub ru tsev.
15:07 ib. Peb tso cai rau kev ua tiav ntawm cov servers hauv hom nrawm yam tsis muaj kev kuaj xyuas ntxiv ().
15:08 ib. Qhov ntsuas kub hauv chav tsev yog nyob rau hauv cov kev txwv ib txwm muaj.
15: 12. Qhov kub thiab txias hauv chav tsev tau sau tseg.
15:13. Ntau tshaj li ib nrab ntawm cov servers hauv cov ntaub ntawv chaw muab tua. Cia peb mus ntxiv.
15:16. Kev txiav txim siab tau txiav txim siab los tua txhua yam khoom siv.
15:21. Peb pib kaw lub hwj chim rau lub xeev tsis muaj servers yam tsis raug kaw hauv daim ntawv thov thiab kev ua haujlwm.
15:23. Ib pawg neeg lub luag haujlwm rau MS SQL tau muab faib (muaj ob peb ntawm lawv, qhov kev cia siab ntawm cov kev pabcuam rau lawv tsis zoo, tab sis cov txheej txheem rau kev rov ua haujlwm dua yuav siv sijhawm ntev dua thiab nyuaj dua, piv txwv li Cassandra).
Kev nyuaj siab
15: 25. Cov ntaub ntawv tau txais txog kev kaw lub hwj chim hauv plaub lub tsev tawm ntawm 16 (No. 6, 7, 8, 9). Peb cov khoom siv nyob hauv chav 7 thiab 8. Tsis muaj ntaub ntawv hais txog peb ob lub tsev (No. 1 thiab 3).
Feem ntau, thaum muaj hluav taws kub, cov khoom siv hluav taws xob raug tua tam sim ntawd, tab sis qhov no, ua tsaug rau kev sib koom ua haujlwm ntawm cov neeg tua hluav taws thiab cov neeg ua haujlwm ntawm cov ntaub ntawv chaw, nws tsis tau muab tua txhua qhov chaw thiab tsis yog tam sim ntawd, tab sis raws li qhov tsim nyog.
(Tom qab pom tias lub hwj chim tsis raug kaw hauv chav 8 thiab 9.)
15:28. Peb tab tom pib xa MS SQL databases los ntawm kev thaub qab hauv lwm cov chaw khaws ntaub ntawv.
Yuav siv sijhawm ntev npaum li cas? Puas muaj peev xwm network txaus rau tag nrho txoj kev?
15: 37. Kev kaw ntawm qee qhov ntawm lub network tau kaw.
Kev tswj hwm thiab kev tsim khoom lag luam yog lub cev cais tawm ntawm ib leeg. Yog tias lub network tsim muaj, ces koj tuaj yeem mus rau lub server, nres daim ntawv thov thiab tua OS. Yog tias nws tsis muaj, ces koj tuaj yeem nkag rau hauv IPMI, nres daim ntawv thov thiab tua OS. Yog tias tsis muaj lub network, ces koj ua tsis tau dab tsi. "Ua tsaug, Cap!", koj yuav xav.
"Thiab feem ntau, muaj kev ntxhov siab ntau," koj kuj yuav xav.
Qhov tshaj plaws yog tias cov servers, txawm tias tsis muaj hluav taws kub, tsim kom muaj cua sov ntau. Ntau qhov tseeb, thaum muaj cua txias, lawv tsim cov cua sov, thiab thaum tsis muaj cua txias, lawv tsim lub ntuj raug txim inferno, uas, qhov zoo tshaj plaws, yuav yaj ib feem ntawm cov cuab yeej thiab tua lwm qhov, thiab qhov phem tshaj ... hluav taws nyob rau hauv lub tsev, uas yuav luag guaranteed ua kom puas txhua yam.
15:39 ib. Peb kho cov teeb meem nrog conf database.
Conf database yog lub backend rau cov kev pabcuam ntawm tib lub npe, uas yog siv los ntawm txhua daim ntawv thov kev tsim khoom kom hloov pauv sai sai. Yog tsis muaj lub hauv paus no, peb tsis tuaj yeem tswj hwm kev ua haujlwm ntawm lub portal, tab sis lub portal nws tus kheej tuaj yeem ua haujlwm.
15:41 ib. Kub sensors ntawm Core network cov cuab yeej sau ntawv nyeem ze rau qhov siab tshaj plaws tso cai. Qhov no yog lub thawv uas tuav tag nrho cov khib nyiab thiab ua kom muaj kev ua haujlwm ntawm txhua lub tes hauj lwm hauv cov ntaub ntawv chaw.
15:42 ib. Qhov teeb meem tracker thiab wiki yog tsis muaj, hloov mus rau standby.
Qhov no tsis yog ntau lawm, tab sis thaum muaj xwm txheej, qhov muaj ntawm txhua qhov kev paub hauv paus tuaj yeem yog qhov tseem ceeb.
15:50 Nws. Ib qho ntawm cov kev saib xyuas tau raug kaw.
Muaj ob peb ntawm lawv, thiab lawv muaj lub luag haujlwm rau ntau yam ntawm cov kev pabcuam. Qee tus ntawm lawv tau teeb tsa los ua haujlwm autonomously nyob rau hauv txhua qhov chaw cov ntaub ntawv (uas yog, lawv saib xyuas lawv tus kheej cov ntaub ntawv chaw), lwm tus muaj cov khoom sib faib uas pob tshab kom muaj sia nyob qhov poob ntawm ib qho chaw khaws ntaub ntawv.
Hauv qhov no nws nres ua haujlwm , uas ua haujlwm nyob rau hauv master-standby hom. Hloov mus rau standby.
Kev saws me nyuam
15:51 : kuv. Tag nrho cov servers tshwj tsis yog MS SQL raug kaw ntawm IPMI yam tsis tau kaw kom raug.
Koj puas npaj txhij rau kev tswj hwm server loj ntawm IPMI yog tias tsim nyog?
Lub sijhawm thaum kev cawm ntawm cov cuab yeej siv hauv cov chaw khaws ntaub ntawv tau ua tiav nyob rau theem no. Txhua yam uas yuav ua tau tau ua tiav. Qee cov npoj yaig tuaj yeem so.
16: 13. Cov ntaub ntawv tau txais tias cov kav dej freon los ntawm cov tshuab cua txias tau tawg rau ntawm lub ru tsev - qhov no yuav ncua kev tso tawm ntawm cov ntaub ntawv chaw tom qab tua hluav taws.
16:19. Raws li cov ntaub ntawv tau txais los ntawm cov neeg ua haujlwm technical ntawm cov ntaub ntawv chaw, qhov nce hauv qhov kub thiab txias hauv chav tsev tau nres.
17:10. Conf database tau rov qab los. Tam sim no peb tuaj yeem hloov kho daim ntawv thov.
Vim li cas qhov no tseem ceeb heev yog tias txhua yam ua txhaum cai thiab ua haujlwm txawm tias tsis muaj ib lub chaw khaws ntaub ntawv?
Firstly, tsis yog txhua yam yog txhaum-tolerant. Muaj ntau yam kev pabcuam thib ob uas tseem tsis tau muaj txoj sia nyob hauv cov ntaub ntawv chaw ua haujlwm tsis zoo txaus, thiab muaj cov ntaub ntawv hauv hom tswv-standby. Lub peev xwm los tswj cov chaw tso cai rau koj ua txhua yam tsim nyog los txo qhov cuam tshuam ntawm qhov tshwm sim ntawm kev sib tsoo ntawm cov neeg siv txawm tias nyob rau hauv cov xwm txheej nyuaj.
Qhov thib ob, nws tau pom tseeb tias kev ua haujlwm ntawm cov chaw khaws ntaub ntawv yuav tsis rov qab los tag nrho hauv cov sijhawm tom ntej, yog li nws yuav tsum tau siv cov kev ntsuas los xyuas kom meej tias qhov tsis muaj sijhawm ntev ntawm cov khoom siv rov ua dua tsis ua rau muaj teeb meem ntxiv xws li tag nrho cov disks hauv. cov chaw khaws ntaub ntawv tseem tshuav.
17:29 : kuv. Pizza lub sijhawm! Peb ntiav neeg, tsis yog neeg hlau.
Rehabilitation
18:02 ib. Hauv chav tsev No.8 (peb), 9, 10 thiab 11 qhov kub tau ruaj khov. Ib qho ntawm cov uas tseem nyob offline (No. 7) nyob hauv peb cov khoom siv, thiab qhov kub ntawm qhov ntawd tseem nce ntxiv.
18:31. Lawv tau muab txoj kev mus ua ntej los pib cov khoom siv hauv chav tsev 1 thiab 3 - cov chav tsev no tsis cuam tshuam los ntawm hluav taws.
Tam sim no, cov servers tau raug tso tawm hauv chav No. 1, 3, 8, pib nrog qhov tseem ceeb tshaj plaws. Kev ua haujlwm raug ntawm txhua qhov kev pabcuam khiav yog raug kuaj xyuas. Tseem muaj teeb meem nrog chav tsev 7.
18:44 ib. Cov neeg ua hauj lwm ntawm cov ntaub ntawv chaw nrhiav pom tias nyob rau hauv chav No. 7 (qhov twg tsuas yog peb cov cuab yeej nyob) muaj ntau lub servers tsis raug tua. Raws li peb cov ntaub ntawv, 26 servers tseem nyob online nyob ntawd. Tom qab kuaj thib ob, peb pom 58 servers.
20:18. Cov kws tshaj lij hauv cov ntaub ntawv tshuab tshuab cua los ntawm chav tsev tsis muaj cua txias los ntawm cov ducts txawb khiav los ntawm txoj hauv kev.
23:08 ib. Thawj tus thawj coj raug xa mus tsev. Ib tug yuav tsum tau pw hmo ntuj thiaj li ua haujlwm ntxiv rau tag kis. Tom ntej no, peb yuav tso qee tus thawj tswj hwm thiab tsim tawm.
02:56 ib. Peb launched txhua yam uas yuav tsum tau launched. Peb ua ntau yam kev kuaj xyuas tag nrho cov kev pabcuam uas siv cov kev xeem tsis siv neeg.
03:02 ib. Cov cua txias hauv qhov kawg, 7th Hall tau rov qab los.
03:36 ib. Peb coj cov pem hauv ntej hauv cov ntaub ntawv chaw rau hauv kev sib hloov hauv DNS. Txij lub sijhawm no cov neeg siv tsheb pib tuaj txog.
Peb tab tom xa feem ntau ntawm pab pawg tswj hwm tsev. Tab sis peb tso ob peb tug neeg tom qab.
FAQ me me:
Q: Dab tsi tshwm sim thaum 18:31 txog 02:56?
A: Ua raws li "Kev Npaj Ua Haujlwm Kev Puas Tsuaj", peb tso tag nrho cov kev pabcuam, pib nrog cov tseem ceeb tshaj plaws. Nyob rau hauv rooj plaub no, tus neeg saib xyuas hauv kev sib tham tau teeb tsa cov kev pabcuam rau tus thawj coj dawb, uas kuaj xyuas seb OS thiab daim ntawv thov tau pib, puas muaj qhov yuam kev, thiab seb qhov ntsuas tau zoo li cas. Tom qab kev tshaj tawm tiav lawm, nws ceeb toom rau kev sib tham tias nws yog dawb thiab tau txais kev pabcuam tshiab los ntawm tus neeg koom tes.
Cov txheej txheem yog txuas ntxiv qeeb los ntawm kev kho vajtse ua tsis tiav. Txawm hais tias nres lub OS thiab kaw cov servers mus kom raug, qee cov servers tsis rov qab los vim qhov tsis ua tiav ntawm cov disks, nco, thiab chassis. Thaum lub zog poob, qhov tsis ua haujlwm nce.
Q: Vim li cas koj tsis tuaj yeem khiav txhua yam ib zaug, thiab tom qab ntawd kho dab tsi tshwm sim hauv kev saib xyuas?
A: Txhua yam yuav tsum tau ua kom maj mam, vim tias muaj kev vam khom ntawm cov kev pabcuam. Thiab txhua yam yuav tsum tau soj ntsuam tam sim ntawd, tsis tas yuav tsum tau saib xyuas - vim tias nws yog qhov zoo dua los daws cov teeb meem tam sim ntawd, tsis tas tos kom lawv hnyav dua.
7:40 ib. Lub xeem admin (coordinator) mus pw. Thawj hnub ua haujlwm tiav lawm.
8:09 ib. Thawj cov neeg tsim khoom, cov ntaub ntawv chaw tsim khoom thiab cov thawj coj (nrog rau tus neeg ua haujlwm tshiab) tau pib ua haujlwm kho dua tshiab.
09:37 ib. Peb pib tsa lub tsev 7 (lub xeem kawg).
Nyob rau tib lub sijhawm, peb txuas ntxiv kho qhov uas tsis tau kho hauv lwm chav: hloov disks / nco / servers, kho txhua yam uas "hlawv" hauv kev saib xyuas, hloov lub luag haujlwm rov qab rau hauv cov tswv yim-standby thiab lwm yam me me, uas muaj. txawm li cas los xij ntau heev.
17:08 ib. Peb tso cai rau txhua qhov kev ua haujlwm tsis tu ncua nrog ntau lawm.
21:45 ib. Cov hauj lwm ntawm hnub thib ob yog tiav.
09:45 ib. Hnub no yog hnub Friday. Tseem muaj qee qhov teeb meem me me hauv kev saib xyuas. Hnub so ua ntej, txhua tus xav so. Peb txuas ntxiv kho loj heev txhua yam peb ua tau. Cov haujlwm tswj hwm tsis tu ncua uas tuaj yeem raug ncua tau raug ncua. Tus coordinator yog tshiab.
15:40 Nws. Dheev ib nrab ntawm cov khoom siv hauv Core network pawg hauv LEEJ TWG cov ntaub ntawv rov pib dua. Pem hauv ntej raug coj tawm ntawm kev sib hloov kom txo tau qhov txaus ntshai. Tsis muaj kev cuam tshuam rau cov neeg siv. Tom qab ntawd nws muab tawm tias nws yog ib qho faulty chassis. Tus neeg saib xyuas ua haujlwm kho ob qhov xwm txheej ib zaug.
17:17. Kev ua haujlwm hauv network hauv lwm qhov chaw khaws ntaub ntawv tau rov qab los, txhua yam tau kuaj xyuas. Cov ntaub ntawv chaw muab tso rau hauv kev sib hloov.
18:29 : kuv. Kev ua haujlwm ntawm hnub thib peb thiab, feem ntau, kev kho dua tshiab tom qab kev sib tsoo tiav lawm.
Tom qab ntawd
Xyoo 04.04.2013 , "Cov phooj ywg" -rau peb hnub lub portal yog kiag li los yog ib feem tsis muaj. Thoob plaws lub sijhawm no, ntau dua 100 tus neeg los ntawm ntau lub nroog, los ntawm cov tuam txhab sib txawv (ua tsaug ntau!), nyob deb thiab ncaj qha hauv cov chaw khaws ntaub ntawv, manually thiab txiav, kho ntau txhiab servers.
Peb tau kos cov lus xaus. Txhawm rau tiv thaiv kom tsis txhob muaj qhov tshwm sim ntxiv, peb tau ua thiab txuas ntxiv ua haujlwm ntau ntxiv mus txog niaj hnub no.
Dab tsi yog qhov txawv ntawm qhov xwm txheej tam sim no thiab 404?
- Peb muaj "Accident Action Plan". Ib zaug peb lub hlis twg, peb ua kev tawm dag zog - peb ua lub luag haujlwm ua qhov xwm txheej kub ntxhov, uas ib pab pawg neeg tswj hwm (tag nrho cov tig) yuav tsum tshem tawm siv "Kev Npaj Ua Haujlwm Kub Ceev". Cov thawj coj tswj hwm kev ua haujlwm tau hloov pauv ua lub luag haujlwm ntawm tus tswj hwm.
- Peb lub hlis twg, nyob rau hauv kev sim hom, peb cais cov chaw zov me nyuam (tag nrho cov nyob rau hauv lem) ntawm LAN thiab WAN tes hauj lwm, uas tso cai rau peb kom sai li sai tau txheeb xyuas cov bottlenecks.
- Tsawg dua cov disks puas, vim tias peb tau nruj cov qauv: tsawg dua cov sij hawm ua haujlwm, cov nqi qis dua rau S.M.A.R.T.,
- Peb tau tso tseg tag nrho BerkeleyDB, cov ntaub ntawv qub thiab tsis ruaj khov uas yuav tsum tau siv sijhawm ntau los rov qab los tom qab lub server rov pib dua.
- Peb txo tus naj npawb ntawm cov servers nrog MS SQL thiab txo qhov kev vam khom rau cov seem.
- Peb muaj peb tus kheej , qhov twg peb tau nquag tsiv teb tsaws txhua qhov kev pabcuam rau ob xyoos tam sim no. Cov huab ua kom yooj yim rau tag nrho lub voj voog ntawm kev ua haujlwm nrog daim ntawv thov, thiab thaum muaj xwm txheej nws muab cov cuab yeej tshwj xeeb xws li:
- raug nres ntawm txhua daim ntawv thov hauv ib nias;
- yooj yim tsiv teb tsaws ntawm daim ntawv thov los ntawm cov servers ua tsis tiav;
- ranked tsis siv neeg (nyob rau hauv kev txiav txim ntawm qhov tseem ceeb ntawm cov kev pab cuam) pib ntawm tag nrho cov ntaub ntawv chaw.
Qhov xwm txheej tau piav qhia hauv tsab xov xwm no yog qhov loj tshaj plaws txij li hnub 404. Tau kawg, tsis yog txhua yam mus zoo. Piv txwv li, thaum lub sij hawm tsis muaj hluav taws kub-kev puas tsuaj cov ntaub ntawv nyob rau hauv lwm cov ntaub ntawv chaw, ib tug disk ntawm ib tug ntawm cov servers ua tsis tau tejyam, uas yog, tsuas yog ib tug ntawm peb replicas nyob rau hauv lub Cassandra pawg tseem siv tau, uas yog vim li cas 4,2% ntawm mobile. cov neeg siv daim ntawv thov tsis tuaj yeem nkag mus. Tib lub sijhawm, cov neeg siv txuas nrog txuas ntxiv ua haujlwm. Nyob rau hauv tag nrho, raws li qhov tshwm sim ntawm kev huam yuaj, ntau tshaj 30 teeb meem tau txheeb xyuas - los ntawm banal kab mus rau shortcomings nyob rau hauv cov kev pab cuam architecture.
Tab sis qhov sib txawv tseem ceeb tshaj plaws ntawm kev sib tsoo tam sim no thiab 404th yog tias thaum peb tshem tawm qhov tshwm sim ntawm qhov hluav taws kub, cov neeg siv tseem tau xa ntawv thiab hu xov tooj rau video. , ua si, mloog nkauj, muab khoom plig rau ib leeg, saib cov yeeb yaj kiab, TV series thiab TV hauv , thiab kuj streamed nyob rau hauv .
Koj qhov xwm txheej mus li cas?
Tau qhov twg los: www.hab.com