Hlo Habr! Kuv nthuav qhia rau koj mloog cov lus txhais ntawm tsab xov xwm los ntawm Andrew Beekhof.
Ntau tus neeg nyiam ob-node pawg vim tias lawv zoo li lub tswv yim yooj yim dua thiab tseem yog 33% pheej yig dua li lawv peb-node counterparts. Txawm hais tias nws muaj peev xwm muab tso ua ke ib pawg zoo ntawm ob lub nodes, feem ntau, vim tsis muaj qhov xwm txheej, qhov kev teeb tsa no yuav tsim ntau yam teeb meem tsis pom tseeb.
Thawj kauj ruam los tsim ib qho kev muaj peev xwm siab tshaj plaws yog nrhiav thiab sim tshem tawm cov ntsiab lus ntawm kev ua tsis tiav ntawm tus kheej, feem ntau abbreviated li SPoF (ib qho taw tes ntawm kev ua tsis tiav).
Nws yog tsim nyog nco ntsoov tias nws tsis tuaj yeem tshem tawm tag nrho cov kev pheej hmoo ntawm kev poob qis hauv txhua qhov system. Qhov no tshwm sim los ntawm qhov tseeb tias kev tiv thaiv ib txwm tiv thaiv kev pheej hmoo yog los qhia qee qhov kev rov ua dua, uas ua rau muaj kev cuam tshuam ntau ntxiv thiab qhov tshwm sim ntawm cov ntsiab lus tshiab ntawm kev ua tsis tiav. Yog li ntawd, peb pib ua kom muaj kev sib haum xeeb thiab tsom mus rau cov xwm txheej cuam tshuam nrog tus kheej cov ntsiab lus ntawm kev ua tsis tiav, thiab tsis yog nyob rau hauv cov chains ntawm kev cuam tshuam thiab, yog li ntawd, qhov tshwm sim tsawg dua yuav tshwm sim.
Muab qhov kev lag luam tawm, peb tsis tsuas yog saib rau SPoF, tab sis kuj tseem tshuav qhov kev pheej hmoo thiab qhov tshwm sim, vim qhov kev txiav txim siab ntawm qhov tseem ceeb thiab qhov tsis yog qhov txawv ntawm txhua qhov kev xa tawm.
Tsis yog txhua tus xav tau lwm cov khoom siv hluav taws xob nrog cov kab hluav taws xob ywj pheej. Txawm hais tias tus paranoia them nyiaj tsawg kawg yog ib tus neeg siv khoom thaum lawv cov kev soj ntsuam kuaj pom qhov hloov pauv tsis raug. Cov neeg siv khoom tau hu xov tooj sim ceeb toom lub tuam txhab hluav taws xob kom txog thaum lub tshuab hloov pauv tsis raug tawg.
Lub ntsiab pib ntawm ntuj yog kom muaj ntau tshaj ib qho ntawm qhov system. Txawm li cas los xij, ua ntej lub kaw lus tuaj yeem txav tau cov kev pabcuam mus rau qhov muaj sia nyob tom qab ua tsis tiav, nws feem ntau yuav tsum tau ua kom ntseeg tau tias cov kev pabcuam raug txav mus los tsis ua haujlwm rau lwm qhov.
Tsis muaj downside rau ob-node pawg yog tias qhov ua tsis tiav hauv ob lub nodes pab tib lub vev xaib zoo li qub. Txawm li cas los xij, tej yam hloov pauv yog tias qhov tshwm sim yog tias ob tog ntawm nws tus kheej tswj hwm txoj haujlwm sib koom ua ke lossis muab kev sau ntawv tsis sib haum xeeb rau cov ntaub ntawv rov ua dua lossis cov ntaub ntawv sib koom.
Yog li ntawd, txhawm rau tiv thaiv cov ntaub ntawv kev noj nyiaj txiag los ntawm ib qho ntawm ib qho tsis ua haujlwm - peb cia siab rau qee yam hu ua "kev sib cais" (fencing).
Lub hauv paus ntsiab lus ntawm dissociation
Hauv plawv ntawm lub hauv paus ntsiab lus ntawm dissociation yog lo lus nug: puas tuaj yeem sib tw ntawm cov ntaub ntawv kev noj nyiaj txiag? Nyob rau hauv cov ntaub ntawv kev noj nyiaj txiag yog ib tug scenario, ib qho kev daws teeb meem zoo yuav yog cais cov node los ntawm ob qho kev thov tuaj thiab tsis tu ncua cia. Txoj hauv kev zoo tshaj plaws rau disassociation yog disconnect tus faulty nodes.
Muaj ob pawg ntawm dissociation txoj kev, uas kuv yuav hu ncaj qha ΠΈ tsis ncaj, tab sis lawv muaj peev xwm sib npaug nquag ΠΈ passive. Cov txheej txheem ncaj qha suav nrog kev ua ntawm ib feem ntawm cov phooj ywg tseem muaj sia nyob, xws li kev sib cuam tshuam nrog IPMI (Intelligent Platform Management Interface) lossis iLO (ib txoj hauv kev los tswj cov servers thaum tsis muaj lub cev nkag mus rau lawv) ntaus ntawv, thaum txoj hauv kev tsis ncaj ncees cia siab rau qhov ua tsis tiav. node rau qee yam lees paub tias nws nyob hauv lub xeev tsis zoo (lossis tsawg kawg tiv thaiv lwm tus tswvcuab kom rov zoo) thiab teeb liab hais txog qhov yuav tsum tau disconnect lub node ua tsis tau tejyam.
Pawg pab thaum siv ob txoj hauv kev ncaj nraim thiab tsis ncaj.
Direct dissociation
Nyob rau hauv cov ntaub ntawv ntawm kev sib cais ncaj qha, peb tuaj yeem siv pawg pawg los tiv thaiv kev sib cais ntawm kev sib tw thaum muaj kev sib koom tes tsis ua haujlwm.
Nrog rau lub tswv yim ntawm pawg pawg, muaj cov ntaub ntawv txaus hauv lub kaw lus (txawm tias tsis txuas nrog nws cov phooj ywg) rau cov nodes kom paub seb lawv puas yuav tsum pib dissociation thiab / lossis rov qab los.
Yog tsis muaj pawg ntseeg, ob tog ntawm kev sib faib hauv lub network yuav raug xav tias sab nraud tuag thiab yuav nrhiav kev cuam tshuam rau lwm tus. Hauv qhov phem tshaj plaws, ob tog tswj hwm kaw tag nrho pawg. Lwm qhov xwm txheej yog qhov kev sib tw tuag, qhov tsis muaj qhov kawg ntawm cov pob txha spawning, tsis pom lawv cov phooj ywg, rov pib dua lawv, thiab pib rov qab los tsuas yog rov pib dua thaum lawv cov phooj ywg ua raws tib lub tswv yim.
Qhov teeb meem nrog kev tsis sib haum xeeb yog tias cov cuab yeej siv feem ntau dhau los ua tsis tau vim yog tib qho xwm txheej tsis ua haujlwm uas peb xav tau lub hom phiaj rau kev rov qab los. Feem ntau daim npav IPMI thiab iLO tau teeb tsa rau ntawm cov tswv uas lawv tswj hwm thiab, los ntawm lub neej ntawd, siv tib lub network, uas ua rau lub hom phiaj tus tswv ntseeg tias lwm tus tswv yog offline.
Hmoov tsis zoo, kev ua haujlwm ntawm IPMI thiab iLo cov cuab yeej tsis tshua pom zoo thaum lub sijhawm yuav khoom.
Indirect dissociation
Pawg kuj tseem ceeb heev rau kev tswj hwm kev tsis sib haum xeeb tsis ncaj; yog tias ua kom raug, pawg tuaj yeem tso cai rau cov neeg muaj txoj sia nyob xav tias cov nodes ploj yuav hloov mus rau lub xeev muaj kev nyab xeeb tom qab qee lub sijhawm.
Nrog rau qhov kev teeb tsa no, lub hardware watchdog timer rov pib dua txhua N vib nas this yog tias pawg pawg tsis ploj. Yog tias lub sijhawm teem sijhawm (feem ntau ntau ntau ntawm N) tas sijhawm, tom qab ntawd lub cuab yeej ua lub zog tsis zoo (tsis yog kaw).
Txoj hauv kev no muaj txiaj ntsig zoo, tab sis tsis muaj pawg pawg tsis muaj cov ntaub ntawv txaus hauv pawg tswj hwm. Nws tsis yog ib qho yooj yim los qhia qhov txawv ntawm lub network tsis ua haujlwm thiab cov phooj ywg ntawm qhov tsis ua haujlwm. Yog vim li cas qhov no tseem ceeb yog tias tsis muaj peev xwm sib txawv ntawm ob qhov xwm txheej, koj raug yuam kom xaiv tus cwj pwm zoo ib yam hauv ob qho tib si.
Qhov teeb meem ntawm kev xaiv ib hom yog tias tsis muaj qhov kev txiav txim siab uas ua kom muaj ntau tshaj plaws thiab tiv thaiv cov ntaub ntawv poob.
- Yog tias koj xaiv los xav tias tus phooj ywg node ua haujlwm tab sis qhov tseeb ua tsis tiav, pawg yuav tsis tas yuav tsum tau tso tseg cov kev pabcuam uas yuav ua haujlwm los them rau qhov poob ntawm cov kev pabcuam los ntawm cov neeg ua haujlwm tsis ua haujlwm.
- Yog tias koj txiav txim siab xav tias qhov node poob qis, tab sis nws tsuas yog lub network tsis ua haujlwm thiab qhov tseeb ntawm cov chaw taws teeb tswj kev ua haujlwm, ces qhov zoo tshaj plaws koj tau kos npe rau qee qhov kev sib koom ua ke yav tom ntej ntawm cov ntaub ntawv tshwm sim.
Txawm hais tias koj siv heuristic dab tsi, nws yog qhov tsis tseem ceeb los tsim qhov tsis ua haujlwm uas yuav ua rau ob tog ua tsis tiav lossis ua rau pawg kaw rau ntawm cov ciaj sia. Tsis siv pawg ntseeg tiag tiag deprives pawg ntawm ib qho ntawm cov cuab yeej muaj zog tshaj plaws hauv nws cov arsenal.
Yog tias tsis muaj lwm txoj hauv kev, txoj hauv kev zoo tshaj plaws yog kev txi muaj (ntawm no tus sau yog hais txog CAP theorem). Muaj ntau cov ntaub ntawv tsis zoo tsis pab leej twg, thiab manually reconciling cov ntaub ntawv sib txawv tsis yog lom zem.
Pawg
Quorum suab zoo heev, txoj cai?
Qhov tsuas yog downside yog tias thiaj li muaj nws nyob rau hauv ib pawg nrog N cov tswv cuab, koj yuav tsum muaj kev sib txuas ntawm N / 2 + 1 ntawm koj cov nodes seem. Uas tsis tuaj yeem ua tau nyob rau hauv ob pawg pawg tom qab ib qho tsis ua tiav.
Qhov kawg coj peb mus rau qhov teeb meem tseem ceeb nrog ob lub nodes:
Quorum tsis ua rau muaj kev nkag siab zoo hauv ob pawg ntawm pawg, thiab yog tias tsis muaj nws tsis tuaj yeem txiav txim siab qhov kev txiav txim siab uas ua kom muaj ntau tshaj plaws thiab tiv thaiv cov ntaub ntawv poob.
Txawm tias nyob rau hauv ib qho system ntawm ob lub nodes txuas los ntawm ib tug crossover cable, nws yog tsis yooj yim sua kom paub meej qhov txawv ntawm ib tug network outage thiab ib tug tsis ua hauj lwm ntawm lwm cov node. Disabling ib kawg (qhov yuav tshwm sim uas yog, ntawm chav kawm, proportional rau qhov kev ncua deb ntawm cov nodes) yuav txaus rau invalidate tej kev xav tias kev noj qab haus huv ntawm qhov txuas yog sib npaug rau kev noj qab haus huv ntawm tus khub node.
Ua haujlwm ob-node pawg ua haujlwm
Qee zaum tus neeg siv khoom tsis tuaj yeem lossis tsis xav yuav qhov thib peb ntawm, thiab peb raug yuam kom nrhiav lwm txoj hauv kev.
Option 1 - Duplicate dissociation method
Ib lub ntawm iLO lossis IPMI ntaus ntawv sawv cev rau qhov tsis ua haujlwm vim tias, yog tias nws ua tsis tiav, cov neeg muaj txoj sia nyob tsis tuaj yeem siv nws los coj cov node mus rau lub xeev nyab xeeb. Hauv ib pawg ntawm 3 lossis ntau dua nodes, peb tuaj yeem txo qhov no los ntawm kev suav cov pawg thiab siv cov khoom siv saib xyuas (ib qho kev cuam tshuam ncaj qha, raws li tau tham dhau los). Nyob rau hauv cov ntaub ntawv ntawm ob lub nodes, peb yuav tsum siv network power distribution units (PDUs) xwb.
Tom qab qhov ua tsis tiav, tus neeg muaj txoj sia nyob thawj zaug sim hu rau thawj lub cuab yeej disassociation (embedded iLO lossis IPMI). Yog tias qhov no ua tiav, kev rov qab mus txuas ntxiv li qub. Tsuas yog tias lub cuab yeej iLO / IPMI tsis ua haujlwm yog PDU nkag mus; yog tias nkag mus tau zoo, kev rov qab tuaj yeem txuas ntxiv mus.
Nco ntsoov muab PDU tso rau ntawm ib lub network sib txawv dua li cov tsheb khiav, txwv tsis pub ib lub network tsis ua haujlwm yuav thaiv kev nkag mus rau ob qho tib si disassociation thiab thaiv cov kev pabcuam rov qab.
Ntawm no koj tuaj yeem nug - puas yog PDU ib qho kev ua tsis tiav? Qhov twg cov lus teb yog, tau kawg nws yog.
Yog tias qhov kev pheej hmoo no tseem ceeb rau koj, koj tsis nyob ib leeg: txuas ob lub nodes rau ob lub PDUs thiab qhia rau pawg software siv ob qho tib si thaum lub hwj chim ntawm cov nodes rau thiab tawm. Cov pawg tam sim no tseem ua haujlwm yog tias ib tus PDU tuag, thiab qhov ua tsis tiav thib ob ntawm lwm tus PDU lossis IPMI ntaus ntawv yuav tsum tau thaiv kev rov qab los.
Option 2 - Ntxiv ib tug Arbiter
Hauv qee qhov xwm txheej, thaum txoj kev sib cais ntawm kev sib cais yog technically ua tau, nws nyuaj rau kev nom kev tswv. Ntau lub tuam txhab nyiam kom muaj qee qhov sib cais ntawm cov thawj coj thiab cov tswv daim ntawv thov, thiab cov thawj coj saib xyuas kev ruaj ntseg tsis yog ib txwm zoo siab txog kev sib koom PDU kev nkag mus rau lwm tus.
Nyob rau hauv cov ntaub ntawv no, qhov kev pom zoo lwm txoj kev yog los tsim ib tug nruab nrab thib peb tog uas muaj peev xwm ntxiv rau cov kev xam ntawm pawg.
Nyob rau hauv qhov kev tshwm sim ntawm ib tug tsis ua hauj lwm, ib tug node yuav tsum muaj peev xwm pom lub airwaves ntawm nws cov phooj ywg los yog arbiter nyob rau hauv thiaj li yuav restore cov kev pab cuam. Tus arbiter kuj suav nrog kev cuam tshuam kev ua haujlwm yog tias ob lub nodes tuaj yeem pom tus arbiter tab sis tsis tuaj yeem pom ib leeg.
Qhov kev xaiv no yuav tsum tau siv ua ke nrog txoj kev sib cais tsis ncaj, xws li cov khoom siv saib xyuas lub sijhawm, uas tau teeb tsa los tua lub tshuab yog tias nws poob kev sib txuas rau nws cov phooj ywg thiab cov arbiter node. Yog li, tus neeg muaj txoj sia nyob tuaj yeem xav tias nws cov phooj ywg node yuav nyob hauv lub xeev ruaj ntseg tom qab lub hardware watchdog timer tas sij hawm.
Qhov sib txawv ntawm qhov sib txawv ntawm tus arbiter thiab ib qho thib peb yog tias tus arbiter yuav tsum muaj peev txheej tsawg dua los ua haujlwm thiab tuaj yeem ua haujlwm ntau dua ib pawg.
Kev xaiv 3 - Tib neeg yam
Txoj hauv kev kawg yog rau cov neeg muaj txoj sia nyob mus txuas ntxiv ua haujlwm txawm li cas los xij lawv twb tau khiav lawm, tab sis tsis pib cov tshiab kom txog thaum qhov teeb meem daws nws tus kheej (network restore, node reboot) los yog ib tug neeg ua lub luag hauj lwm rau manually paub tseeb tias lwm sab yog tuag.
Ntxiv kev xaiv
Kuv puas tau hais tias koj tuaj yeem ntxiv qhov thib peb?
Ob chav racks
Rau qhov kev sib cav, cia peb ua piv txwv tias kuv tau ntseeg koj ntawm qhov zoo ntawm qhov thib peb ntawm, tam sim no peb yuav tsum xav txog kev npaj lub cev ntawm cov nodes. Yog tias lawv nyob hauv tsev (thiab siv hluav taws xob) hauv tib lub khib, qhov no kuj yog SPoF, thiab ib qho uas tsis tuaj yeem daws tau los ntawm kev ntxiv cov khib nyiab thib ob.
Yog tias qhov no yog qhov xav tsis thoob, xav txog dab tsi yuav tshwm sim yog tias lub khib nrog ob lub nodes ua tsis tiav, thiab yuav ua li cas cov ciaj sia nyob yuav txawv ntawm qhov ntawd thiab lub network tsis ua haujlwm.
Cov lus teb luv luv yog tias nws tsis tuaj yeem ua tau, thiab dua peb tab tom daws txhua qhov teeb meem hauv rooj plaub thib ob. Los yog survivor:
- tsis quav ntsej pawg pawg thiab tsis raug sim los pib kho dua tshiab thaum lub sijhawm sib txuas hauv network (lub peev xwm ua kom tiav dissociation yog ib zaj dab neeg sib txawv thiab nyob ntawm seb PDU puas koom nrog thiab seb lawv puas koom nrog ib qho ntawm cov racks), lossis
- hwm pawg thiab txiav nws tus kheej ua ntej thaum nws cov phooj ywg tsis ua haujlwm
Txawm li cas los xij, ob lub racks tsis zoo dua li ib qho, thiab cov nodes yuav tsum tau txais cov khoom siv hluav taws xob ywj pheej lossis faib thoob peb (lossis ntau dua, nyob ntawm seb koj muaj pes tsawg leeg) racks.
Ob lub chaw zov me nyuam
Nyob rau lub sijhawm no, cov neeg nyeem uas tsis muaj kev pheej hmoo txaus ntshai yuav xav xav txog kev rov qab los ntawm kev puas tsuaj. Yuav ua li cas tshwm sim thaum lub asteroid tsoo tib lub chaw cov ntaub ntawv nrog peb cov nodes kis mus rau peb txawv racks? Obviously Phem Yam, tab sis nyob ntawm koj cov kev xav tau, ntxiv cov ntaub ntawv thib ob yuav tsis txaus.
Yog tias ua tiav lawm, qhov chaw thib ob muab cov ntaub ntawv rau koj (thiab tsim nyog li ntawd) nrog rau cov ntaub ntawv tshiab thiab zoo ib yam ntawm koj cov kev pabcuam thiab lawv cov ntaub ntawv. Txawm li cas los xij, raws li nyob rau hauv ob-node, ob-rack scenarios, tsis muaj cov ntaub ntawv txaus hauv lub kaw lus kom ntseeg tau tias muaj ntau tshaj plaws thiab tiv thaiv kev noj nyiaj txiag (lossis cov ntaub ntawv teeb tsa tsis sib xws). Txawm tias muaj peb lub nodes (los yog racks), faib lawv hla tsuas yog ob lub chaw cov ntaub ntawv tawm hauv lub cev tsis tuaj yeem ntseeg tau qhov kev txiav txim siab zoo thaum muaj xwm txheej (tam sim no ntau dua) uas ob tog tsis tuaj yeem sib txuas lus.
Qhov no tsis txhais hais tias kev daws teeb meem dual data center yeej tsis haum. Cov tuam txhab feem ntau xav kom ib tus neeg paub txog ua ntej ua cov kauj ruam txawv tshaj plaw ntawm kev txav mus rau qhov chaw khaws ntaub ntawv thaub qab. Tsuas yog nco ntsoov tias yog tias koj xav kom ua kom lub qhov hluav taws xob tsis zoo, koj yuav xav tau qhov chaw thib peb cov ntaub ntawv rau pawg kom muaj kev nkag siab (txawm ncaj qha lossis los ntawm tus kws txiav txim plaub), lossis koj yuav pom txoj hauv kev kom ntseeg tau kaw tag nrho cov ntaub ntawv chaw.
Tau qhov twg los: www.hab.com