drbd+ocfs2 അടിസ്ഥാനമാക്കിയുള്ള ചെറിയ വെബ് ക്ലസ്റ്ററുകൾക്കുള്ള ക്ലസ്റ്റർ സംഭരണം

നമ്മൾ എന്തിനെ കുറിച്ച് സംസാരിക്കും:
drbd+ocfs2 സൊല്യൂഷനുകളെ അടിസ്ഥാനമാക്കി രണ്ട് സെർവറുകൾക്കായി പങ്കിട്ട സംഭരണം എങ്ങനെ വേഗത്തിൽ വിന്യസിക്കാം.

ഇത് ആർക്ക് ഉപയോഗപ്രദമാകും:
സിസ്റ്റം അഡ്‌മിനിസ്‌ട്രേറ്റർമാർക്കും സ്റ്റോറേജ് ഇംപ്ലിമെന്റേഷൻ രീതി തിരഞ്ഞെടുക്കുന്ന അല്ലെങ്കിൽ പരിഹാരം പരീക്ഷിക്കാൻ ആഗ്രഹിക്കുന്ന ആർക്കും ട്യൂട്ടോറിയൽ ഉപയോഗപ്രദമാകും.

എന്ത് തീരുമാനങ്ങളാണ് ഞങ്ങൾ നിരസിച്ചത്, എന്തുകൊണ്ട്?

ഒരു ചെറിയ വെബ് ക്ലസ്റ്ററിൽ നല്ല വായന-എഴുത്ത് പ്രകടനത്തോടെ പങ്കിട്ട സംഭരണം നടപ്പിലാക്കേണ്ട സാഹചര്യം പലപ്പോഴും നമ്മൾ അഭിമുഖീകരിക്കുന്നു. ഞങ്ങളുടെ പ്രോജക്റ്റുകൾക്കായി പങ്കിട്ട സംഭരണം നടപ്പിലാക്കുന്നതിന് ഞങ്ങൾ വിവിധ ഓപ്ഷനുകൾ പരീക്ഷിച്ചു, എന്നാൽ കുറച്ച് പേർക്ക് ഒരേസമയം നിരവധി സൂചകങ്ങളിൽ ഞങ്ങളെ തൃപ്തിപ്പെടുത്താൻ കഴിഞ്ഞു. എന്തുകൊണ്ടെന്ന് ഇപ്പോൾ ഞങ്ങൾ നിങ്ങളോട് പറയും.

• Glusterfs വായനയുടെയും എഴുത്തിന്റെയും പ്രകടനത്തിൽ ഞങ്ങളെ തൃപ്തിപ്പെടുത്തിയില്ല; ധാരാളം ഫയലുകൾ ഒരേസമയം വായിക്കുന്നതിൽ പ്രശ്‌നങ്ങളുണ്ടായിരുന്നു, കൂടാതെ സിപിയുവിൽ ഉയർന്ന ലോഡും ഉണ്ടായിരുന്നു. ഫയലുകൾ വായിക്കുന്നതിലെ പ്രശ്നം ഇഷ്ടികയിൽ നിന്ന് നേരിട്ട് ആക്സസ് ചെയ്യുന്നതിലൂടെ പരിഹരിക്കാവുന്നതാണ്, എന്നാൽ ഇത് എല്ലായ്പ്പോഴും ബാധകമല്ല, പൊതുവെ തെറ്റാണ്.

• 2-4 സെർവറുകളുള്ള പ്രോജക്റ്റുകളിൽ ഹാനികരമായേക്കാവുന്ന അമിതമായ സങ്കീർണ്ണത സെഫിന് ഇഷ്ടപ്പെട്ടില്ല, പ്രത്യേകിച്ചും പ്രോജക്റ്റ് പിന്നീട് പരിപാലിക്കുകയാണെങ്കിൽ. വീണ്ടും, ഗ്ലസ്റ്റർഫുകൾ പോലെ പ്രത്യേക സ്റ്റോറേജ് ക്ലസ്റ്ററുകൾ നിർമ്മിക്കാൻ ഞങ്ങളെ നിർബന്ധിക്കുന്ന ഗുരുതരമായ പ്രകടന പരിമിതികളുണ്ട്.

• പങ്കിട്ട സംഭരണം നടപ്പിലാക്കാൻ ഒരു NFS സെർവർ ഉപയോഗിക്കുന്നത് തെറ്റ് സഹിഷ്ണുതയുടെ കാര്യത്തിൽ ചോദ്യങ്ങൾ ഉയർത്തുന്നു.

• ഒരു നിശ്ചിത ശ്രേണിയിലുള്ള ജോലികൾക്കുള്ള മികച്ച ജനപ്രിയ പരിഹാരമാണ് s3, എന്നാൽ ഇത് ഒരു ഫയൽ സിസ്റ്റമല്ല, അത് അതിന്റെ വ്യാപ്തി കുറയ്ക്കുന്നു.

• lsyncd. നമ്മൾ ഇതിനകം തന്നെ "നോൺ-ഫയൽ സിസ്റ്റങ്ങളെക്കുറിച്ച്" സംസാരിക്കാൻ തുടങ്ങിയിട്ടുണ്ടെങ്കിൽ, ഈ ജനപ്രിയ പരിഹാരത്തെ മറികടക്കുന്നത് മൂല്യവത്താണ്. രണ്ട്-വഴി കൈമാറ്റത്തിന് ഇത് അനുയോജ്യമല്ലെന്ന് മാത്രമല്ല (നിങ്ങൾക്ക് ശരിക്കും വേണമെങ്കിൽ, നിങ്ങൾക്ക് കഴിയും), ഇത് ധാരാളം ഫയലുകളിൽ സ്ഥിരമായി പ്രവർത്തിക്കില്ല. മൊത്തത്തിൽ ഒരു നല്ല കൂട്ടിച്ചേർക്കൽ അത് ഒറ്റ-ത്രെഡ് ആണ്. കാരണം പ്രോഗ്രാമിന്റെ ആർക്കിടെക്ചറിലാണ്: വർക്ക് ഒബ്ജക്റ്റുകൾ നിരീക്ഷിക്കാൻ ഇത് ഇനോട്ടിഫൈ ഉപയോഗിക്കുന്നു, അത് സ്റ്റാർട്ടപ്പിലും റീസ്‌കാനിംഗ് സമയത്തും അസൈൻ ചെയ്യുന്നു. rsync ട്രാൻസ്ഫർ മീഡിയമായി ഉപയോഗിക്കുന്നു.

ട്യൂട്ടോറിയൽ: drbd+ocfs2 അടിസ്ഥാനമാക്കി പങ്കിട്ട സംഭരണം എങ്ങനെ വിന്യസിക്കാം

ഞങ്ങൾക്ക് ഏറ്റവും സൗകര്യപ്രദമായ പരിഹാരങ്ങളിലൊന്നാണ് ലിങ്ക് ocfs2+drbd. ഒരു സൊല്യൂഷൻ ഡാറ്റാബേസിനെ അടിസ്ഥാനമാക്കി രണ്ട് സെർവറുകൾക്കായി നിങ്ങൾക്ക് എങ്ങനെ പങ്കിട്ട സംഭരണം വേഗത്തിൽ വിന്യസിക്കാമെന്ന് ഇപ്പോൾ ഞങ്ങൾ നിങ്ങളോട് പറയും. എന്നാൽ ആദ്യം, ഘടകങ്ങളെ കുറിച്ച് കുറച്ച്:

ഡി.ആർ.ബി.ഡി - ബ്ലോക്കുകളിലെ സെർവറുകൾക്കിടയിൽ ഡാറ്റ പകർത്താൻ നിങ്ങളെ അനുവദിക്കുന്ന സ്റ്റാൻഡേർഡ് ലിനക്സ് വിതരണത്തിൽ നിന്നുള്ള ഒരു സ്റ്റോറേജ് സിസ്റ്റം. തെറ്റ്-സഹിഷ്ണുതയുള്ള സംഭരണം നിർമ്മിക്കുക എന്നതാണ് പ്രധാന ആപ്ലിക്കേഷൻ.

OCFS2 - ഒരേ സ്റ്റോറേജിന്റെ പല സിസ്റ്റങ്ങളും പങ്കിട്ട ഉപയോഗം നൽകുന്ന ഒരു ഫയൽ സിസ്റ്റം. ലിനക്സ് ഡിസ്ട്രിബ്യൂഷനിൽ ഉൾപ്പെടുത്തിയിട്ടുള്ളതും FS-ൽ പ്രവർത്തിക്കുന്നതിനുള്ള ഒരു കേർണൽ മൊഡ്യൂളും യൂസർസ്പേസ് ടൂളുകളുമാണ്. OCFS2 DRBD വഴി മാത്രമല്ല, ഒന്നിലധികം കണക്ഷനുകളുള്ള iSCSI വഴിയും ഉപയോഗിക്കാം. ഞങ്ങളുടെ ഉദാഹരണത്തിൽ ഞങ്ങൾ DRBD ഉപയോഗിക്കുന്നു.

എല്ലാ പ്രവർത്തനങ്ങളും ഏറ്റവും കുറഞ്ഞ കോൺഫിഗറേഷനിൽ ഉബുണ്ടു സെർവർ 18.04-ൽ നടത്തുന്നു.

ഘട്ടം 1. DRBD കോൺഫിഗർ ചെയ്യുക:

/etc/drbd.d/drbd0.res എന്ന ഫയലിൽ ഞങ്ങൾ ഞങ്ങളുടെ വെർച്വൽ ബ്ലോക്ക് ഉപകരണം /dev/drbd0 വിവരിക്കുന്നു:

resource drbd0 {
    syncer { rate 1000M; }
    net {
        allow-two-primaries;
        after-sb-0pri discard-zero-changes;
        after-sb-1pri discard-secondary;
        after-sb-2pri disconnect;
    }
    startup { become-primary-on both; }
    on drbd1 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.192:7789;
}
    on drbd2 {
        meta-disk internal;
        device /dev/drbd0;
        disk /dev/vdb1;
        address 10.10.10.193:7789;
}
}

മെറ്റാ ഡിസ്ക് ഇന്റേണൽ — മെറ്റാഡാറ്റ സംഭരിക്കുന്നതിന് അതേ ബ്ലോക്ക് ഉപകരണങ്ങൾ ഉപയോഗിക്കുക
ഉപകരണം /dev/drbd0 — drbd വോള്യത്തിലേക്കുള്ള പാതയായി /dev/drbd0 ഉപയോഗിക്കുക.
ഡിസ്ക് /dev/vdb1 - /dev/vdb1 ഉപയോഗിക്കുക
സമന്വയം {നിരക്ക് 1000M; } - ജിഗാബിറ്റ് ചാനൽ ബാൻഡ്‌വിഡ്ത്ത് ഉപയോഗിക്കുക
അനുവദിക്കുക-രണ്ട്-പ്രൈമറി - രണ്ട് പ്രാഥമിക സെർവറുകളിൽ മാറ്റങ്ങൾ സ്വീകരിക്കാൻ അനുവദിക്കുന്ന ഒരു പ്രധാന ഓപ്ഷൻ
ശേഷം-sb-0pri, after-sb-1pri, after-sb-2pri — splitbrain കണ്ടെത്തുമ്പോൾ നോഡിന്റെ പ്രവർത്തനങ്ങൾക്ക് ഉത്തരവാദികളായ ഓപ്ഷനുകൾ. കൂടുതൽ വിശദാംശങ്ങൾ ഡോക്യുമെന്റേഷനിൽ കാണാം.
രണ്ടിലും പ്രാഥമികമാകുക - രണ്ട് നോഡുകളും പ്രാഥമികമായി സജ്ജമാക്കുന്നു.

ഞങ്ങളുടെ കാര്യത്തിൽ, ഞങ്ങൾക്ക് 10 ഗിഗാബൈറ്റ് ബാൻഡ്‌വിഡ്‌ത്ത് ഉള്ള ഒരു സമർപ്പിത വെർച്വൽ നെറ്റ്‌വർക്ക് ഉള്ള രണ്ട് തികച്ചും സമാനമായ VM-കൾ ഉണ്ട്.

ഞങ്ങളുടെ ഉദാഹരണത്തിൽ, രണ്ട് ക്ലസ്റ്റർ നോഡുകളുടെ നെറ്റ്‌വർക്ക് നാമങ്ങൾ drbd1, drbd2 എന്നിവയാണ്. ശരിയായ പ്രവർത്തനത്തിന്, /etc/hosts-ലെ ഹോസ്റ്റുകളുടെ പേരുകളും IP വിലാസങ്ങളും നിങ്ങൾ പൊരുത്തപ്പെടുത്തേണ്ടതുണ്ട്.

10.10.10.192 drbd1
10.10.10.193 drbd2

ഘട്ടം 2. നോഡുകൾ സജ്ജീകരിക്കുക:

രണ്ട് സെർവറുകളിലും ഞങ്ങൾ പ്രവർത്തിക്കുന്നു:

drbdadm create-md drbd0

modprobe drbd
drbdadm up drbd0
cat /proc/drbd

ഞങ്ങൾക്ക് ഇനിപ്പറയുന്നവ ലഭിക്കുന്നു:

നിങ്ങൾക്ക് സമന്വയം ആരംഭിക്കാം. ആദ്യ നോഡിൽ നിങ്ങൾ എക്സിക്യൂട്ട് ചെയ്യേണ്ടതുണ്ട്:

drbdadm primary --force drbd0

നമുക്ക് സ്റ്റാറ്റസ് നോക്കാം:

cat /proc/drbd

കൊള്ളാം, സമന്വയം ആരംഭിച്ചു. ഞങ്ങൾ അവസാനം വരെ കാത്തിരുന്ന് ചിത്രം കാണുക:

ഘട്ടം 3. രണ്ടാമത്തെ നോഡിൽ സമന്വയം ആരംഭിക്കുക:

drbdadm primary --force drbd0

ഞങ്ങൾക്ക് ഇനിപ്പറയുന്നവ ലഭിക്കുന്നു:

ഇപ്പോൾ നമുക്ക് രണ്ട് സെർവറുകളിൽ നിന്ന് drbd-ലേക്ക് എഴുതാം.

ഘട്ടം 4. ocfs2 ഇൻസ്റ്റാൾ ചെയ്ത് കോൺഫിഗർ ചെയ്യുക.

ഞങ്ങൾ വളരെ നിസ്സാരമായ ഒരു കോൺഫിഗറേഷൻ ഉപയോഗിക്കും:

cluster:
     node_count = 2
     name = ocfs2cluster

node:
     number = 1
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.192
     name = drbd1

node:
     number = 2
     cluster = ocfs2cluster
     ip_port = 7777
     ip_address = 10.10.10.193
     name = drbd2

അതിൽ രേഖപ്പെടുത്തേണ്ടതുണ്ട് /etc/ocfs2/cluster.conf രണ്ട് നോഡുകളിലും.

ഏത് നോഡിലും ഞങ്ങൾ drbd0-ൽ ഒരു FS സൃഷ്ടിക്കുന്നു:

mkfs.ocfs2 -L "testVol" /dev/drbd0

ഡിഫോൾട്ട് പാരാമീറ്ററുകൾ ഉപയോഗിച്ച് drbd0-ൽ testVol എന്ന ലേബൽ ഉള്ള ഒരു ഫയൽ സിസ്റ്റം ഇവിടെ ഞങ്ങൾ സൃഷ്ടിച്ചു.

/etc/default/o2cb-ൽ നിങ്ങൾ സജ്ജീകരിക്കേണ്ടതുണ്ട് (ഞങ്ങളുടെ കോൺഫിഗറേഷൻ ഫയലിലെന്നപോലെ)

O2CB_ENABLED=true 
O2CB_BOOTCLUSTER=ocfs2cluster 

ഓരോ നോഡിലും എക്സിക്യൂട്ട് ചെയ്യുക:

o2cb register-cluster ocfs2cluster

തുടർന്ന് ഞങ്ങൾ ഓണാക്കി ഓട്ടോറൺ ചെയ്യുന്നതിന് ആവശ്യമായ എല്ലാ യൂണിറ്റുകളും ചേർക്കുക:

systemctl enable drbd o2cb ocfs2
systemctl start drbd o2cb ocfs2

സജ്ജീകരണ പ്രക്രിയയിൽ ഇവയിൽ ചിലത് ഇതിനകം തന്നെ പ്രവർത്തിക്കും.

ഘട്ടം 5. രണ്ട് നോഡുകളിലും fstab-ലേക്ക് മൗണ്ട് പോയിന്റുകൾ ചേർക്കുക:

/dev/drbd0 /media/shared ocfs2 defaults,noauto,heartbeat=local 0 0

ഡയറക്ടറി /മാധ്യമം/പങ്കിട്ടത് അത് മുൻകൂട്ടി സൃഷ്ടിക്കേണ്ടതാണ്.

ഇവിടെ നമ്മൾ noauto ഓപ്‌ഷനുകൾ ഉപയോഗിക്കുന്നു, അതായത് സ്റ്റാർട്ടപ്പിൽ ഫയൽ മൌണ്ട് ചെയ്യപ്പെടില്ല (സിസ്റ്റംഡി വഴി നെറ്റ്‌വർക്ക് ഫയലുകൾ മൌണ്ട് ചെയ്യാനാണ് ഞാൻ ഇഷ്ടപ്പെടുന്നത്) ഒപ്പം heartbeat=local, അതായത് ഓരോ നോഡിലും ഹൃദയമിടിപ്പ് സേവനം ഉപയോഗിക്കുന്നു എന്നാണ്. വലിയ ക്ലസ്റ്ററുകൾക്ക് കൂടുതൽ അനുയോജ്യമായ ആഗോള ഹൃദയമിടിപ്പും ഉണ്ട്.

അടുത്തതായി നിങ്ങൾക്ക് മൌണ്ട് ചെയ്യാം /മാധ്യമം/പങ്കിട്ടത് ഉള്ളടക്ക സമന്വയം പരിശോധിക്കുക.

ചെയ്തുകഴിഞ്ഞു! തൽഫലമായി, സ്കേലബിളിറ്റിയും മാന്യമായ പ്രകടനവും ഉള്ള കൂടുതലോ കുറവോ തെറ്റ്-സഹിഷ്ണുതയുള്ള സംഭരണം ഞങ്ങൾക്ക് ലഭിക്കുന്നു.

അവലംബം: www.habr.com