เจฒเฉเจ เจฆเจพ เจ
เจจเฉเจตเจพเจฆ เจเฉเจฐเจธ เจฆเฉ เจธเจผเฉเจฐเฉเจเจค เจฆเฉ เจชเฉเจฐเจต เจธเฉฐเจงเจฟเจ 'เจคเฉ เจคเจฟเจเจฐ เจเฉเจคเจพ เจเจฟเจ เจธเฉ
DRBD (เจกเจฟเจธเจเฉเจฐเฉเจฌเจฟเจเจเจก เจฐเจฟเจชเจฒเฉเจเฉเจเจก เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธ) เจฒเฉเจจเจเจธ เจฒเจ เจเฉฑเจ เจตเฉฐเจกเจฟเจ, เจฒเจเจเฉเจฒเจพ, เจ เจคเฉ เจตเจฟเจเจชเจ เจคเฉเจฐ 'เจคเฉ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉเจฏเฉเจ เจธเจเฉเจฐเฉเจ เจนเฉฑเจฒ เจนเฉเฅค เจเจน เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธเจพเจ เจเจฟเจตเฉเจ เจเจฟ เจนเจพเจฐเจก เจกเจฐเจพเจเจตเจพเจ, เจญเจพเจ, เจฒเจพเจเจผเฉเจเจฒ เจตเจพเจฒเฉเจ เจฎ, เจเจฆเจฟ เจฆเฉ เจธเจฎเฉฑเจเจฐเฉ เจจเฉเฉฐ เจฆเจฐเจธเจพเจเจเจฆเจพ เจนเฉเฅค เจธเจฐเจตเจฐ เจฆเฉ เจตเจฟเจเจเจพเจฐ. เจเจน เจฆเฉ เจธเจเฉเจฐเฉเจเจผ เจกเจฟเจตเจพเจเจธเจพเจ 'เจคเฉ เจกเฉเจเจพ เจฆเฉเจเจ เจเจพเจชเฉเจเจ เจฌเจฃเจพเจเจเจฆเจพ เจนเฉ เจคเจพเจ เจเฉ เจเฉเจเจฐ เจเจจเฉเจนเจพเจ เจตเจฟเฉฑเจเฉเจ เจเฉฑเจ เจ เจธเจซเจฒ เจนเฉ เจเจพเจตเฉ, เจคเจพเจ เจฆเฉเจเฉ 'เจคเฉ เจกเฉเจเจพ เจตเจฐเจคเจฟเจ เจเจพ เจธเจเฉเฅค
เจคเฉเจธเฉเจ เจเจนเจฟ เจธเจเจฆเฉ เจนเฉ เจเจฟ เจเจน เจเฉเจ เจ
เจเจฟเจนเจพ เจนเฉ
เจธเจผเฉเจฐเฉ เจตเจฟเฉฑเจ, DRBD เจฆเฉ เจตเจฐเจคเฉเจ เจฎเฉเฉฑเจ เจคเฉเจฐ 'เจคเฉ เจเฉฑเจ เจเจชเจฒเจฌเจงเจคเจพ (HA) เจเฉฐเจชเจฟเจเจเจฐ เจเจฒเฉฑเจธเจเจฐเจพเจ เจตเจฟเฉฑเจ เจเฉเจคเฉ เจเจพเจเจฆเฉ เจธเฉ, เจนเจพเจฒเจพเจเจเจฟ, เจธเฉฐเจธเจเจฐเจฃ XNUMX เจคเฉเจ เจธเจผเฉเจฐเฉ เจเจฐเจฆเฉ เจนเฉเจ, เจเจธเจฆเฉ เจตเจฐเจคเฉเจ เจเจฒเจพเจเจก เจธเจเฉเจฐเฉเจ เจนเฉฑเจฒเจพเจ เจจเฉเฉฐ เจฒเจพเจเฉ เจเจฐเจจ เจฒเจ เจเฉเจคเฉ เจเจพ เจธเจเจฆเฉ เจนเฉเฅค
เจเจธ เจฒเฉเจ เจตเจฟเฉฑเจ, เจ เจธเฉเจ เจฆเฉฑเจธเจพเจเจเฉ เจเจฟ CentOS 'เจคเฉ DRBD เจจเฉเฉฐ เจเจฟเจตเฉเจ เจเฉฐเจธเจเจพเจฒ เจเจฐเจจเจพ เจนเฉ เจ เจคเฉ เจธเฉฐเจเฉเจช เจตเจฟเฉฑเจ เจเจน เจฆเจฟเจเจพเจตเจพเจเจเฉ เจเจฟ เจเจธเจจเฉเฉฐ เจฆเฉ เจธเจฐเจตเจฐเจพเจ เจตเจฟเฉฑเจ เจธเจเฉเจฐเฉเจ (เจตเจฟเจญเจพเจ) เจฆเฉ เจจเจเจฒ เจเจฐเจจ เจฒเจ เจเจฟเจตเฉเจ เจตเจฐเจคเจฃเจพ เจนเฉเฅค เจฒเฉเจจเจเจธ 'เจคเฉ DRBD เจจเจพเจฒ เจธเจผเฉเจฐเฉเจเจค เจเจฐเจจ เจฒเจ เจเจน เจธเฉฐเจชเฉเจฐเจจ เจฒเฉเจ เจนเฉเฅค
เจเฉเจธเจ เจตเจพเจคเจพเจตเจฐเจฃ
เจ เจธเฉเจ เจเจธ เจธเฉเฉฑเจเจ เฉฑเจช เจฒเจ เจฆเฉ เจจเฉเจก เจเจฒเฉฑเจธเจเจฐ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจพเจเจเฉเฅค
- เจจเฉเจก 1: 192.168.56.101 โ tecmint.tecmint.lan
- เจจเฉเจก 2: 192.168.56.102 - server1.tecmint.lan
เจเจฆเจฎ 1: DRBD เจชเฉเจเฉเจ เจธเจฅเจพเจชเจฟเจค เจเจฐเฉ
DRBD เจจเฉเฉฐ เจฒเฉเจจเจเจธ เจเจฐเจจเจฒ เจฎเฉเจกเฉเจเจฒ เจตเจเฉเจ เจฒเจพเจเฉ เจเฉเจคเจพ เจเจฟเจ เจนเฉเฅค เจเจน เจเฉฑเจ เจตเจฐเจเฉเจ เจฒ เจฌเจฒเจพเจ เจเฉฐเจคเจฐ เจฒเจ เจกเจฐเจพเจเจตเจฐ เจนเฉ, เจเจธเจฒเจ เจเจน เจธเจฟเจธเจเจฎ เจฆเฉ I/O เจธเจเฉเจ เจฆเฉ เจฌเจฟเจฒเจเฉเจฒ เจนเฉเจ เจพเจ เจธเจฅเจฟเจค เจนเฉเฅค
DRBD เจจเฉเฉฐ ELRepo เจเจพเจ EPEL เจคเฉเจ เจธเจฅเจพเจชเจฟเจค เจเฉเจคเจพ เจเจพ เจธเจเจฆเจพ เจนเฉเฅค เจเจฒเฉ ELRepo เจชเฉเจเฉเจ เจธเจพเจเจจเจฟเฉฐเจ เจเฉเฉฐเจเฉ เจจเฉเฉฐ เจเจฏเจพเจค เจเจฐเจเฉ เจ เจคเฉ เจฐเจฟเจชเฉเจเจผเจเจฐเฉ เจจเฉเฉฐ เจฆเฉเจตเฉเจ เจจเฉเจกเจพเจ 'เจคเฉ เจเฉเฉ เจเฉ เจธเจผเฉเจฐเฉ เจเจฐเฉเจ เจเจฟเจตเฉเจ เจเจฟ เจนเฉเจ เจพเจ เจฆเจฟเจเจพเจเจ เจเจฟเจ เจนเฉเฅค
# rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
เจซเจฟเจฐ เจคเฉเจนเจพเจจเฉเฉฐ เจฆเฉเจตเจพเจ เจจเฉเจกเจพเจ 'เจคเฉ DRBD เจเจฐเจจเจฒ เจฎเฉเจกเฉเจเจฒ เจ เจคเฉ เจเจชเจฏเฉเจเจคเจพเจตเจพเจ เจจเฉเฉฐ เจเจธเจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจเฉฐเจธเจเจพเจฒ เจเจฐเจจ เจฆเฉ เจฒเฉเฉ เจนเฉ:
# yum install -y kmod-drbd84 drbd84-utils
เจเฉเจเจฐ เจคเฉเจนเจพเจกเฉ เจเฉเจฒ SELinux เจธเจฎเจฐเจฅเจฟเจค เจนเฉ, เจคเจพเจ เจคเฉเจนเจพเจจเฉเฉฐ DRBD เจชเฉเจฐเจเจฟเจฐเจฟเจเจตเจพเจ เจจเฉเฉฐ SELinux เจจเจฟเจฏเฉฐเจคเจฐเจฃ เจคเฉเจ เจเฉเจ เจฆเฉเจฃ เจฒเจ เจจเฉเจคเฉเจเจ เจจเฉเฉฐ เจเฉเจเจซเจฟเจเจฐ เจเจฐเจจ เจฆเฉ เจฒเฉเฉ เจนเฉเฅค
# semanage permissive -a drbd_t
เจเจธ เจคเฉเจ เจเจฒเจพเจตเจพ, เจเฉเจเจฐ เจคเฉเจนเจพเจกเจพ เจธเจฟเจธเจเจฎ เจซเจพเจเจฐเจตเจพเจฒ (เจซเจพเจเจฐเจตเจพเจฒเจก) เจเจฒเจพ เจฐเจฟเจนเจพ เจนเฉ, เจคเจพเจ เจคเฉเจนเจพเจจเฉเฉฐ เจฆเฉ เจจเฉเจกเจพเจ เจตเจฟเจเจเจพเจฐ เจกเจพเจเจพ เจธเจฟเฉฐเจเฉเจฐเฉเจจเจพเจเจเจผเฉเจธเจผเจจ เจฆเฉ เจเจเจฟเจ เจฆเฉเจฃ เจฒเจ DRBD เจชเฉเจฐเจ 7789 เจเฉเฉเจจ เจฆเฉ เจฒเฉเฉ เจนเฉเจตเฉเจเฉเฅค
เจชเจนเจฟเจฒเฉ เจจเฉเจก เจฒเจ เจเจนเจจเจพเจ เจเจฎเจพเจเจกเจพเจ เจจเฉเฉฐ เจเจฒเจพเจ:
# firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.56.102" port port="7789" protocol="tcp" accept'
# firewall-cmd --reload
เจซเจฟเจฐ เจฆเฉเจเฉ เจจเฉเจก เจฒเจ เจเจนเจจเจพเจ เจเจฎเจพเจเจกเจพเจ เจจเฉเฉฐ เจเจฒเจพเจ:
# firewall-cmd --permanent --add-rich-rule='rule family="ipv4" source address="192.168.56.101" port port="7789" protocol="tcp" accept'
# firewall-cmd --reload
เจเจฆเจฎ 2: เจเฉฑเจ-เจชเฉฑเจงเจฐเฉ เจธเจเฉเจฐเฉเจ เจคเจฟเจเจฐ เจเจฐเฉ
เจนเฉเจฃ เจเจฆเฉเจ เจธเจพเจกเฉ เจเฉเจฒ เจฆเฉเจตเฉเจ เจเจฒเฉฑเจธเจเจฐ เจจเฉเจกเจพเจ 'เจคเฉ DRBD เจธเจฅเจพเจชเจค เจนเฉ, เจธเจพเจจเฉเฉฐ เจเจนเจจเจพเจ 'เจคเฉ เจฒเจเจญเจ เจเฉฑเจเฉ เจเจเจพเจฐ เจฆเฉ เจธเจเฉเจฐเฉเจเจผ เจเฉเจคเจฐเจพเจ เจฆเจพ เจชเฉเจฐเจฌเฉฐเจง เจเจฐเจจเจพ เจเจพเจนเฉเจฆเจพ เจนเฉเฅค เจเจน เจเฉฑเจ เจนเจพเจฐเจก เจกเจฐเจพเจเจต เจญเจพเจ (เจเจพเจ เจเฉฑเจ เจชเฉเจฐเฉ เจญเฉเจคเจฟเจ เจนเจพเจฐเจก เจกเจฐเจพเจเจต), เจเฉฑเจ เจธเจพเจซเจเจตเฉเจ
เจฐ เจฐเฉเจก เจเฉฐเจคเจฐ เจนเฉ เจธเจเจฆเจพ เจนเฉ,
เจเจธ เจฒเฉเจ เจฒเจ, เจ เจธเฉเจ dd เจเจฎเจพเจเจก เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจเฉฑเจ 2GB เจเฉเจธเจ เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธ เจฌเจฃเจพเจตเจพเจเจเฉเฅค
# dd if=/dev/zero of=/dev/sdb1 bs=2024k count=1024
เจฎเฉฐเจจ เจฒเจ เจเจฟ เจเจน เจฆเฉเจจเฉ เจจเฉเจกเจพเจ เจจเจพเจฒ เจเฉเฉเฉ เจฆเฉเจเฉ เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธ (/dev/sdb) เจเฉฑเจคเฉ เจเฉฑเจ เจจเจพ-เจตเจฐเจคเจฟเจ เจญเจพเจ (/dev/sdb1) เจนเฉเฅค
เจเจฆเจฎ 3. DRBD เจเฉเจเจซเจฟเจเจฐ เจเจฐเจจเจพ
DRBD เจฎเฉเฉฑเจ เจธเฉฐเจฐเจเจจเจพ เจซเจพเจเจฒ - /etc/drbd.conf
, เจ
เจคเฉ เจตเจพเจงเฉ เจธเฉฐเจฐเจเจจเจพ เจซเจพเจเจฒเจพเจ เจกเจพเจเจฐเฉเจเจเจฐเฉ เจตเจฟเฉฑเจ เจฒเฉฑเจญเฉเจเจ เจเจพ เจธเจเจฆเฉเจเจ เจนเจจ /etc/drbd.d
.
เจธเจเฉเจฐเฉเจ เจจเฉเฉฐ เจฆเฉเจนเจฐเจพเจเจฃ เจฒเจ, เจธเจพเจจเฉเฉฐ เจซเจพเจเจฒ เจตเจฟเฉฑเจ เจฒเฉเฉเฉเจเจฆเฉเจเจ เจธเฉฐเจฐเจเจจเจพเจตเจพเจ เจเฉเฉเจจ เจฆเฉ เจฒเฉเฉ เจนเฉ /etc/drbd.d/global_common.conf
, เจเจฟเจธ เจตเจฟเฉฑเจ DRBD เจธเฉฐเจฐเจเจจเจพ เจฆเฉ เจเจฒเฉเจฌเจฒ เจ
เจคเฉ เจเจฎ เจญเจพเจ เจธเจผเจพเจฎเจฒ เจนเจจ, เจ
เจคเฉ เจธเจพเจจเฉเฉฐ เจธเจฐเฉเจคเจพเจ เจจเฉเฉฐ เจชเจฐเจฟเจญเจพเจธเจผเจฟเจค เจเจฐเจจ เจฆเฉ เจฒเฉเฉ เจนเฉ .res
เจซเจพเจเจฒเจพเจเฅค
เจเจ เจฆเฉเจจเฉ เจจเฉเจกเจพเจ 'เจคเฉ เจ เจธเจฒ เจซเจพเจเจฒ เจฆเฉ เจฌเฉเจเจ เฉฑเจช เจเจพเจชเฉ เจฌเจฃเจพเจเจ, เจ เจคเฉ เจซเจฟเจฐ เจธเฉฐเจชเจพเจฆเจจ เจฒเจ เจจเจตเฉเจ เจซเจพเจเจฒ เจเฉเจฒเฉเจนเฉ (เจเจชเจฃเฉ เจชเจธเฉฐเจฆ เจฆเฉ เจเฉเจเจธเจ เจเจกเฉเจเจฐ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเฉ)เฅค
# mv /etc/drbd.d/global_common.conf /etc/drbd.d/global_common.conf.orig
# vim /etc/drbd.d/global_common.conf
เจฆเฉเจตเจพเจ เจซเจพเจเจฒเจพเจ เจตเจฟเฉฑเจ เจนเฉเจ เจฒเจฟเจเฉเจเจ เจฒเจพเจเจจเจพเจ เจเฉเฉเฉ:
global {
usage-count yes;
}
common {
net {
protocol C;
}
}
เจซเจพเจเจฒ เจจเฉเฉฐ เจธเฉเจต เจเจฐเฉ เจ เจคเฉ เจซเจฟเจฐ เจเจกเฉเจเจฐ เจจเฉเฉฐ เจฌเฉฐเจฆ เจเจฐเฉเฅค
เจเจ เจเฉฑเจ เจชเจฒ เจฒเจ เจชเฉเจฐเฉเจเฉเจเฉเจฒ C เจฒเจพเจเจจ เจจเฉเฉฐ เจตเฉเจเฉเจเฅค DRBD เจคเจฟเฉฐเจจ เจตเฉฑเจ-เจตเฉฑเจ เจฐเฉเจชเจฒเฉเจเฉเจธเจผเจจ เจฎเฉเจกเจพเจ เจฆเจพ เจธเจฎเจฐเจฅเจจ เจเจฐเจฆเจพ เจนเฉ (เจ เจฐเจฅเจพเจค, เจฐเฉเจชเจฒเฉเจเฉเจธเจผเจจ เจธเจฟเฉฐเจเฉเจฐเฉเจจเฉ เจฆเฉเจเจ เจคเจฟเฉฐเจจ เจกเจฟเจเจฐเฉเจเจ), เจ เจฐเจฅเจพเจค:
- เจชเฉเจฐเฉเจเฉเจเฉเจฒ เจ: เจ เจธเจฟเฉฐเจเจฐเฉเจจเจธ เจฐเฉเจชเจฒเฉเจเฉเจธเจผเจจ เจชเฉเจฐเฉเจเฉเจเฉเจฒ; เจ เจเจธเจฐ เจฒเฉฐเจฌเฉ เจฆเฉเจฐเฉ เจฆเฉ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจฆเฉเจฐเจฟเจธเจผเจพเจ เจตเจฟเฉฑเจ เจตเจฐเจคเจฟเจ เจเจพเจเจฆเจพ เจนเฉเฅค
- เจชเฉเจฐเฉเจเฉเจเฉเจฒ เจฌเฉ: เจ เจฐเจง-เจธเจฎเจเจพเจฒเฉ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจชเฉเจฐเฉเจเฉเจเฉเจฒ เจเจพเจ เจธเจฎเจเจพเจฒเฉ เจฎเฉเจฎเฉเจฐเฉ เจชเฉเจฐเฉเจเฉเจเฉเจฒเฅค
- เจชเฉเจฐเฉเจเฉเจเฉเจฒ เจธเฉ: เจเจฎ เจคเฉเจฐ 'เจคเฉ เจเฉเจเฉเจเจ เจฆเฉเจฐเฉเจเจ เจตเจพเจฒเฉ เจจเฉเจเจตเจฐเจเจพเจ เจตเจฟเฉฑเจ เจจเฉเจกเจพเจ เจฒเจ เจตเจฐเจคเจฟเจ เจเจพเจเจฆเจพ เจนเฉ; เจเจน DRBD เจธเฉเจเจฟเฉฐเจเจพเจ เจตเจฟเฉฑเจ เจนเฉเจฃ เจคเฉฑเจ เจธเจญ เจคเฉเจ เจตเฉฑเจง เจตเจฐเจคเจฟเจ เจเจพเจฃ เจตเจพเจฒเจพ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจชเฉเจฐเฉเจเฉเจเฉเจฒ เจนเฉเฅค
เจฎเจนเฉฑเจคเจตเจชเฉเจฐเจฃ: เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจชเฉเจฐเฉเจเฉเจเฉเจฒ เจฆเฉ เจเฉเจฃ เจฆเฉ เจคเฉเจจเจพเจคเฉ เจเจพเจฐเจเจพเจ เจจเฉเฉฐ เจชเฉเจฐเจญเจพเจตเจฟเจค เจเจฐเจฆเฉ เจนเฉ: เจธเฉเจฐเฉฑเจเจฟเจ เจ เจคเฉ เจฒเฉเจเฉเจเจธเฉเฅค เจเจธเจฆเฉ เจเจฒเจ, เจฅเฉเจฐเฉเจชเฉเฉฑเจ เจเฉเจฃเฉ เจนเฉเจ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจชเฉเจฐเฉเจเฉเจเฉเจฒ 'เจคเฉ เจฎเจนเฉฑเจคเจตเจชเฉเจฐเจจ เจคเฉเจฐ 'เจคเฉ เจจเจฟเจฐเจญเจฐ เจจเจนเฉเจ เจเจฐเจฆเจพ เจนเฉเฅค
เจเจฆเจฎ 4: เจเฉฑเจ เจธเจฐเฉเจค เจธเจผเจพเจฎเจฒ เจเจฐเฉ
เจธเจฐเฉเจค เจเฉฑเจ เจเจคเจฐเฉ เจธเจผเจฌเจฆ เจนเฉ เจเฉ เจเจฟเจธเฉ เจตเจฟเจธเจผเฉเจธเจผ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจค เจกเฉเจเจพเจธเฉเจ เจฆเฉ เจธเจพเจฐเฉ เจชเจนเจฟเจฒเฉเจเจ เจจเฉเฉฐ เจฆเจฐเจธเจพเจเจเจฆเจพ เจนเฉเฅค เจ
เจธเฉเจ เจเจชเจฃเฉ เจธเจฐเฉเจค เจจเฉเฉฐ เจซเจพเจเจฒ เจตเจฟเฉฑเจ เจชเจฐเจฟเจญเจพเจธเจผเจฟเจค เจเจฐเจพเจเจเฉ /etc/drbd.d/test.res
.
เจฆเฉเจตเจพเจ เจจเฉเจกเจพเจ 'เจคเฉ เจซเจพเจเจฒ เจตเจฟเฉฑเจ เจนเฉเจ เจพเจ เจฆเจฟเฉฑเจคเฉ เจจเฉเฉฐ เจธเจผเจพเจฎเจฒ เจเจฐเฉ (เจเจชเจฃเฉ เจตเจพเจคเจพเจตเจฐเจฃ เจฒเจ เจ เจธเจฒ เจฎเฉเฉฑเจฒเจพเจ เจจเจพเจฒ เจตเฉเจฐเฉเจเจฌเจฒเจพเจ เจจเฉเฉฐ เจฌเจฆเจฒเจฃเจพ เจฏเจพเจฆ เจฐเฉฑเจเฉ)เฅค
เจนเฉเจธเจ-เจจเจพเจ เจตเฉฑเจฒ เจงเจฟเจเจจ เจฆเจฟเจ, เจธเจพเจจเฉเฉฐ เจจเฉเฉฑเจเจตเจฐเจ เจนเฉเจธเจ-เจจเจพเจ เจฆเฉเจฃ เจฆเฉ เจฒเฉเฉ เจนเฉ, เจเฉ เจเจฟ uname เจเจฎเจพเจเจก เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจชเฉเจฐเจพเจชเจค เจเฉเจคเจพ เจเจพ เจธเจเจฆเจพ เจนเฉเฅค -n
.
resource test {
on tecmint.tecmint.lan {
device /dev/drbd0;
disk /dev/sdb1;
meta-disk internal;
address 192.168.56.101:7789;
}
on server1.tecmint.lan {
device /dev/drbd0;
disk /dev/sdb1;
meta-disk internal;
address 192.168.56.102:7789;
}
}
}
เจเจฟเฉฑเจฅเฉ:
- เจนเฉเจธเจเจจเจพเจฎ 'เจคเฉ: เจเจจ เจธเฉเจเจธเจผเจจ เจเจฟเจธ 'เจคเฉ เจจเฉเจธเจเจก เจเฉเจเจซเจฟเจเจฐเฉเจธเจผเจจ เจธเจเฉเจเจฎเฉเจเจ เจฒเจพเจเฉ เจนเฉเฉฐเจฆเฉ เจนเฉเฅค
- เจเฉเจธเจ: เจเจน เจจเจตเฉเจ เจธเจฐเฉเจค เจฆเจพ เจจเจพเจฎ เจนเฉเฅค
- เจกเจฟเจตเจพเจเจธ /dev/drbd0: DRBD เจฆเฉเจเจฐเจพ เจชเฉเจฐเจฌเฉฐเจงเจฟเจค เจเฉฑเจ เจจเจตเฉเจ เจตเจฐเจเฉเจ เจฒ เจฌเจฒเจพเจ เจกเจฟเจตเจพเจเจธ เจจเฉเฉฐ เจฆเจฐเจธเจพเจเจเจฆเจพ เจนเฉเฅค
- เจกเจฟเจธเจ /dev/sdb1: เจเจน เจเฉฑเจ เจฌเจฒเจพเจ เจเฉฐเจคเจฐ เจญเจพเจ เจนเฉ เจเฉ เจเจฟ DRBD เจเฉฐเจคเจฐ เจฒเจ เจเฉฑเจ เจฌเฉเจเจ เฉฑเจช เจเฉฐเจคเจฐ เจนเฉเฅค
- เจฎเฉเจเจพ-เจกเจฟเจธเจ: เจชเจฐเจฟเจญเจพเจธเจผเจฟเจค เจเจฐเจฆเจพ เจนเฉ เจเจฟ DRBD เจเจชเจฃเจพ เจฎเฉเจเจพเจกเฉเจเจพ เจเจฟเฉฑเจฅเฉ เจธเจเฉเจฐ เจเจฐเจฆเจพ เจนเฉเฅค เจ เฉฐเจฆเจฐเฉเจจเฉ เจฆเจพ เจฎเจคเจฒเจฌ เจนเฉ เจเจฟ DRBD เจเจชเจฃเฉ เจฎเฉเจเจพเจกเฉเจเจพ เจจเฉเฉฐ เจเจธเฉ เจญเฉเจคเจฟเจ เจจเจฟเจฎเจจ-เจชเฉฑเจงเจฐเฉ เจกเจฟเจตเจพเจเจธ 'เจคเฉ เจธเจเฉเจฐ เจเจฐเจฆเจพ เจนเฉ เจเจฟเจตเฉเจ เจเจฟ เจเจคเจชเจพเจฆเจจ เจตเจฟเฉฑเจ เจ เจธเจฒ เจกเฉเจเจพเฅค
- เจฆเจพ เจชเจคเจพ: เจธเฉฐเจฌเฉฐเจงเจฟเจค เจจเฉเจก เจฆเจพ IP เจชเจคเจพ เจ เจคเฉ เจชเฉเจฐเจ เจจเฉฐเจฌเจฐ เจฆเจฐเจธเจพเจเจเจฆเจพ เจนเฉเฅค
เจเจน เจตเฉ เจจเฉเจ เจเจฐเฉ เจเจฟ เจเฉเจเจฐ เจชเฉเจฐเจพเจฎเฉเจเจฐเจพเจ เจฆเฉ เจฆเฉเจตเฉเจ เจฎเฉเจเจผเจฌเจพเจจเจพเจ 'เจคเฉ เจเฉฑเจเฉ เจเจฟเจนเฉ เจฎเฉเฉฑเจฒ เจนเจจ, เจคเจพเจ เจคเฉเจธเฉเจ เจเจนเจจเจพเจ เจจเฉเฉฐ เจธเจฟเฉฑเจงเฉ เจธเจฐเฉเจค เจญเจพเจ เจตเจฟเฉฑเจ เจจเจฟเจฐเจงเจพเจฐเจฟเจค เจเจฐ เจธเจเจฆเฉ เจนเฉเฅค
เจเจฆเจพเจนเจฐเจจ เจฒเจ, เจเจชเจฐเฉเจเจค เจธเฉฐเจฐเจเจจเจพ เจฆเจพ เจชเฉเจจเจฐเจเจ เจจ เจเฉเจคเจพ เจเจพ เจธเจเจฆเจพ เจนเฉ:
resource test {
device /dev/drbd0;
disk /dev/sdb1;
meta-disk internal;
on tecmint.tecmint.lan {
address 192.168.56.101:7789;
}
on server1.tecmint.lan {
address 192.168.56.102:7789;
}
}
เจเจฆเจฎ 5. เจธเจฐเฉเจค เจธเจผเฉเจฐเฉ เจเจฐเฉ เจ เจคเฉ เจฒเจพเจเจ เจเจฐเฉ
DRBD เจจเจพเจฒ เจเฉฐเจเจฐเฉเจเจ เจเจฐเจจ เจฒเจ เจ เจธเฉเจ เจนเฉเจ เจพเจ เจฆเจฟเฉฑเจคเฉ เจชเฉเจฐเจธเจผเจพเจธเจจ เจเฉเจฒ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจพเจเจเฉ (เจเฉ DRBD เจธเจฐเฉเจคเจพเจ เจจเฉเฉฐ เจธเฉฐเจฐเจเจฟเจค เจ เจคเฉ เจชเฉเจฐเจฌเฉฐเจงเจฟเจค เจเจฐเจจ เจฒเจ เจเจฐเจจเจฒ เจฎเฉเจกเฉเจเจฒ เจจเจพเจฒ เจเฉฐเจเจฐเฉเจเจ เจเจฐเจฆเฉ เจนเจจ):
- drbdadm: DRBD เจเฉฑเจ-เจชเฉฑเจงเจฐเฉ เจชเฉเจฐเจธเจผเจพเจธเจจ เจธเจพเจงเจจเฅค
- drbdsetup: DRBD เจกเจฟเจตเจพเจเจธเจพเจ เจจเฉเฉฐ เจเจนเจจเจพเจ เจฆเฉ เจฌเฉเจเจ เฉฑเจช เจกเจฟเจตเจพเจเจธเจพเจ เจจเจพเจฒ เจเจจเฉเจเจ เจเจฐเจจ, เจเจนเจจเจพเจ เจฆเฉ เจฌเฉเจเจ เฉฑเจช เจกเจฟเจตเจพเจเจธเจพเจ เจจเฉเฉฐ เจฆเจฐเจธเจพเจเจฃ เจฒเจ DRBD เจกเจฟเจตเจพเจเจธเจพเจ เจฆเฉ เจเฉเฉเจฟเจเจ เจฆเฉ เจธเฉฐเจฐเจเจจเจพ เจเจฐเจจ, เจ เจคเฉ DRBD เจกเจฟเจตเจพเจเจธเจพเจ เจจเฉเฉฐ เจเจฒเจพเจเจฃ เจฆเฉ เจธเฉฐเจฐเจเจจเจพ เจฆเฉ เจชเฉเจธเจผเจเฉ เจเจฐเจจ เจฒเจ เจเฉฑเจ เจนเฉเจ เจฒเฉ-เจชเฉฑเจงเจฐ เจฆเจพ เจชเฉเจฐเจธเจผเจพเจธเจจ เจเฉเจฒเฅค
- Drbdmeta: เจฎเฉเจเจพเจกเจพเจเจพ เจชเฉเจฐเจฌเฉฐเจงเจจ เจเฉเจฒเฅค
เจธเจพเจฐเฉเจเจ เจธเจผเฉเจฐเฉเจเจคเฉ เจธเจฐเฉเจค เจธเฉฐเจฐเจเจจเจพเจตเจพเจ เจจเฉเฉฐ เจเฉเฉเจจ เจคเฉเจ เจฌเจพเจ เจฆ, เจธเจพเจจเฉเฉฐ เจฆเฉเจตเจพเจ เจจเฉเจกเจพเจ 'เจคเฉ เจธเจฐเฉเจค เจจเฉเฉฐ เจธเจผเฉเจฐเฉ เจเจฐเจจเจพ เจเจพเจนเฉเจฆเจพ เจนเฉเฅค
# drbdadm create-md test
เจฎเฉเจเจพเจกเจพเจเจพ เจธเจเฉเจฐ เจธเจผเฉเจฐเฉ เจเฉเจคเจพ เจเจพ เจฐเจฟเจนเจพ เจนเฉ
เจ เฉฑเจเฉ เจธเจพเจจเฉเฉฐ เจเจธเจจเฉเฉฐ เจเจฒเจพเจเจฃ เจฆเฉ เจฒเฉเฉ เจนเฉ, เจเฉ เจธเจฐเฉเจค เจจเฉเฉฐ เจเจธเจฆเฉ เจฌเฉเจเจ เฉฑเจช เจกเจฟเจตเจพเจเจธ เจจเจพเจฒ เจเจจเฉเจเจ เจเจฐเฉเจเจพ, เจซเจฟเจฐ เจฐเฉเจชเจฒเฉเจเฉเจธเจผเจจ เจชเฉเจฐเจพเจฎเฉเจเจฐ เจธเฉเจ เจเจฐเฉเจเจพ เจ เจคเฉ เจธเจฐเฉเจค เจจเฉเฉฐ เจเจธเจฆเฉ เจชเฉเจ เจฐ เจจเจพเจฒ เจเจจเฉเจเจ เจเจฐเฉเจเจพ:
# drbdadm up test
เจนเฉเจฃ เจเฉเจเจฐ เจคเฉเจธเฉเจ เจเจฎเจพเจเจก เจเจฒเจพเจเจเจฆเฉ เจนเฉ /dev/sdb1
:
# lsblk
เจฌเจฒเจพเจ เจเฉฐเจคเจฐ เจฆเฉ เจธเฉเจเฉ
เจเฉฑเจ เจธเจฐเฉเจค เจจเฉเฉฐ เจ เจฏเฉเจ เจเจฐเจจ เจฒเจ, เจเจฒเจพเจ:
# drbdadm down test
เจธเจฐเฉเจค เจฆเฉ เจธเจฅเจฟเจคเฉ เจฆเฉ เจเจพเจเจ เจเจฐเจจ เจฒเจ, เจนเฉเจ เจฆเจฟเฉฑเจคเฉ เจเจฎเจพเจเจก เจเจฒเจพเจ (เจงเจฟเจเจจ เจฆเจฟเจ เจเจฟ เจเจธ เจธเจฎเฉเจ เจกเจฟเจธเจเจพเจ เจฆเฉ เจธเจฅเจฟเจคเฉ เจฆเฉ เจเจฎเฉเจฆ เจเฉเจคเฉ เจเจพเจเจฆเฉ เจนเฉ เจ เจธเฉฐเจเจค/เจ เจธเฉฐเจเจค):
# drbdadm status test
OR
# drbdsetup status test --verbose --statistics #for a more detailed status
'เจคเฉ เจเฉฑเจ เจธเจฐเฉเจค เจฆเฉ เจธเจฅเจฟเจคเฉ เจฆเฉ เจเจพเจเจ เจเจฐ เจฐเจฟเจนเจพ เจนเฉ
เจฌเฉเจฐเจพเจ
เจเจฆเจฎ 6: เจชเฉเจฐเจพเจเจฎเจฐเฉ เจธเจฐเฉเจค/เจธเจผเฉเจฐเฉเจเจคเฉ เจกเจฟเจตเจพเจเจธ เจธเจฟเฉฐเจเฉเจฐเฉเจจเจพเจเจเจผเฉเจธเจผเจจ เจธเจฐเฉเจค เจธเฉเจ เจเจฐเฉ
เจเจธ เจชเฉเจพเจ 'เจคเฉ, DRBD เจเจพเจฃ เจฒเจ เจคเจฟเจเจฐ เจนเฉเฅค เจนเฉเจฃ เจธเจพเจจเฉเฉฐ เจเจน เจฆเฉฑเจธเจฃ เจฆเฉ เจฒเฉเฉ เจนเฉ เจเจฟ เจธเจผเฉเจฐเฉเจเจคเฉ เจกเจฟเจตเจพเจเจธ เจธเจฎเจเจพเจฒเฉเจเจฐเจจ เจฆเฉ เจธเจฐเฉเจค เจตเจเฉเจ เจเจฟเจนเฉเจพ เจจเฉเจก เจตเจฐเจคเจฟเจ เจเจพเจฃเจพ เจเจพเจนเฉเจฆเจพ เจนเฉเฅค
เจธเจผเฉเจฐเฉเจเจคเฉ เจชเฉเจฐเฉ เจธเจฎเจเจพเจฒเฉเจเจฐเจจ เจธเจผเฉเจฐเฉ เจเจฐเจจ เจฒเจ เจธเจฟเจฐเจซเจผ เจเฉฑเจ เจจเฉเจก 'เจคเฉ เจนเฉเจ เจฆเจฟเฉฑเจคเฉ เจเจฎเจพเจเจก เจเจฒเจพเจ:
# drbdadm primary --force test
# drbdadm status test
เจชเฉเจฐเจพเจเจฎเจฐเฉ เจจเฉเจก เจจเฉเฉฐ เจธเจผเฉเจฐเฉเจเจคเฉ เจกเจฟเจตเจพเจเจธ เจฆเฉ เจคเฉเจฐ 'เจคเฉ เจธเฉเฉฑเจ เจเจฐเจจเจพ
เจเฉฑเจ เจตเจพเจฐ เจธเจฟเฉฐเจเฉเจฐเฉเจจเจพเจเจเจผเฉเจธเจผเจจ เจชเฉเจฐเจพ เจนเฉ เจเจพเจฃ 'เจคเฉ, เจฆเฉเจตเจพเจ เจกเจฐเจพเจเจตเจพเจ เจฆเฉ เจธเจฅเจฟเจคเฉ UpToDate เจนเฉเจฃเฉ เจเจพเจนเฉเจฆเฉ เจนเฉเฅค
เจเจฆเจฎ 7: DRBD เจธเฉเฉฑเจเจ เฉฑเจช เจฆเฉ เจเจพเจเจ เจเจฐเจจเจพ
เจ เฉฐเจค เจตเจฟเฉฑเจ, เจธเจพเจจเฉเฉฐ เจเจน เจเจพเจเจ เจเจฐเจจ เจฆเฉ เจฒเฉเฉ เจนเฉ เจเจฟ เจเฉ DRBD เจฏเฉฐเจคเจฐ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจเฉเจคเฉ เจกเฉเจเจพ เจจเฉเฉฐ เจธเจเฉเจฐ เจเจฐเจจ เจฒเจ เจฒเฉเฉ เจ เจจเฉเจธเจพเจฐ เจเฉฐเจฎ เจเจฐเฉเจเจพ เจเจพเจ เจจเจนเฉเจเฅค เจฏเจพเจฆ เจฐเฉฑเจเฉ เจเจฟ เจ เจธเฉเจ เจเฉฑเจ เจเจพเจฒเฉ เจกเจฟเจธเจ เจตเจพเจฒเฉเจ เจฎ เจฆเฉ เจตเจฐเจคเฉเจ เจเฉเจคเฉ เจนเฉ, เจเจธเจฒเจ เจธเจพเจจเฉเฉฐ เจกเจฟเจตเจพเจเจธ 'เจคเฉ เจเฉฑเจ เจซเจพเจเจฒ เจธเจฟเจธเจเจฎ เจฌเจฃเจพเจเจฃเจพ เจเจพเจนเฉเจฆเจพ เจนเฉ เจ เจคเฉ เจเจธเจจเฉเฉฐ เจฎเจพเจเจเจ เจเจฐเจจเจพ เจเจพเจนเฉเจฆเจพ เจนเฉ เจเจฟ เจเฉ เจ เจธเฉเจ เจเจธเจฆเฉ เจตเจฐเจคเฉเจ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจเฉเจคเฉ เจกเฉเจเจพ เจจเฉเฉฐ เจธเจเฉเจฐ เจเจฐเจจ เจฒเจ เจเจฐ เจธเจเจฆเฉ เจนเจพเจเฅค
เจธเจพเจจเฉเฉฐ เจจเฉเจก 'เจคเฉ เจนเฉเจ เจฆเจฟเฉฑเจคเฉ เจเจฎเจพเจเจก เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจฆเฉ เจนเฉเจ เจกเจฟเจตเจพเจเจธ 'เจคเฉ เจเฉฑเจ เจซเจพเจเจฒ เจธเจฟเจธเจเจฎ เจฌเจฃเจพเจเจฃ เจฆเฉ เจเจผเจฐเฉเจฐเจค เจนเฉ เจเจฟเฉฑเจฅเฉ เจ เจธเฉเจ เจธเจผเฉเจฐเฉเจเจคเฉ เจชเฉเจฐเจพ เจธเจฟเฉฐเจ เจธเจผเฉเจฐเฉ เจเฉเจคเจพ เจนเฉ (เจเจฟเจธ เจตเจฟเฉฑเจ เจชเฉเจฐเจพเจเจฎเจฐเฉ เจฐเฉเจฒ เจตเจพเจฒเจพ เจเฉฑเจ เจธเจฐเฉเจค เจนเฉ):
# mkfs -t ext4 /dev/drbd0
Drbd เจตเจพเจฒเฉเจ
เจฎ เจเฉฑเจคเฉ เจเฉฑเจ เจซเจพเจเจฒ เจธเจฟเจธเจเจฎ เจฌเจฃเจพเจเจฃเจพ
เจซเจฟเจฐ เจเจธเจจเฉเฉฐ เจฆเจฟเจเจพเจ เจ เจจเฉเจธเจพเจฐ เจฎเจพเจเจเจ เจเจฐเฉ (เจคเฉเจธเฉเจ เจฎเจพเจเจเจ เจชเฉเจเจเฉฐเจ เจจเฉเฉฐ เจเฉฑเจ เจขเฉเจเจตเจพเจ เจจเจพเจฎ เจฆเฉ เจธเจเจฆเฉ เจนเฉ):
# mkdir -p /mnt/DRDB_PRI/
# mount /dev/drbd0 /mnt/DRDB_PRI/
เจนเฉเจฃ เจเจชเจฐเฉเจเจค เจฎเจพเจเจเจ เจชเฉเจเจเฉฐเจ เจตเจฟเฉฑเจ เจเฉเจ เจซเจพเจเจฒเจพเจ เจจเฉเฉฐ เจเจพเจชเฉ เจเจพเจ เจฌเจฃเจพเจ เจ
เจคเฉ เจเจธเจฆเฉ เจจเจพเจฒ เจเฉฑเจ เจฒเฉฐเจฎเฉ เจธเฉเจเฉ เจฌเจฃเจพเจ
# cd /mnt/DRDB_PRI/
# ls -l
เจฎเฉเฉฑเจ Drbd เจตเจพเจฒเฉเจ
เจฎ เจฆเฉเจเจ เจธเจฎเฉฑเจเจฐเฉเจเจ เจฆเฉ เจธเฉเจเฉ เจฌเจฃเจพเจ
เจ เฉฑเจเฉ, เจกเจฟเจตเจพเจเจธ เจจเฉเฉฐ เจ เจจเจฎเจพเจเจเจ เจเจฐเฉ (เจเจน เจฏเจเฉเจจเฉ เจฌเจฃเจพเจ เจเจฟ เจฎเจพเจเจเจ เจเฉเฉฑเจฒเฉเจนเจพ เจจเจนเฉเจ เจนเฉ, เจเจฒเจคเฉเจเจ เจคเฉเจ เจฌเจเจฃ เจฒเจ เจ เจฃเจฎเจพเจเจเจ เจเจฐเจจ เจคเฉเจ เจฌเจพเจ เจฆ เจกเจพเจเจฐเฉเจเจเจฐเฉ เจจเฉเฉฐ เจฌเจฆเจฒเฉ) เจ เจคเฉ เจจเฉเจก เจฐเฉเจฒ เจจเฉเฉฐ เจชเฉเจฐเจพเจเจฎเจฐเฉ เจคเฉเจ เจธเฉเจเฉฐเจกเจฐเฉ เจตเจฟเฉฑเจ เจฌเจฆเจฒเฉ:
# umount /mnt/DRDB_PRI/
# cd
# drbdadm secondary test
เจฆเฉเจเฉ เจจเฉเจก (เจเจฟเจธ เจตเจฟเฉฑเจ เจธเฉเจเฉฐเจกเจฐเฉ เจญเฉเจฎเจฟเจเจพ เจตเจพเจฒเจพ เจเฉฑเจ เจธเจฐเฉเจค เจนเฉ) เจจเฉเฉฐ เจชเฉเจฐเจพเจเจฎเจฐเฉ เจฌเจฃเจพเจ, เจซเจฟเจฐ เจเจธเจฆเฉ เจจเจพเจฒ เจเฉฑเจ เจกเจฟเจตเจพเจเจธ เจเฉเฉเฉ เจ เจคเฉ เจฎเจพเจเจเจ เจชเฉเจเจเฉฐเจเจพเจ เจฆเฉ เจเฉฑเจ เจฒเฉฐเจฌเฉ เจธเฉเจเฉ เจเจพเจฐเฉ เจเจฐเฉเฅค เจเฉ เจธเฉเฉฑเจเจ เฉฑเจช เจตเจงเฉเจ เจเฉฐเจฎ เจเจฐเจฆเจพ เจนเฉ, เจคเจพเจ เจตเจพเจฒเฉเจ เจฎ 'เจคเฉ เจธเจเฉเจฐ เจเฉเจคเฉเจเจ เจธเจพเจฐเฉเจเจ เจซเจพเจเจฒเจพเจ เจเฉฑเจฅเฉ เจนเฉเจฃเฉเจเจ เจเจพเจนเฉเจฆเฉเจเจ เจนเจจ:
# drbdadm primary test
# mkdir -p /mnt/DRDB_SEC/
# mount /dev/drbd0 /mnt/DRDB_SEC/
# cd /mnt/DRDB_SEC/
# ls -l
เจธเฉเจเฉฐเจกเจฐเฉ เจจเฉเจก 'เจคเฉ เจเฉฑเจฒ เจฐเจนเฉ DRBD เจธเฉเฉฑเจเจ
เฉฑเจช เจฆเฉ เจเจพเจเจ เจเฉเจคเฉ เจเจพ เจฐเจนเฉ เจนเฉเฅค
เจนเฉเจฐ เจเจพเจฃเจเจพเจฐเฉ เจฒเจ, เจชเฉเจฐเจฌเฉฐเจงเจเฉ เจเฉเจฒ เจฎเจฆเจฆ เจชเฉฐเจจเฉ เจฆเฉเจเฉ:
# man drbdadm
# man drbdsetup
# man drbdmeta
เจฎเจฆเจฆ:
เจธเฉฐเจเฉเจช
DRBD เจฌเจนเฉเจค เจนเฉ เจฒเจเจเจฆเจพเจฐ เจ เจคเฉ เจฌเจนเฉเจฎเฉเจเฉ เจนเฉ, เจเจธ เจจเฉเฉฐ เจฒเจเจญเจ เจเจฟเจธเฉ เจตเฉ เจเจชเจฒเฉเจเฉเจธเจผเจจ เจตเจฟเฉฑเจ HA เจจเฉเฉฐ เจเฉเฉเจจ เจฒเจ เจขเฉเจเจตเจพเจ เจธเจเฉเจฐเฉเจ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจนเฉฑเจฒ เจฌเจฃเจพเจเจเจฆเจพ เจนเฉเฅค เจเจธ เจฒเฉเจ เจตเจฟเฉฑเจ, เจ เจธเฉเจ เจฆเจฟเจเจพเจเจ เจนเฉ เจเจฟ CentOS 7 'เจคเฉ DRBD เจจเฉเฉฐ เจเจฟเจตเฉเจ เจเฉฐเจธเจเจพเจฒ เจเจฐเจจเจพ เจนเฉ เจ เจคเฉ เจธเจเฉเจฐเฉเจ เจชเฉเจฐเจคเฉเจเฉเจฐเจฟเจคเฉ เจฒเจ เจเจธเจจเฉเฉฐ เจเจฟเจตเฉเจ เจตเจฐเจคเจฃเจพ เจนเฉ เจเจธเจฆเจพ เจธเฉฐเจเฉเจช เจชเฉเจฐเจฆเจฐเจธเจผเจจ เจเฉเจคเจพ เจนเฉเฅค เจนเฉเจ เจพเจ เจฆเจฟเฉฑเจคเฉ เจซเฉเจกเจฌเฉเจ เจซเจพเจฐเจฎ เจฆเฉ เจตเจฐเจคเฉเจ เจเจฐเจเฉ เจธเจพเจกเฉ เจจเจพเจฒ เจเจชเจฃเฉ เจตเจฟเจเจพเจฐ เจธเจพเจเจเฉ เจเจฐเจจ เจฒเจ เจฌเฉเจเจฟเจเจ เจฎเจนเจฟเจธเฉเจธ เจเจฐเฉเฅค
เจธเจฐเฉเจค: www.habr.com