Cloister → ການຈັດການກຸ່ມ OTP ແບບງ່າຍດາຍ

ເກືອບທຸກຄໍາຮ້ອງສະຫມັກທຸລະກິດທີ່ປະສົບຜົນສໍາເລັດບໍ່ໄວຫຼືຫຼັງຈາກນັ້ນຈະເຂົ້າສູ່ໄລຍະທີ່ຕ້ອງການການປັບຂະຫນາດຕາມແນວນອນ. ໃນຫຼາຍໆກໍລະນີ, ທ່ານພຽງແຕ່ສາມາດເລີ່ມຕົ້ນຕົວຢ່າງໃຫມ່ແລະຫຼຸດຜ່ອນການໂຫຼດສະເລ່ຍ. ແຕ່ກໍ່ຍັງມີກໍລະນີເລັກນ້ອຍທີ່ນ້ອຍທີ່ພວກເຮົາຕ້ອງການເພື່ອຮັບປະກັນວ່າ nodes ທີ່ແຕກຕ່າງກັນຮູ້ກ່ຽວກັບກັນແລະກັນແລະລະມັດລະວັງການແຈກຢາຍວຽກງານ.

ມັນ​ໄດ້​ຫັນ​ອອກ​ໂຊກ​ດີ​ນັ້ນ​ erlang, ທີ່ພວກເຮົາເລືອກສໍາລັບ syntax ທີ່ຫນ້າພໍໃຈແລະ hype ປະມານມັນ, ມີຊັ້ນທໍາອິດ ສະຫນັບສະຫນູນລະບົບການແຈກຢາຍ. ໃນທາງທິດສະດີ, ມັນເບິ່ງຄືວ່າເປັນເລື່ອງເລັກນ້ອຍ:

ການຖ່າຍທອດຂໍ້ຄວາມລະຫວ່າງຂະບວນການໃນຂໍ້ທີ່ແຕກຕ່າງກັນ, ເຊັ່ນດຽວກັນກັບລະຫວ່າງການເຊື່ອມຕໍ່ແລະຕິດຕາມກວດກາ, ແມ່ນໂປ່ງໃສ […]

ໃນການປະຕິບັດ, ທຸກສິ່ງທຸກຢ່າງແມ່ນສັບສົນຫຼາຍ. ແຈກຢາຍ erlang ໄດ້ຖືກພັດທະນາເມື່ອ "ຕູ້ຄອນເທນເນີ" ຫມາຍເຖິງກ່ອງເຫລໍກຂະຫນາດໃຫຍ່ສໍາລັບການຂົນສົ່ງ, ແລະ "docker" ແມ່ນພຽງແຕ່ຄໍາສັບຄ້າຍຄືສໍາລັບ longshoreman. IN IP4 ມີຫຼາຍທີ່ຢູ່ທີ່ບໍ່ມີບ່ອນຢູ່, ການແຕກແຍກຂອງເຄືອຂ່າຍປົກກະຕິແລ້ວແມ່ນເກີດມາຈາກຫນູ chewing ຜ່ານສາຍເຄເບີນ, ແລະເວລາສະເລ່ຍຂອງລະບົບການຜະລິດໄດ້ຖືກວັດແທກໃນທົດສະວັດ.

ໃນປັດຈຸບັນພວກເຮົາທັງຫມົດແມ່ນ incredibly ຕົນເອງພຽງພໍ, ການຫຸ້ມຫໍ່, ແລະແລ່ນແຈກຢາຍ erlang ໃນສະພາບແວດລ້ອມທີ່ທີ່ຢູ່ IP ແບບເຄື່ອນໄຫວຖືກມອບໃຫ້ຢູ່ໃນຫຼັກການຂອງການສຸ່ມທີ່ຍິ່ງໃຫຍ່, ແລະຂໍ້ສາມາດປາກົດແລະຫາຍໄປໃນຄວາມກະຕືລືລົ້ນຂອງ heel ຊ້າຍຂອງຜູ້ຈັດຕາຕະລາງ. ເພື່ອຫຼີກເວັ້ນການ piles ຂອງລະຫັດ boilerplate ໃນທຸກໂຄງການດໍາເນີນການແຈກຢາຍ erlang, ເພື່ອຕ້ານສະພາບແວດລ້ອມ hostile, ການຊ່ວຍເຫຼືອແມ່ນຕ້ອງການ.

Примечание: ຂ້ອຍຮູ້ວ່າມີ libcluster. ມັນເຢັນແທ້ໆ, ມັນມີຫຼາຍກວ່າຫນຶ່ງພັນດາວ, ຜູ້ຂຽນແມ່ນມີຊື່ສຽງໃນຊຸມຊົນ, ແລະທັງຫມົດນັ້ນ. ຖ້າວິທີການທີ່ສະເຫນີໂດຍຊຸດນີ້ສໍາລັບການສ້າງແລະຮັກສາກຸ່ມແມ່ນພຽງພໍສໍາລັບທ່ານ, ຂ້ອຍຍິນດີສໍາລັບທ່ານ. ແຕ່ຫນ້າເສຍດາຍ, ຂ້ອຍຕ້ອງການຫຼາຍ. ຂ້ອຍຕ້ອງການຄວບຄຸມການຕິດຕັ້ງແບບລະອຽດ ແລະບໍ່ແມ່ນຜູ້ຊົມພາຍນອກໃນການສະແດງລະຄອນຂອງການຈັດກຸ່ມຄືນໃໝ່.

ຄວາມຕ້ອງການ

ສິ່ງ​ທີ່​ຂ້າ​ພະ​ເຈົ້າ​ຕ້ອງ​ການ​ສ່ວນ​ບຸກ​ຄົນ​ແມ່ນ​ຫ້ອງ​ສະ​ຫມຸດ​ທີ່​ຈະ​ຮັບ​ເອົາ​ການ​ຄຸ້ມ​ຄອງ​ຂອງ​ກຸ່ມ​ແລະ​ຈະ​ມີ​ຄຸນ​ສົມ​ບັດ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:

• ການເຮັດວຽກທີ່ໂປ່ງໃສກັບທັງບັນຊີລາຍຊື່ຂອງໂຫນດທີ່ມີລະຫັດຍາກແລະການຄົ້ນພົບແບບເຄື່ອນໄຫວໂດຍຜ່ານການບໍລິການ erlang;
• callback ທີ່ມີປະໂຫຍດຢ່າງເຕັມທີ່ສໍາລັບທຸກໆການປ່ຽນແປງ topology (node ​​ຢູ່ທີ່ນັ້ນ, node ທີ່ນີ້, ຄວາມບໍ່ສະຖຽນລະພາບຂອງເຄືອຂ່າຍ, ການແບ່ງປັນ);
• ການໂຕ້ຕອບທີ່ໂປ່ງໃສສໍາລັບການເປີດຕົວກຸ່ມທີ່ມີຊື່ຍາວແລະສັ້ນ, ເຊັ່ນດຽວກັບ :nonode@nohost;
• ສະຫນັບສະຫນູນ Docker ອອກຈາກກ່ອງ, ໂດຍບໍ່ຕ້ອງຂຽນລະຫັດໂຄງສ້າງພື້ນຖານ.

ສຸດທ້າຍຫມາຍຄວາມວ່າຫຼັງຈາກທີ່ຂ້ອຍໄດ້ທົດສອບຄໍາຮ້ອງສະຫມັກຢູ່ໃນທ້ອງຖິ່ນ :nonode@nohost, ຫຼືຢູ່ໃນສະພາບແວດລ້ອມທີ່ແຈກຢາຍປອມໂດຍໃຊ້ test_cluster_task, ຂ້າພະເຈົ້າພຽງແຕ່ຕ້ອງການທີ່ຈະດໍາເນີນການ docker-compose up --scale my_app=3 ແລະເບິ່ງວ່າມັນປະຕິບັດສາມຕົວຢ່າງໃນ docker ໂດຍບໍ່ມີການປ່ຽນແປງລະຫັດໃດໆ. ຂ້າພະເຈົ້າຍັງຕ້ອງການຄໍາຮ້ອງສະຫມັກທີ່ຂຶ້ນກັບເຊັ່ນ mnesia - ໃນ​ເວ​ລາ​ທີ່ topology ໄດ້​ມີ​ການ​ປ່ຽນ​ແປງ​, ຢູ່​ເບື້ອງ​ຫລັງ scenes ພວກ​ເຂົາ​ເຈົ້າ​ກໍ່​ສ້າງ​ກຸ່ມ​ທີ່​ມີ​ຊີ​ວິດ​ໂດຍ​ບໍ່​ມີ​ການ​ເຕະ​ບານ​ເພີ່ມ​ເຕີມ​ຈາກ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​.

ຕູ້ເສື້ອຜ້າ ບໍ່ໄດ້ຕັ້ງໃຈໃຫ້ເປັນຫ້ອງສະໝຸດທີ່ມີຄວາມສາມາດໄດ້ທຸກຢ່າງຕັ້ງແຕ່ການສະໜັບສະໜູນກຸ່ມເພື່ອເຮັດກາເຟ. ມັນ​ບໍ່​ແມ່ນ​ລູກ​ປືນ​ເງິນ​ທີ່​ມີ​ຈຸດ​ປະ​ສົງ​ເພື່ອ​ກວມ​ເອົາ​ທຸກ​ກໍ​ລະ​ນີ​ທີ່​ເປັນ​ໄປ​ໄດ້​, ຫຼື​ເປັນ​ການ​ແກ້​ໄຂ​ທີ່​ສົມ​ບູນ​ທາງ​ດ້ານ​ວິ​ຊາ​ການ​ໃນ​ຄວາມ​ຫມາຍ​ວ່າ​ນັກ​ທິດ​ສະ​ດີ​ຈາກ​. CS ໃສ່ໃນຄໍາສັບນີ້. ຫ້ອງສະໝຸດນີ້ຖືກອອກແບບເພື່ອຮັບໃຊ້ຈຸດປະສົງທີ່ຊັດເຈນຫຼາຍ, ແຕ່ເຮັດວຽກທີ່ບໍ່ໃຫຍ່ເກີນໄປຢ່າງສົມບູນ. ເປົ້າຫມາຍນີ້ຈະເປັນການສ້າງຄວາມໂປ່ງໃສຢ່າງສົມບູນລະຫວ່າງສະພາບແວດລ້ອມການພັດທະນາທ້ອງຖິ່ນແລະສະພາບແວດລ້ອມ elastic ແຈກຢາຍທີ່ເຕັມໄປດ້ວຍຖັງທີ່ເປັນສັດຕູ.

ວິທີການເລືອກ

ຕູ້ເສື້ອຜ້າ ມີຈຸດປະສົງເພື່ອດໍາເນີນການເປັນແອັບພລິເຄຊັນ, ເຖິງແມ່ນວ່າຜູ້ໃຊ້ຂັ້ນສູງສາມາດເຮັດວຽກກັບການປະກອບແລະການບໍາລຸງຮັກສາ cluster ດ້ວຍຕົນເອງໂດຍການແລ່ນໂດຍກົງ. Cloister.Manager ໃນຕົ້ນໄມ້ຜູ້ຄຸມງານຂອງແອັບພລິເຄຊັນເປົ້າຫມາຍ.

ໃນເວລາທີ່ດໍາເນີນການເປັນຄໍາຮ້ອງສະຫມັກ, ຫ້ອງສະຫມຸດໄດ້ອີງໃສ່ config, ຈາກທີ່ມັນອ່ານຄ່າພື້ນຖານດັ່ງຕໍ່ໄປນີ້:

config :cloister,
  otp_app: :my_app,
  sentry: :"cloister.local", # or ~w|n1@foo n2@bar|a
  consensus: 3,              # number of nodes to consider
                             #    the cluster is up
  listener: MyApp.Listener   # listener to be called when
                             #    the ring has changed

ຕົວກໍານົດການຂ້າງເທິງນີ້ຫມາຍເຖິງຕົວຫນັງສືດັ່ງຕໍ່ໄປນີ້: ຕູ້ເສື້ອຜ້າ ໃຊ້ສໍາລັບຄໍາຮ້ອງສະຫມັກ OTP :my_app, ການນໍາໃຊ້ ການຄົ້ນພົບການບໍລິການ erlang ເພື່ອເຊື່ອມຕໍ່ nodes, ຢ່າງຫນ້ອຍສາມ, ແລະ MyApp.Listener ໂມດູນ (ການຈັດຕັ້ງປະຕິບັດ @behaviour Cloister.Listener) ຖືກຕັ້ງຄ່າເພື່ອຮັບການແຈ້ງເຕືອນກ່ຽວກັບການປ່ຽນແປງທາງດ້ານ topology. ລາຍລະອຽດຂອງການຕັ້ງຄ່າຄົບຖ້ວນສາມາດພົບໄດ້ໃນ ເອກະສານ.

ດ້ວຍການຕັ້ງຄ່ານີ້, ແອັບພລິເຄຊັນ ຕູ້ເສື້ອຜ້າ ຈະ ເປີດຕົວໃນຂັ້ນຕອນ, ການຊັກຊ້າຂະບວນການເລີ່ມຕົ້ນຄໍາຮ້ອງສະຫມັກຕົ້ນຕໍຈົນກ່ວາການຕົກລົງເຫັນດີ (ສາມ nodes ແມ່ນເຊື່ອມຕໍ່ແລະເຊື່ອມຕໍ່, ເຊັ່ນດຽວກັບຕົວຢ່າງຂ້າງເທິງ.) ນີ້ເຮັດໃຫ້ຄໍາຮ້ອງສະຫມັກຕົ້ນຕໍມີໂອກາດທີ່ຈະສົມມຸດວ່າເມື່ອມັນເລີ່ມຕົ້ນ, ກຸ່ມແມ່ນມີຢູ່ແລ້ວ. ເມື່ອໃດກໍ່ຕາມ topology ປ່ຽນແປງ (ມັນຈະມີຫຼາຍ, ເພາະວ່າ nodes ບໍ່ໄດ້ເລີ່ມຕົ້ນ synchronously ຢ່າງສົມບູນ), handler ຈະຖືກເອີ້ນວ່າ. MyApp.Listener.on_state_change/2. ເວລາສ່ວນໃຫຍ່ທີ່ພວກເຮົາປະຕິບັດການດໍາເນີນການໃນເວລາທີ່ພວກເຮົາໄດ້ຮັບຂໍ້ຄວາມສະຖານະພາບ %Cloister.Monitor{status: :up}, ຊຶ່ງຫມາຍຄວາມວ່າ: "ສະບາຍດີ, ກຸ່ມໄດ້ຖືກລວບລວມ."

ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ການຕິດຕັ້ງ consensus: 3 ແມ່ນດີທີ່ສຸດເພາະວ່າເຖິງແມ່ນວ່າພວກເຮົາຄາດວ່າຈະມີ nodes ຫຼາຍທີ່ຈະເຊື່ອມຕໍ່, callback ຈະຜ່ານ status: :rehashing → status: :up ຢູ່ໃນ node ທີ່ເພີ່ມໃຫມ່ຫຼືເອົາອອກ.

ເມື່ອເລີ່ມຕົ້ນໃນຮູບແບບການພັດທະນາ, ທ່ານພຽງແຕ່ຕ້ອງການກໍານົດ consensus: 1 и ຕູ້ເສື້ອຜ້າ ມີຄວາມສຸກຈະຂ້າມການລໍຖ້າການຊຸມນຸມກຸ່ມເມື່ອລາວເຫັນ :nonode@nohost, ຫຼື :node@host, ຫຼື :[email protected] - ຂຶ້ນ​ກັບ​ວິ​ທີ​ການ​ຕັ້ງ​ຄ່າ node (:none | :shortnames | :longnames).

ການຈັດການແອັບພລິເຄຊັນທີ່ແຈກຢາຍ

ແອັບພລິເຄຊັນທີ່ແຈກຢາຍບໍ່ຢູ່ໃນສູນຍາກາດໂດຍປົກກະຕິແລ້ວ ລວມມີການອ້າງອີງທີ່ແຈກຢາຍ ເຊັ່ນ: mnesia. ມັນງ່າຍສໍາລັບພວກເຮົາທີ່ຈະຈັດການການຕັ້ງຄ່າຂອງພວກເຂົາຄືນໃຫມ່ຈາກການເອີ້ນຄືນດຽວກັນ on_state_change/2. ທີ່ນີ້, ສໍາລັບການຍົກຕົວຢ່າງ, ເປັນລາຍລະອຽດຂອງວິທີການ reconfigure mnesia ສຸດບິນໃນ ເອກະສານ ຕູ້ເສື້ອຜ້າ.

ປະໂຫຍດຕົ້ນຕໍຂອງການນໍາໃຊ້ ຕູ້ເສື້ອຜ້າ ແມ່ນວ່າມັນດໍາເນີນການທັງຫມົດທີ່ຈໍາເປັນເພື່ອສ້າງ cluster ອີກເທື່ອຫນຶ່ງຫຼັງຈາກການປ່ຽນແປງ topology ພາຍໃຕ້ Hood ໄດ້. ແອັບພລິເຄຊັນພຽງແຕ່ເຮັດວຽກຢູ່ໃນສະພາບແວດລ້ອມທີ່ແຈກຢາຍທີ່ກຽມພ້ອມແລ້ວ, ໂດຍມີການເຊື່ອມຕໍ່ທັງຫມົດ, ບໍ່ວ່າພວກເຮົາຈະຮູ້ທີ່ຢູ່ IP ແລະດັ່ງນັ້ນຊື່ຂອງ node ລ່ວງຫນ້າ, ຫຼືພວກເຂົາໄດ້ຖືກມອບຫມາຍ / ປ່ຽນແປງແບບເຄື່ອນໄຫວ. ນີ້ຮຽກຮ້ອງໃຫ້ມີການຕັ້ງຄ່າ docker ພິເສດຢ່າງແທ້ຈິງແລະຈາກທັດສະນະຂອງຜູ້ພັດທະນາແອັບພລິເຄຊັນ, ບໍ່ມີຄວາມແຕກຕ່າງລະຫວ່າງການແລ່ນໃນສະພາບແວດລ້ອມທີ່ແຈກຢາຍຫຼືແລ່ນຢູ່ໃນທ້ອງຖິ່ນ. :nonode@nohost. ທ່ານສາມາດອ່ານເພີ່ມເຕີມກ່ຽວກັບເລື່ອງນີ້ໃນ ເອກະສານ.

ເຖິງແມ່ນວ່າການຈັດການທີ່ສັບສົນຂອງການປ່ຽນແປງ topology ແມ່ນເປັນໄປໄດ້ໂດຍຜ່ານການປະຕິບັດແບບກໍາຫນົດເອງ MyApp.Listener, ອາດຈະສະເຫມີມີກໍລະນີທີ່ແຂບທີ່ຂໍ້ຈໍາກັດຂອງຫ້ອງສະຫມຸດເຫຼົ່ານີ້ແລະຄວາມລໍາອຽງໃນການຕັ້ງຄ່າພິສູດວ່າເປັນພື້ນຖານຂອງການປະຕິບັດ. ມັນບໍ່ເປັນຫຍັງ, ພຽງແຕ່ເອົາຂ້າງເທິງ libcluster, ຊຶ່ງເປັນຈຸດປະສົງທົ່ວໄປຫຼາຍ, ຫຼືແມ້ກະທັ້ງຈັດການກຸ່ມລະດັບຕ່ໍາຕົວທ່ານເອງ. ເປົ້າຫມາຍຂອງຫ້ອງສະຫມຸດລະຫັດນີ້ບໍ່ແມ່ນເພື່ອໃຫ້ກວມເອົາທຸກສະຖານະການທີ່ເປັນໄປໄດ້, ແຕ່ໃຊ້ສະຖານະການທົ່ວໄປທີ່ສຸດໂດຍບໍ່ມີຄວາມເຈັບປວດທີ່ບໍ່ຈໍາເປັນແລະການຄັດລອກທີ່ຫຍຸ້ງຍາກ.

ຫມາຍເຫດ: ໃນຈຸດນີ້ໃນຕົ້ນສະບັບມີຄໍາວ່າ "Happy clustering!", ແລະ Yandex, ເຊິ່ງຂ້ອຍແປ (ຂ້ອຍບໍ່ຕ້ອງຜ່ານວັດຈະນານຸກົມດ້ວຍຕົນເອງ), ໄດ້ສະເຫນີທາງເລືອກໃຫ້ຂ້ອຍວ່າ "Happy clustering!" ບາງທີມັນເປັນໄປບໍ່ໄດ້ທີ່ຈະຈິນຕະນາການການແປທີ່ດີກວ່າ, ໂດຍສະເພາະໃນແງ່ຂອງສະຖານະການທາງພູມສາດໃນປະຈຸບັນ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com