WAL-G: ຄຸນສົມບັດໃໝ່ ແລະການຂະຫຍາຍຕົວຂອງຊຸມຊົນ. Georgy Rylov

ຂ້າພະເຈົ້າຂໍແນະນໍາໃຫ້ທ່ານອ່ານບົດບັນທຶກຂອງບົດລາຍງານຕົ້ນປີ 2020 ໂດຍ Georgy Rylov “WAL-G: ໂອກາດໃຫມ່ແລະການຂະຫຍາຍຊຸມຊົນ”

ຜູ້ຮັກສາ open-source ປະເຊີນກັບສິ່ງທ້າທາຍຫຼາຍຢ່າງຍ້ອນວ່າພວກເຂົາເຕີບໂຕ. ວິທີການຂຽນລັກສະນະທີ່ຕ້ອງການຫຼາຍແລະຫຼາຍ, ແກ້ໄຂບັນຫາຫຼາຍແລະຫຼາຍແລະຈັດການເບິ່ງການຮ້ອງຂໍດຶງຫຼາຍແລະຫຼາຍ? ການນໍາໃຊ້ WAL-G (ເຄື່ອງມືສໍາຮອງຂໍ້ມູນສໍາລັບ PostgreSQL) ເປັນຕົວຢ່າງ, ຂ້າພະເຈົ້າຈະບອກທ່ານວ່າພວກເຮົາແກ້ໄຂບັນຫາເຫຼົ່ານີ້ໄດ້ແນວໃດໂດຍການເປີດຫຼັກສູດການພັດທະນາ Open-source ຢູ່ມະຫາວິທະຍາໄລ, ສິ່ງທີ່ພວກເຮົາບັນລຸໄດ້ແລະບ່ອນທີ່ພວກເຮົາຈະກ້າວຕໍ່ໄປ.

ສະບາຍດີທຸກໆຄົນ! ຂ້ອຍເປັນຜູ້ພັດທະນາ Yandex ຈາກ Yekaterinburg. ແລະມື້ນີ້ຂ້ອຍຈະເວົ້າກ່ຽວກັບ WAL-G.

ຫົວຂໍ້ຂອງບົດລາຍງານບໍ່ໄດ້ເວົ້າວ່າມັນເປັນບາງສິ່ງບາງຢ່າງກ່ຽວກັບການສໍາຮອງຂໍ້ມູນ. ມີໃຜຮູ້ວ່າ WAL-G ແມ່ນຫຍັງ? ຫຼືທຸກຄົນຮູ້? ຍົກມືຂຶ້ນ ຖ້າເຈົ້າບໍ່ຮູ້. shit ບໍລິສຸດ, ເຈົ້າມາລາຍງານແລະບໍ່ຮູ້ວ່າມັນກ່ຽວກັບຫຍັງ.

ໃຫ້ຂ້າພະເຈົ້າບອກທ່ານສິ່ງທີ່ຈະເກີດຂຶ້ນໃນມື້ນີ້. ມັນເກີດຂຶ້ນຫຼາຍທີ່ທີມງານຂອງພວກເຮົາໄດ້ເຮັດການສໍາຮອງສໍາລັບຊ່ວງເວລາໃດຫນຶ່ງ. ແລະນີ້ແມ່ນບົດລາຍງານອື່ນໃນຊຸດທີ່ພວກເຮົາສົນທະນາກ່ຽວກັບວິທີທີ່ພວກເຮົາເກັບຮັກສາຂໍ້ມູນຢ່າງປອດໄພ, ປອດໄພ, ສະດວກແລະມີປະສິດທິພາບ.

ໃນຊຸດທີ່ຜ່ານມາມີບົດລາຍງານຈໍານວນຫຼາຍໂດຍ Andrei Borodin ແລະ Vladimir Leskov. ມີຈໍານວນຫຼາຍຂອງພວກເຮົາ. ແລະພວກເຮົາໄດ້ເວົ້າກ່ຽວກັບ WAL-G ເປັນເວລາຫລາຍປີແລ້ວ.

clck.ru/F8ioz — https://www.highload.ru/moscow/2018/abstracts/3964

clck.ru/Ln8Qw — https://www.highload.ru/moscow/2019/abstracts/5981

ບົດລາຍງານນີ້ຈະແຕກຕ່າງກັນຫນ້ອຍຫນຶ່ງຈາກຄົນອື່ນໃນທີ່ມັນແມ່ນເພີ່ມເຕີມກ່ຽວກັບພາກສ່ວນດ້ານວິຊາການ, ແຕ່ໃນທີ່ນີ້ຂ້າພະເຈົ້າຈະເວົ້າກ່ຽວກັບວິທີທີ່ພວກເຮົາພົບບັນຫາທີ່ກ່ຽວຂ້ອງກັບການຂະຫຍາຍຕົວຂອງຊຸມຊົນ. ແລະວິທີທີ່ພວກເຮົາໄດ້ມີຄວາມຄິດນ້ອຍໆທີ່ຊ່ວຍພວກເຮົາຮັບມືກັບເລື່ອງນີ້.

ສອງສາມປີກ່ອນ, WAL-G ເປັນໂຄງການຂະຫນາດນ້ອຍພໍສົມຄວນທີ່ພວກເຮົາໄດ້ຮັບຈາກ Citus Data. ແລະພວກເຮົາພຽງແຕ່ເອົາມັນ. ແລະມັນໄດ້ຖືກພັດທະນາໂດຍຄົນຫນຶ່ງ.

ແລະພຽງແຕ່ WAL-G ບໍ່ມີ:

• ສຳຮອງຂໍ້ມູນຈາກເຄື່ອງຈຳລອງ.
• ບໍ່ມີຂໍ້ມູນສຳຮອງທີ່ເພີ່ມຂຶ້ນ.
• ບໍ່ມີການສຳຮອງຂໍ້ມູນ WAL-Delta.
• ແລະ​ຍັງ​ຂາດ​ຫາຍ​ໄປ​ຫຼາຍ​ຢ່າງ.

ໃນໄລຍະສອງສາມປີຜ່ານມານີ້, WAL-G ໄດ້ເຕີບໃຫຍ່ຫຼາຍ.

ແລະໃນປີ 2020, ທັງຫມົດຂ້າງເທິງໄດ້ປາກົດຢູ່ແລ້ວ. ແລະນີ້ໄດ້ຖືກເພີ່ມສິ່ງທີ່ພວກເຮົາມີໃນປັດຈຸບັນ:

• ຫຼາຍກວ່າ 1 ດາວໃນ GitHub.
• ສ້ອມ 150 ບາດ.
• ປະມານ 15 ເປີດ PRs.
• ແລະຜູ້ປະກອບສ່ວນຫຼາຍ.
• ແລະເປີດບັນຫາຕະຫຼອດເວລາ. ແລະນີ້ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າພວກເຮົາຮູ້ຫນັງສືໄປບ່ອນນັ້ນທຸກໆມື້ແລະເຮັດບາງສິ່ງບາງຢ່າງກ່ຽວກັບມັນ.

ແລະພວກເຮົາໄດ້ສະຫຼຸບວ່າໂຄງການນີ້ຕ້ອງການຄວາມສົນໃຈຂອງພວກເຮົາຫຼາຍຂຶ້ນ, ເຖິງແມ່ນວ່າພວກເຮົາເອງບໍ່ຈໍາເປັນຕ້ອງປະຕິບັດສິ່ງໃດສໍາລັບການບໍລິການຖານຂໍ້ມູນທີ່ມີການຄຸ້ມຄອງຂອງພວກເຮົາໃນ Yandex.

ແລະບາງບ່ອນໃນລະດູໃບໄມ້ປົ່ງຂອງປີ 2018, ຄວາມຄິດໄດ້ເຂົ້າມາໃນໃຈຂອງພວກເຮົາ. ໂດຍປົກກະຕິແລ້ວ ທີມງານມີຫຼາຍວິທີທີ່ຈະພັດທະນາຄຸນສົມບັດບາງຢ່າງ ຫຼືແກ້ໄຂຂໍ້ບົກພ່ອງຕ່າງໆ ຖ້າທ່ານບໍ່ມີມືພຽງພໍ. ຕົວຢ່າງ, ທ່ານສາມາດຈ້າງຜູ້ພັດທະນາອື່ນແລະຈ່າຍເງິນໃຫ້ລາວ. ຫຼື​ເຈົ້າ​ສາມາດ​ຝຶກ​ງານ​ໄດ້​ໄລຍະ​ໜຶ່ງ​ແລະ​ຍັງ​ຈ່າຍ​ເງິນ​ເດືອນ​ໃຫ້​ລາວ. ແຕ່ກໍ່ຍັງມີກຸ່ມຄົນຈຳນວນຫຼວງຫຼາຍ, ບາງຄົນກໍ່ຮູ້ວິທີຂຽນລະຫັດແລ້ວ. ທ່ານພຽງແຕ່ບໍ່ຮູ້ວ່າລະຫັດຄຸນນະພາບແມ່ນຫຍັງ.

ພວກເຮົາຄິດກ່ຽວກັບມັນແລະຕັດສິນໃຈພະຍາຍາມດຶງດູດນັກຮຽນ. ແຕ່ນັກຮຽນຈະບໍ່ມີສ່ວນຮ່ວມໃນທຸກສິ່ງທຸກຢ່າງກັບພວກເຮົາ. ພວກເຂົາຈະເຮັດບາງສ່ວນຂອງວຽກງານເທົ່ານັ້ນ. ແລະພວກເຂົາເຈົ້າຈະ, ສໍາລັບການຍົກຕົວຢ່າງ, ການຂຽນການທົດສອບ, ແກ້ໄຂຂໍ້ບົກພ່ອງ, ປະຕິບັດລັກສະນະທີ່ບໍ່ມີຜົນກະທົບຕໍ່ການທໍາງານຕົ້ນຕໍ. ຫນ້າທີ່ຕົ້ນຕໍແມ່ນການສ້າງສໍາຮອງຂໍ້ມູນແລະການຟື້ນຟູການສໍາຮອງຂໍ້ມູນ. ຖ້າພວກເຮົາເຮັດຜິດພາດໃນການສ້າງການສໍາຮອງຂໍ້ມູນ, ພວກເຮົາຈະປະສົບກັບການສູນເສຍຂໍ້ມູນ. ແລະບໍ່ມີໃຜຕ້ອງການນີ້, ແນ່ນອນ. ທຸກຄົນຕ້ອງການໃຫ້ທຸກຢ່າງປອດໄພຫຼາຍ. ດັ່ງນັ້ນ, ແນ່ນອນ, ພວກເຮົາບໍ່ຕ້ອງການທີ່ຈະປ່ອຍໃຫ້ລະຫັດທີ່ພວກເຮົາໄວ້ວາງໃຈຫນ້ອຍກວ່າຂອງພວກເຮົາ. ນັ້ນແມ່ນ, ລະຫັດທີ່ບໍ່ສໍາຄັນແມ່ນສິ່ງທີ່ພວກເຮົາຢາກໄດ້ຮັບຈາກພະນັກງານເພີ່ມເຕີມຂອງພວກເຮົາ.

ພາຍໃຕ້ເງື່ອນໄຂໃດທີ່ນັກຮຽນ PR ຖືກຍອມຮັບ?

• ພວກເຂົາຈໍາເປັນຕ້ອງກວມເອົາລະຫັດຂອງພວກເຂົາດ້ວຍການທົດສອບ. ທຸກສິ່ງທຸກຢ່າງຄວນຈະເກີດຂຶ້ນໃນ CI.
• ແລະພວກເຮົາຍັງຜ່ານ 2 ການທົບທວນຄືນ. ຫນຶ່ງໂດຍ Andrey Borodin ແລະຫນຶ່ງໂດຍຂ້ອຍ.
• ແລະນອກຈາກນັ້ນ, ເພື່ອກວດເບິ່ງວ່ານີ້ຈະບໍ່ທໍາລາຍສິ່ງໃດໃນການບໍລິການຂອງພວກເຮົາ, ຂ້າພະເຈົ້າແຍກການປະກອບການປະກອບກັບຄໍາຫມັ້ນສັນຍານີ້. ແລະພວກເຮົາກວດເບິ່ງໃນການທົດສອບ end-to-end ວ່າບໍ່ມີຫຍັງລົ້ມເຫລວ.

ຫຼັກສູດພິເສດ Open Source

ເລັກນ້ອຍກ່ຽວກັບວ່າເປັນຫຍັງນີ້ຈຶ່ງຈໍາເປັນແລະເປັນຫຍັງນີ້, ມັນເບິ່ງຄືວ່າຂ້ອຍ, ເປັນຄວາມຄິດທີ່ເຢັນ.

ສໍາລັບພວກເຮົາ, ກໍາໄລແມ່ນຈະແຈ້ງ:

• ພວກເຮົາໄດ້ຮັບມືພິເສດ.
• ແລະພວກເຮົາກໍາລັງຊອກຫາຜູ້ສະຫມັກສໍາລັບທີມງານໃນບັນດານັກຮຽນທີ່ຂຽນລະຫັດ smart.

ຜົນປະໂຫຍດສໍາລັບນັກຮຽນແມ່ນຫຍັງ?

ພວກເຂົາອາດຈະເຫັນໄດ້ຊັດເຈນຫນ້ອຍ, ເພາະວ່ານັກຮຽນ, ຢ່າງຫນ້ອຍ, ບໍ່ໄດ້ຮັບເງິນສໍາລັບລະຫັດທີ່ພວກເຂົາຂຽນ, ແຕ່ໄດ້ຮັບພຽງແຕ່ຄະແນນສໍາລັບບັນທຶກນັກຮຽນຂອງພວກເຂົາ.

ຂ້າພະເຈົ້າໄດ້ຖາມພວກເຂົາກ່ຽວກັບເລື່ອງນີ້. ແລະໃນຄໍາເວົ້າຂອງພວກເຂົາ:

• ປະສົບການຂອງຜູ້ປະກອບສ່ວນໃນແຫຼ່ງເປີດ.
• ຮັບສາຍໃນ CV ຂອງທ່ານ.
• ພິສູດຕົວທ່ານເອງແລະຜ່ານການສໍາພາດໃນ Yandex.
• ເປັນສະມາຊິກ GSoC.
• +1 ຫຼັກສູດພິເສດສຳລັບຜູ້ທີ່ຕ້ອງການຂຽນລະຫັດ.

ຂ້າພະເຈົ້າຈະບໍ່ເວົ້າກ່ຽວກັບວິທີຫຼັກສູດໄດ້ຖືກໂຄງສ້າງ. ຂ້າພະເຈົ້າພຽງແຕ່ຈະເວົ້າວ່າ WAL-G ແມ່ນໂຄງການຕົ້ນຕໍ. ພວກເຮົາຍັງໄດ້ລວມເອົາໂຄງການເຊັ່ນ Odyssey, PostgreSQL ແລະ ClickHouse ໃນຫຼັກສູດນີ້.

ແລະພວກເຂົາໄດ້ໃຫ້ບັນຫາບໍ່ພຽງແຕ່ໃນວິຊານີ້, ແຕ່ຍັງໃຫ້ອອກໃບປະກາດສະນີຍະບັດແລະຫຼັກສູດ.

ຜົນປະໂຫຍດສໍາລັບຜູ້ໃຊ້ແມ່ນຫຍັງ?

ຕອນນີ້ໃຫ້ກ້າວໄປສູ່ພາກສ່ວນທີ່ທ່ານສົນໃຈທີ່ສຸດ. ອັນນີ້ເຈົ້າເຮັດຫຍັງດີ? ຈຸດ​ທີ່​ນັກ​ສຶກ​ສາ​ໄດ້​ແກ້​ໄຂ​ບັນ​ຫາ​ຫຼາຍ​. ແລະພວກເຮົາໄດ້ເຮັດລັກສະນະການຮ້ອງຂໍທີ່ທ່ານຮ້ອງຂໍໃຫ້ພວກເຮົາເຮັດ.

ແລະ​ໃຫ້​ຂ້າ​ພະ​ເຈົ້າ​ບອກ​ທ່ານ​ກ່ຽວ​ກັບ​ສິ່ງ​ທີ່​ທ່ານ​ຕ້ອງ​ການ​ດົນ​ນານ​ແລະ​ການ​ທີ່​ໄດ້​ຮັບ​ການ​ຮັບ​ຮູ້​.

ສະ​ຫນັບ​ສະ​ຫນູນ Tablespaces​. Tablespaces ໃນ WAL-G ຄາດວ່າຈະເປັນຕັ້ງແຕ່ການເປີດຕົວຂອງ WAL-G, ເພາະວ່າ WAL-G ເປັນຜູ້ສືບທອດຂອງເຄື່ອງມືສໍາຮອງຂໍ້ມູນອື່ນ WAL-E, ບ່ອນທີ່ການສໍາຮອງຖານຂໍ້ມູນທີ່ມີພື້ນທີ່ຕາຕະລາງໄດ້ຮັບການສະຫນັບສະຫນູນ.

ຂ້າພະເຈົ້າຂໍເຕືອນທ່ານໂດຍຫຍໍ້ວ່າມັນແມ່ນຫຍັງ ແລະເປັນຫຍັງມັນຈຶ່ງຕ້ອງການທັງໝົດ. ໂດຍປົກກະຕິ, ຂໍ້ມູນ Postgres ທັງຫມົດຂອງເຈົ້າຄອບຄອງຫນຶ່ງໄດເລກະທໍລີໃນລະບົບໄຟລ໌, ເອີ້ນວ່າພື້ນຖານ. ແລະໄດເລກະທໍລີນີ້ມີໄຟລ໌ທັງຫມົດແລະໄດເລກະທໍລີຍ່ອຍທີ່ຕ້ອງການໂດຍ Postgres ແລ້ວ.

Tablespaces ແມ່ນໄດເລກະທໍລີທີ່ມີຂໍ້ມູນ Postgres, ແຕ່ພວກມັນບໍ່ໄດ້ຕັ້ງຢູ່ພາຍນອກໄດເລກະທໍລີພື້ນຖານ. ສະໄລ້ສະແດງໃຫ້ເຫັນວ່າ tablespacs ຕັ້ງຢູ່ພາຍນອກໄດເລກະທໍລີພື້ນຖານ.

ນີ້ເບິ່ງຄືວ່າເປັນແນວໃດສໍາລັບ Postgres ຕົວຂອງມັນເອງ? ມີໄດເລກະທໍລີຍ່ອຍແຍກຕ່າງຫາກ pg_tblspc ໃນໄດເລກະທໍລີພື້ນຖານ. ແລະມັນມີ symlinks ກັບໄດເລກະທໍລີທີ່ຕົວຈິງແລ້ວມີຂໍ້ມູນ Postgres ຢູ່ນອກໄດເລກະທໍລີພື້ນຖານ.

ເມື່ອທ່ານໃຊ້ທັງຫມົດນີ້, ຫຼັງຈາກນັ້ນສໍາລັບທ່ານຄໍາສັ່ງເຫຼົ່ານີ້ອາດຈະມີລັກສະນະເຊັ່ນນີ້. ນັ້ນແມ່ນ, ທ່ານສ້າງຕາຕະລາງໃນບາງຕາຕະລາງທີ່ກໍານົດໄວ້ແລະເບິ່ງວ່າມັນຢູ່ໃສ. ນີ້ແມ່ນສອງແຖວສຸດທ້າຍ, ສອງຄໍາສັ່ງສຸດທ້າຍເອີ້ນວ່າ. ແລະຢູ່ທີ່ນັ້ນມັນເປັນທີ່ຊັດເຈນວ່າມີບາງທາງ. ແຕ່ໃນຄວາມເປັນຈິງ, ນີ້ບໍ່ແມ່ນວິທີທີ່ແທ້ຈິງ. ນີ້​ແມ່ນ​ເສັ້ນ​ທາງ​ນໍາ​ຫນ້າ​ຈາກ​ລະ​ບົບ​ຖານ​ທີ່​ຈະ tablespace​. ແລະຈາກນັ້ນມັນຖືກຈັບຄູ່ກັບ symlink ທີ່ນໍາໄປສູ່ຂໍ້ມູນທີ່ແທ້ຈິງຂອງທ່ານ.

ພວກເຮົາບໍ່ໄດ້ໃຊ້ທັງຫມົດນີ້ຢູ່ໃນທີມງານຂອງພວກເຮົາ, ແຕ່ມັນຖືກນໍາໃຊ້ໂດຍຜູ້ໃຊ້ WAL-E ອື່ນໆຫຼາຍຄົນທີ່ຂຽນຫາພວກເຮົາວ່າພວກເຂົາຕ້ອງການຍ້າຍໄປ WAL-G, ແຕ່ນີ້ແມ່ນການຢຸດເຊົາພວກເຂົາ. ຕອນນີ້ຮອງຮັບແລ້ວ.

ຄຸນນະສົມບັດອີກອັນຫນຶ່ງທີ່ຫຼັກສູດພິເສດຂອງພວກເຮົານໍາມາໃຫ້ພວກເຮົາແມ່ນຈັບໄດ້. ຄົນທີ່ເຄີຍເຮັດວຽກກັບ Oracle ຫຼາຍກວ່າກັບ Postgres ຮູ້ກ່ຽວກັບການຈັບມື.

ໂດຍຫຍໍ້ກ່ຽວກັບສິ່ງທີ່ມັນແມ່ນ. ໂດຍທົ່ວໄປແລ້ວ topology ຂອງກຸ່ມໃນການບໍລິການຂອງພວກເຮົາອາດຈະມີລັກສະນະແບບນີ້. ພວກເຮົາມີຕົ້ນສະບັບ. ມີການຈໍາລອງທີ່ຖ່າຍທອດບັນທຶກການຂຽນລ່ວງໜ້າຈາກມັນ. ແລະຕົວແບບຈໍາລອງບອກແມ່ບົດທີ່ LSN ມັນຢູ່ໃນປະຈຸບັນ. ແລະບາງບ່ອນໃນຂະຫນານນີ້, ບັນທຶກສາມາດຖືກເກັບໄວ້. ແລະນອກຈາກການເກັບບັນທຶກ, ການສໍາຮອງຂໍ້ມູນຍັງຖືກສົ່ງໄປຫາຄລາວ. ແລະການສໍາຮອງຂໍ້ມູນ delta ຖືກສົ່ງໄປ.

ແມ່ນຫຍັງອາດຈະເປັນບັນຫາ? ເມື່ອທ່ານມີຖານຂໍ້ມູນຂະຫນາດໃຫຍ່ພໍສົມຄວນ, ມັນອາດຈະເຮັດໃຫ້ການຈໍາລອງຂອງທ່ານເລີ່ມຕົ້ນທີ່ຈະຊັກຊ້າຢູ່ໄກຈາກຕົ້ນສະບັບ. ແລະ​ນາງ​ຍັງ​ຄົງ​ຢູ່​ທາງ​ຫລັງ​ຈົນ​ບໍ່​ສາມາດ​ຈັບ​ລາວ​ໄດ້. ບັນຫານີ້ປົກກະຕິແລ້ວຕ້ອງໄດ້ຮັບການແກ້ໄຂ somehow.

ແລະວິທີທີ່ງ່າຍທີ່ສຸດຄືການເອົາ replica ແລະ re-upload ມັນອີກເທື່ອຫນຶ່ງ, ເນື່ອງຈາກວ່າມັນຈະບໍ່ເຄີຍຈັບໄດ້, ແລະບັນຫາຕ້ອງໄດ້ຮັບການຈັດການກັບ. ແຕ່ນີ້ແມ່ນຂ້ອນຂ້າງຍາວ, ເພາະວ່າການຟື້ນຟູຖານຂໍ້ມູນ 10 TB ທັງຫມົດແມ່ນໃຊ້ເວລາຫຼາຍ, ຍາວຫຼາຍ. ແລະພວກເຮົາຕ້ອງການທີ່ຈະເຮັດທັງຫມົດນີ້ໄວເທົ່າທີ່ເປັນໄປໄດ້ຖ້າຫາກວ່າບັນຫາດັ່ງກ່າວເກີດຂຶ້ນ. ແລະນັ້ນແມ່ນສິ່ງທີ່ catchup ແມ່ນສໍາລັບ.

Catchup ອະນຸຍາດໃຫ້ທ່ານໃຊ້ການສໍາຮອງຂໍ້ມູນ delta, ເຊິ່ງຖືກເກັບໄວ້ໃນເມຄດ້ວຍວິທີນີ້. ທ່ານເວົ້າວ່າ LSN ໃດທີ່ເຄື່ອງຈໍາລອງທີ່ຊັກຊ້າຢູ່ໃນປະຈຸບັນແລະລະບຸມັນຢູ່ໃນຄໍາສັ່ງ catchup ເພື່ອສ້າງການສໍາຮອງຂໍ້ມູນ delta ລະຫວ່າງ LSN ນັ້ນແລະ LSN ທີ່ກຸ່ມຂອງທ່ານຕັ້ງຢູ່ໃນປັດຈຸບັນ. ແລະ​ຫຼັງ​ຈາກ​ນັ້ນ​, ທ່ານ​ຟື້ນ​ຟູ​ການ​ສໍາ​ຮອງ​ຂໍ້​ມູນ​ນີ້​ກັບ replica ທີ່​ຊັກ​ຊ້າ​.

ພື້ນຖານອື່ນໆ

ນັກສຶກສາຍັງໄດ້ນໍາພວກເຮົາຫຼາຍລັກສະນະໃນເວລາດຽວກັນ. ເນື່ອງຈາກວ່າຢູ່ Yandex ພວກເຮົາແຕ່ງກິນບໍ່ພຽງແຕ່ Postgres, ພວກເຮົາຍັງມີ MySQL, MongoDB, Redis, ClickHouse, ໃນບາງຈຸດທີ່ພວກເຮົາຕ້ອງການສາມາດເຮັດການສໍາຮອງຂໍ້ມູນທີ່ມີການຟື້ນຕົວແບບ point-in-time ສໍາລັບ MySQL, ແລະເພື່ອໃຫ້ມີໂອກາດທີ່ຈະອັບໂຫລດ. ເຂົາເຈົ້າໄປຟັງໄດ້.

ແລະພວກເຮົາຕ້ອງການເຮັດມັນໃນບາງວິທີທີ່ຄ້າຍຄືກັນກັບສິ່ງທີ່ WAL-G ເຮັດ. ແລະພວກເຮົາໄດ້ຕັດສິນໃຈທົດລອງແລະເບິ່ງວ່າມັນທັງຫມົດຈະມີລັກສະນະແນວໃດ.

ແລະໃນຕອນທໍາອິດ, ໂດຍບໍ່ມີການແບ່ງປັນເຫດຜົນນີ້ໃນທາງໃດກໍ່ຕາມ, ພວກເຂົາຂຽນລະຫັດຢູ່ໃນສ້ອມ. ພວກເຂົາເຫັນວ່າພວກເຮົາມີຮູບແບບການເຮັດວຽກບາງຢ່າງແລະມັນສາມາດບິນໄດ້. ຫຼັງຈາກນັ້ນ, ພວກເຮົາຄິດວ່າຊຸມຊົນຕົ້ນຕໍຂອງພວກເຮົາແມ່ນ postgresists, ພວກເຂົາໃຊ້ WAL-G. ແລະດັ່ງນັ້ນພວກເຮົາຈໍາເປັນຕ້ອງ somehow ແຍກພາກສ່ວນເຫຼົ່ານີ້. ນັ້ນແມ່ນ, ເມື່ອພວກເຮົາແກ້ໄຂລະຫັດສໍາລັບ Postgres, ພວກເຮົາບໍ່ໄດ້ທໍາລາຍ MySQL; ເມື່ອພວກເຮົາແກ້ໄຂ MySQL, ພວກເຮົາບໍ່ໄດ້ທໍາລາຍ Postgres.

ຄວາມຄິດທໍາອິດກ່ຽວກັບວິທີການແຍກນີ້ແມ່ນຄວາມຄິດຂອງການນໍາໃຊ້ວິທີການດຽວກັນທີ່ຖືກນໍາໃຊ້ໃນການຂະຫຍາຍ PostgreSQL. ແລະ, ໃນຄວາມເປັນຈິງ, ເພື່ອເຮັດໃຫ້ການສໍາຮອງຂໍ້ມູນ MySQL ທ່ານຕ້ອງຕິດຕັ້ງບາງປະເພດຂອງຫ້ອງສະຫມຸດແບບເຄື່ອນໄຫວ.

ແຕ່ໃນທີ່ນີ້ຄວາມບໍ່ສົມດຸນຂອງວິທີການນີ້ແມ່ນເຫັນໄດ້ທັນທີ. ເມື່ອທ່ານສໍາຮອງ Postgres, ທ່ານໃສ່ສໍາຮອງຂໍ້ມູນປົກກະຕິສໍາລັບ Postgres ໃສ່ມັນແລະທຸກສິ່ງທຸກຢ່າງແມ່ນດີ. ແລະສໍາລັບ MySQL ມັນປາກົດວ່າທ່ານຕິດຕັ້ງສໍາຮອງຂໍ້ມູນສໍາລັບ Postgres ແລະຍັງຕິດຕັ້ງຫ້ອງສະຫມຸດແບບເຄື່ອນໄຫວສໍາລັບ MySQL ສໍາລັບມັນ. ມັນ​ເປັນ​ສຽງ​ແປກ​ປະ​ຫລາດ. ພວກ​ເຮົາ​ໄດ້​ຄິດ​ເຊັ່ນ​ດຽວ​ກັນ​ແລະ​ໄດ້​ຕັດ​ສິນ​ໃຈ​ວ່າ​ນີ້​ບໍ່​ແມ່ນ​ການ​ແກ້​ໄຂ​ທີ່​ພວກ​ເຮົາ​ຕ້ອງ​ການ.

ການກໍ່ສ້າງຕ່າງໆສໍາລັບ Postgres, MySQL, MongoDB, Redis

ແຕ່ນີ້ອະນຸຍາດໃຫ້ພວກເຮົາ, ມັນເບິ່ງຄືວ່າພວກເຮົາ, ມາຮອດການຕັດສິນໃຈທີ່ຖືກຕ້ອງ - ການຈັດສັນການຊຸມນຸມທີ່ແຕກຕ່າງກັນສໍາລັບພື້ນຖານທີ່ແຕກຕ່າງກັນ. ນີ້ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະແຍກເຫດຜົນທີ່ກ່ຽວຂ້ອງກັບການສໍາຮອງຂໍ້ມູນຂອງຖານຂໍ້ມູນຕ່າງໆທີ່ຈະເຂົ້າເຖິງ API ທົ່ວໄປທີ່ WAL-G ປະຕິບັດ.

ນີ້ແມ່ນສ່ວນທີ່ພວກເຮົາຂຽນດ້ວຍຕົນເອງ - ກ່ອນທີ່ຈະໃຫ້ນັກຮຽນແກ້ໄຂບັນຫາ. ນັ້ນແມ່ນ, ນີ້ແມ່ນສ່ວນທີ່ພວກເຂົາສາມາດເຮັດບາງສິ່ງບາງຢ່າງທີ່ຜິດພາດ, ດັ່ງນັ້ນພວກເຮົາຈຶ່ງຕັດສິນໃຈວ່າພວກເຮົາຄວນຈະເຮັດບາງສິ່ງບາງຢ່າງເຊັ່ນນີ້ແລະທຸກສິ່ງທຸກຢ່າງຈະດີ.

ຫຼັງຈາກນັ້ນ, ພວກເຮົາໄດ້ອອກບັນຫາ. ພວກເຂົາເຈົ້າໄດ້ຖືກຮື້ຖອນທັນທີ. ນັກຮຽນຕ້ອງໄດ້ສະຫນັບສະຫນູນສາມຖານ.

ນີ້ແມ່ນ MySQL, ເຊິ່ງພວກເຮົາໄດ້ສໍາຮອງໂດຍໃຊ້ WAL-G ໃນທາງນີ້ຫຼາຍກວ່າຫນຶ່ງປີ.

ແລະໃນປັດຈຸບັນ MongoDB ກໍາລັງເຂົ້າໃກ້ການຜະລິດ, ບ່ອນທີ່ພວກເຂົາກໍາລັງສໍາເລັດມັນດ້ວຍໄຟລ໌. ໃນຄວາມເປັນຈິງ, ພວກເຮົາໄດ້ຂຽນກອບສໍາລັບສິ່ງທັງຫມົດນີ້. ຫຼັງຈາກນັ້ນ, ນັກສຶກສາໄດ້ຂຽນບາງສິ່ງທີ່ເຮັດວຽກໄດ້. ແລະຫຼັງຈາກນັ້ນພວກເຮົານໍາພວກເຂົາໄປສູ່ສະຖານະທີ່ພວກເຮົາສາມາດຍອມຮັບໃນການຜະລິດ.

ບັນຫາເຫຼົ່ານີ້ບໍ່ເບິ່ງຄືວ່ານັກຮຽນຈໍາເປັນຕ້ອງຂຽນເຄື່ອງມືສໍາຮອງທີ່ສົມບູນສໍາລັບແຕ່ລະຖານຂໍ້ມູນເຫຼົ່ານີ້. ພວກເຮົາບໍ່ໄດ້ມີບັນຫາດັ່ງກ່າວ. ບັນຫາຂອງພວກເຮົາແມ່ນວ່າພວກເຮົາຕ້ອງການການຟື້ນຕົວແບບ point-in-time ແລະພວກເຮົາຕ້ອງການສໍາຮອງຂໍ້ມູນກັບຄລາວ. ແລະພວກເຂົາໄດ້ຂໍໃຫ້ນັກຮຽນຂຽນລະຫັດບາງຢ່າງທີ່ຈະແກ້ໄຂບັນຫານີ້. ນັກຮຽນໄດ້ໃຊ້ເຄື່ອງມືສໍາຮອງທີ່ມີຢູ່ກ່ອນແລ້ວ, ເຊິ່ງບາງວິທີໃຊ້ເວລາສໍາຮອງຂໍ້ມູນ, ແລະຫຼັງຈາກນັ້ນມັນຕິດມັນທັງຫມົດຮ່ວມກັນກັບ WAL-G, ເຊິ່ງສົ່ງມັນທັງຫມົດໄປຫາຄລາວ. ແລະພວກເຂົາຍັງໄດ້ເພີ່ມການຟື້ນຕົວແບບ point-in-time ກັບເລື່ອງນີ້.

ນັກຮຽນເອົາຫຍັງອີກ? ພວກເຂົາເຈົ້າໄດ້ນໍາເອົາການສະຫນັບສະຫນູນການເຂົ້າລະຫັດ Libsodium ກັບ WAL-G.

ພວກເຮົາຍັງມີນະໂຍບາຍການເກັບຮັກສາສຳຮອງ. ດຽວນີ້ສາມາດໝາຍການສຳຮອງຂໍ້ມູນເປັນຖາວອນໄດ້. ແລະຢ່າງໃດກໍ່ຕາມມັນສະດວກກວ່າສໍາລັບການບໍລິການຂອງເຈົ້າເພື່ອເຮັດໃຫ້ຂະບວນການເກັບຮັກສາພວກມັນໂດຍອັດຕະໂນມັດ.

ຜົນຂອງການທົດລອງນີ້ແມ່ນຫຍັງ?

ຫຼາຍ​ກ​່​ວາ 100 ປະ​ຊາ​ຊົນ​ໃນ​ເບື້ອງ​ຕົ້ນ​ໄດ້​ລົງ​ທະ​ບຽນ​ສໍາ​ລັບ​ວິ​ຊາ​ການ​. ທໍາອິດຂ້າພະເຈົ້າບໍ່ໄດ້ເວົ້າວ່າມະຫາວິທະຍາໄລໃນ Yekaterinburg ແມ່ນມະຫາວິທະຍາໄລ Ural Federal. ພວກເຮົາປະກາດທຸກສິ່ງທຸກຢ່າງຢູ່ທີ່ນັ້ນ. 100 ຄົນລົງທະບຽນ. ໃນ​ຄວາມ​ເປັນ​ຈິງ, ປະ​ຊາ​ຊົນ​ຫນ້ອຍ​ຫຼາຍ​ເລີ່ມ​ຕົ້ນ​ການ​ເຮັດ​ບາງ​ສິ່ງ​ບາງ​ຢ່າງ, ປະ​ມານ 30 ຄົນ.

ເຖິງແມ່ນວ່າມີຄົນຈໍານວນຫນ້ອຍສໍາເລັດຫຼັກສູດ, ເພາະວ່າມັນຈໍາເປັນຕ້ອງຂຽນການທົດສອບສໍາລັບລະຫັດທີ່ມີຢູ່ແລ້ວ. ແລະຍັງແກ້ໄຂບາງ bug ຫຼືເຮັດໃຫ້ຄຸນນະສົມບັດບາງຢ່າງ. ແລະນັກສຶກສາບາງຄົນຍັງປິດຫຼັກສູດ.

ປະຈຸ​ບັນ, ​ໃນ​ໄລຍະ​ຮຽນ​ນີ້, ນັກ​ສຶກສາ​ໄດ້​ແກ້​ໄຂ​ບັນຫາ​ປະມານ 14 ​ເລື່ອງ ​ແລະ ​ເຮັດ​ໃຫ້ 10 ລັກສະນະ​ທີ່​ມີ​ຂະໜາດ​ຕ່າງໆ. ແລະ, ມັນເບິ່ງຄືວ່າຂ້ອຍ, ນີ້ແມ່ນການທົດແທນທີ່ເຕັມໄປດ້ວຍຜູ້ພັດທະນາຫນຶ່ງຫຼືສອງຄົນ.

ໃນບັນດາສິ່ງອື່ນໆ, ພວກເຮົາໄດ້ອອກໃບປະກາດສະນີຍະບັດແລະຫຼັກສູດ. ແລະ 12 ຄົນໄດ້ຮັບໃບປະກາດສະນີຍະບັດ. 6 ຂອງພວກເຂົາໄດ້ປ້ອງກັນຕົນເອງຢູ່ "5". ຜູ້​ທີ່​ຍັງ​ເຫຼືອ​ຍັງ​ບໍ່​ທັນ​ມີ​ການ​ປົກ​ປ້ອງ, ແຕ່​ຂ້າ​ພະ​ເຈົ້າ​ຄິດ​ວ່າ​ທຸກ​ຢ່າງ​ຈະ​ດີ​ສໍາ​ລັບ​ເຂົາ​ເຈົ້າ​ເຊັ່ນ​ດຽວ​ກັນ.

ແຜນສໍາລັບອະນາຄົດ

ພວກເຮົາມີແຜນການອັນໃດສໍາລັບອະນາຄົດ?

ຢ່າງຫນ້ອຍການຮ້ອງຂໍຄຸນນະສົມບັດເຫຼົ່ານັ້ນທີ່ພວກເຮົາໄດ້ຍິນແລ້ວຈາກຜູ້ໃຊ້ແລະຕ້ອງການທີ່ຈະເຮັດ. ນີ້:

• ການຕິດຕາມຄວາມຖືກຕ້ອງຂອງການຕິດຕາມເສັ້ນເວລາໃນແຟ້ມຈັດເກັບຂໍ້ມູນສຳຮອງຂອງກຸ່ມ HA. ທ່ານສາມາດເຮັດໄດ້ດ້ວຍ WAL-G. ແລະຂ້າພະເຈົ້າຄິດວ່າພວກເຮົາຈະມີນັກຮຽນທີ່ຈະຮັບຜິດຊອບເລື່ອງນີ້.
• ພວກ​ເຮົາ​ມີ​ຜູ້​ຮັບ​ຜິດ​ຊອບ​ສໍາ​ລັບ​ການ​ໂອນ​ສໍາ​ຮອງ​ຂໍ້​ມູນ​ແລະ WAL ລະ​ຫວ່າງ​ຄ​ລາວ​.
• ແລະພວກເຮົາບໍ່ດົນມານີ້ໄດ້ເຜີຍແຜ່ແນວຄວາມຄິດທີ່ພວກເຮົາສາມາດເລັ່ງ WAL-G ຕື່ມອີກໂດຍການ unpacking incremental backups ໂດຍບໍ່ມີການຂຽນຫນ້າໃຫມ່ແລະ optimizing archives ທີ່ພວກເຮົາສົ່ງໄປນັ້ນ.

ທ່ານສາມາດແບ່ງປັນພວກມັນໄດ້ທີ່ນີ້

ບົດລາຍງານນີ້ແມ່ນເພື່ອຫຍັງ? ຍິ່ງໄປກວ່ານັ້ນ, ໃນປັດຈຸບັນ, ນອກຈາກ 4 ຄົນທີ່ສະຫນັບສະຫນູນໂຄງການນີ້, ພວກເຮົາມີມືເພີ່ມເຕີມ, ເຊິ່ງໃນນັ້ນກໍ່ມີຫຼາຍສົມຄວນ. ໂດຍສະເພາະຖ້າທ່ານຂຽນຫາພວກເຂົາໃນຂໍ້ຄວາມສ່ວນຕົວ. ແລະຖ້າທ່ານສໍາຮອງຂໍ້ມູນຂໍ້ມູນຂອງທ່ານແລະເຮັດມັນໂດຍໃຊ້ WAL-G ຫຼືຕ້ອງການຍ້າຍໄປ WAL-G, ພວກເຮົາສາມາດຕອບສະຫນອງຄວາມປາດຖະຫນາຂອງເຈົ້າໄດ້ງ່າຍ.

ນີ້ແມ່ນລະຫັດ QR ແລະການເຊື່ອມຕໍ່. ທ່ານສາມາດຜ່ານພວກເຂົາແລະຂຽນຄວາມປາດຖະຫນາທັງຫມົດຂອງທ່ານ. ຕົວຢ່າງ, ພວກເຮົາບໍ່ໄດ້ແກ້ໄຂບາງ bug. ຫຼືທ່ານຕ້ອງການຄຸນສົມບັດບາງຢ່າງ, ແຕ່ສໍາລັບບາງເຫດຜົນມັນຍັງບໍ່ທັນຢູ່ໃນການສໍາຮອງຂໍ້ມູນໃດໆ, ລວມທັງຂອງພວກເຮົາ. ໃຫ້ແນ່ໃຈວ່າຂຽນກ່ຽວກັບເລື່ອງນີ້.

ຄໍາຖາມຂອງທ່ານ

ສະບາຍດີ! ຂອບໃຈສໍາລັບບົດລາຍງານ! ຄໍາຖາມກ່ຽວກັບ WAL-G, ແຕ່ບໍ່ແມ່ນກ່ຽວກັບ Postgres. WAL-G ສຳຮອງ MySQL ແລະໂທຫາການສໍາຮອງຂໍ້ມູນເພີ່ມເຕີມ. ຖ້າພວກເຮົາເອົາການຕິດຕັ້ງທີ່ທັນສະໄຫມໃນ CentOS ແລະຖ້າທ່ານຕິດຕັ້ງ MySQL, MariDB ຈະຖືກຕິດຕັ້ງ. ຈາກເວີຊັນ 10.3 ບໍ່ຮອງຮັບການສຳຮອງຂໍ້ມູນພິເສດ, ການສຳຮອງຂໍ້ມູນ MariDB ແມ່ນຮອງຮັບ. ເຈົ້າເປັນແນວໃດກັບເລື່ອງນີ້?

ໃນປັດຈຸບັນພວກເຮົາບໍ່ໄດ້ພະຍາຍາມສໍາຮອງຂໍ້ມູນ MariDB. ພວກເຮົາໄດ້ມີການຮ້ອງຂໍການສະຫນັບສະຫນູນ FoundationDB, ແຕ່ໂດຍທົ່ວໄປ, ຖ້າມີການຮ້ອງຂໍດັ່ງກ່າວ, ພວກເຮົາສາມາດຊອກຫາຄົນທີ່ຈະເຮັດມັນ. ມັນບໍ່ດົນ ຫຼືຍາກເທົ່າທີ່ຂ້ອຍຄິດ.

ສະ​ບາຍ​ດີ​ຕອນ​ສວາຍ ຂອບໃຈສໍາລັບບົດລາຍງານ! ຄໍາຖາມກ່ຽວກັບຄຸນສົມບັດໃຫມ່ທີ່ເປັນໄປໄດ້. ທ່ານພ້ອມທີ່ຈະເຮັດໃຫ້ WAL-G ເຮັດວຽກກັບເທບເພື່ອໃຫ້ທ່ານສາມາດສໍາຮອງໃສ່ເທບໄດ້ບໍ?

ການສໍາຮອງຂໍ້ມູນກ່ຽວກັບການເກັບຮັກສາ tape ປາກົດຂື້ນຫມາຍຄວາມວ່າ?

ແມ່ນແລ້ວ.

ມີ Andrei Borodin, ຜູ້ທີ່ສາມາດຕອບຄໍາຖາມນີ້ໄດ້ດີກວ່າຂ້ອຍ.

(Andrey) ແມ່ນແລ້ວ, ຂອບໃຈສໍາລັບຄໍາຖາມ! ພວກ​ເຮົາ​ໄດ້​ມີ​ການ​ຮ້ອງ​ຂໍ​ໃຫ້​ໂອນ​ສໍາ​ຮອງ​ຂໍ້​ມູນ​ໃສ່ tape ຈາກ​ການ​ເກັບ​ຮັກ​ສາ​ຄລາວ​. ແລະສໍາລັບການນີ້ ເລື່ອຍ ໂອນລະຫວ່າງເມຄ. ເນື່ອງຈາກວ່າ cloud-to-cloud transfer ແມ່ນສະບັບທົ່ວໄປຂອງການໂອນ tape. ນອກຈາກນັ້ນ, ພວກເຮົາມີສະຖາປັດຕະຍະກໍາທີ່ສາມາດຂະຫຍາຍໄດ້ໃນແງ່ຂອງການເກັບຮັກສາ. ໂດຍວິທີທາງການ, Storoges ຫຼາຍຄົນໄດ້ຖືກຂຽນໂດຍນັກຮຽນ. ແລະຖ້າທ່ານຂຽນ Storage ສໍາລັບ tape, ແນ່ນອນ, ມັນຈະໄດ້ຮັບການສະຫນັບສະຫນູນ. ພວກເຮົາພ້ອມທີ່ຈະພິຈາລະນາຄໍາຮ້ອງຂໍດຶງ. ຢູ່ທີ່ນັ້ນທ່ານຈໍາເປັນຕ້ອງຂຽນໄຟລ໌, ອ່ານໄຟລ໌. ຖ້າທ່ານເຮັດສິ່ງເຫຼົ່ານີ້ໃນ Go, ປົກກະຕິແລ້ວທ່ານຈະສິ້ນສຸດດ້ວຍລະຫັດ 50 ແຖວ. ແລະຫຼັງຈາກນັ້ນ tape ຈະໄດ້ຮັບການສະຫນັບສະຫນູນໃນ WAL-G.

ຂອບໃຈສໍາລັບບົດລາຍງານ! ຂະບວນການພັດທະນາທີ່ຫນ້າສົນໃຈ. Backup ເປັນຊິ້ນສ່ວນທີ່ຮຸນແຮງຂອງການເຮັດວຽກທີ່ຄວນຈະຖືກຄຸ້ມຄອງໂດຍການທົດສອບ. ໃນເວລາທີ່ທ່ານປະຕິບັດຫນ້າທີ່ສໍາລັບຖານຂໍ້ມູນໃຫມ່, ນັກຮຽນຍັງໄດ້ຂຽນແບບທົດສອບ, ຫຼືທ່ານໄດ້ຂຽນແບບທົດສອບດ້ວຍຕົນເອງແລ້ວໃຫ້ການປະຕິບັດກັບນັກຮຽນບໍ?

ນັກຮຽນຍັງຂຽນແບບທົດສອບ. ແຕ່ນັກຮຽນຂຽນເພີ່ມເຕີມສໍາລັບລັກສະນະເຊັ່ນຖານຂໍ້ມູນໃຫມ່. ພວກເຂົາເຈົ້າຂຽນການທົດສອບການເຊື່ອມໂຍງ. ແລະພວກເຂົາຂຽນການທົດສອບຫນ່ວຍ. ຖ້າການເຊື່ອມໂຍງຜ່ານ, ນັ້ນແມ່ນ, ໃນເວລານີ້, ນີ້ແມ່ນສະຄິບທີ່ທ່ານດໍາເນີນການດ້ວຍຕົນເອງຫຼືທ່ານມີ cron ເຮັດມັນ, ສໍາລັບການຍົກຕົວຢ່າງ. ນັ້ນແມ່ນ, script ຢູ່ທີ່ນັ້ນຈະແຈ້ງຫຼາຍ.

ນັກຮຽນບໍ່ມີປະສົບການຫຼາຍ. ການກວດສອບໃຊ້ເວລາຫຼາຍບໍ?

ແມ່ນແລ້ວ, ການທົບທວນຄືນໃຊ້ເວລາຂ້ອນຂ້າງຫຼາຍ. ນັ້ນແມ່ນ, ປົກກະຕິແລ້ວ, ເມື່ອຜູ້ແທນຫຼາຍຄົນມາພ້ອມໆກັນແລະເວົ້າວ່າຂ້ອຍເຮັດສິ່ງນີ້, ຂ້ອຍເຮັດແນວນັ້ນ, ຫຼັງຈາກນັ້ນເຈົ້າຕ້ອງຄິດແລະໃຊ້ເວລາປະມານເຄິ່ງມື້ເພື່ອຄິດອອກສິ່ງທີ່ພວກເຂົາຂຽນຢູ່ທີ່ນັ້ນ. ເນື່ອງຈາກວ່າລະຫັດຕ້ອງຖືກອ່ານຢ່າງລະມັດລະວັງ. ພວກເຂົາບໍ່ມີການສໍາພາດ. ພວກເຮົາບໍ່ຮູ້ຈັກເຂົາເຈົ້າດີຫຼາຍ, ສະນັ້ນມັນໃຊ້ເວລາຫຼາຍ.

ຂອບໃຈສໍາລັບບົດລາຍງານ! ກ່ອນຫນ້ານີ້, Andrey Borodin ໄດ້ກ່າວວ່າ archive_command ໃນ WAL-G ຄວນຖືກເອີ້ນໂດຍກົງ. ແຕ່ໃນກໍລະນີຂອງບາງປະເພດຂອງໄສ້ຕອງ cluster, ພວກເຮົາຕ້ອງການເຫດຜົນເພີ່ມເຕີມເພື່ອກໍານົດຂໍ້ທີ່ຈະສົ່ງ shafts ໄດ້. ເຈົ້າແກ້ໄຂບັນຫານີ້ດ້ວຍຕົວເອງແນວໃດ?

ບັນຫາຂອງເຈົ້າແມ່ນຫຍັງຢູ່ນີ້? ໃຫ້ເວົ້າວ່າທ່ານມີ replica synchronous ທີ່ທ່ານກໍາລັງເຮັດການສໍາຮອງຂໍ້ມູນ? ຫຼືວ່າແນວໃດ?

(Andrey) ຄວາມຈິງແລ້ວແມ່ນວ່າ WAL-G ແທ້ຈິງແລ້ວແມ່ນມີຈຸດປະສົງເພື່ອນໍາໃຊ້ໂດຍບໍ່ມີສະຄິບແກະ. ຖ້າມີບາງສິ່ງບາງຢ່າງຂາດຫາຍໄປ, ຫຼັງຈາກນັ້ນໃຫ້ເພີ່ມເຫດຜົນທີ່ຄວນຈະຢູ່ໃນ WAL-G. ສໍາລັບບ່ອນທີ່ການຈັດເກັບຄວນຈະມາຈາກ, ພວກເຮົາເຊື່ອວ່າການຈັດເກັບຄວນຈະມາຈາກແມ່ບົດປະຈຸບັນໃນກຸ່ມ. ການເກັບຂໍ້ມູນຈາກແບບຈຳລອງເປັນຄວາມຄິດທີ່ບໍ່ດີ. ມີສະຖານະການຕ່າງໆທີ່ເປັນໄປໄດ້ທີ່ມີບັນຫາ. ໂດຍສະເພາະ, ບັນຫາກ່ຽວກັບການເກັບຕາຕະລາງເວລາແລະຂໍ້ມູນເພີ່ມເຕີມໃດໆ. ຂອບໃຈສໍາລັບຄໍາຖາມ!

(ຄວາມກະຈ່າງແຈ້ງ: ພວກເຮົາໄດ້ກໍາຈັດສະຄິບແກະ ໃນ​ບັນ​ຫາ​ນີ້​)

ສະ​ບາຍ​ດີ​ຕອນ​ແລງ! ຂອບໃຈສໍາລັບບົດລາຍງານ! ຂ້ອຍສົນໃຈຄຸນສົມບັດທີ່ເຈົ້າລົມກັນມາ. ພວກ​ເຮົາ​ໄດ້​ປະ​ເຊີນ​ກັບ​ສະ​ຖາ​ນະ​ການ​ທີ່​ຈໍາ​ລອງ​ຢູ່​ເບື້ອງ​ຫຼັງ​ແລະ​ບໍ່​ສາ​ມາດ​ຈັບ​ໄດ້​. ແລະຂ້ອຍບໍ່ພົບຄໍາອະທິບາຍກ່ຽວກັບຄຸນສົມບັດນີ້ຢູ່ໃນເອກະສານ WAL-G.

Catchup ປະກົດຕົວໃນວັນທີ 20 ມັງກອນ 2020. ເອກະສານອາດຈະຕ້ອງການວຽກເພີ່ມເຕີມ. ພວກເຮົາຂຽນມັນເອງແລະພວກເຮົາຂຽນມັນບໍ່ດີທີ່ສຸດ. ແລະບາງທີພວກເຮົາຄວນຈະເລີ່ມຕົ້ນຮຽກຮ້ອງໃຫ້ນັກຮຽນຂຽນມັນ.

ມັນອອກແລ້ວບໍ?

ຄໍາຮ້ອງຂໍດຶງແມ່ນຕາຍແລ້ວ, i.e. ຂ້ອຍກວດເບິ່ງມັນ. ຂ້າພະເຈົ້າໄດ້ພະຍາຍາມນີ້ຢູ່ໃນກຸ່ມທົດສອບ. ມາຮອດປະຈຸ, ພວກເຮົາຍັງບໍ່ທັນມີສະຖານະການທີ່ພວກເຮົາສາມາດທົດສອບນີ້ໃນຕົວຢ່າງການຕໍ່ສູ້.

ເມື່ອໃດທີ່ຄາດຫວັງ?

ຂ້ອຍ​ບໍ່​ຮູ້. ລໍຖ້າເດືອນຫນຶ່ງ, ພວກເຮົາຈະກວດສອບໃຫ້ແນ່ໃຈວ່າ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com