ເກີດຂຶ້ນສອງສາມມື້ກ່ອນຫນ້ານີ້ ກອງປະຊຸມ Hydra. ຜູ້ຊາຍຈາກກຸ່ມ JUG.ru ໄດ້ເຊີນຜູ້ເວົ້າໃນຝັນ (Leslie Lamport! Cliff Click! Martin Kleppmann!) ແລະໄດ້ອຸທິດສອງມື້ໃຫ້ກັບລະບົບແຈກຢາຍແລະຄອມພິວເຕີ້. Kontur ແມ່ນ ໜຶ່ງ ໃນສາມຄູ່ຮ່ວມງານຂອງກອງປະຊຸມ. ພວກເຮົາໄດ້ລົມກັນຢູ່ບ່ອນຕັ້ງ, ເວົ້າກ່ຽວກັບການເກັບຮັກສາທີ່ແຈກຢາຍຂອງພວກເຮົາ, ຫຼິ້ນ bingo, ແລະແກ້ໄຂບັນຫາຕ່າງໆ.

ນີ້​ແມ່ນ​ບົດ​ຄວາມ​ທີ່​ມີ​ການ​ວິ​ເຄາະ​ວຽກ​ງານ​ທີ່ Kontur ຢືນ​ຈາກ​ຜູ້​ຂຽນ​ຂອງ​ຂໍ້​ຄວາມ​ຂອງ​ເຂົາ​ເຈົ້າ​. ສໍາລັບຜູ້ທີ່ເຄີຍໄປ Hydra, ນີ້ແມ່ນໂອກາດຂອງເຈົ້າທີ່ຈະຈື່ຈໍາປະສົບການທີ່ຫນ້າພໍໃຈ; ສໍາລັບຜູ້ທີ່ບໍ່ມີ, ນີ້ແມ່ນໂອກາດທີ່ຈະຍືດສະຫມອງຂອງເຈົ້າ. ໃຫຍ່ O- ຫມາຍເຫດ.

ມີ​ເຖິງ​ແມ່ນ​ຜູ້​ເຂົ້າ​ຮ່ວມ​ທີ່​ຖອດ​ແຜ່ນ​ພັບ​ອອກ​ເປັນ​ສະໄລ້​ເພື່ອ​ຂຽນ​ການ​ແກ້​ໄຂ​ຂອງ​ເຂົາ​ເຈົ້າ. ຂ້ອຍບໍ່ໄດ້ເວົ້າຫຼິ້ນ - ພວກເຂົາສົ່ງເອກະສານນີ້ເພື່ອກວດກາ:

ມີສາມໜ້າວຽກທັງໝົດ:

• ກ່ຽວກັບການເລືອກ replicas ໂດຍນ້ໍາຫນັກສໍາລັບການດຸ່ນດ່ຽງການໂຫຼດ
• ກ່ຽວ​ກັບ​ການ​ຈັດ​ລຽງ​ຜົນ​ໄດ້​ຮັບ​ຂອງ​ການ​ສອບ​ຖາມ​ກັບ​ຖານ​ຂໍ້​ມູນ​ໃນ​ຫນ່ວຍ​ຄວາມ​ຈໍາ​
• ກ່ຽວກັບການໂອນລັດໃນລະບົບແຈກຢາຍທີ່ມີ topology ວົງ

ວຽກງານ 1. ClusterClient

ມັນ ຈຳ ເປັນທີ່ຈະສະ ເໜີ ສູດການຄິດໄລ່ ສຳ ລັບການເລືອກ K ອອກຈາກ N ນ້ ຳ ໜັກ replicas ຂອງລະບົບການແຈກຢາຍຢ່າງມີປະສິດທິພາບ:

ທີມງານຂອງທ່ານຖືກມອບຫມາຍໃຫ້ພັດທະນາຫ້ອງສະຫມຸດລູກຄ້າສໍາລັບກຸ່ມ N nodes ທີ່ແຈກຢາຍຢ່າງຫຼວງຫຼາຍ. ຫ້ອງສະຫມຸດຈະຕິດຕາມ metadata ຕ່າງໆທີ່ກ່ຽວຂ້ອງກັບ nodes (ເຊັ່ນ: latencies ຂອງພວກເຂົາ, ອັດຕາການຕອບສະຫນອງ 4xx/5xx, ແລະອື່ນໆ) ແລະກໍານົດຈຸດລອຍ W1..WN ໃຫ້ພວກເຂົາ. ເພື່ອສະຫນັບສະຫນູນຍຸດທະສາດການປະຕິບັດພ້ອມໆກັນ, ຫ້ອງສະຫມຸດຄວນຈະສາມາດເລືອກ K ຂອງ N nodes ແບບສຸ່ມ - ໂອກາດຂອງການຄັດເລືອກຄວນຈະເປັນອັດຕາສ່ວນກັບນ້ໍາຫນັກຂອງ node.

ສະເໜີສູດການຄິດໄລ່ເພື່ອເລືອກ nodes ຢ່າງມີປະສິດທິພາບ. ປະເມີນຄວາມຊັບຊ້ອນທາງດ້ານການຄິດໄລ່ຂອງມັນໂດຍໃຊ້ໝາຍເຫດ O ໃຫຍ່.

ເປັນຫຍັງທຸກຢ່າງເປັນພາສາອັງກິດ?

ເນື່ອງຈາກວ່ານີ້ແມ່ນວິທີທີ່ຜູ້ເຂົ້າຮ່ວມກອງປະຊຸມໄດ້ຕໍ່ສູ້ກັບພວກເຂົາແລະຍ້ອນວ່າພາສາອັງກິດເປັນພາສາທາງການຂອງ Hydra. ບັນຫາເບິ່ງຄືດັ່ງນີ້:

ເອົາເຈ້ຍແລະສໍ, ຄິດ, ຢ່າຟ້າວເປີດ spoiler ທັນທີ :)

ການ​ວິ​ເຄາະ​ການ​ແກ້​ໄຂ (ວິ​ດີ​ໂອ​)

ເລີ່ມເວລາ 5:53 ເວລາ 4 ນາທີເທົ່ານັ້ນ:

ແລະນີ້ແມ່ນວິທີທີ່ຄົນດຽວກັນກັບ flipchart ໄດ້ແກ້ໄຂບັນຫາຂອງເຂົາເຈົ້າ:

ການ​ວິ​ເຄາະ​ການ​ແກ້​ໄຂ (ຂໍ້​ຄວາມ​)

ການແກ້ໄຂຕໍ່ໄປນີ້ແມ່ນຢູ່ເທິງພື້ນຜິວ: ສະຫຼຸບນ້ໍາຫນັກຂອງ replicas ທັງຫມົດ, ສ້າງຕົວເລກ Random ຈາກ 0 ຫາຜົນລວມຂອງນ້ໍາຫນັກທັງຫມົດ, ຫຼັງຈາກນັ້ນເລືອກ i-replica ເຊັ່ນວ່າຜົນລວມຂອງນ້ໍາຫນັກຂອງ replicas ຈາກ 0 ໄປຫາ (. i-1)th ແມ່ນຫນ້ອຍກວ່າຕົວເລກສຸ່ມ, ແລະຜົນລວມຂອງນ້ໍາຫນັກຂອງ replicas ຈາກ 0 ຫາ i-th - ຫຼາຍກ່ວາມັນ. ວິທີນີ້ທ່ານສາມາດເລືອກເອົາຫນຶ່ງ replica, ແລະເພື່ອເລືອກເອົາຫນຶ່ງຕໍ່ໄປ, ທ່ານຈໍາເປັນຕ້ອງເຮັດຊ້ໍາຂັ້ນຕອນທັງຫມົດໂດຍບໍ່ມີການພິຈາລະນາ replica ທີ່ເລືອກ. ດ້ວຍສູດການຄິດໄລ່ດັ່ງກ່າວ, ຄວາມຊັບຊ້ອນໃນການເລືອກແບບຈຳລອງອັນໜຶ່ງແມ່ນ O(N), ຄວາມຊັບຊ້ອນຂອງການເລືອກຕົວແບບ K ແມ່ນ O(N·K) ~ O(N2).

ຄວາມສັບສົນຂອງສີ່ຫລ່ຽມແມ່ນບໍ່ດີ, ແຕ່ມັນສາມາດປັບປຸງໄດ້. ສໍາລັບນີ້ພວກເຮົາຈະສ້າງ ຕົ້ນໄມ້ສ່ວນ ສໍາລັບຜົນລວມຂອງນ້ໍາຫນັກ. ຜົນໄດ້ຮັບແມ່ນຕົ້ນໄມ້ທີ່ມີຄວາມເລິກ lg N, ໃບຂອງມັນຈະບັນຈຸນ້ໍາຫນັກຂອງ replicas, ແລະຂໍ້ທີ່ຍັງເຫຼືອຈະມີຜົນລວມບາງສ່ວນ, ເຖິງຜົນລວມຂອງນ້ໍາຫນັກທັງຫມົດຢູ່ທີ່ຮາກຂອງຕົ້ນໄມ້. ຕໍ່ໄປ, ພວກເຮົາສ້າງຕົວເລກແບບສຸ່ມຈາກ 0 ຫາຜົນລວມຂອງນ້ໍາຫນັກທັງຫມົດ, ຊອກຫາ replica i-th, ເອົາມັນອອກຈາກຕົ້ນໄມ້ແລະເຮັດຊ້ໍາຂັ້ນຕອນເພື່ອຊອກຫາການຈໍາລອງທີ່ຍັງເຫຼືອ. ດ້ວຍສູດການຄິດໄລ່ດັ່ງກ່າວ, ຄວາມຊັບຊ້ອນຂອງການສ້າງຕົ້ນໄມ້ແມ່ນ O(N), ຄວາມຊັບຊ້ອນຂອງການຄົ້ນຫາ replica i-th ແລະເອົາມັນອອກຈາກຕົ້ນໄມ້ແມ່ນ O(lg N), ຄວາມສັບສົນຂອງການເລືອກ K replicas ແມ່ນ O(N + K lg N) ~ O(N lg N).

ຄວາມສັບສົນເສັ້ນ-ໂລກາຣິທຶມແມ່ນງາມກວ່າຄວາມຊັບຊ້ອນສີ່ຫຼ່ຽມ, ໂດຍສະເພາະສຳລັບ K ຂະໜາດໃຫຍ່.

ມັນແມ່ນ algorithm ນີ້ ປະຕິບັດໃນລະຫັດ ຫ້ອງສະຫມຸດ ClusterClient ຈາກໂຄງການ "ຕາເວັນອອກ" (ມີຕົ້ນໄມ້ຖືກສ້າງຢູ່ໃນ O(N lg N), ແຕ່ນີ້ບໍ່ມີຜົນຕໍ່ຄວາມສັບສົນສຸດທ້າຍຂອງ algorithm.)

ບັນຫາ 2. Zebra

ມັນ ຈຳ ເປັນທີ່ຈະສະ ເໜີ ສູດການຄິດໄລ່ ສຳ ລັບການຈັດຮຽງເອກະສານໃນຄວາມຊົງ ຈຳ ຢ່າງມີປະສິດທິພາບໂດຍສະ ໜາມ ທີ່ບໍ່ຖືກດັດສະນີ:

ທີມງານຂອງທ່ານໄດ້ຖືກມອບຫມາຍໃຫ້ພັດທະນາຖານຂໍ້ມູນເອກະສານໃນຫນ່ວຍຄວາມຈໍາທີ່ຖືກແບ່ງປັນ. ວຽກງານທົ່ວໄປແມ່ນຈະເລືອກເອົາເອກະສານ N ເທິງສຸດຈັດຮຽງໂດຍຊ່ອງຂໍ້ມູນຕົວເລກທີ່ຕັ້ງໃຈ (ບໍ່ຖືກດັດສະນີ) ຈາກການເກັບກໍາຂະຫນາດ M (ປົກກະຕິແລ້ວ N < 100 << M). ປະລິມານການເຮັດວຽກທີ່ພົບເລື້ອຍເລັກນ້ອຍແມ່ນການເລືອກ N ເທິງຫຼັງຈາກຂ້າມເອກະສານ S ເທິງ (S ~ N).

ສະເໜີສູດການຄິດໄລ່ເພື່ອປະຕິບັດການສອບຖາມດັ່ງກ່າວຢ່າງມີປະສິດທິພາບ. ປະເມີນຄວາມຊັບຊ້ອນທາງດ້ານການຄິດໄລ່ຂອງມັນໂດຍໃຊ້ໝາຍເຫດ O ໃຫຍ່ໃນກໍລະນີສະເລ່ຍ ແລະ ກໍລະນີທີ່ຮ້າຍແຮງທີ່ສຸດ.

ການ​ວິ​ເຄາະ​ການ​ແກ້​ໄຂ (ວິ​ດີ​ໂອ​)

ເລີ່ມເວລາ 34:50 ໂມງ 6 ນາທີເທົ່ານັ້ນ:

ການ​ວິ​ເຄາະ​ການ​ແກ້​ໄຂ (ຂໍ້​ຄວາມ​)

ການ​ແກ້​ໄຂ​ຢູ່​ໃນ​ຫນ້າ​ດິນ​: ຈັດ​ລຽງ​ເອ​ກະ​ສານ​ທັງ​ຫມົດ (ສໍາ​ລັບ​ການ​ຍົກ​ຕົວ​ຢ່າງ​, ການ​ນໍາ​ໃຊ້​ ດ່ວນ), ຫຼັງຈາກນັ້ນເອົາເອກະສານ N+S. ໃນກໍລະນີນີ້, ຄວາມສັບສົນຂອງການຈັດລຽງໂດຍສະເລ່ຍແມ່ນ O(M lg M), ຮ້າຍແຮງທີ່ສຸດມັນແມ່ນ O(M2).

ແນ່ນອນ, ການຈັດຮຽງເອກະສານ M ທັງຫມົດແລະຫຼັງຈາກນັ້ນເອົາພຽງແຕ່ສ່ວນນ້ອຍຂອງມັນແມ່ນບໍ່ມີປະສິດທິພາບ. ເພື່ອບໍ່ໃຫ້ຈັດຮຽງເອກະສານທັງຫມົດ, algorithm ຈະເຮັດ ເລືອກດ່ວນ, ເຊິ່ງຈະເລືອກເອົາ N+S ເອກະສານທີ່ຕ້ອງການ (ພວກເຂົາສາມາດຈັດຮຽງຕາມສູດການຄິດໄລ່ໃດໆ). ໃນກໍລະນີນີ້, ຄວາມສັບສົນຈະຖືກຫຼຸດລົງເປັນ O(M) ໂດຍສະເລ່ຍ, ແລະກໍລະນີທີ່ຮ້າຍແຮງທີ່ສຸດຈະຍັງຄົງຢູ່ຄືກັນ.

ຢ່າງໃດກໍຕາມ, ທ່ານສາມາດເຮັດໄດ້ຫຼາຍປະສິດທິຜົນ - ໃຊ້ສູດການຄິດໄລ່ binary heap streaming. ໃນກໍລະນີນີ້, ເອກະສານ N + S ທໍາອິດຈະຖືກເພີ່ມໃສ່ min- ຫຼື max-heap (ຂຶ້ນກັບທິດທາງການຈັດລຽງ), ແລະຫຼັງຈາກນັ້ນແຕ່ລະເອກະສານຕໍ່ມາໄດ້ຖືກປຽບທຽບກັບຮາກຂອງຕົ້ນໄມ້, ເຊິ່ງປະກອບດ້ວຍເອກະສານຕໍາ່ສຸດທີ່ຫຼືສູງສຸດໃນປະຈຸບັນ. , ແລະ, ຖ້າຈໍາເປັນ, ແມ່ນເພີ່ມໃສ່ຕົ້ນໄມ້. ໃນ​ກໍ​ລະ​ນີ​ນີ້​, ຄວາມ​ສັບ​ສົນ​ໃນ​ກໍ​ລະ​ນີ​ທີ່​ຮ້າຍ​ແຮງ​ທີ່​ສຸດ​, ໃນ​ເວ​ລາ​ທີ່​ທ່ານ​ຈໍາ​ເປັນ​ຕ້ອງ​ສ້າງ​ຕົ້ນ​ໄມ້​ໃຫມ່​ຢູ່​ສະ​ເຫມີ​, O(M lg M​)​, ຄວາມ​ສັບ​ສົນ​ໂດຍ​ສະ​ເລ່ຍ​ແມ່ນ O(M​)​, ເຊັ່ນ​ດຽວ​ກັນ​ກັບ​ການ​ນໍາ​ໃຊ້​ເລືອກ​ດ່ວນ​.

ຢ່າງໃດກໍຕາມ, heap streaming ກາຍເປັນປະສິດທິພາບຫຼາຍເນື່ອງຈາກຄວາມຈິງທີ່ວ່າໃນການປະຕິບັດເອກະສານສ່ວນໃຫຍ່ສາມາດຖືກຍົກເລີກໂດຍບໍ່ມີການສ້າງ heap, ຫຼັງຈາກການປຽບທຽບດຽວກັບອົງປະກອບຮາກຂອງມັນ. ການຈັດລຽງນີ້ແມ່ນປະຕິບັດຢູ່ໃນຖານຂໍ້ມູນເອກະສານ Zebra ໃນຄວາມຊົງຈໍາ, ພັດທະນາແລະນໍາໃຊ້ໃນ Kontur.

ບັນຫາ 3. ການແລກປ່ຽນລັດ

ມັນ ຈຳ ເປັນທີ່ຈະສະ ເໜີ ສູດການຄິດໄລ່ທີ່ມີປະສິດທິພາບທີ່ສຸດ ສຳ ລັບລັດສະຫຼັບ:

ທີມງານຂອງທ່ານໄດ້ຖືກມອບຫມາຍໃຫ້ພັດທະນາກົນໄກການແລກປ່ຽນຂອງລັດທີ່ແປກປະຫຼາດສໍາລັບກຸ່ມ N nodes ທີ່ແຈກຢາຍ. ສະຖານະຂອງ i-th node ຄວນຖືກໂອນໄປໃສ່ (i+1)-th node, ສະຖານະຂອງ node N-th ຄວນຖືກໂອນໄປໃສ່ node ທຳອິດ. ການດໍາເນີນງານທີ່ສະຫນັບສະຫນູນພຽງແຕ່ແມ່ນ swap ລັດໃນເວລາທີ່ສອງ nodes ແລກປ່ຽນລັດຂອງເຂົາເຈົ້າປະລໍາມະນູ. ມັນເປັນທີ່ຮູ້ກັນວ່າສະວິດລັດໃຊ້ເວລາ M milliseconds. ທຸກໆ node ສາມາດເຂົ້າຮ່ວມໃນ swap ລັດດຽວໃນທຸກເວລາ.

ມັນໃຊ້ເວລາດົນປານໃດເພື່ອໂອນລັດຂອງທຸກ nodes ໃນ cluster?

ການ​ວິ​ເຄາະ​ການ​ແກ້​ໄຂ (ຂໍ້​ຄວາມ​)

ການແກ້ໄຂໃນດ້ານ: ແລກປ່ຽນລັດຂອງອົງປະກອບທໍາອິດແລະທີສອງ, ຫຼັງຈາກນັ້ນທໍາອິດແລະທີສາມ, ຫຼັງຈາກນັ້ນທໍາອິດແລະສີ່, ແລະອື່ນໆ. ຫຼັງຈາກການແລກປ່ຽນແຕ່ລະຄົນ, ສະຖານະຂອງອົງປະກອບຫນຶ່ງຈະຢູ່ໃນຕໍາແຫນ່ງທີ່ຕ້ອງການ. ທ່ານຈະຕ້ອງເຮັດການປ່ຽນ O(N) ແລະໃຊ້ເວລາ O(N·M).

ເວລາເສັ້ນແມ່ນຍາວ, ດັ່ງນັ້ນທ່ານສາມາດແລກປ່ຽນສະຖານະຂອງອົງປະກອບເປັນຄູ່: ທໍາອິດກັບທີສອງ, ທີສາມກັບສີ່, ແລະອື່ນໆ. ຫຼັງຈາກການແລກປ່ຽນຂອງລັດ, ທຸກໆອົງປະກອບທີສອງຈະຢູ່ໃນຕໍາແຫນ່ງທີ່ຕ້ອງການ. ທ່ານຈະຕ້ອງເຮັດການປ່ຽນແປງ O(lg N) ແລະໃຊ້ເວລາ O(M lg N).

ຢ່າງໃດກໍ່ຕາມ, ທ່ານສາມາດເຮັດໃຫ້ການປ່ຽນແປງມີປະສິດທິພາບຫຼາຍຂຶ້ນ - ບໍ່ແມ່ນຢູ່ໃນເສັ້ນ, ແຕ່ໃນໄລຍະເວລາຄົງທີ່. ເພື່ອເຮັດສິ່ງນີ້, ໃນຂັ້ນຕອນທໍາອິດ, ທ່ານຈໍາເປັນຕ້ອງໄດ້ແລກປ່ຽນສະຖານະຂອງອົງປະກອບທໍາອິດກັບສຸດທ້າຍ, ທີສອງກັບ penultimate, ແລະອື່ນໆ. ສະຖານະຂອງອົງປະກອບສຸດທ້າຍຈະຢູ່ໃນຕໍາແຫນ່ງທີ່ຕ້ອງການ. ແລະໃນປັດຈຸບັນພວກເຮົາຈໍາເປັນຕ້ອງໄດ້ແລກປ່ຽນສະຖານະຂອງອົງປະກອບທີສອງກັບຫນຶ່ງສຸດທ້າຍ, ທີສາມກັບຫນຶ່ງ penultimate, ແລະອື່ນໆ. ຫຼັງຈາກຮອບແລກປ່ຽນນີ້, ລັດຂອງອົງປະກອບທັງຫມົດຈະຢູ່ໃນຕໍາແຫນ່ງທີ່ຕ້ອງການ. ໃນຈໍານວນທັງຫມົດ, O(2M) ~ O(1) permutations ຈະຖືກເຮັດ.

ການແກ້ໄຂດັ່ງກ່າວຈະບໍ່ແປກໃຈນັກຄະນິດສາດເລີຍ, ຜູ້ທີ່ຍັງຈື່ວ່າການຫມຸນແມ່ນອົງປະກອບຂອງສອງ symmetries axial. ໂດຍວິທີທາງການ, ມັນເປັນເລື່ອງເລັກນ້ອຍໂດຍທົ່ວໄປທີ່ຈະປ່ຽນບໍ່ແມ່ນຫນຶ່ງ, ແຕ່ໂດຍຕໍາແຫນ່ງ K < N. (ຂຽນ​ໃນ​ຄວາມ​ຄິດ​ເຫັນ​ແນວ​ໃດ​.)

ເຈົ້າມັກປິດສະໜາບໍ? ເຈົ້າຮູ້ວິທີແກ້ໄຂອື່ນໆບໍ? ແບ່ງປັນໃນຄໍາເຫັນ.

ນີ້ແມ່ນບາງລິ້ງທີ່ເປັນປະໂຫຍດສຸດທ້າຍ:

• ຊອກຫາເພີ່ມເຕີມກ່ຽວກັບ ການພັດທະນາພື້ນຖານໂຄງລ່າງ ໃນ Kontur
• ເບິ່ງບັນທຶກພາຍໃນ ໃບປິວກັບບົດລາຍງານ ກ່ຽວກັບລະບົບການແຈກຢາຍ
• ເບິ່ງຊຸດຂອງວິດີໂອບັນຍາຍ "ສູດການຄິດໄລ່ທີ່ຜິດປົກກະຕິສໍາລັບຄົນທໍາມະດາ»
• ຈອງກັບພວກເຮົາ ຊ່ອງ Telegram

ແຫຼ່ງຂໍ້ມູນ: www.habr.com