Apache Storm 2.0 ລະບົບຄອມພິວເຕີ້ແຈກຢາຍທີ່ມີຢູ່

ເຫັນແສງສະຫວ່າງ ການປ່ອຍທີ່ສໍາຄັນຂອງລະບົບການປະມວນຜົນເຫດການທີ່ແຈກຢາຍ Apache Storm 2.0, ເປັນທີ່ຫນ້າສັງເກດສໍາລັບການຫັນປ່ຽນໄປສູ່ສະຖາປັດຕະຍະກໍາໃຫມ່ທີ່ປະຕິບັດໃນ Java, ແທນທີ່ຈະໃຊ້ພາສາ Clojure ກ່ອນຫນ້ານີ້.

ໂຄງ​ການ​ດັ່ງ​ກ່າວ​ອະ​ນຸ​ຍາດ​ໃຫ້​ທ່ານ​ເພື່ອ​ຈັດ​ຕັ້ງ​ການ​ປຸງ​ແຕ່ງ​ຮັບ​ປະ​ກັນ​ຂອງ​ກິດ​ຈະ​ກໍາ​ຕ່າງໆ​ໃນ​ເວ​ລາ​ທີ່​ແທ້​ຈິງ​. ຕົວຢ່າງ, Storm ສາມາດໃຊ້ໃນການວິເຄາະກະແສຂໍ້ມູນໃນເວລາຈິງ, ດໍາເນີນວຽກງານການຮຽນຮູ້ເຄື່ອງຈັກ, ຈັດຕັ້ງຄອມພິວເຕີ້ຢ່າງຕໍ່ເນື່ອງ, ປະຕິບັດ RPC, ETL, ແລະອື່ນໆ. ລະບົບສະຫນັບສະຫນູນການຈັດກຸ່ມ, ການສ້າງການຕັ້ງຄ່າທີ່ທົນທານຕໍ່ຄວາມຜິດ, ຮູບແບບການປະມວນຜົນຂໍ້ມູນທີ່ຮັບປະກັນແລະມີປະສິດທິພາບສູງ, ພຽງພໍທີ່ຈະປະມວນຜົນຫຼາຍກວ່າຫນຶ່ງລ້ານຄໍາຮ້ອງຂໍຕໍ່ວິນາທີໃນຫນຶ່ງ node cluster.

ການປະສົມປະສານກັບລະບົບການປຸງແຕ່ງແຖວຕ່າງໆແລະເຕັກໂນໂລຢີຖານຂໍ້ມູນແມ່ນສະຫນັບສະຫນູນ. ສະຖາປັດຕະຍະກໍາ Storm ກ່ຽວຂ້ອງກັບການຮັບແລະການປຸງແຕ່ງທີ່ບໍ່ມີໂຄງສ້າງ, ການປັບປຸງຢ່າງຕໍ່ເນື່ອງຢ່າງຕໍ່ເນື່ອງໂດຍໃຊ້ໂປເຊດເຊີສະລັບສັບຊ້ອນທີ່ມີຄວາມສາມາດໃນການແບ່ງສ່ວນລະຫວ່າງຂັ້ນຕອນການຄິດໄລ່ທີ່ແຕກຕ່າງກັນ. ໂຄງການດັ່ງກ່າວໄດ້ຖືກມອບໃຫ້ຊຸມຊົນ Apache ຫຼັງຈາກ Twitter ໄດ້ຊື້ BackType, ບໍລິສັດທີ່ພັດທະນາໂຄງສ້າງເບື້ອງຕົ້ນ. ໃນການປະຕິບັດ, Storm ຖືກນໍາໃຊ້ໃນ BackType ເພື່ອວິເຄາະການສະທ້ອນຂອງເຫດການໃນ microblogs, ໂດຍການປຽບທຽບ tweets ໃຫມ່ແລະການເຊື່ອມຕໍ່ທີ່ໃຊ້ໃນພວກມັນ (ຕົວຢ່າງ, ມັນໄດ້ຖືກປະເມີນວ່າການເຊື່ອມຕໍ່ພາຍນອກຫຼືການປະກາດທີ່ເຜີຍແຜ່ໃນ Twitter ໄດ້ຖືກເຜີຍແຜ່ໂດຍຜູ້ເຂົ້າຮ່ວມອື່ນໆ. ).

ການເຮັດວຽກຂອງພະຍຸແມ່ນປຽບທຽບກັບແພລະຕະຟອມ Hadoop, ຄວາມແຕກຕ່າງທີ່ ສຳ ຄັນແມ່ນວ່າຂໍ້ມູນບໍ່ໄດ້ຖືກເກັບໄວ້ໃນສາງ, ແຕ່ຖືກ ນຳ ເຂົ້າພາຍນອກແລະປຸງແຕ່ງໃນເວລາຈິງ. Storm ບໍ່ມີຊັ້ນເກັບຮັກສາໃນຕົວແລະການສອບຖາມການວິເຄາະເລີ່ມຕົ້ນຖືກນໍາໃຊ້ກັບຂໍ້ມູນຂາເຂົ້າຈົນກ່ວາມັນຖືກຍົກເລີກ (ໃນຂະນະທີ່ Hadoop ໃຊ້ວຽກ MapReduce ກໍານົດເວລາ, Storm ໃຊ້ແນວຄວາມຄິດຂອງ "topologies" ທີ່ເຮັດວຽກຢ່າງຕໍ່ເນື່ອງ). ການປະຕິບັດຕົວຈັດການສາມາດໄດ້ຮັບການແຈກຢາຍໃນທົ່ວເຄື່ອງແມ່ຂ່າຍຫຼາຍ - Storm ອັດຕະໂນມັດ parallelizes ເຮັດວຽກກັບກະທູ້ໃນ nodes cluster ທີ່ແຕກຕ່າງກັນ.

ລະບົບໄດ້ຖືກຂຽນໄວ້ໃນຕອນຕົ້ນໃນ Clojure ແລະແລ່ນຢູ່ໃນເຄື່ອງ virtual JVM. ມູນນິທິ Apache ໄດ້ເປີດຕົວການລິເລີ່ມທີ່ຈະຍ້າຍ Storm ໄປຫາແກ່ນໃຫມ່ທີ່ຂຽນໃນ Java, ຜົນໄດ້ຮັບທີ່ຖືກສະເຫນີໃນການປ່ອຍ Apache Storm 2.0. ອົງປະກອບພື້ນຖານທັງຫມົດຂອງແພລະຕະຟອມຖືກຂຽນຄືນໃຫມ່ໃນ Java. ການສະຫນັບສະຫນູນການຂຽນຕົວຈັດການໃນ Clojure ໄດ້ຖືກເກັບຮັກສາໄວ້, ແຕ່ປະຈຸບັນໄດ້ຖືກສະເຫນີໃນຮູບແບບການຜູກມັດ. Storm 2.0.0 ຕ້ອງການ Java 8. ຮູບແບບການປະມວນຜົນຫຼາຍກະທູ້ໄດ້ຮັບການອອກແບບໃຫມ່ຢ່າງສົມບູນ, ອະນຸຍາດໃຫ້ ບັນລຸ ການເພີ່ມຂຶ້ນຂອງການປະຕິບັດທີ່ສັງເກດເຫັນ (ສໍາລັບບາງ topologies, ການຊັກຊ້າໄດ້ຖືກຫຼຸດລົງໂດຍ 50-80%).

ສະບັບໃຫມ່ຍັງສະເຫນີ API Streams ປະເພດໃຫມ່ທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດກໍານົດຕົວຈັດການໂດຍໃຊ້ການດໍາເນີນງານແບບການຂຽນໂປຼແກຼມທີ່ເປັນປະໂຫຍດ. API ໃຫມ່ແມ່ນປະຕິບັດຢູ່ເທິງສຸດຂອງ API ພື້ນຖານມາດຕະຖານແລະສະຫນັບສະຫນູນການລວມຕົວອັດຕະໂນມັດເພື່ອເພີ່ມປະສິດທິພາບການປຸງແຕ່ງຂອງພວກເຂົາ. Windowing API ສໍາລັບການດໍາເນີນງານຂອງປ່ອງຢ້ຽມໄດ້ເພີ່ມການສະຫນັບສະຫນູນສໍາລັບການປະຫຍັດແລະການຟື້ນຟູສະຖານະໃນ backend.

ສະຫນັບສະຫນູນການຄໍານຶງເຖິງຊັບພະຍາກອນເພີ່ມເຕີມໃນເວລາທີ່ການຕັດສິນໃຈບໍ່ຈໍາກັດ
CPU ແລະຫນ່ວຍຄວາມຈໍາ, ເຊັ່ນ: ເຄືອຂ່າຍແລະການຕັ້ງຄ່າ GPU. ການປັບປຸງຈໍານວນຫລາຍໄດ້ຖືກເຮັດເພື່ອຮັບປະກັນການເຊື່ອມໂຍງກັບເວທີ Kafka. ລະບົບການຄວບຄຸມການເຂົ້າເຖິງໄດ້ຖືກຂະຫຍາຍອອກເພື່ອປະກອບມີຄວາມສາມາດໃນການສ້າງກຸ່ມຜູ້ບໍລິຫານແລະຕົວແທນຂອງ tokens. ເພີ່ມການປັບປຸງທີ່ກ່ຽວຂ້ອງກັບ SQL ແລະການສະຫນັບສະຫນູນ metrics. ຄໍາສັ່ງໃຫມ່ໄດ້ປາກົດຢູ່ໃນສ່ວນຕິດຕໍ່ຜູ້ເບິ່ງແຍງສໍາລັບການດີບັກສະຖານະກຸ່ມ.

ພື້ນທີ່ນຳໃຊ້ສຳລັບພະຍຸ:

• ການປະມວນຜົນກະແສຂໍ້ມູນໃຫມ່ຫຼືການປັບປຸງຖານຂໍ້ມູນໃນເວລາທີ່ແທ້ຈິງ;
• ຄອມພິວເຕີ້ຢ່າງຕໍ່ເນື່ອງ: ພະຍຸສາມາດດໍາເນີນການສອບຖາມຢ່າງຕໍ່ເນື່ອງແລະດໍາເນີນການກະແສຢ່າງຕໍ່ເນື່ອງ, ສົ່ງຜົນການປຸງແຕ່ງໃຫ້ກັບລູກຄ້າໃນເວລາທີ່ແທ້ຈິງ.
• ການແຈກຢາຍການໂທຫາຂັ້ນຕອນໄລຍະໄກ (RPC): ພະຍຸສາມາດຖືກນໍາໃຊ້ເພື່ອສະຫນອງການປະຕິບັດຂະຫນານຂອງການສອບຖາມທີ່ມີຊັບພະຍາກອນຫຼາຍ. ວຽກ ("topology") ໃນ Storm ແມ່ນຫນ້າທີ່ແຈກຢາຍໃນທົ່ວ nodes ທີ່ລໍຖ້າຂໍ້ຄວາມມາຮອດທີ່ຕ້ອງໄດ້ຮັບການປຸງແຕ່ງ. ຫຼັງຈາກໄດ້ຮັບຂໍ້ຄວາມ, ຟັງຊັນປະມວນຜົນມັນຢູ່ໃນສະພາບການທ້ອງຖິ່ນແລະສົ່ງຜົນໄດ້ຮັບ. ຕົວຢ່າງຂອງການນໍາໃຊ້ RPC ທີ່ແຈກຢາຍແມ່ນຈະດໍາເນີນການຄົ້ນຫາແບບສອບຖາມແບບຂະຫນານຫຼືປະຕິບັດການດໍາເນີນງານໃນຊຸດໃຫຍ່.

ຄຸນສົມບັດພະຍຸ:

• ຮູບແບບການຂຽນໂປລແກລມແບບງ່າຍດາຍທີ່ເຮັດໃຫ້ການປະມວນຜົນຂໍ້ມູນແບບສົດໆງ່າຍຂຶ້ນຫຼາຍ;
• ສະຫນັບສະຫນູນພາສາການຂຽນໂປຼແກຼມໃດໆ. ໂມດູນສາມາດໃຊ້ໄດ້ສໍາລັບ Java, Ruby ແລະ Python, ການປັບຕົວສໍາລັບພາສາອື່ນໆແມ່ນງ່າຍຍ້ອນໂປໂຕຄອນການສື່ສານທີ່ງ່າຍດາຍຫຼາຍທີ່ຕ້ອງການລະຫັດປະມານ 100 ເສັ້ນເພື່ອສະຫນັບສະຫນູນ;
• ຄວາມທົນທານຕໍ່ຄວາມຜິດພາດ: ເພື່ອເຮັດວຽກການປະມວນຜົນຂໍ້ມູນ, ທ່ານຈໍາເປັນຕ້ອງສ້າງໄຟລ໌ກະປ໋ອງທີ່ມີລະຫັດ. Storm ຈະແຈກຢາຍໄຟລ໌ກະປ໋ອງນີ້ຢ່າງເປັນອິດສະຫຼະໃນທົ່ວ nodes ຂອງກຸ່ມ, ເຊື່ອມຕໍ່ຕົວຈັດການທີ່ກ່ຽວຂ້ອງກັບມັນ, ແລະຈັດລະບຽບການຕິດຕາມ. ເມື່ອວຽກສໍາເລັດ, ລະຫັດຈະຖືກປິດອັດຕະໂນມັດໃນທຸກ nodes;
• ຄວາມສາມາດໃນການຂະຫຍາຍລວງນອນ. ການຄິດໄລ່ທັງຫມົດແມ່ນດໍາເນີນການໃນຮູບແບບຂະຫນານ; ເມື່ອການໂຫຼດເພີ່ມຂຶ້ນ, ມັນພຽງພໍທີ່ຈະເຊື່ອມຕໍ່ nodes ໃຫມ່ກັບ cluster;
• ຄວາມຫນ້າເຊື່ອຖື. ພະຍຸຮັບປະກັນວ່າທຸກໆຂໍ້ຄວາມທີ່ເຂົ້າມາຈະຖືກປະມວນຜົນຢ່າງເຕັມສ່ວນຢ່າງຫນ້ອຍຫນຶ່ງຄັ້ງ. ຂໍ້ຄວາມຈະຖືກປະມວນຜົນພຽງແຕ່ຄັ້ງດຽວຖ້າບໍ່ມີຂໍ້ຜິດພາດໃນເວລາທີ່ຜ່ານຕົວຈັດການທັງຫມົດ; ຖ້າບັນຫາເກີດຂື້ນ, ຄວາມພະຍາຍາມປະມວນຜົນບໍ່ສໍາເລັດຈະຖືກເຮັດຊ້ໍາອີກ.
• ຄວາມໄວ. ລະຫັດ Storm ໄດ້ຖືກຂຽນດ້ວຍໃຈທີ່ມີປະສິດຕິພາບສູງ ແລະໃຊ້ລະບົບສໍາລັບການສົ່ງຂໍ້ຄວາມ asynchronous ໄວ ZeroMQ.

ແຫຼ່ງຂໍ້ມູນ: opennet.ru