ວິ​ທີ​ການ​ຍ້າຍ​, ອັບ​ໂຫລດ​ແລະ​ເຊື່ອມ​ໂຍງ​ຂໍ້​ມູນ​ຂະ​ຫນາດ​ໃຫຍ່​ຫຼາຍ​ລາ​ຄາ​ຖືກ​ແລະ​ວ່ອງ​ໄວ​? ການເພີ່ມປະສິດທິພາບ pushdown ແມ່ນຫຍັງ?

ການ​ດໍາ​ເນີນ​ງານ​ຂໍ້​ມູນ​ໃຫຍ່​ໃດ​ຫນຶ່ງ​ຮຽກ​ຮ້ອງ​ໃຫ້​ມີ​ພະ​ລັງ​ງານ​ຄອມ​ພິວ​ເຕີ​ຫຼາຍ​. ການເຄື່ອນຍ້າຍຂໍ້ມູນປົກກະຕິຈາກຖານຂໍ້ມູນໄປຫາ Hadoop ສາມາດໃຊ້ເວລາຫຼາຍອາທິດຫຼືມີຄ່າໃຊ້ຈ່າຍເທົ່າກັບປີກເຮືອບິນ. ບໍ່ຕ້ອງການລໍຖ້າແລະໃຊ້ເງິນບໍ? ດຸ່ນດ່ຽງການໂຫຼດໃນທົ່ວເວທີທີ່ແຕກຕ່າງກັນ. ວິທີຫນຶ່ງແມ່ນການເພີ່ມປະສິດທິພາບການເລື່ອນລົງ.

ຂ້າພະເຈົ້າໄດ້ຂໍໃຫ້ຄູຝຶກຊັ້ນນໍາຂອງລັດເຊຍສໍາລັບການພັດທະນາແລະບໍລິຫານຜະລິດຕະພັນ Informatica, Alexey Ananyev, ເວົ້າກ່ຽວກັບຫນ້າທີ່ການເພີ່ມປະສິດທິພາບການຊຸກຍູ້ໃນການຄຸ້ມຄອງຂໍ້ມູນໃຫຍ່ຂອງ Informatica (BDM). ທ່ານເຄີຍຮຽນຮູ້ທີ່ຈະເຮັດວຽກກັບຜະລິດຕະພັນ Informatica ບໍ? ສ່ວນຫຼາຍອາດຈະ, ມັນແມ່ນ Alexey ຜູ້ທີ່ບອກທ່ານກ່ຽວກັບພື້ນຖານຂອງ PowerCenter ແລະອະທິບາຍວິທີການສ້າງແຜນທີ່.

Alexey Ananyev, ຫົວຫນ້າການຝຶກອົບຮົມຂອງ DIS Group

pushdown ແມ່ນຫຍັງ?

ຫຼາຍໆທ່ານຄົງຄຸ້ນເຄີຍກັບ Informatica Big Data Management (BDM). ຜະລິດຕະພັນສາມາດປະສົມປະສານຂໍ້ມູນໃຫຍ່ຈາກແຫຼ່ງຕ່າງໆ, ຍ້າຍມັນລະຫວ່າງລະບົບທີ່ແຕກຕ່າງກັນ, ສະຫນອງການເຂົ້າເຖິງໄດ້ງ່າຍ, ຊ່ວຍໃຫ້ທ່ານສາມາດ profile ມັນ, ແລະອື່ນໆອີກ.
ໃນມືທີ່ຖືກຕ້ອງ, BDM ສາມາດເຮັດວຽກສິ່ງມະຫັດ: ວຽກງານຈະສໍາເລັດຢ່າງໄວວາແລະມີຊັບພະຍາກອນຄອມພິວເຕີ້ຫນ້ອຍ.

ເຈົ້າຕ້ອງການຄືກັນບໍ? ຮຽນຮູ້ທີ່ຈະໃຊ້ຄຸນສົມບັດ pushdown ໃນ BDM ເພື່ອແຈກຢາຍການໂຫຼດຄອມພິວເຕີ້ໃນທົ່ວເວທີຕ່າງໆ. ເທກໂນໂລຍີ Pushdown ຊ່ວຍໃຫ້ທ່ານສາມາດປ່ຽນແຜນທີ່ເປັນສະຄິບແລະເລືອກສະພາບແວດລ້ອມທີ່ສະຄິບນີ້ຈະດໍາເນີນການ. ທາງເລືອກນີ້ຊ່ວຍໃຫ້ທ່ານສາມາດສົມທົບຄວາມເຂັ້ມແຂງຂອງເວທີທີ່ແຕກຕ່າງກັນແລະບັນລຸການປະຕິບັດສູງສຸດຂອງພວກເຂົາ.

ເພື່ອກໍານົດສະພາບແວດລ້ອມການປະຕິບັດ script, ທ່ານຈໍາເປັນຕ້ອງເລືອກປະເພດ pushdown. ສະຄຣິບສາມາດດໍາເນີນການໄດ້ທັງຫມົດໃນ Hadoop ຫຼືແຈກຢາຍບາງສ່ວນລະຫວ່າງແຫຼ່ງແລະບ່ອນຫລົ້ມຈົມ. ມີ 4 ປະເພດ pushdown ທີ່ເປັນໄປໄດ້. ການສ້າງແຜນທີ່ບໍ່ຈໍາເປັນຕ້ອງປ່ຽນເປັນສະຄຣິບ (ເດີມ). ການສ້າງແຜນທີ່ສາມາດປະຕິບັດໄດ້ຫຼາຍເທົ່າທີ່ເປັນໄປໄດ້ໃນແຫຼ່ງ (ແຫຼ່ງ) ຫຼືສົມບູນໃນແຫຼ່ງ (ເຕັມ). ການສ້າງແຜນທີ່ຍັງສາມາດປ່ຽນເປັນສະຄິບ Hadoop (ບໍ່ມີ).

ການເພີ່ມປະສິດທິພາບ Pushdown

ປະເພດ 4 ທີ່ໄດ້ລະບຸໄວ້ສາມາດຖືກລວມເຂົ້າກັນໃນວິທີຕ່າງໆ - pushdown ສາມາດຖືກປັບແຕ່ງສໍາລັບຄວາມຕ້ອງການສະເພາະຂອງລະບົບ. ຕົວຢ່າງ, ມັນມັກຈະເຫມາະສົມກວ່າທີ່ຈະສະກັດຂໍ້ມູນຈາກຖານຂໍ້ມູນໂດຍໃຊ້ຄວາມສາມາດຂອງຕົນເອງ. ແລະຂໍ້ມູນຈະຖືກແປງໂດຍໃຊ້ Hadoop, ເພື່ອບໍ່ໃຫ້ overload ຖານຂໍ້ມູນຂອງມັນເອງ.

ໃຫ້ພິຈາລະນາກໍລະນີເມື່ອທັງແຫຼ່ງແລະປາຍທາງຢູ່ໃນຖານຂໍ້ມູນ, ແລະເວທີການປະຕິບັດການຫັນປ່ຽນສາມາດເລືອກໄດ້: ອີງຕາມການຕັ້ງຄ່າ, ມັນຈະເປັນ Informatica, ເຄື່ອງແມ່ຂ່າຍຂອງຖານຂໍ້ມູນ, ຫຼື Hadoop. ຕົວຢ່າງດັ່ງກ່າວຈະຊ່ວຍໃຫ້ທ່ານສາມາດເຂົ້າໃຈໄດ້ຢ່າງຖືກຕ້ອງກ່ຽວກັບດ້ານດ້ານວິຊາການຂອງການດໍາເນີນງານຂອງກົນໄກນີ້. ຕາມທໍາມະຊາດ, ໃນຊີວິດຈິງ, ສະຖານະການນີ້ບໍ່ເກີດຂື້ນ, ແຕ່ມັນເຫມາະສົມທີ່ສຸດສໍາລັບການສະແດງໃຫ້ເຫັນເຖິງການທໍາງານ.

ໃຫ້ໃຊ້ແຜນທີ່ເພື່ອອ່ານສອງຕາຕະລາງໃນຖານຂໍ້ມູນ Oracle ດຽວ. ແລະໃຫ້ຜົນໄດ້ຮັບການອ່ານຖືກບັນທຶກໄວ້ໃນຕາຕະລາງໃນຖານຂໍ້ມູນດຽວກັນ. ແຜນ​ທີ່​ຈະ​ເປັນ​ດັ່ງ​ນີ້​:

ໃນຮູບແບບຂອງແຜນທີ່ໃນ Informatica BDM 10.2.1 ມັນເບິ່ງຄືວ່ານີ້:

ປະເພດ Pushdown - native

ຖ້າພວກເຮົາເລືອກປະເພດພື້ນເມືອງ pushdown, ຫຼັງຈາກນັ້ນ, ການສ້າງແຜນທີ່ຈະຖືກປະຕິບັດຢູ່ໃນເຄື່ອງແມ່ຂ່າຍຂອງ Informatica. ຂໍ້ມູນຈະຖືກອ່ານຈາກເຊີບເວີ Oracle, ໂອນໄປຫາເຊີບເວີ Informatica, ປ່ຽນຢູ່ທີ່ນັ້ນແລະໂອນໄປ Hadoop. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ພວກເຮົາຈະໄດ້ຮັບຂະບວນການ ETL ປົກກະຕິ.

ປະເພດ Pushdown – ແຫຼ່ງ

ເມື່ອເລືອກປະເພດແຫຼ່ງ, ພວກເຮົາໄດ້ຮັບໂອກາດທີ່ຈະແຈກຢາຍຂະບວນການຂອງພວກເຮົາລະຫວ່າງເຄື່ອງແມ່ຂ່າຍຂອງຖານຂໍ້ມູນ (DB) ແລະ Hadoop. ເມື່ອຂະບວນການຖືກປະຕິບັດດ້ວຍການຕັ້ງຄ່ານີ້, ການຮ້ອງຂໍເອົາຂໍ້ມູນຈາກຕາຕະລາງຈະຖືກສົ່ງໄປຫາຖານຂໍ້ມູນ. ແລະສ່ວນທີ່ເຫຼືອຈະຖືກປະຕິບັດໃນຮູບແບບຂອງຂັ້ນຕອນໃນ Hadoop.
ແຜນ​ວາດ​ການ​ປະ​ຕິ​ບັດ​ຈະ​ເປັນ​ດັ່ງ​ນີ້​:

ຂ້າງລຸ່ມນີ້ແມ່ນຕົວຢ່າງຂອງການຕັ້ງຄ່າສະພາບແວດລ້ອມ runtime.

ໃນກໍລະນີນີ້, ການສ້າງແຜນທີ່ຈະດໍາເນີນໃນສອງຂັ້ນຕອນ. ໃນການຕັ້ງຄ່າຂອງມັນພວກເຮົາຈະເຫັນວ່າມັນໄດ້ຫັນເຂົ້າໄປໃນສະຄິບທີ່ຈະຖືກສົ່ງໄປຫາແຫຼ່ງ. ຍິ່ງໄປກວ່ານັ້ນ, ການລວມຕາຕະລາງແລະການຫັນປ່ຽນຂໍ້ມູນຈະຖືກປະຕິບັດໃນຮູບແບບການສອບຖາມ overridden ໃນແຫຼ່ງ.
ໃນຮູບຂ້າງລຸ່ມນີ້, ພວກເຮົາເຫັນແຜນທີ່ທີ່ດີທີ່ສຸດກ່ຽວກັບ BDM, ແລະການສອບຖາມທີ່ກໍານົດຄືນໃຫມ່ໃນແຫຼ່ງ.

ບົດບາດຂອງ Hadoop ໃນການຕັ້ງຄ່ານີ້ຈະຖືກຫຼຸດລົງໃນການຄຸ້ມຄອງການໄຫຼເຂົ້າຂອງຂໍ້ມູນ - orchestrating ມັນ. ຜົນໄດ້ຮັບຂອງການສອບຖາມຈະຖືກສົ່ງໄປຫາ Hadoop. ເມື່ອການອ່ານສໍາເລັດ, ໄຟລ໌ຈາກ Hadoop ຈະຖືກຂຽນໃສ່ບ່ອນຫລົ້ມຈົມ.

ປະເພດ Pushdown - ເຕັມ

ເມື່ອທ່ານເລືອກປະເພດເຕັມ, ການສ້າງແຜນທີ່ຈະປ່ຽນເປັນແບບສອບຖາມຖານຂໍ້ມູນຢ່າງສົມບູນ. ແລະຜົນຂອງການຮ້ອງຂໍຈະຖືກສົ່ງໄປຫາ Hadoop. ແຜນວາດຂອງຂະບວນການດັ່ງກ່າວໄດ້ຖືກນໍາສະເຫນີຂ້າງລຸ່ມນີ້.

ຕົວຢ່າງການຕິດຕັ້ງແມ່ນສະແດງໃຫ້ເຫັນຂ້າງລຸ່ມນີ້.

ດັ່ງນັ້ນ, ພວກເຮົາຈະໄດ້ຮັບແຜນທີ່ທີ່ດີທີ່ສຸດທີ່ຄ້າຍຄືກັນກັບອັນທີ່ຜ່ານມາ. ຄວາມແຕກຕ່າງພຽງແຕ່ວ່າເຫດຜົນທັງຫມົດຖືກໂອນໄປຫາຜູ້ຮັບໃນຮູບແບບຂອງການ overriding ການແຊກຂອງມັນ. ຕົວຢ່າງຂອງການສ້າງແຜນທີ່ທີ່ດີທີ່ສຸດແມ່ນນໍາສະເຫນີຂ້າງລຸ່ມນີ້.

ທີ່ນີ້, ເຊັ່ນດຽວກັນກັບກໍລະນີທີ່ຜ່ານມາ, Hadoop ມີບົດບາດຂອງ conductor. ແຕ່ໃນທີ່ນີ້ແຫຼ່ງໄດ້ຖືກອ່ານທັງຫມົດ, ແລະຫຼັງຈາກນັ້ນເຫດຜົນການປຸງແຕ່ງຂໍ້ມູນແມ່ນປະຕິບັດຢູ່ໃນລະດັບຜູ້ຮັບ.

ປະເພດ Pushdown ແມ່ນ null

ດີ, ທາງເລືອກສຸດທ້າຍແມ່ນປະເພດ pushdown, ພາຍໃນແຜນທີ່ຂອງພວກເຮົາຈະປ່ຽນເປັນ script Hadoop.

ແຜນທີ່ທີ່ດີທີ່ສຸດໃນປັດຈຸບັນຈະມີລັກສະນະນີ້:

ທີ່ນີ້ຂໍ້ມູນຈາກໄຟລ໌ແຫຼ່ງທໍາອິດຈະຖືກອ່ານຢູ່ໃນ Hadoop. ຫຼັງຈາກນັ້ນ, ການນໍາໃຊ້ວິທີການຂອງຕົນເອງ, ສອງໄຟລ໌ນີ້ຈະຖືກລວມເຂົ້າກັນ. ຫຼັງຈາກນີ້, ຂໍ້ມູນຈະຖືກປ່ຽນແລະອັບໂຫລດໄປຍັງຖານຂໍ້ມູນ.

ໂດຍການເຂົ້າໃຈຫຼັກການຂອງການເພີ່ມປະສິດທິພາບ pushdown, ທ່ານສາມາດຈັດຂະບວນການຫຼາຍຢ່າງມີປະສິດທິພາບສໍາລັບການເຮັດວຽກກັບຂໍ້ມູນໃຫຍ່. ດັ່ງນັ້ນ, ບໍ່ດົນມານີ້, ບໍລິສັດຂະຫນາດໃຫຍ່ຫນຶ່ງ, ໃນເວລາພຽງແຕ່ສອງສາມອາທິດ, ໄດ້ດາວໂຫລດຂໍ້ມູນໃຫຍ່ຈາກການເກັບຮັກສາເຂົ້າໄປໃນ Hadoop, ເຊິ່ງມັນໄດ້ເກັບກໍາມາເປັນເວລາຫຼາຍປີ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com