ເມື່ອເຈົ້າມີເກັດ Sber. ການນໍາໃຊ້ Ab Initio ກັບ Hive ແລະ GreenPlum

ບາງຄັ້ງກ່ອນຫນ້ານີ້, ພວກເຮົາໄດ້ປະເຊີນກັບຄໍາຖາມຂອງການເລືອກເຄື່ອງມື ETL ສໍາລັບການເຮັດວຽກກັບ Big Data. ການແກ້ໄຂ Informatica BDM ທີ່ໃຊ້ໃນເມື່ອກ່ອນບໍ່ເຫມາະສົມກັບພວກເຮົາເນື່ອງຈາກການເຮັດວຽກທີ່ຈໍາກັດ. ການນໍາໃຊ້ຂອງມັນໄດ້ຖືກຫຼຸດລົງເປັນກອບສໍາລັບການເປີດຕົວຄໍາສັ່ງ spark-submit. ບໍ່ມີ analogues ຫຼາຍຢູ່ໃນຕະຫຼາດທີ່ມີ, ໃນຫຼັກການ, ສາມາດເຮັດວຽກກັບປະລິມານຂໍ້ມູນທີ່ພວກເຮົາຈັດການກັບທຸກໆມື້. ໃນທີ່ສຸດພວກເຮົາເລືອກ Ab Initio. ໃນ​ລະ​ຫວ່າງ​ການ​ສາ​ທິດ​ການ​ທົດ​ລອງ​, ຜະ​ລິດ​ຕະ​ພັນ​ສະ​ແດງ​ໃຫ້​ເຫັນ​ຄວາມ​ໄວ​ການ​ປຸງ​ແຕ່ງ​ຂໍ້​ມູນ​ສູງ​ຫຼາຍ​. ເກືອບບໍ່ມີຂໍ້ມູນກ່ຽວກັບ Ab Initio ໃນພາສາລັດເຊຍ, ດັ່ງນັ້ນພວກເຮົາໄດ້ຕັດສິນໃຈເວົ້າກ່ຽວກັບປະສົບການຂອງພວກເຮົາກ່ຽວກັບHabré.

Ab Initio ມີການຫັນປ່ຽນແບບຄລາສສິກແລະຜິດປົກກະຕິຫຼາຍ, ລະຫັດທີ່ສາມາດຂະຫຍາຍໄດ້ໂດຍໃຊ້ພາສາ PDL ຂອງຕົນເອງ. ສໍາລັບທຸລະກິດຂະຫນາດນ້ອຍ, ເຄື່ອງມືທີ່ມີປະສິດທິພາບດັ່ງກ່າວອາດຈະຖືກຂ້າຕາຍ, ແລະຄວາມສາມາດສ່ວນໃຫຍ່ຂອງມັນອາດຈະແພງແລະບໍ່ໄດ້ໃຊ້. ແຕ່ຖ້າຂະຫນາດຂອງເຈົ້າຢູ່ໃກ້ກັບ Sberov's, Ab Initio ອາດຈະຫນ້າສົນໃຈສໍາລັບທ່ານ.

ມັນຊ່ວຍໃຫ້ທຸລະກິດສະສົມຄວາມຮູ້ທົ່ວໂລກແລະພັດທະນາລະບົບນິເວດ, ແລະຜູ້ພັດທະນາເພື່ອປັບປຸງທັກສະຂອງລາວໃນ ETL, ປັບປຸງຄວາມຮູ້ຂອງລາວໃນແກະ, ໃຫ້ໂອກາດທີ່ຈະເປັນເຈົ້າຂອງພາສາ PDL, ໃຫ້ຮູບພາບຂອງຂະບວນການໂຫຼດ, ແລະພັດທະນາງ່າຍ. ເນື່ອງຈາກຄວາມອຸດົມສົມບູນຂອງອົງປະກອບທີ່ເປັນປະໂຫຍດ.

ໃນບົດຂຽນນີ້, ຂ້ອຍຈະເວົ້າກ່ຽວກັບຄວາມສາມາດຂອງ Ab Initio ແລະໃຫ້ຄຸນລັກສະນະປຽບທຽບຂອງການເຮັດວຽກຂອງມັນກັບ Hive ແລະ GreenPlum.

• ລາຍລະອຽດຂອງກອບ MDW ແລະເຮັດວຽກກ່ຽວກັບການປັບແຕ່ງຂອງມັນສໍາລັບ GreenPlum
• Ab Initio ການປຽບທຽບການປະຕິບັດລະຫວ່າງ Hive ແລະ GreenPlum
• ເຮັດວຽກ Ab Initio ກັບ GreenPlum ໃນໂໝດເວລາຈິງ

ການເຮັດວຽກຂອງຜະລິດຕະພັນນີ້ແມ່ນກວ້າງຫຼາຍແລະຕ້ອງການເວລາຫຼາຍໃນການສຶກສາ. ຢ່າງໃດກໍ່ຕາມ, ດ້ວຍທັກສະການເຮັດວຽກທີ່ເຫມາະສົມແລະການຕັ້ງຄ່າການປະຕິບັດທີ່ຖືກຕ້ອງ, ຜົນໄດ້ຮັບຂອງການປຸງແຕ່ງຂໍ້ມູນແມ່ນປະທັບໃຈຫຼາຍ. ການນໍາໃຊ້ Ab Initio ສໍາລັບນັກພັດທະນາສາມາດສະຫນອງປະສົບການທີ່ຫນ້າສົນໃຈ. ນີ້​ແມ່ນ​ການ​ນໍາ​ໃຊ້​ໃຫມ່​ກ່ຽວ​ກັບ​ການ​ພັດ​ທະ​ນາ ETL​, ປະ​ສົມ​ລະ​ຫວ່າງ​ສະ​ພາບ​ແວດ​ລ້ອມ​ທີ່​ມີ​ສາຍ​ຕາ​ແລະ​ການ​ພັດ​ທະ​ນາ​ການ​ດາວ​ໂຫຼດ​ໃນ​ພາ​ສາ​ທີ່​ຄ້າຍ​ຄື script​.

ທຸລະກິດກໍາລັງພັດທະນາລະບົບນິເວດຂອງພວກເຂົາແລະເຄື່ອງມືນີ້ມີປະໂຫຍດຫຼາຍກວ່າທີ່ເຄີຍ. ດ້ວຍ Ab Initio, ທ່ານສາມາດສະສົມຄວາມຮູ້ກ່ຽວກັບທຸລະກິດໃນປະຈຸບັນຂອງທ່ານແລະນໍາໃຊ້ຄວາມຮູ້ນີ້ເພື່ອຂະຫຍາຍທຸລະກິດເກົ່າແລະເປີດໃຫມ່. ທາງເລືອກຂອງ Ab Initio ປະກອບມີສະພາບແວດລ້ອມການພັດທະນາສາຍຕາ Informatica BDM ແລະສະພາບແວດລ້ອມການພັດທະນາທີ່ບໍ່ແມ່ນສາຍຕາ Apache Spark.

ລາຍລະອຽດຂອງ Ab Initio

Ab Initio, ເຊັ່ນດຽວກັນກັບເຄື່ອງມື ETL ອື່ນໆ, ແມ່ນການເກັບກໍາຜະລິດຕະພັນ.

Ab Initio GDE (ສະພາບແວດລ້ອມການພັດທະນາກາຟິກ) ແມ່ນສະພາບແວດລ້ອມສໍາລັບນັກພັດທະນາທີ່ລາວກໍານົດການຫັນປ່ຽນຂໍ້ມູນແລະເຊື່ອມຕໍ່ພວກມັນດ້ວຍການໄຫຼເຂົ້າຂອງຂໍ້ມູນໃນຮູບແບບຂອງລູກສອນ. ໃນ​ກໍ​ລະ​ນີ​ນີ້​, ຊຸດ​ຂອງ​ການ​ຫັນ​ປ່ຽນ​ດັ່ງ​ກ່າວ​ແມ່ນ​ເອີ້ນ​ວ່າ​ກາ​ຟ​:

ການ​ເຊື່ອມ​ຕໍ່​ການ​ປ້ອນ​ຂໍ້​ມູນ​ແລະ​ຜົນ​ຜະ​ລິດ​ຂອງ​ອົງ​ປະ​ກອບ​ທີ່​ເປັນ​ປະ​ໂຫຍດ​ແມ່ນ​ພອດ​ແລະ​ປະ​ກອບ​ດ້ວຍ​ພາກ​ສະ​ຫນາມ​ຄິດ​ໄລ່​ພາຍ​ໃນ​ການ​ຫັນ​ປ່ຽນ​. ເສັ້ນສະແດງຈໍານວນຫນຶ່ງທີ່ເຊື່ອມຕໍ່ໂດຍການໄຫຼເຂົ້າໃນຮູບແບບຂອງລູກສອນໃນຄໍາສັ່ງຂອງການປະຕິບັດຂອງພວກເຂົາເອີ້ນວ່າແຜນການ.

ມີຫຼາຍຮ້ອຍອົງປະກອບທີ່ເປັນປະໂຫຍດ, ຊຶ່ງເປັນຫຼາຍ. ຈໍານວນຫຼາຍຂອງພວກເຂົາແມ່ນມີຄວາມຊ່ຽວຊານສູງ. ຄວາມສາມາດຂອງການຫັນປ່ຽນແບບຄລາສສິກໃນ Ab Initio ແມ່ນກວ້າງກວ່າໃນເຄື່ອງມື ETL ອື່ນໆ. ຕົວຢ່າງ, Join ມີຫຼາຍຜົນໄດ້ຮັບ. ນອກເໜືອໄປຈາກຜົນຂອງການເຊື່ອມຕໍ່ຊຸດຂໍ້ມູນ, ທ່ານສາມາດໄດ້ຮັບບັນທຶກຜົນຜະລິດຂອງຊຸດຂໍ້ມູນປ້ອນເຂົ້າທີ່ກະແຈບໍ່ສາມາດເຊື່ອມຕໍ່ໄດ້. ທ່ານຍັງສາມາດໄດ້ຮັບການປະຕິເສດ, ຂໍ້ຜິດພາດແລະບັນທຶກຂອງການປະຕິບັດການຫັນປ່ຽນ, ເຊິ່ງສາມາດອ່ານໄດ້ໃນຄໍລໍາດຽວກັນກັບໄຟລ໌ຂໍ້ຄວາມແລະດໍາເນີນການກັບການຫັນປ່ຽນອື່ນໆ:

ຫຼືຕົວຢ່າງ, ທ່ານສາມາດສ້າງຕົວຮັບຂໍ້ມູນໃນຮູບແບບຕາຕະລາງແລະອ່ານຂໍ້ມູນຈາກມັນຢູ່ໃນຖັນດຽວກັນ.

ມີການຫັນປ່ຽນຕົ້ນສະບັບ. ຕົວຢ່າງ, ການຫັນປ່ຽນສະແກນມີຫນ້າທີ່ຄ້າຍຄືກັບຫນ້າທີ່ການວິເຄາະ. ມີການຫັນປ່ຽນດ້ວຍຊື່ຄໍາອະທິບາຍດ້ວຍຕົນເອງ: ສ້າງຂໍ້ມູນ, ອ່ານ Excel, Normalize, ຈັດຮຽງພາຍໃນກຸ່ມ, ດໍາເນີນໂຄງການ, ແລ່ນ SQL, ເຂົ້າຮ່ວມກັບ DB, ແລະອື່ນໆ. ກຣາຟສາມາດນໍາໃຊ້ພາລາມິເຕີເວລາແລ່ນ, ລວມທັງຄວາມເປັນໄປໄດ້ຂອງການຖ່າຍທອດພາລາມິເຕີຈາກຫຼືໄປຫາ. ລະບົບປະຕິບັດການ. ໄຟລ໌ທີ່ມີຊຸດພາລາມິເຕີທີ່ກຽມພ້ອມທີ່ຈະສົ່ງກັບກາຟແມ່ນເອີ້ນວ່າຊຸດພາລາມິເຕີ (psets).

ຕາມທີ່ຄາດໄວ້, Ab Initio GDE ມີບ່ອນເກັບມ້ຽນຂອງຕົນເອງທີ່ເອີ້ນວ່າ EME (Enterprise Meta Environment). ນັກພັດທະນາມີໂອກາດທີ່ຈະເຮັດວຽກຮ່ວມກັບສະບັບທ້ອງຖິ່ນຂອງລະຫັດແລະກວດສອບການພັດທະນາຂອງເຂົາເຈົ້າເຂົ້າໄປໃນ repository ສູນກາງ.

ມັນເປັນໄປໄດ້, ໃນລະຫວ່າງການປະຕິບັດຫຼືຫຼັງຈາກການປະຕິບັດກາຟ, ໃຫ້ຄລິກໃສ່ການໄຫຼເຂົ້າໃດໆທີ່ເຊື່ອມຕໍ່ການຫັນປ່ຽນແລະເບິ່ງຂໍ້ມູນທີ່ຜ່ານລະຫວ່າງການຫັນປ່ຽນເຫຼົ່ານີ້:

ມັນຍັງສາມາດຄລິກໃສ່ສາຍນ້ໍາໃດນຶ່ງແລະເບິ່ງລາຍລະອຽດການຕິດຕາມ - ຈໍານວນຂະຫນານການຫັນປ່ຽນເຮັດວຽກຢູ່ໃນ, ຈໍານວນເສັ້ນແລະ bytes ຖືກໂຫລດເຂົ້າໄປໃນຂະຫນານໃດ:

ມັນເປັນໄປໄດ້ທີ່ຈະແບ່ງການປະຕິບັດຂອງກາຟເປັນໄລຍະແລະຫມາຍວ່າການຫັນປ່ຽນບາງຢ່າງຕ້ອງໄດ້ຮັບການປະຕິບັດຄັ້ງທໍາອິດ (ໃນໄລຍະສູນ), ຄົນຕໍ່ໄປໃນໄລຍະທໍາອິດ, ຕໍ່ໄປໃນໄລຍະທີສອງ, ແລະອື່ນໆ.

ສໍາລັບການຫັນປ່ຽນແຕ່ລະຄົນ, ທ່ານສາມາດເລືອກອັນທີ່ເອີ້ນວ່າຮູບແບບ (ບ່ອນທີ່ມັນຈະຖືກປະຕິບັດ): ໂດຍບໍ່ມີການຂະຫນານຫຼືໃນກະທູ້ຂະຫນານ, ຈໍານວນທີ່ສາມາດກໍານົດໄດ້. ໃນເວລາດຽວກັນ, ໄຟລ໌ຊົ່ວຄາວທີ່ Ab Initio ສ້າງໃນເວລາທີ່ການຫັນປ່ຽນກໍາລັງດໍາເນີນການສາມາດຖືກວາງໄວ້ທັງໃນລະບົບໄຟລ໌ຂອງເຄື່ອງແມ່ຂ່າຍແລະໃນ HDFS.

ໃນແຕ່ລະການປ່ຽນແປງ, ໂດຍອີງໃສ່ແມ່ແບບເລີ່ມຕົ້ນ, ທ່ານສາມາດສ້າງສະຄິບຂອງທ່ານເອງໃນ PDL, ເຊິ່ງຄ້າຍຄືກັບແກະ.

ດ້ວຍ PDL ທ່ານສາມາດຂະຫຍາຍການທໍາງານຂອງການຫັນປ່ຽນແລະ, ໂດຍສະເພາະ, ທ່ານສາມາດສ້າງແບບເຄື່ອນໄຫວ (ໃນເວລາແລ່ນ) ການສ້າງຊິ້ນສ່ວນລະຫັດທີ່ມັກໂດຍອີງຕາມຕົວກໍານົດການ runtime.

Ab Initio ຍັງໄດ້ພັດທະນາການເຊື່ອມໂຍງກັບ OS ຜ່ານແກະ. ໂດຍສະເພາະ, Sberbank ໃຊ້ linux ksh. ທ່ານສາມາດແລກປ່ຽນຕົວແປກັບແກະແລະນໍາໃຊ້ພວກມັນເປັນຕົວກໍານົດກາຟ. ທ່ານສາມາດໂທຫາການປະຕິບັດຂອງ Ab Initio graphs ຈາກ shell ແລະບໍລິຫານ Ab Initio.

ນອກເຫນືອໄປຈາກ Ab Initio GDE, ຜະລິດຕະພັນອື່ນໆຈໍານວນຫຼາຍແມ່ນລວມຢູ່ໃນການຈັດສົ່ງ. ມີລະບົບ Co>Operation System ຂອງຕົນເອງ ດ້ວຍການອ້າງວ່າ ເອີ້ນວ່າ ລະບົບປະຕິບັດການ. ມີ Control>Center ບ່ອນ​ທີ່​ທ່ານ​ສາ​ມາດ​ກໍາ​ນົດ​ເວ​ລາ​ແລະ​ຕິດ​ຕາມ​ກວດ​ກາ​ຂະ​ບວນ​ການ​ດາວ​ໂຫຼດ​ໄດ້​. ມີຜະລິດຕະພັນສໍາລັບການເຮັດການພັດທະນາໃນລະດັບເບື້ອງຕົ້ນຫຼາຍກ່ວາ Ab Initio GDE ອະນຸຍາດໃຫ້.

ລາຍລະອຽດຂອງກອບ MDW ແລະເຮັດວຽກກ່ຽວກັບການປັບແຕ່ງຂອງມັນສໍາລັບ GreenPlum

ຄຽງຄູ່ກັບຜະລິດຕະພັນຂອງມັນ, ຜູ້ຂາຍໄດ້ສະໜອງຜະລິດຕະພັນ MDW (Metadata Driven Warehouse), ເຊິ່ງເປັນຕົວຕັ້ງກາຟທີ່ອອກແບບມາເພື່ອຊ່ວຍວຽກງານປົກກະຕິຂອງການເກັບຂໍ້ມູນສາງຂໍ້ມູນ ຫຼືບ່ອນເກັບຂໍ້ມູນ.

ມັນມີຕົວວິເຄາະເມຕາເດຕາແບບກຳນົດເອງ (ສະເພາະໂຄງການ) ແລະເຄື່ອງສ້າງລະຫັດທີ່ພ້ອມທີ່ຈະເຮັດແລ້ວອອກຈາກກ່ອງ.

ໃນ​ຖາ​ນະ​ເປັນ​ການ​ປ້ອນ​ຂໍ້​ມູນ​, MDW ໄດ້​ຮັບ​ຕົວ​ແບບ​ຂໍ້​ມູນ​, ໄຟລ​໌​ການ​ຕັ້ງ​ຄ່າ​ສໍາ​ລັບ​ການ​ຕິດ​ຕັ້ງ​ການ​ເຊື່ອມ​ຕໍ່​ກັບ​ຖານ​ຂໍ້​ມູນ (Oracle​, Teradata ຫຼື Hive​) ແລະ​ບາງ​ການ​ຕັ້ງ​ຄ່າ​ອື່ນໆ​. ພາກສ່ວນສະເພາະໂຄງການ, ສໍາລັບການຍົກຕົວຢ່າງ, deploys ຮູບແບບໃນຖານຂໍ້ມູນ. ພາກສ່ວນນອກກ່ອງຂອງຜະລິດຕະພັນສ້າງກາຟແລະໄຟລ໌ການຕັ້ງຄ່າສໍາລັບພວກເຂົາໂດຍການໂຫຼດຂໍ້ມູນເຂົ້າໄປໃນຕາຕະລາງຕົວແບບ. ໃນກໍລະນີນີ້, ກຣາຟ (ແລະ psets) ຖືກສ້າງຂື້ນສໍາລັບຫຼາຍໆຮູບແບບຂອງການເລີ່ມຕົ້ນແລະການເຮັດວຽກເພີ່ມຂຶ້ນໃນການປັບປຸງຫນ່ວຍງານ.

ໃນກໍລະນີຂອງ Hive ແລະ RDBMS, ເສັ້ນສະແດງທີ່ແຕກຕ່າງກັນແມ່ນຖືກສ້າງຂຶ້ນສໍາລັບການເລີ່ມຕົ້ນແລະການປັບປຸງຂໍ້ມູນເພີ່ມຂຶ້ນ.

ໃນກໍລະນີຂອງ Hive, ຂໍ້ມູນ delta ທີ່ເຂົ້າມາແມ່ນເຊື່ອມຕໍ່ຜ່ານ Ab Initio Join ກັບຂໍ້ມູນທີ່ຢູ່ໃນຕາຕະລາງກ່ອນການປັບປຸງ. ຕົວໂຫຼດຂໍ້ມູນໃນ MDW (ທັງໃນ Hive ແລະ RDBMS) ບໍ່ພຽງແຕ່ໃສ່ຂໍ້ມູນໃຫມ່ຈາກ delta, ແຕ່ຍັງປິດໄລຍະເວລາຂອງຄວາມກ່ຽວຂ້ອງຂອງຂໍ້ມູນທີ່ລະຫັດຕົ້ນຕໍໄດ້ຮັບ delta. ນອກຈາກນັ້ນ, ທ່ານຕ້ອງຂຽນຄືນສ່ວນທີ່ບໍ່ປ່ຽນແປງຂອງຂໍ້ມູນ. ແຕ່ນີ້ຕ້ອງເຮັດເພາະວ່າ Hive ບໍ່ມີການລຶບຫຼືປັບປຸງການດໍາເນີນງານ.

ໃນກໍລະນີຂອງ RDBMS, ກຣາຟສໍາລັບການປັບປຸງຂໍ້ມູນເພີ່ມຂຶ້ນເບິ່ງດີທີ່ສຸດ, ເພາະວ່າ RDBMS ມີຄວາມສາມາດປັບປຸງທີ່ແທ້ຈິງ.

delta ທີ່ໄດ້ຮັບແມ່ນ loaded ເຂົ້າໄປໃນຕາຕະລາງລະດັບກາງໃນຖານຂໍ້ມູນ. ຫຼັງຈາກນີ້, delta ແມ່ນເຊື່ອມຕໍ່ກັບຂໍ້ມູນທີ່ຢູ່ໃນຕາຕະລາງກ່ອນການປັບປຸງ. ແລະນີ້ແມ່ນເຮັດໄດ້ໂດຍໃຊ້ SQL ໂດຍໃຊ້ SQL query ທີ່ສ້າງຂຶ້ນ. ຕໍ່ໄປ, ການນໍາໃຊ້ຄໍາສັ່ງ SQL delete+insert, ຂໍ້ມູນໃຫມ່ຈາກ delta ຈະຖືກໃສ່ເຂົ້າໄປໃນຕາຕະລາງເປົ້າຫມາຍແລະໄລຍະເວລາຂອງຄວາມກ່ຽວຂ້ອງຂອງຂໍ້ມູນທີ່ລະຫັດຕົ້ນຕໍທີ່ໄດ້ຮັບ delta ແມ່ນຖືກປິດ.
ບໍ່ຈໍາເປັນຕ້ອງຂຽນຄືນຂໍ້ມູນທີ່ບໍ່ປ່ຽນແປງ.

ດັ່ງນັ້ນພວກເຮົາໄດ້ສະຫຼຸບວ່າໃນກໍລະນີຂອງ Hive, MDW ຕ້ອງໄດ້ໄປເຖິງຂອບເຂດຂອງການຂຽນຄືນຕາຕະລາງທັງຫມົດເພາະວ່າ Hive ບໍ່ມີຫນ້າທີ່ປັບປຸງ. ແລະບໍ່ມີຫຍັງດີກ່ວາການຂຽນຄືນໃຫມ່ຢ່າງສົມບູນເມື່ອການປັບປຸງໄດ້ຖືກ invented. ໃນກໍລະນີຂອງ RDBMS, ໃນທາງກົງກັນຂ້າມ, ຜູ້ສ້າງຜະລິດຕະພັນພົບວ່າມັນຈໍາເປັນຕ້ອງມອບຫມາຍການເຊື່ອມຕໍ່ແລະການປັບປຸງຕາຕະລາງເພື່ອນໍາໃຊ້ SQL.

ສໍາລັບໂຄງການຢູ່ Sberbank, ພວກເຮົາໄດ້ສ້າງໃຫມ່, ການປະຕິບັດຄືນໃຫມ່ຂອງຕົວໂຫຼດຖານຂໍ້ມູນສໍາລັບ GreenPlum. ນີ້ແມ່ນເຮັດໄດ້ໂດຍອີງໃສ່ສະບັບທີ່ MDW ສ້າງສໍາລັບ Teradata. ມັນແມ່ນ Teradata, ແລະບໍ່ແມ່ນ Oracle, ທີ່ມາໃກ້ທີ່ສຸດແລະດີທີ່ສຸດສໍາລັບການນີ້, ເພາະວ່າ ... ຍັງເປັນລະບົບ MPP. ວິທີການເຮັດວຽກ, ເຊັ່ນດຽວກັນກັບ syntax, ຂອງ Teradata ແລະ GreenPlum ໄດ້ກາຍເປັນຄ້າຍຄືກັນ.

ຕົວຢ່າງຂອງຄວາມແຕກຕ່າງທີ່ສໍາຄັນ MDW ລະຫວ່າງ RDBMSs ທີ່ແຕກຕ່າງກັນແມ່ນດັ່ງຕໍ່ໄປນີ້. ໃນ GreenPlum, ບໍ່ເຫມືອນກັບ Teradata, ເມື່ອສ້າງຕາຕະລາງທ່ານຈໍາເປັນຕ້ອງຂຽນປະໂຫຍກ

distributed by

Teradata ຂຽນວ່າ:

delete <table> all

, ແລະໃນ GreenPlum ພວກເຂົາຂຽນ

delete from <table>

ໃນ Oracle, ສໍາລັບຈຸດປະສົງການເພີ່ມປະສິດທິພາບພວກເຂົາຂຽນ

delete from t where rowid in (<соединение t с дельтой>)

, ແລະ Teradata ແລະ GreenPlum ຂຽນ

delete from t where exists (select * from delta where delta.pk=t.pk)

ພວກເຮົາຍັງສັງເກດວ່າສໍາລັບ Ab Initio ເຮັດວຽກກັບ GreenPlum, ມັນຈໍາເປັນຕ້ອງໄດ້ຕິດຕັ້ງລູກຄ້າ GreenPlum ໃນທຸກ nodes ຂອງກຸ່ມ Ab Initio. ນີ້ແມ່ນຍ້ອນວ່າພວກເຮົາເຊື່ອມຕໍ່ກັບ GreenPlum ພ້ອມກັນຈາກທຸກ nodes ໃນກຸ່ມຂອງພວກເຮົາ. ແລະເພື່ອໃຫ້ການອ່ານຈາກ GreenPlum ເປັນຂະຫນານແລະແຕ່ລະຂະຫນານ Ab Initio ກະທູ້ເພື່ອອ່ານສ່ວນຂອງຕົນເອງຂອງຂໍ້ມູນຈາກ GreenPlum, ພວກເຮົາຕ້ອງວາງໂຄງສ້າງທີ່ເຂົ້າໃຈໂດຍ Ab Initio ໃນສ່ວນ "ບ່ອນທີ່" ຂອງການສອບຖາມ SQL.

where ABLOCAL()

ແລະກໍານົດມູນຄ່າຂອງການກໍ່ສ້າງນີ້ໂດຍການລະບຸຕົວກໍານົດການອ່ານຈາກຖານຂໍ້ມູນການຫັນເປັນ

ablocal_expr=«string_concat("mod(t.", string_filter_out("{$TABLE_KEY}","{}"), ",", (decimal(3))(number_of_partitions()),")=", (decimal(3))(this_partition()))»

, ເຊິ່ງລວບລວມກັບບາງສິ່ງບາງຢ່າງເຊັ່ນ:

mod(sk,10)=3

, i.e. ທ່ານຕ້ອງກະຕຸ້ນ GreenPlum ດ້ວຍການກັ່ນຕອງທີ່ຊັດເຈນສໍາລັບແຕ່ລະພາທິຊັນ. ສໍາລັບຖານຂໍ້ມູນອື່ນໆ (Teradata, Oracle), Ab Initio ສາມາດດໍາເນີນການຂະຫນານນີ້ໂດຍອັດຕະໂນມັດ.

Ab Initio ການປຽບທຽບການປະຕິບັດລະຫວ່າງ Hive ແລະ GreenPlum

Sberbank ໄດ້ດໍາເນີນການທົດລອງເພື່ອປຽບທຽບການປະຕິບັດຂອງກາຟທີ່ຜະລິດ MDW ທີ່ກ່ຽວຂ້ອງກັບ Hive ແລະທີ່ກ່ຽວຂ້ອງກັບ GreenPlum. ເປັນສ່ວນຫນຶ່ງຂອງການທົດລອງ, ໃນກໍລະນີຂອງ Hive ມີ 5 nodes ໃນ cluster ດຽວກັນກັບ Ab Initio, ແລະໃນກໍລະນີຂອງ GreenPlum ມີ 4 nodes ໃນ cluster ແຍກຕ່າງຫາກ. ເຫຼົ່ານັ້ນ. Hive ມີປະໂຫຍດດ້ານຮາດແວຫຼາຍກວ່າ GreenPlum.

ພວກເຮົາໄດ້ພິຈາລະນາສອງຄູ່ຂອງກາຟປະຕິບັດຫນ້າດຽວກັນຂອງການປັບປຸງຂໍ້ມູນໃນ Hive ແລະ GreenPlum. ໃນຂະນະດຽວກັນ, ກຣາຟທີ່ສ້າງຂຶ້ນໂດຍ MDW configurator ໄດ້ຖືກເປີດຕົວ:

• ການໂຫຼດເບື້ອງຕົ້ນ + ການໂຫຼດທີ່ເພີ່ມຂຶ້ນຂອງຂໍ້ມູນທີ່ສ້າງຂຶ້ນແບບສຸ່ມເຂົ້າໄປໃນຕາຕະລາງ Hive
• ການໂຫຼດເບື້ອງຕົ້ນ + ການໂຫຼດເພີ່ມຂຶ້ນຂອງຂໍ້ມູນທີ່ສ້າງຂຶ້ນແບບສຸ່ມເຂົ້າໄປໃນຕາຕະລາງ GreenPlum ດຽວກັນ

ໃນທັງສອງກໍລະນີ (Hive ແລະ GreenPlum) ພວກເຂົາເຈົ້າແລ່ນການອັບໂຫລດໄປຍັງ 10 ກະທູ້ຂະໜານຢູ່ໃນກຸ່ມ Ab Initio ດຽວກັນ. Ab Initio ບັນທຶກຂໍ້ມູນລະດັບປານກາງສໍາລັບການຄິດໄລ່ໃນ HDFS (ໃນແງ່ຂອງ Ab Initio, ຮູບແບບ MFS ທີ່ໃຊ້ HDFS ຖືກນໍາໃຊ້). ແຖວໜຶ່ງຂອງຂໍ້ມູນທີ່ສ້າງຂຶ້ນແບບສຸ່ມໄດ້ຄອບຄອງ 200 bytes ໃນທັງສອງກໍລະນີ.

ຜົນໄດ້ຮັບເປັນແບບນີ້:

ຮັງ:

ການໂຫຼດເບື້ອງຕົ້ນໃນ Hive

ໃສ່ແຖວແລ້ວ
+6 000 000
+60 000 000
+600 000 000

ໄລຍະເວລາເລີ່ມຕົ້ນ
ດາວ​ໂຫຼດ​ໃນ​ວິ​ນາ​ທີ​
41
203
1 601

ການໂຫຼດເພີ່ມຂຶ້ນໃນ Hive

ຈໍານວນແຖວທີ່ມີຢູ່ໃນ
ຕາຕະລາງເປົ້າຫມາຍໃນຕອນຕົ້ນຂອງການທົດລອງ
+6 000 000
+60 000 000
+600 000 000

ຈຳນວນຂອງເສັ້ນ delta ທີ່ໃຊ້ກັບ
ຕາຕະລາງເປົ້າຫມາຍໃນລະຫວ່າງການທົດລອງ
+6 000 000
+6 000 000
+6 000 000

ໄລຍະເວລາເພີ່ມຂຶ້ນ
ດາວ​ໂຫຼດ​ໃນ​ວິ​ນາ​ທີ​
88
299
2 541

GreenPlum:

ການໂຫຼດເບື້ອງຕົ້ນໃນ GreenPlum

ໃສ່ແຖວແລ້ວ
+6 000 000
+60 000 000
+600 000 000

ໄລຍະເວລາເລີ່ມຕົ້ນ
ດາວ​ໂຫຼດ​ໃນ​ວິ​ນາ​ທີ​
72
360
3 631

ການໂຫຼດເພີ່ມຂຶ້ນໃນ GreenPlum

ຈໍານວນແຖວທີ່ມີຢູ່ໃນ
ຕາຕະລາງເປົ້າຫມາຍໃນຕອນຕົ້ນຂອງການທົດລອງ
+6 000 000
+60 000 000
+600 000 000

ຈຳນວນຂອງເສັ້ນ delta ທີ່ໃຊ້ກັບ
ຕາຕະລາງເປົ້າຫມາຍໃນລະຫວ່າງການທົດລອງ
+6 000 000
+6 000 000
+6 000 000

ໄລຍະເວລາເພີ່ມຂຶ້ນ
ດາວ​ໂຫຼດ​ໃນ​ວິ​ນາ​ທີ​
159
199
321

ພວກເຮົາເຫັນວ່າຄວາມໄວຂອງການໂຫຼດເບື້ອງຕົ້ນໃນທັງ Hive ແລະ GreenPlum linearly ແມ່ນຂຶ້ນກັບຈໍານວນຂໍ້ມູນແລະ, ສໍາລັບເຫດຜົນຂອງຮາດແວທີ່ດີກວ່າ, ມັນມີຄວາມໄວເລັກນ້ອຍສໍາລັບ Hive ກວ່າ GreenPlum.

ການໂຫຼດທີ່ເພີ່ມຂຶ້ນໃນ Hive ຍັງຂຶ້ນກັບປະລິມານຂອງຂໍ້ມູນທີ່ໂຫລດຜ່ານມາທີ່ມີຢູ່ໃນຕາຕະລາງເປົ້າຫມາຍແລະດໍາເນີນການຂ້ອນຂ້າງຊ້າຍ້ອນວ່າປະລິມານເພີ່ມຂຶ້ນ. ນີ້ແມ່ນເກີດມາຈາກຄວາມຕ້ອງການທີ່ຈະຂຽນຄືນໃຫມ່ຕາຕະລາງເປົ້າຫມາຍຢ່າງສົມບູນ. ນີ້ຫມາຍຄວາມວ່າການນໍາໃຊ້ການປ່ຽນແປງຂະຫນາດນ້ອຍກັບຕາຕະລາງຂະຫນາດໃຫຍ່ບໍ່ແມ່ນກໍລະນີທີ່ດີສໍາລັບ Hive.

ການໂຫຼດທີ່ເພີ່ມຂຶ້ນໃນ GreenPlum ອ່ອນລົງແມ່ນຂຶ້ນກັບປະລິມານຂອງຂໍ້ມູນທີ່ໂຫລດຜ່ານມາທີ່ມີຢູ່ໃນຕາຕະລາງເປົ້າຫມາຍແລະດໍາເນີນການຂ້ອນຂ້າງໄວ. ນີ້ເກີດຂຶ້ນຍ້ອນ SQL Joins ແລະສະຖາປັດຕະຍະກໍາ GreenPlum, ເຊິ່ງອະນຸຍາດໃຫ້ດໍາເນີນການລຶບ.

ດັ່ງນັ້ນ, GreenPlum ເພີ່ມ delta ໂດຍໃຊ້ວິທີການ delete+insert, ແຕ່ Hive ບໍ່ມີການລຶບຫຼືປັບປຸງການດໍາເນີນການ, ດັ່ງນັ້ນ array ຂໍ້ມູນທັງຫມົດຖືກບັງຄັບໃຫ້ຂຽນຄືນໃຫມ່ທັງຫມົດໃນລະຫວ່າງການປັບປຸງແບບ incremental. ການປຽບທຽບຂອງຈຸລັງທີ່ເນັ້ນໃສ່ຕົວຫນາແມ່ນເປີດເຜີຍຫຼາຍທີ່ສຸດ, ເນື່ອງຈາກວ່າມັນກົງກັນກັບທາງເລືອກທົ່ວໄປທີ່ສຸດສໍາລັບການນໍາໃຊ້ການດາວໂຫຼດທີ່ມີຊັບພະຍາກອນຫຼາຍ. ພວກເຮົາເຫັນວ່າ GreenPlum ຕີ Hive ໃນການທົດສອບນີ້ 8 ເທື່ອ.

ເຮັດວຽກ Ab Initio ກັບ GreenPlum ໃນໂໝດເວລາຈິງ

ໃນການທົດລອງນີ້, ພວກເຮົາຈະທົດສອບຄວາມສາມາດຂອງ Ab Initio ເພື່ອປັບປຸງຕາຕະລາງ GreenPlum ດ້ວຍຂໍ້ມູນທີ່ສ້າງຂຶ້ນແບບສຸ່ມໃນເວລາໃກ້ຄຽງ. ໃຫ້ພິຈາລະນາຕາຕະລາງ GreenPlum dev42_1_db_usl.TESTING_SUBJ_org_finval, ທີ່ພວກເຮົາຈະເຮັດວຽກ.

ພວກເຮົາຈະໃຊ້ກາຟ Ab Initio ສາມອັນເພື່ອເຮັດວຽກກັບມັນ:

1) ກຣາບ Create_test_data.mp – ສ້າງໄຟລ໌ຂໍ້ມູນໃນ HDFS ດ້ວຍ 10 ແຖວໃນ 6 ກະທູ້ຂະໜານ. ຂໍ້ມູນແມ່ນແບບສຸ່ມ, ໂຄງສ້າງຂອງມັນຖືກຈັດໃສ່ເພື່ອແຊກເຂົ້າໃນຕາຕະລາງຂອງພວກເຮົາ

2) ກຣາບ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset – MDW ກຣາບທີ່ສ້າງຂຶ້ນໂດຍການເລີ່ມຕົ້ນການແຊກຂໍ້ມູນເຂົ້າໃນຕາຕະລາງຂອງພວກເຮົາໃນ 10 ກະທູ້ຂະໜານ (ຂໍ້ມູນການທົດສອບທີ່ສ້າງຂຶ້ນໂດຍກຣາບ (1) ແມ່ນໃຊ້)

3) ກຣາບ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset – ກຣາບທີ່ສ້າງຂຶ້ນໂດຍ MDW ສໍາລັບການປັບປຸງຕາຕະລາງຂອງພວກເຮົາເພີ່ມຂຶ້ນໃນ 10 ກະທູ້ຂະຫນານໂດຍໃຊ້ສ່ວນຫນຶ່ງຂອງຂໍ້ມູນທີ່ໄດ້ຮັບສົດໆ (delta) ທີ່ສ້າງຂຶ້ນໂດຍກາຟ (1)

ໃຫ້ແລ່ນສະຄຣິບລຸ່ມນີ້ໃນຮູບແບບ NRT:

• ສ້າງ 6 ສາຍການທົດສອບ
• ປະຕິບັດການໂຫຼດເບື້ອງຕົ້ນໃສ່ແຖວທົດສອບ 6 ເຂົ້າໄປໃນຕາຕະລາງຫວ່າງເປົ່າ
• ເຮັດຊ້ຳການດາວໂຫຼດເພີ່ມຂຶ້ນ 5 ເທື່ອ
  • ສ້າງ 6 ສາຍການທົດສອບ
  • ປະຕິບັດການເພີ່ມ 6 ແຖວການທົດສອບເຂົ້າໄປໃນຕາຕະລາງ (ໃນກໍລະນີນີ້, ເວລາຫມົດອາຍຸ valid_to_ts ຖືກຕັ້ງເປັນຂໍ້ມູນເກົ່າແລະຂໍ້ມູນຫຼ້າສຸດທີ່ມີລະຫັດຫຼັກດຽວກັນຖືກໃສ່)

ສະຖານະການນີ້ emulates ຮູບແບບຂອງການດໍາເນີນງານທີ່ແທ້ຈິງຂອງລະບົບທຸລະກິດສະເພາະໃດຫນຶ່ງ - ຈໍານວນຂະຫນາດໃຫຍ່ພໍສົມຄວນຂອງຂໍ້ມູນໃຫມ່ປະກົດຂຶ້ນໃນເວລາທີ່ແທ້ຈິງແລະທັນທີທັນໃດ poured ເຂົ້າໄປໃນ GreenPlum.

ຕອນນີ້ໃຫ້ເບິ່ງບັນທຶກຂອງ script:

ເລີ່ມ Create_test_data.input.pset ເວລາ 2020-06-04 11:49:11
ສຳເລັດ Create_test_data.input.pset ເວລາ 2020-06-04 11:49:37
ເລີ່ມ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:49:37.
ສຳເລັດ mdw_load.day_one.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:50:42.
ເລີ່ມ Create_test_data.input.pset ເວລາ 2020-06-04 11:50:42
ສຳເລັດ Create_test_data.input.pset ເວລາ 2020-06-04 11:51:06
ເລີ່ມ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:51:06.
ສຳເລັດ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:53:41.
ເລີ່ມ Create_test_data.input.pset ເວລາ 2020-06-04 11:53:41
ສຳເລັດ Create_test_data.input.pset ເວລາ 2020-06-04 11:54:04
ເລີ່ມ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:54:04.
ສຳເລັດ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:56:51.
ເລີ່ມ Create_test_data.input.pset ເວລາ 2020-06-04 11:56:51
ສຳເລັດ Create_test_data.input.pset ເວລາ 2020-06-04 11:57:14
ເລີ່ມ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:57:14.
ສຳເລັດ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 11:59:55.
ເລີ່ມ Create_test_data.input.pset ເວລາ 2020-06-04 11:59:55
ສຳເລັດ Create_test_data.input.pset ເວລາ 2020-06-04 12:00:23
ເລີ່ມ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 12:00:23.
ສຳເລັດ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 12:03:23.
ເລີ່ມ Create_test_data.input.pset ເວລາ 2020-06-04 12:03:23
ສຳເລັດ Create_test_data.input.pset ເວລາ 2020-06-04 12:03:49
ເລີ່ມ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 12:03:49.
ສຳເລັດ mdw_load.regular.current.dev42_1_db_usl_testing_subj_org_finval.pset ເວລາ 2020-06-04 12:06:46.

ມັນປາກົດວ່າຮູບນີ້:

ເສັ້ນສະແດງ
ເລີ່ມເວລາ
ເວລາສໍາເລັດ
ຄວາມຍາວ

ສ້າງ_test_data.input.pset
04.06.2020 11: 49: 11
04.06.2020 11: 49: 37
00:00:26

mdw_load.day_one.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 49: 37
04.06.2020 11: 50: 42
00:01:05

ສ້າງ_test_data.input.pset
04.06.2020 11: 50: 42
04.06.2020 11: 51: 06
00:00:24

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 51: 06
04.06.2020 11: 53: 41
00:02:35

ສ້າງ_test_data.input.pset
04.06.2020 11: 53: 41
04.06.2020 11: 54: 04
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 54: 04
04.06.2020 11: 56: 51
00:02:47

ສ້າງ_test_data.input.pset
04.06.2020 11: 56: 51
04.06.2020 11: 57: 14
00:00:23

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 11: 57: 14
04.06.2020 11: 59: 55
00:02:41

ສ້າງ_test_data.input.pset
04.06.2020 11: 59: 55
04.06.2020 12: 00: 23
00:00:28

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 00: 23
04.06.2020 12: 03: 23
00:03:00

ສ້າງ_test_data.input.pset
04.06.2020 12: 03: 23
04.06.2020 12: 03: 49
00:00:26

mdw_load.regular.current.
dev42_1_db_usl_testing_subj_org_finval.pset
04.06.2020 12: 03: 49
04.06.2020 12: 06: 46
00:02:57

ພວກ​ເຮົາ​ເຫັນ​ວ່າ 6 ເສັ້ນ increment ແມ່ນ​ໄດ້​ຮັບ​ການ​ປຸງ​ແຕ່ງ​ໃນ 000 ນາ​ທີ, ເຊິ່ງ​ແມ່ນ​ຂ້ອນ​ຂ້າງ​ໄວ.
ຂໍ້​ມູນ​ໃນ​ຕາ​ຕະ​ລາງ​ເປົ້າ​ຫມາຍ​ໄດ້​ຫັນ​ອອກ​ໄດ້​ຮັບ​ການ​ແຈກ​ຢາຍ​ດັ່ງ​ຕໍ່​ໄປ​ນີ້​:

select valid_from_ts, valid_to_ts, count(1), min(sk), max(sk) from dev42_1_db_usl.TESTING_SUBJ_org_finval group by valid_from_ts, valid_to_ts order by 1,2;

ທ່ານ​ສາ​ມາດ​ເບິ່ງ​ການ​ຕອບ​ສະ​ຫນອງ​ຂອງ​ຂໍ້​ມູນ​ທີ່​ໃສ່​ກັບ​ເວ​ລາ​ທີ່​ກ​ຣາ​ຟ​ໄດ້​ຖືກ​ເປີດ​ຕົວ​.
ນີ້ຫມາຍຄວາມວ່າທ່ານສາມາດດໍາເນີນການເພີ່ມການໂຫຼດຂໍ້ມູນເຂົ້າໄປໃນ GreenPlum ໃນ Ab Initio ທີ່ມີຄວາມຖີ່ສູງຫຼາຍແລະສັງເກດເຫັນຄວາມໄວສູງຂອງການໃສ່ຂໍ້ມູນນີ້ເຂົ້າໄປໃນ GreenPlum. ແນ່ນອນ, ມັນຈະບໍ່ສາມາດເປີດຕົວຄັ້ງຕໍ່ວິນາທີ, ນັບຕັ້ງແຕ່ Ab Initio, ເຊັ່ນດຽວກັນກັບເຄື່ອງມື ETL, ຕ້ອງການເວລາທີ່ຈະ "ເລີ່ມຕົ້ນ" ເມື່ອເປີດຕົວ.

ສະຫລຸບ

Ab Initio ປະຈຸບັນຖືກນໍາໃຊ້ຢູ່ Sberbank ເພື່ອສ້າງຊັ້ນຂໍ້ມູນ Semantic ທີ່ມີເອກະລັກ (ESS). ໂຄງ​ການ​ນີ້​ກ່ຽວ​ຂ້ອງ​ກັບ​ການ​ສ້າງ​ສະ​ບັບ​ເປັນ​ເອ​ກະ​ພາບ​ຂອງ​ລັດ​ຂອງ​ຫົວ​ຫນ່ວຍ​ທຸ​ລະ​ກິດ​ການ​ທະ​ນາ​ຄານ​ຕ່າງໆ​. ຂໍ້ມູນມາຈາກແຫຼ່ງຕ່າງໆ, ການຈໍາລອງທີ່ໄດ້ຖືກກະກຽມໃນ Hadoop. ອີງຕາມຄວາມຕ້ອງການຂອງທຸລະກິດ, ຮູບແບບຂໍ້ມູນໄດ້ຖືກກະກຽມແລະການຫັນປ່ຽນຂໍ້ມູນໄດ້ຖືກອະທິບາຍ. Ab Initio ໂຫລດຂໍ້ມູນເຂົ້າໄປໃນ ESN ແລະຂໍ້ມູນທີ່ດາວໂຫລດບໍ່ພຽງແຕ່ມີຄວາມສົນໃຈກັບທຸລະກິດໃນຕົວມັນເອງ, ແຕ່ຍັງເປັນແຫຼ່ງສໍາລັບການກໍ່ສ້າງ data marts. ໃນເວລາດຽວກັນ, ການເຮັດວຽກຂອງຜະລິດຕະພັນອະນຸຍາດໃຫ້ທ່ານໃຊ້ລະບົບຕ່າງໆເປັນຕົວຮັບ (Hive, Greenplum, Teradata, Oracle), ເຊິ່ງເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະກະກຽມຂໍ້ມູນສໍາລັບທຸລະກິດໃນຮູບແບບຕ່າງໆທີ່ມັນຕ້ອງການ.

ຄວາມສາມາດຂອງ Ab Initio ແມ່ນກວ້າງ; ສໍາລັບການຍົກຕົວຢ່າງ, ກອບ MDW ປະກອບມີເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະສ້າງຂໍ້ມູນທາງວິຊາການແລະປະຫວັດສາດທາງທຸລະກິດອອກຈາກກ່ອງ. ສໍາລັບນັກພັດທະນາ, Ab Initio ເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະບໍ່ reinvent ລໍ້, ແຕ່ການນໍາໃຊ້ອົງປະກອບທີ່ເປັນປະໂຫຍດຈໍານວນຫຼາຍທີ່ມີຢູ່ແລ້ວ, ຊຶ່ງເປັນຫ້ອງສະຫມຸດທີ່ຈໍາເປັນໃນເວລາທີ່ເຮັດວຽກກັບຂໍ້ມູນ.

ຜູ້ຂຽນເປັນຜູ້ຊ່ຽວຊານໃນຊຸມຊົນມືອາຊີບຂອງ Sberbank SberProfi DWH/BigData. ຊຸມຊົນມືອາຊີບ SberProfi DWH/BigData ມີຄວາມຮັບຜິດຊອບໃນການພັດທະນາຄວາມສາມາດໃນຂົງເຂດເຊັ່ນ: ລະບົບນິເວດ Hadoop, Teradata, Oracle DB, GreenPlum, ເຊັ່ນດຽວກັນກັບເຄື່ອງມື BI Qlik, SAP BO, Tableau, ແລະອື່ນໆ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com