ການວິເຄາະຂໍ້ມູນໃຫຍ່ - ຄວາມເປັນຈິງແລະຄວາມສົດໃສດ້ານໃນລັດເຊຍແລະທົ່ວໂລກ

ມື້ນີ້ມີພຽງແຕ່ຄົນທີ່ບໍ່ມີການເຊື່ອມຕໍ່ພາຍນອກກັບໂລກພາຍນອກທີ່ບໍ່ເຄີຍໄດ້ຍິນຂໍ້ມູນໃຫຍ່. ໃນHabre, ຫົວຂໍ້ການວິເຄາະຂໍ້ມູນໃຫຍ່ແລະຫົວຂໍ້ທີ່ກ່ຽວຂ້ອງແມ່ນເປັນທີ່ນິຍົມ. ແຕ່ສໍາລັບຜູ້ທີ່ບໍ່ແມ່ນຜູ້ຊ່ຽວຊານທີ່ຢາກຈະອຸທິດຕົນເອງໃນການສຶກສາຂອງ Big Data, ມັນບໍ່ແມ່ນຄວາມຊັດເຈນສະເຫມີວ່າຄວາມສົດໃສດ້ານນີ້ແມ່ນຫຍັງ, ບ່ອນທີ່ການວິເຄາະ Big Data ສາມາດນໍາໃຊ້ໄດ້ແລະສິ່ງທີ່ນັກວິເຄາະທີ່ດີສາມາດນັບໄດ້. ໃຫ້ພະຍາຍາມຄິດອອກ.

ປະລິມານຂໍ້ມູນທີ່ສ້າງຂຶ້ນໂດຍມະນຸດເພີ່ມຂຶ້ນໃນແຕ່ລະປີ. ໃນປີ 2020, ຈໍານວນຂໍ້ມູນທີ່ເກັບໄວ້ຈະເພີ່ມຂຶ້ນເປັນ 40-44 zettabytes (1 ZB ~ 1 ຕື້ GB). ໃນປີ 2025 - ເຖິງປະມານ 400 zettabytes. ຕາມ​ນັ້ນ​ແລ້ວ, ການ​ຄຸ້ມ​ຄອງ​ຂໍ້​ມູນ​ທີ່​ມີ​ໂຄງ​ສ້າງ ​ແລະ ບໍ່​ມີ​ໂຄງ​ສ້າງ​ໂດຍ​ນຳ​ໃຊ້​ເຕັກ​ໂນ​ໂລ​ຊີ​ທີ່​ທັນ​ສະ​ໄໝ ​ແມ່ນ​ຂົງ​ເຂດ​ທີ່​ນັບ​ມື້​ນັບ​ສຳຄັນ. ທັງບໍລິສັດສ່ວນບຸກຄົນແລະປະເທດທັງຫມົດມີຄວາມສົນໃຈໃນຂໍ້ມູນໃຫຍ່.

ໂດຍວິທີທາງການ, ມັນແມ່ນໃນລະຫວ່າງການສົນທະນາກ່ຽວກັບການຂະຫຍາຍຕົວຂອງຂໍ້ມູນແລະວິທີການປຸງແຕ່ງຂໍ້ມູນທີ່ມະນຸດສ້າງຂື້ນທີ່ຄໍາວ່າ Big Data ເກີດຂື້ນ. ມັນເຊື່ອວ່າມັນຖືກສະເຫນີຄັ້ງທໍາອິດໃນປີ 2008 ໂດຍບັນນາທິການຂອງວາລະສານທໍາມະຊາດ, Clifford Lynch.

ນັບຕັ້ງແຕ່ນັ້ນມາ, ຕະຫຼາດ Big Data ໄດ້ເພີ່ມຂຶ້ນໃນແຕ່ລະປີຫຼາຍສິບສ່ວນຮ້ອຍ. ແລະແນວໂນ້ມນີ້, ອີງຕາມຜູ້ຊ່ຽວຊານ, ຈະສືບຕໍ່. ດັ່ງນັ້ນ, ອີງຕາມການຄາດຄະເນຂອງບໍລິສັດ ພາບອາກາດຫນາວ & Sullivan ​ໃນ​ປີ 2021, ຕະຫຼາດ​ການ​ວິ​ເຄາະ​ຂໍ້​ມູນ​ໃຫຍ່​ທົ່ວ​ໂລກ​ຈະ​ເພີ່ມ​ຂຶ້ນ​ເປັນ 67,2 ຕື້​ໂດ​ລາ, ການ​ເຕີບ​ໂຕ​ຕໍ່​ປີ​ແມ່ນ​ປະມານ 35,9%.

ເປັນຫຍັງພວກເຮົາຕ້ອງການການວິເຄາະຂໍ້ມູນໃຫຍ່?

ມັນອະນຸຍາດໃຫ້ທ່ານສາມາດກໍານົດຂໍ້ມູນທີ່ມີຄຸນຄ່າສູງຈາກຊຸດຂໍ້ມູນທີ່ມີໂຄງສ້າງຫຼືບໍ່ມີໂຄງສ້າງ. ຂໍຂອບໃຈກັບເລື່ອງນີ້, ສໍາລັບຕົວຢ່າງ, ທຸລະກິດສາມາດກໍານົດແນວໂນ້ມ, ຄາດຄະເນການປະຕິບັດການຜະລິດແລະເພີ່ມປະສິດທິພາບຄ່າໃຊ້ຈ່າຍຂອງຕົນເອງ. ມັນເປັນທີ່ຊັດເຈນວ່າເພື່ອຫຼຸດຜ່ອນຄ່າໃຊ້ຈ່າຍ, ບໍລິສັດພ້ອມທີ່ຈະປະຕິບັດວິທີແກ້ໄຂຫລ້າສຸດ.

ເທັກໂນໂລຢີ ແລະວິທີການວິເຄາະທີ່ນຳໃຊ້ເພື່ອວິເຄາະຂໍ້ມູນໃຫຍ່:

• ການຂຸດຄົ້ນຂໍ້ມູນ;
• crowdsourcing;
• ການ​ປະ​ສົມ​ຂໍ້​ມູນ​ແລະ​ການ​ເຊື່ອມ​ໂຍງ​;
• ການຮຽນຮູ້ເຄື່ອງຈັກ;
• ເຄືອຂ່າຍ neural ທຽມ;
• ການຮັບຮູ້ຮູບແບບ;
• ການວິເຄາະການຄາດຄະເນ;
• ການສ້າງແບບຈໍາລອງ;
• ການວິເຄາະທາງພື້ນທີ່;
• ການ​ວິ​ເຄາະ​ທາງ​ສະ​ຖິ​ຕິ;
• ການເບິ່ງເຫັນຂໍ້ມູນການວິເຄາະ.

ການວິເຄາະຂໍ້ມູນໃຫຍ່ໃນໂລກ

ການວິເຄາະຂໍ້ມູນໃຫຍ່ໃນປັດຈຸບັນຖືກນໍາໃຊ້ໂດຍຫຼາຍກວ່າ 50% ຂອງບໍລິສັດທົ່ວໂລກ. ເຖິງວ່າຈະມີຄວາມຈິງທີ່ວ່າໃນປີ 2015 ຕົວເລກນີ້ມີພຽງແຕ່ 17%. Big Data ຖືກນໍາໃຊ້ຢ່າງຫ້າວຫັນທີ່ສຸດໂດຍບໍລິສັດທີ່ດໍາເນີນທຸລະກິດໃນຂະແຫນງການໂທລະຄົມນາຄົມແລະການບໍລິການທາງດ້ານການເງິນ. ຫຼັງຈາກນັ້ນ, ມີບໍລິສັດທີ່ມີຄວາມຊ່ຽວຊານດ້ານເຕັກໂນໂລຢີການດູແລສຸຂະພາບ. ການນໍາໃຊ້ການວິເຄາະຂໍ້ມູນໃຫຍ່ຫນ້ອຍໃນບໍລິສັດດ້ານການສຶກສາ: ໃນກໍລະນີຫຼາຍທີ່ສຸດ, ຜູ້ຕາງຫນ້າຂອງສາຂານີ້ປະກາດຄວາມຕັ້ງໃຈທີ່ຈະນໍາໃຊ້ເຕັກໂນໂລຢີໃນອະນາຄົດອັນໃກ້ນີ້.

ໃນສະຫະລັດອາເມລິກາ, ການວິເຄາະຂໍ້ມູນໃຫຍ່ແມ່ນຖືກນໍາໃຊ້ຫຼາຍທີ່ສຸດ: ຫຼາຍກວ່າ 55% ຂອງບໍລິສັດຈາກຫຼາຍໆດ້ານເຮັດວຽກກັບເຕັກໂນໂລຢີນີ້. ໃນເອີຣົບແລະອາຊີ, ຄວາມຕ້ອງການສໍາລັບການວິເຄາະຂໍ້ມູນໃຫຍ່ແມ່ນບໍ່ຕໍ່າກວ່າ - ປະມານ 53%.

ແລະຣັດເຊຍແມ່ນຫຍັງ?

ອີງຕາມນັກວິເຄາະຂອງ IDC, ຣັດເຊຍເປັນຕະຫຼາດພາກພື້ນທີ່ໃຫຍ່ທີ່ສຸດສໍາລັບການແກ້ໄຂການວິເຄາະຂໍ້ມູນໃຫຍ່. ການຂະຫຍາຍຕົວຂອງຕະຫຼາດສໍາລັບການແກ້ໄຂດັ່ງກ່າວໃນເອີຣົບກາງແລະຕາເວັນອອກແມ່ນຂ້ອນຂ້າງມີການເຄື່ອນໄຫວ, ຕົວເລກນີ້ເພີ່ມຂຶ້ນ 11% ທຸກໆປີ. ໃນປີ 2022, ມັນຈະບັນລຸ 5,4 ຕື້ໂດລາໃນດ້ານປະລິມານ.

ໃນຫຼາຍວິທີ, ການພັດທະນາຢ່າງໄວວາຂອງຕະຫຼາດນີ້ແມ່ນຍ້ອນການຂະຫຍາຍຕົວຂອງພື້ນທີ່ນີ້ໃນລັດເຊຍ. ໃນປີ 2018, ລາຍໄດ້ຈາກການຂາຍວິທີແກ້ໄຂທີ່ກ່ຽວຂ້ອງໃນສະຫະພັນລັດເຊຍແມ່ນ 40% ຂອງການລົງທຶນທັງຫມົດໃນເຕັກໂນໂລຢີການປຸງແຕ່ງຂໍ້ມູນໃຫຍ່ໃນພາກພື້ນທັງຫມົດ.

ໃນສະຫະພັນລັດເຊຍ, ບໍລິສັດຈາກຂະແຫນງການທະນາຄານແລະສາທາລະນະ, ອຸດສາຫະກໍາໂທລະຄົມນາຄົມແລະອຸດສາຫະກໍາໃຊ້ເວລາຫຼາຍທີ່ສຸດໃນການປະມວນຜົນຂໍ້ມູນໃຫຍ່.

ນັກວິເຄາະຂໍ້ມູນໃຫຍ່ເຮັດຫຍັງແດ່ແລະລາວມີລາຍໄດ້ຫຼາຍປານໃດໃນລັດເຊຍ?

ນັກວິເຄາະຂໍ້ມູນໃຫຍ່ມີຄວາມຮັບຜິດຊອບໃນການກວດສອບຂໍ້ມູນຈໍານວນຫຼວງຫຼາຍ, ທັງແບບເຄິ່ງໂຄງສ້າງແລະບໍ່ມີໂຄງສ້າງ. ສໍາລັບອົງການຈັດຕັ້ງທະນາຄານເຫຼົ່ານີ້ແມ່ນການເຮັດທຸລະກໍາ, ສໍາລັບຜູ້ປະກອບການ - ໂທແລະການຈະລາຈອນ, ໃນການຂາຍຍ່ອຍ - ການຢ້ຽມຢາມແລະການຊື້ຂອງລູກຄ້າ. ດັ່ງທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, ການວິເຄາະຂໍ້ມູນໃຫຍ່ຊ່ວຍໃຫ້ພວກເຮົາຄົ້ນພົບການເຊື່ອມຕໍ່ລະຫວ່າງປັດໃຈຕ່າງໆໃນ "ປະຫວັດສາດຂໍ້ມູນດິບ", ຕົວຢ່າງ, ຂະບວນການຜະລິດຫຼືປະຕິກິລິຍາທາງເຄມີ. ອີງຕາມຂໍ້ມູນການວິເຄາະ, ວິທີການໃຫມ່ແລະວິທີແກ້ໄຂໄດ້ຖືກພັດທະນາໃນຫຼາຍໆຂົງເຂດ - ຈາກການຜະລິດໄປສູ່ຢາ.

ທັກສະທີ່ຕ້ອງການສໍາລັບນັກວິເຄາະຂໍ້ມູນໃຫຍ່:

• ຄວາມສາມາດໃນການເຂົ້າໃຈຢ່າງໄວວາລັກສະນະຕ່າງໆໃນພື້ນທີ່ທີ່ການວິເຄາະແມ່ນໄດ້ຖືກປະຕິບັດ, ແລະເຮັດໃຫ້ຕົວທ່ານເອງເຂົ້າໄປໃນລັກສະນະຂອງພື້ນທີ່ທີ່ຕ້ອງການ. ນີ້ອາດຈະເປັນການຂາຍຍ່ອຍ, ອຸດສາຫະກໍານ້ໍາມັນແລະອາຍແກັສ, ຢາ, ແລະອື່ນໆ.
• ຄວາມຮູ້ກ່ຽວກັບວິທີການຂອງການວິເຄາະຂໍ້ມູນສະຖິຕິ, ການກໍ່ສ້າງແບບຈໍາລອງທາງຄະນິດສາດ (ເຄືອຂ່າຍ neural, ເຄືອຂ່າຍ Bayesian, clustering, regression, factor, variance ແລະ correlation analyses, ແລະອື່ນໆ).
• ສາມາດສະກັດຂໍ້ມູນຈາກແຫຼ່ງຕ່າງໆ, ປ່ຽນມັນສໍາລັບການວິເຄາະ, ແລະໂຫລດເຂົ້າໄປໃນຖານຂໍ້ມູນການວິເຄາະ.
• ມີຄວາມຊໍານານໃນ SQL.
• ມີຄວາມຮູ້ພາສາອັງກິດໃນລະດັບທີ່ພຽງພໍເພື່ອອ່ານເອກະສານດ້ານວິຊາການໄດ້ຢ່າງງ່າຍດາຍ.
• ຄວາມຮູ້ກ່ຽວກັບ Python (ຢ່າງຫນ້ອຍພື້ນຖານ), Bash (ມັນມີຄວາມຫຍຸ້ງຍາກຫຼາຍທີ່ຈະເຮັດໂດຍບໍ່ມີມັນຢູ່ໃນຂະບວນການເຮັດວຽກ), ບວກກັບຄວາມຕ້ອງການທີ່ຈະຮູ້ພື້ນຖານຂອງ Java ແລະ Scala (ຕ້ອງການສໍາລັບການນໍາໃຊ້ຢ່າງຫ້າວຫັນຂອງ Spark, ຫນຶ່ງໃນນັ້ນ. ກອບທີ່ນິຍົມທີ່ສຸດສໍາລັບການເຮັດວຽກກັບຂໍ້ມູນໃຫຍ່).
• ຄວາມສາມາດໃນການເຮັດວຽກກັບ Hadoop.

ແລ້ວ, ນັກວິເຄາະ Big Data ມີລາຍໄດ້ເທົ່າໃດ?

ຕອນນີ້ຜູ້ຊ່ຽວຊານດ້ານ Big Data ແມ່ນຂາດແຄນ; ຄວາມຕ້ອງການເກີນການສະຫນອງ. ນີ້ແມ່ນຍ້ອນວ່າທຸລະກິດກໍາລັງເຂົ້າມາໃນຄວາມເຂົ້າໃຈ: ການພັດທະນາຮຽກຮ້ອງໃຫ້ມີເຕັກໂນໂລຢີໃຫມ່, ແລະການພັດທະນາເຕັກໂນໂລຢີຕ້ອງການຜູ້ຊ່ຽວຊານ.

ດັ່ງນັ້ນ, ນັກວິທະຍາສາດຂໍ້ມູນແລະການວິເຄາະຂໍ້ມູນໃນສະຫະລັດ ເຂົ້າ 3 ອາຊີບທີ່ດີທີ່ສຸດຂອງປີ 2017 ອີງຕາມອົງການຮັບຈ້າງ Glassdoor. ເງິນເດືອນສະເລ່ຍຂອງຜູ້ຊ່ຽວຊານເຫຼົ່ານີ້ຢູ່ໃນອາເມລິກາເລີ່ມຕົ້ນຈາກ $ 100 ພັນຕໍ່ປີ.

ໃນລັດເຊຍ, ຜູ້ຊ່ຽວຊານດ້ານການຮຽນຮູ້ເຄື່ອງຈັກໄດ້ຮັບຈາກ 130 ຫາ 300 ພັນຮູເບີນຕໍ່ເດືອນ, ນັກວິເຄາະຂໍ້ມູນໃຫຍ່ - ຈາກ 73 ຫາ 200 ພັນຮູເບີນຕໍ່ເດືອນ. ມັນທັງຫມົດແມ່ນຂຶ້ນກັບປະສົບການແລະຄຸນສົມບັດ. ແນ່ນອນ, ມີບ່ອນຫວ່າງທີ່ມີເງິນເດືອນຕໍ່າກວ່າ, ແລະອື່ນ ໆ ທີ່ສູງກວ່າ. ຄວາມຕ້ອງການສູງສຸດສໍາລັບນັກວິເຄາະຂໍ້ມູນໃຫຍ່ໃນ Moscow ແລະ St. Moscow, ເຊິ່ງບໍ່ແປກໃຈ, ກວມເອົາປະມານ 50% ຂອງບ່ອນຫວ່າງທີ່ມີການເຄື່ອນໄຫວ (ອີງຕາມ hh.ru). ຄວາມຕ້ອງການຫນ້ອຍລົງຫຼາຍແມ່ນຢູ່ໃນ Minsk ແລະ Kyiv. ມັນເປັນມູນຄ່າທີ່ສັງເກດວ່າບາງບ່ອນຫວ່າງທີ່ສະເຫນີຊົ່ວໂມງທີ່ມີຄວາມຍືດຫຍຸ່ນແລະການເຮັດວຽກຫ່າງໄກສອກຫຼີກ. ແຕ່ໂດຍທົ່ວໄປ, ບໍລິສັດຕ້ອງການຜູ້ຊ່ຽວຊານທີ່ເຮັດວຽກຢູ່ໃນຫ້ອງການ.

ເມື່ອເວລາຜ່ານໄປ, ພວກເຮົາສາມາດຄາດຫວັງວ່າການເພີ່ມຂຶ້ນຂອງຄວາມຕ້ອງການສໍາລັບນັກວິເຄາະ Big Data ແລະຜູ້ຕາງຫນ້າຂອງພິເສດທີ່ກ່ຽວຂ້ອງ. ດັ່ງທີ່ໄດ້ກ່າວມາຂ້າງເທິງ, ການຂາດແຄນບຸກຄະລາກອນໃນຂະແຫນງເຕັກໂນໂລຢີບໍ່ໄດ້ຖືກຍົກເລີກ. ແຕ່, ແນ່ນອນ, ເພື່ອກາຍເປັນນັກວິເຄາະຂໍ້ມູນໃຫຍ່, ທ່ານຈໍາເປັນຕ້ອງໄດ້ສຶກສາແລະເຮັດວຽກ, ປັບປຸງທັກສະທີ່ລະບຸໄວ້ຂ້າງເທິງແລະເພີ່ມເຕີມ. ຫນຶ່ງໃນໂອກາດທີ່ຈະເລີ່ມຕົ້ນເສັ້ນທາງຂອງນັກວິເຄາະ Big Data ແມ່ນ ລົງທະບຽນສໍາລັບຫຼັກສູດຈາກ Geekbrains ແລະລອງໃຊ້ມືຂອງເຈົ້າເຮັດວຽກກັບຂໍ້ມູນໃຫຍ່.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com