ພວກເຮົາເລັ່ງການເຂົ້າລະຫັດວິດີໂອ 8 ເທື່ອ

ທຸກໆມື້, ຜູ້ຊົມຫຼາຍລ້ານຄົນເບິ່ງວິດີໂອໃນອິນເຕີເນັດ. ແຕ່ເພື່ອໃຫ້ວິດີໂອມີຢູ່, ມັນຕ້ອງບໍ່ພຽງແຕ່ຖືກອັບໂຫລດໄປຍັງເຊີບເວີເທົ່ານັ້ນ, ແຕ່ຍັງຖືກປະມວນຜົນນຳອີກ. ນີ້ໄວຂຶ້ນ, ການບໍລິການແລະຜູ້ໃຊ້ຂອງມັນດີກວ່າ.

ຂ້ອຍຊື່ Askar Kamalov, ໜຶ່ງ ປີກ່ອນຂ້ອຍໄດ້ເຂົ້າຮ່ວມທີມເຕັກໂນໂລຢີວິດີໂອ Yandex. ມື້ນີ້ຂ້ອຍຈະບອກຜູ້ອ່ານ Habr ສັ້ນໆກ່ຽວກັບວິທີ, ໂດຍການຂະຫນານຂະບວນການເຂົ້າລະຫັດ, ພວກເຮົາໄດ້ຄຸ້ມຄອງການສົ່ງວິດີໂອໃຫ້ຜູ້ໃຊ້ໄວຂຶ້ນຢ່າງຫຼວງຫຼາຍ.

ຂໍ້ຄວາມນີ້ຕົ້ນຕໍຈະມີຄວາມສົນໃຈກັບຜູ້ທີ່ບໍ່ເຄີຍຄິດກ່ຽວກັບສິ່ງທີ່ເກີດຂຶ້ນພາຍໃຕ້ hood ຂອງການບໍລິການວິດີໂອ. ໃນຄໍາເຫັນທ່ານສາມາດຖາມຄໍາຖາມແລະແນະນໍາຫົວຂໍ້ສໍາລັບການຕອບໃນອະນາຄົດ.

ສອງສາມຄໍາກ່ຽວກັບວຽກງານຂອງມັນເອງ. Yandex ບໍ່ພຽງແຕ່ຊ່ວຍໃຫ້ທ່ານຄົ້ນຫາວິດີໂອຢູ່ໃນເວັບໄຊທ໌ອື່ນໆ, ແຕ່ຍັງເກັບຮັກສາວິດີໂອສໍາລັບການບໍລິການຂອງຕົນເອງ. ບໍ່ວ່າຈະເປັນລາຍການຕົ້ນສະບັບ ຫຼືການແຂ່ງຂັນກິລາ, ຮູບເງົາໃນ KinoPoisk ຫຼືວິດີໂອໃນ Zen ແລະຂ່າວ - ທັງໝົດນີ້ຈະຖືກອັບໂຫຼດໃສ່ເຊີບເວີຂອງພວກເຮົາ. ເພື່ອໃຫ້ຜູ້ໃຊ້ເບິ່ງວິດີໂອ, ມັນຈໍາເປັນຕ້ອງໄດ້ກະກຽມ: ປ່ຽນເປັນຮູບແບບທີ່ກໍານົດໄວ້, ສ້າງຕົວຢ່າງ, ຫຼືແມ້ກະທັ້ງແລ່ນຜ່ານເຕັກໂນໂລຢີ. DeepHD. ໄຟລ໌ທີ່ບໍ່ໄດ້ກະກຽມພຽງແຕ່ໃຊ້ເວລາເຖິງພື້ນທີ່. ຍິ່ງໄປກວ່ານັ້ນ, ພວກເຮົາກໍາລັງລົມກັນບໍ່ພຽງແຕ່ກ່ຽວກັບການນໍາໃຊ້ທີ່ດີທີ່ສຸດຂອງຮາດແວ, ແຕ່ຍັງກ່ຽວກັບຄວາມໄວຂອງການຈັດສົ່ງເນື້ອຫາໃຫ້ກັບຜູ້ໃຊ້. ຕົວຢ່າງ: ການບັນທຶກເວລາຕັດສິນຂອງການແຂ່ງຂັນຮັອກກີສາມາດຊອກຫາໄດ້ພາຍໃນໜຶ່ງນາທີຫຼັງຈາກເຫດການນັ້ນເອງ.

ການເຂົ້າລະຫັດຕາມລໍາດັບ

ດັ່ງນັ້ນ, ຄວາມສຸກຂອງຜູ້ໃຊ້ສ່ວນໃຫຍ່ແມ່ນຂຶ້ນກັບວ່າວິດີໂອຈະສາມາດໃຊ້ໄດ້ໄວເທົ່າໃດ. ແລະນີ້ສ່ວນໃຫຍ່ແມ່ນຖືກກໍານົດໂດຍຄວາມໄວ transcoding. ໃນເວລາທີ່ບໍ່ມີຂໍ້ກໍານົດທີ່ເຄັ່ງຄັດສໍາລັບຄວາມໄວການອັບໂຫລດວິດີໂອ, ຫຼັງຈາກນັ້ນບໍ່ມີບັນຫາ. ທ່ານເອົາໄຟລ໌ດຽວ, ແຍກກັນບໍ່ໄດ້, ປ່ຽນມັນ, ແລະອັບໂຫລດມັນ. ໃນຕອນເລີ່ມຕົ້ນຂອງການເດີນທາງຂອງພວກເຮົາ, ນີ້ແມ່ນວິທີທີ່ພວກເຮົາເຮັດວຽກ:

ລູກຄ້າອັບໂຫລດວິດີໂອໃສ່ບ່ອນເກັບມ້ຽນ, ອົງປະກອບການວິເຄາະເກັບກໍາຂໍ້ມູນ meta ແລະໂອນວິດີໂອໄປຫາອົງປະກອບຂອງຜູ້ເຮັດວຽກສໍາລັບການປ່ຽນໃຈເຫລື້ອມໃສ. ຂັ້ນຕອນທັງຫມົດແມ່ນປະຕິບັດຕາມລໍາດັບ. ໃນ​ກໍ​ລະ​ນີ​ນີ້​, ສາ​ມາດ​ມີ​ເຄື່ອງ​ແມ່​ຂ່າຍ​ການ​ເຂົ້າ​ລະ​ຫັດ​ຈໍາ​ນວນ​ຫຼາຍ​, ແຕ່​ວ່າ​ມີ​ພຽງ​ແຕ່​ຫນຶ່ງ​ແມ່ນ​ທຸ​ລະ​ກິດ​ການ​ປຸງ​ແຕ່ງ​ວິ​ດີ​ໂອ​ສະ​ເພາະ​ໃດ​ຫນຶ່ງ​. ງ່າຍດາຍ, ແຜນວາດໂປ່ງໃສ. ນີ້ແມ່ນບ່ອນທີ່ຂໍ້ດີຂອງມັນສິ້ນສຸດລົງ. ໂຄງການນີ້ສາມາດປັບຂະຫນາດໄດ້ພຽງແຕ່ໃນແນວຕັ້ງ (ເນື່ອງຈາກການຊື້ເຄື່ອງແມ່ຂ່າຍທີ່ມີອໍານາດຫຼາຍ).

ການເຂົ້າລະຫັດຕາມລໍາດັບທີ່ມີຜົນໄດ້ຮັບລະດັບປານກາງ

ເພື່ອແກ້ໄຂການລໍຖ້າທີ່ເຈັບປວດຢ່າງໃດກໍ່ຕາມ, ອຸດສາຫະກໍາໄດ້ມີທາງເລືອກໃນການເຂົ້າລະຫັດໄວ. ຊື່ແມ່ນເຂົ້າໃຈຜິດ, ເພາະວ່າໃນຄວາມເປັນຈິງ, ການເຂົ້າລະຫັດເຕັມທີ່ເກີດຂື້ນຕາມລໍາດັບແລະໃຊ້ເວລາດົນ. ແຕ່ຜົນໄດ້ຮັບລະດັບປານກາງ. ແນວຄວາມຄິດແມ່ນນີ້: ກະກຽມແລະເຜີຍແຜ່ສະບັບທີ່ມີຄວາມລະອຽດຕ່ໍາຂອງວິດີໂອໄວເທົ່າທີ່ຈະໄວໄດ້, ແລະພຽງແຕ່ຫຼັງຈາກນັ້ນສະບັບທີ່ມີຄວາມລະອຽດສູງກວ່າ.

ໃນອີກດ້ານຫນຶ່ງ, ວິດີໂອຈະສາມາດໃຊ້ໄດ້ໄວຂຶ້ນ. ແລະມັນເປັນປະໂຫຍດສໍາລັບເຫດການທີ່ສໍາຄັນ. ແຕ່ໃນທາງກົງກັນຂ້າມ, ຮູບພາບຈະມົວ, ແລະນີ້ກໍ່ລົບກວນຜູ້ຊົມ.

ມັນ turns ໃຫ້​ເຫັນ​ວ່າ​ທ່ານ​ຕ້ອງ​ການ​ທີ່​ຈະ​ບໍ່​ພຽງ​ແຕ່​ໄວ​ການ​ປຸງ​ແຕ່ງ​ວິ​ດີ​ໂອ​, ແຕ່​ຍັງ​ຮັກ​ສາ​ຄຸນ​ນະ​ພາບ​ຂອງ​ຕົນ​. ນີ້ແມ່ນສິ່ງທີ່ຜູ້ໃຊ້ຄາດຫວັງຈາກການບໍລິການວິດີໂອໃນປັດຈຸບັນ. ມັນອາດຈະເບິ່ງຄືວ່າມັນພຽງພໍທີ່ຈະຊື້ເຄື່ອງແມ່ຂ່າຍທີ່ມີປະສິດຕິຜົນສູງສຸດ (ແລະເປັນປົກກະຕິຍົກລະດັບພວກມັນທັງຫມົດໃນເວລາດຽວ). ແຕ່ນີ້ແມ່ນຄວາມຕາຍ, ເພາະວ່າມີວິດີໂອສະເຫມີທີ່ຈະເຮັດໃຫ້ຮາດແວທີ່ມີປະສິດທິພາບທີ່ສຸດຊ້າລົງ.

ການເຂົ້າລະຫັດຂະຫນານ

ມັນມີປະສິດທິພາບຫຼາຍທີ່ຈະແບ່ງບັນຫາທີ່ສັບສົນອອກເປັນຫຼາຍບັນຫາທີ່ສັບສົນຫນ້ອຍແລະແກ້ໄຂພວກມັນໃນຂະຫນານໃນເຄື່ອງແມ່ຂ່າຍທີ່ແຕກຕ່າງກັນ. ນີ້ແມ່ນ MapReduce ສໍາລັບວິດີໂອ. ໃນກໍລະນີນີ້, ພວກເຮົາບໍ່ຈໍາກັດໂດຍການປະຕິບັດຂອງເຄື່ອງແມ່ຂ່າຍຫນຶ່ງແລະສາມາດປັບຂະຫນາດຕາມແນວນອນ (ໂດຍການເພີ່ມເຄື່ອງຈັກໃຫມ່).

ໂດຍວິທີທາງການ, ແນວຄວາມຄິດຂອງການແບ່ງປັນວິດີໂອເປັນຕ່ອນຂະຫນາດນ້ອຍ, ປຸງແຕ່ງໃຫ້ເຂົາເຈົ້າໃນຂະຫນານແລະ gluing ໃຫ້ເຂົາເຈົ້າຮ່ວມກັນບໍ່ແມ່ນຄວາມລັບບາງຢ່າງ. ທ່ານສາມາດຊອກຫາການອ້າງອິງຫຼາຍຢ່າງກ່ຽວກັບວິທີການນີ້ (ຕົວຢ່າງເຊັ່ນ, ໃນHabréຂ້າພະເຈົ້າແນະນໍາການປະກາດກ່ຽວກັບໂຄງການ DistVIDc). ແຕ່ນີ້ບໍ່ໄດ້ເຮັດໃຫ້ມັນງ່າຍຂຶ້ນໂດຍລວມ, ເພາະວ່າທ່ານບໍ່ສາມາດພຽງແຕ່ເອົາການແກ້ໄຂທີ່ກຽມພ້ອມແລະສ້າງມັນເຂົ້າໄປໃນເຮືອນຂອງທ່ານ. ພວກເຮົາຕ້ອງການການປັບຕົວເຂົ້າກັບໂຄງສ້າງພື້ນຖານຂອງພວກເຮົາ, ວິດີໂອຂອງພວກເຮົາແລະແມ້ກະທັ້ງການໂຫຼດຂອງພວກເຮົາ. ໂດຍທົ່ວໄປ, ມັນງ່າຍຕໍ່ການຂຽນຂອງທ່ານເອງ.

ດັ່ງນັ້ນ, ໃນສະຖາປັດຕະຍະກໍາໃຫມ່, ພວກເຮົາໄດ້ແບ່ງອອກເປັນ monolithic Worker block ທີ່ມີລະຫັດຕາມລໍາດັບເຂົ້າໄປໃນ microservices Segmenter, Tcoder, Combiner.

1. Segmenter ແຍກວິດີໂອອອກເປັນຊິ້ນສ່ວນປະມານ 10 ວິນາທີ. Fragments ປະກອບດ້ວຍຫນຶ່ງຫຼືຫຼາຍ GOPs (ກຸ່ມ​ຮູບ​ພາບ​). ແຕ່ລະ GOP ແມ່ນເອກະລາດແລະຖືກເຂົ້າລະຫັດແຍກຕ່າງຫາກເພື່ອໃຫ້ມັນສາມາດຖືກຖອດລະຫັດໂດຍບໍ່ມີການອ້າງອີງໃສ່ກອບຈາກ GOPs ອື່ນໆ. ນັ້ນແມ່ນ, ຊິ້ນສ່ວນສາມາດຫຼີ້ນໄດ້ເປັນເອກະລາດເຊິ່ງກັນແລະກັນ. sharding ນີ້ຊ່ວຍຫຼຸດຜ່ອນ latency, ອະນຸຍາດໃຫ້ການປຸງແຕ່ງເລີ່ມຕົ້ນໄວ.
2. Tcoder ປະມວນຜົນແຕ່ລະຊິ້ນ. ມັນໃຊ້ເວລາວຽກງານຈາກແຖວ, ດາວໂຫລດຊິ້ນສ່ວນຈາກບ່ອນເກັບມ້ຽນ, ເຂົ້າລະຫັດມັນເຂົ້າໄປໃນຄວາມລະອຽດທີ່ແຕກຕ່າງກັນ (ຈື່ໄວ້ວ່າຜູ້ນສາມາດເລືອກຮຸ່ນໂດຍອີງໃສ່ຄວາມໄວຂອງການເຊື່ອມຕໍ່), ຫຼັງຈາກນັ້ນເອົາຜົນໄດ້ຮັບກັບຄືນໄປບ່ອນຢູ່ໃນບ່ອນເກັບມ້ຽນແລະຫມາຍຊິ້ນສ່ວນທີ່ຖືກປຸງແຕ່ງ. ໃນຖານຂໍ້ມູນ. ມີການປຸງແຕ່ງຊິ້ນສ່ວນທັງຫມົດ, Tcoder ສົ່ງຫນ້າວຽກເພື່ອສ້າງຜົນໄດ້ຮັບສໍາລັບອົງປະກອບຕໍ່ໄປ.
3. Combiner ລວບລວມຜົນໄດ້ຮັບຮ່ວມກັນ: ດາວໂຫລດຊິ້ນສ່ວນທັງຫມົດທີ່ເຮັດໂດຍ Tcoder, ສ້າງສາຍນ້ໍາສໍາລັບຄວາມລະອຽດທີ່ແຕກຕ່າງກັນ.

ສອງສາມຄໍາກ່ຽວກັບສຽງ. ຕົວແປງສັນຍານສຽງ AAC ທີ່ນິຍົມທີ່ສຸດມີຄຸນສົມບັດທີ່ບໍ່ຫນ້າພໍໃຈ. ຖ້າທ່ານເຂົ້າລະຫັດຊິ້ນສ່ວນແຍກຕ່າງຫາກ, ຫຼັງຈາກນັ້ນທ່ານກໍ່ຈະບໍ່ສາມາດກາວພວກມັນເຂົ້າກັນໄດ້ຢ່າງລຽບງ່າຍ. ການຫັນປ່ຽນຈະເຫັນໄດ້ຊັດເຈນ. ຕົວແປງສັນຍານວິດີໂອບໍ່ມີບັນຫານີ້. ໃນທາງທິດສະດີ, ທ່ານສາມາດຊອກຫາວິທີແກ້ໄຂດ້ານວິຊາການທີ່ສັບສົນ, ແຕ່ເກມນີ້ແມ່ນພຽງແຕ່ບໍ່ມີຄ່າທຽນເທື່ອ (ສຽງມີນ້ໍາຫນັກຫນ້ອຍກວ່າວິດີໂອ). ເພາະສະນັ້ນ, ພຽງແຕ່ວິດີໂອໄດ້ຖືກເຂົ້າລະຫັດຂະຫນານ, ແລະຕິດຕາມສຽງທັງຫມົດແມ່ນດໍາເນີນການ.

Результаты

ຂໍຂອບໃຈກັບການປະມວນຜົນວິດີໂອແບບຂະໜານ, ພວກເຮົາໄດ້ຫຼຸດຄວາມລ່າຊ້າລະຫວ່າງວິດີໂອທີ່ອັບໂຫລດມາຫາພວກເຮົາ ແລະໃຫ້ຜູ້ໃຊ້ສາມາດນຳໃຊ້ໄດ້. ຕົວຢ່າງ, ກ່ອນຫນ້ານີ້ມັນສາມາດໃຊ້ເວລາສອງຊົ່ວໂມງເພື່ອສ້າງສະບັບເຕັມທີ່ມີຄຸນະພາບທີ່ແຕກຕ່າງກັນສໍາລັບຮູບເງົາ FullHD ທີ່ແກ່ຍາວເຖິງຫນຶ່ງຊົ່ວໂມງແລະເຄິ່ງຫນຶ່ງ. ໃນປັດຈຸບັນທັງຫມົດນີ້ໃຊ້ເວລາ 15 ນາທີ. ຍິ່ງໄປກວ່ານັ້ນ, ດ້ວຍການປຸງແຕ່ງຂະຫນານ, ພວກເຮົາສ້າງສະບັບທີ່ມີຄວາມລະອຽດສູງເຖິງແມ່ນວ່າໄວກ່ວາສະບັບທີ່ມີຄວາມລະອຽດຕ່ໍາກັບວິທີການຜົນໄດ້ຮັບລະດັບກາງເກົ່າ.

ແລະອີກອັນຫນຶ່ງ. ດ້ວຍວິທີການເກົ່າ, ເຊີບເວີບໍ່ພຽງພໍ, ຫຼືພວກມັນບໍ່ເຮັດວຽກໂດຍບໍ່ມີວຽກ. ການເຂົ້າລະຫັດແບບຂະຫນານຊ່ວຍໃຫ້ທ່ານສາມາດເພີ່ມສ່ວນແບ່ງຂອງການລີໄຊເຄີນທາດເຫຼັກ. ດຽວນີ້ກຸ່ມເຊີບເວີຫຼາຍກວ່າໜຶ່ງພັນເຊີບເວີຂອງພວກເຮົາແມ່ນຫຍຸ້ງຢູ່ກັບບາງອັນສະເໝີ.

ໃນຄວາມເປັນຈິງ, ຍັງມີຫ້ອງສໍາລັບການປັບປຸງ. ຕົວຢ່າງ, ພວກເຮົາສາມາດປະຫຍັດເວລາຢ່າງຫຼວງຫຼາຍຖ້າພວກເຮົາເລີ່ມປະມວນຜົນຊິ້ນສ່ວນຂອງວິດີໂອກ່ອນທີ່ມັນຈະມາຮອດພວກເຮົາທັງຫມົດ. ຍ້ອນວ່າພວກເຂົາເວົ້າວ່າ, ຕໍ່ໄປອີກແລ້ວ.

ຂຽນໃນຄໍາເຫັນກ່ຽວກັບວຽກງານໃນພາກສະຫນາມຂອງການເຮັດວຽກກັບວິດີໂອທີ່ທ່ານຕ້ອງການອ່ານກ່ຽວກັບ.

ການເຊື່ອມໂຍງທີ່ເປັນປະໂຫຍດກັບປະສົບການຂອງເພື່ອນຮ່ວມງານໃນອຸດສາຫະກໍາ

• SVE: ການປະມວນຜົນວິດີໂອທີ່ແຈກຢາຍຢູ່ທີ່ Facebook Scale
• ປັບປຸງນະວັດຕະກໍາສື່ທີ່ງ່າຍດາຍຢູ່ Netflix ດ້ວຍຄົນຍິງທະນູ. ບລັອກເທັກໂນໂລຍີ Netflix

ແຫຼ່ງຂໍ້ມູນ: www.habr.com