ວິທີການຕ້ານການໂຫຼດເພີ່ມຂຶ້ນໃນລະບົບ: ພວກເຮົາເວົ້າກ່ຽວກັບການກະກຽມຂະຫນາດໃຫຍ່ສໍາລັບ Black Friday

Hey Habr!

ໃນປີ 2017, ໃນລະຫວ່າງ Black Friday, ການໂຫຼດໄດ້ເພີ່ມຂຶ້ນເກືອບຫນຶ່ງເທື່ອເຄິ່ງ, ແລະເຄື່ອງແມ່ຂ່າຍຂອງພວກເຮົາຢູ່ໃນຂອບເຂດຈໍາກັດຂອງພວກເຂົາ. ໃນໄລຍະປີ, ຈໍານວນລູກຄ້າໄດ້ເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍ, ແລະມັນໄດ້ກາຍເປັນທີ່ຊັດເຈນວ່າໂດຍບໍ່ມີການກະກຽມເບື້ອງຕົ້ນຢ່າງລະມັດລະວັງ, ເວທີອາດຈະບໍ່ທົນທານຕໍ່ການໂຫຼດຂອງ 2018.

ພວກເຮົາຕັ້ງເປົ້າຫມາຍທີ່ມີຄວາມທະເຍີທະຍານທີ່ສຸດທີ່ເປັນໄປໄດ້: ພວກເຮົາຕ້ອງການກຽມພ້ອມຢ່າງເຕັມທີ່ສໍາລັບທຸກໆຢ່າງ, ເຖິງແມ່ນວ່າມີຄວາມເຂັ້ມແຂງທີ່ສຸດ, ກິດຈະກໍາທີ່ເພີ່ມຂຶ້ນແລະເລີ່ມເປີດຕົວຄວາມສາມາດໃຫມ່ລ່ວງຫນ້າຕະຫຼອດປີ.

CTO Andrey Chizh ຂອງພວກເຮົາ (chizh_andrey) ບອກວິທີທີ່ພວກເຮົາກະກຽມສໍາລັບ Black Friday 2018, ມາດຕະການທີ່ພວກເຮົາໄດ້ປະຕິບັດເພື່ອຫຼີກເວັ້ນການຕົກ, ແລະ, ແນ່ນອນ, ຜົນໄດ້ຮັບຂອງການກະກຽມຢ່າງລະມັດລະວັງດັ່ງກ່າວ.

ມື້ນີ້ຂ້ອຍຢາກເວົ້າກ່ຽວກັບການກຽມພ້ອມສໍາລັບ Black Friday 2018. ເປັນຫຍັງຕອນນີ້, ໃນເວລາທີ່ການຂາຍທີ່ສໍາຄັນສ່ວນໃຫຍ່ແມ່ນຢູ່ຫລັງພວກເຮົາ? ພວກເຮົາເລີ່ມຕົ້ນການກະກຽມປະມານຫນຶ່ງປີກ່ອນເຫດການຂະຫນາດໃຫຍ່, ແລະໂດຍຜ່ານການທົດລອງແລະຄວາມຜິດພາດ, ພວກເຮົາພົບເຫັນການແກ້ໄຂທີ່ດີທີ່ສຸດ. ພວກເຮົາແນະນໍາໃຫ້ທ່ານດູແລລະດູຮ້ອນລ່ວງຫນ້າແລະປ້ອງກັນການຫລອກລວງທີ່ອາດຈະປາກົດຂຶ້ນໃນເວລາທີ່ບໍ່ເຫມາະສົມທີ່ສຸດ.
ອຸປະກອນການຈະເປັນປະໂຫຍດກັບທຸກຄົນທີ່ຕ້ອງການບີບກໍາໄລສູງສຸດຈາກຫຼັກຊັບດັ່ງກ່າວ, ເພາະວ່າ ດ້ານດ້ານວິຊາການຂອງບັນຫາແມ່ນບໍ່ຕ່ໍາກວ່າດ້ານການຕະຫຼາດຢູ່ທີ່ນີ້.

ລັກສະນະຂອງການຈະລາຈອນໃນການຂາຍຂະຫນາດໃຫຍ່

ກົງກັນຂ້າມກັບຄວາມເຊື່ອທີ່ນິຍົມ, Black Friday ບໍ່ແມ່ນພຽງແຕ່ຫນຶ່ງມື້ຕໍ່ປີ, ແຕ່ເກືອບທັງຫມົດອາທິດ: ການສະເຫນີສ່ວນຫຼຸດຄັ້ງທໍາອິດມາຮອດ 7-8 ມື້ກ່ອນການຂາຍ. ການຈະລາຈອນເວັບໄຊທ໌ເລີ່ມເຕີບໂຕຢ່າງຄ່ອງແຄ້ວຕະຫຼອດອາທິດ, ມາຮອດຈຸດສູງສຸດໃນວັນສຸກແລະຫຼຸດລົງຢ່າງຫຼວງຫຼາຍໃນວັນເສົາເຖິງລະດັບປົກກະຕິຂອງຮ້ານ.

ນີ້ແມ່ນສິ່ງສໍາຄັນທີ່ຄວນພິຈາລະນາ: ຮ້ານຄ້າອອນໄລນ໌ກາຍເປັນຄວາມອ່ອນໄຫວໂດຍສະເພາະກັບ "ການຊ້າລົງ" ໃນລະບົບ. ນອກຈາກນັ້ນ, ຈົດຫມາຍຂ່າວທາງອີເມວຂອງພວກເຮົາຍັງມີປະສົບການເພີ່ມຂຶ້ນຢ່າງຫຼວງຫຼາຍໃນຈໍານວນການຍື່ນສະເຫນີ.

ມັນເປັນສິ່ງສໍາຄັນທາງຍຸດທະສາດສໍາລັບພວກເຮົາທີ່ຈະຜ່ານ Black Friday ໂດຍບໍ່ມີອຸປະຕິເຫດ, ເພາະວ່າ ... ຫນ້າທີ່ທີ່ສໍາຄັນທີ່ສຸດຂອງເວັບໄຊທ໌ແລະຈົດຫມາຍຂ່າວຂອງຮ້ານແມ່ນຂຶ້ນກັບການດໍາເນີນງານຂອງເວທີ, ຄື:

• ການ​ຕິດ​ຕາມ​ແລະ​ການ​ອອກ​ຄໍາ​ແນະ​ນໍາ​ຜະ​ລິດ​ຕະ​ພັນ​,
• ການອອກເອກະສານທີ່ກ່ຽວຂ້ອງ (ຕົວຢ່າງ, ຮູບພາບຂອງການອອກແບບຂອງຕັນແນະນໍາ, ເຊັ່ນ: ລູກສອນ, ໂລໂກ້, ໄອຄອນແລະອົງປະກອບສາຍຕາອື່ນໆ),
• ການສະຫນອງຮູບພາບຜະລິດຕະພັນຂອງຂະຫນາດທີ່ຕ້ອງການ (ສໍາລັບຈຸດປະສົງເຫຼົ່ານີ້ພວກເຮົາມີ "ImageResizer" - ລະບົບຍ່ອຍທີ່ດາວໂຫລດຮູບພາບຈາກເຄື່ອງແມ່ຂ່າຍຂອງຮ້ານ, ບີບອັດມັນກັບຂະຫນາດທີ່ຕ້ອງການແລະ, ຜ່ານເຄື່ອງແມ່ຂ່າຍຂອງຖານຄວາມຈໍາ, ຜະລິດຮູບພາບຂອງຂະຫນາດທີ່ຕ້ອງການສໍາລັບແຕ່ລະຜະລິດຕະພັນໃນ ແຕ່​ລະ​ຕັນ​ຄໍາ​ແນະ​ນໍາ​)​.

ໃນຄວາມເປັນຈິງ, ໃນລະຫວ່າງ Black Friday 2019, ການໂຫຼດໃນການບໍລິການເພີ່ມຂຶ້ນ 40%, i.e. ຈໍານວນເຫດການທີ່ລະບົບ Retail Rocket ຕິດຕາມແລະຂະບວນການຢູ່ໃນເວັບໄຊທ໌ຂອງຮ້ານອອນໄລນ໌ໄດ້ເພີ່ມຂຶ້ນຈາກ 5 ຫາ 8 ພັນຄໍາຮ້ອງຂໍຕໍ່ວິນາທີ. ເນື່ອງ​ຈາກ​ວ່າ​ພວກ​ເຮົາ​ກໍາ​ລັງ​ກະ​ກຽມ​ສໍາ​ລັບ​ການ​ໂຫຼດ​ທີ່​ຮ້າຍ​ແຮງ​ຫຼາຍ, ພວກ​ເຮົາ​ໄດ້​ລອດ​ຊີ​ວິດ​ດັ່ງ​ກ່າວ​ໄດ້​ຢ່າງ​ງ່າຍ​ດາຍ.

ການຝຶກອົບຮົມທົ່ວໄປ

Black Friday ແມ່ນເວລາຫວ່າງສໍາລັບການຂາຍຍ່ອຍແລະອີຄອມເມີຊທັງຫມົດໂດຍສະເພາະ. ຈໍານວນຜູ້ໃຊ້ແລະກິດຈະກໍາຂອງເຂົາເຈົ້າໃນເວລານີ້ກໍາລັງເຕີບໂຕຢ່າງຫຼວງຫຼາຍ, ດັ່ງນັ້ນພວກເຮົາ, ຕາມສະເຫມີ, ການກະກຽມຢ່າງລະອຽດສໍາລັບເວລາທີ່ຫຍຸ້ງຍາກນີ້. ຂໍໃຫ້ຕື່ມທີ່ນີ້ຄວາມຈິງທີ່ວ່າພວກເຮົາມີຮ້ານຄ້າອອນໄລນ໌ຈໍານວນຫຼາຍເຊື່ອມຕໍ່ບໍ່ພຽງແຕ່ຢູ່ໃນລັດເຊຍ, ແຕ່ຍັງຢູ່ໃນເອີຣົບ, ບ່ອນທີ່ຄວາມຕື່ນເຕັ້ນແມ່ນສູງກວ່າຫຼາຍ, ແລະພວກເຮົາໄດ້ຮັບລະດັບຄວາມມັກທີ່ຮ້າຍແຮງກວ່າຊຸດ Brazilian. ສິ່ງທີ່ຕ້ອງເຮັດເພື່ອກຽມພ້ອມຢ່າງເຕັມທີ່ສໍາລັບການໂຫຼດທີ່ເພີ່ມຂຶ້ນ?

ເຮັດວຽກກັບເຄື່ອງແມ່ຂ່າຍ

ກ່ອນອື່ນ ໝົດ, ມັນ ຈຳ ເປັນຕ້ອງຊອກຫາສິ່ງທີ່ພວກເຮົາຕ້ອງການເພື່ອເພີ່ມພະລັງງານຂອງເຄື່ອງແມ່ຂ່າຍ. ແລ້ວໃນເດືອນສິງຫາ, ພວກເຮົາໄດ້ເລີ່ມສັ່ງຊື້ເຄື່ອງແມ່ຂ່າຍໃຫມ່ໂດຍສະເພາະ Black Friday - ທັງຫມົດພວກເຮົາໄດ້ເພີ່ມ 10 ເຄື່ອງເພີ່ມເຕີມ. ຮອດເດືອນພະຈິກເຂົາເຈົ້າໄດ້ສູ້ຮົບຢ່າງເຕັມທີ່.

ໃນເວລາດຽວກັນ, ບາງເຄື່ອງກໍ່ສ້າງໄດ້ຖືກຕິດຕັ້ງໃຫມ່ເພື່ອໃຊ້ເປັນເຄື່ອງແມ່ຂ່າຍຂອງແອັບພລິເຄຊັນ. ພວກເຮົາທັນທີກະກຽມໃຫ້ເຂົາເຈົ້ານໍາໃຊ້ຫນ້າທີ່ທີ່ແຕກຕ່າງກັນ: ທັງສໍາລັບການອອກຄໍາແນະນໍາແລະການບໍລິການ ImageResizer, ດັ່ງນັ້ນ, ອີງຕາມປະເພດຂອງການໂຫຼດ, ແຕ່ລະຄົນສາມາດຖືກນໍາໃຊ້ສໍາລັບຫນຶ່ງໃນພາລະບົດບາດເຫຼົ່ານີ້. ໃນຮູບແບບປົກກະຕິ, ເຄື່ອງແມ່ຂ່າຍຂອງແອັບພລິເຄຊັນແລະ ImageResizer ໄດ້ກໍານົດຫນ້າທີ່ຢ່າງຊັດເຈນ: ຄໍາແນະນໍາບັນຫາໃນອະດີດ, ການສະຫນອງຮູບພາບສຸດທ້າຍສໍາລັບຈົດຫມາຍແລະຄໍາແນະນໍາໃນເວັບໄຊທ໌ຊື້ເຄື່ອງອອນໄລນ໌. ໃນການກະກຽມສໍາລັບ Black Friday, ມັນໄດ້ຖືກຕັດສິນໃຈທີ່ຈະເຮັດໃຫ້ເຄື່ອງແມ່ຂ່າຍສອງຈຸດປະສົງທັງຫມົດເພື່ອດຸ່ນດ່ຽງການຈະລາຈອນລະຫວ່າງພວກມັນຂຶ້ນກັບປະເພດຂອງການດາວໂຫຼດ.

ຫຼັງຈາກນັ້ນ, ພວກເຮົາໄດ້ເພີ່ມສອງເຄື່ອງແມ່ຂ່າຍຂະຫນາດໃຫຍ່ສໍາລັບ Kafka (Apache Kafka) ແລະໄດ້ຮັບກຸ່ມຂອງ 5 ເຄື່ອງຈັກທີ່ມີປະສິດທິພາບ. ແຕ່ຫນ້າເສຍດາຍ, ທຸກສິ່ງທຸກຢ່າງບໍ່ໄດ້ເປັນໄປຕາມທີ່ເຮົາຕ້ອງການ: ໃນລະຫວ່າງຂະບວນການ synchronization ຂໍ້ມູນ, ສອງເຄື່ອງຈັກໃຫມ່ໄດ້ຄອບຄອງຄວາມກວ້າງທັງຫມົດຂອງຊ່ອງທາງເຄືອຂ່າຍ, ແລະພວກເຮົາຕ້ອງໄດ້ເລັ່ງດ່ວນກ່ຽວກັບວິທີການເພີ່ມຂະບວນການເພີ່ມຢ່າງໄວວາແລະປອດໄພສໍາລັບ. ໂຄງສ້າງພື້ນຖານທັງໝົດ. ເພື່ອແກ້ໄຂບັນຫານີ້, ຜູ້ບໍລິຫານຂອງພວກເຮົາຕ້ອງເສຍສະຫຼະຢ່າງກ້າຫານໃນທ້າຍອາທິດ.

ເຮັດວຽກກັບຂໍ້ມູນ

ນອກເໜືອໄປຈາກເຊີບເວີ, ພວກເຮົາໄດ້ຕັດສິນໃຈທີ່ຈະປັບແຕ່ງໄຟລ໌ເພື່ອຫຼຸດການໂຫຼດ ແລະບາດກ້າວອັນໃຫຍ່ຫຼວງສຳລັບພວກເຮົາແມ່ນການແປໄຟລ໌ສະຖິດ. ໄຟລ໌ຄົງທີ່ທັງຫມົດທີ່ຖືກໂຮດຢູ່ໃນເຄື່ອງແມ່ຂ່າຍກ່ອນຫນ້ານີ້ໄດ້ຖືກຍ້າຍໄປ S3 + Cloudfront. ພວກເຮົາຕ້ອງການທີ່ຈະເຮັດສິ່ງນີ້ເປັນເວລາດົນນານ, ນັບຕັ້ງແຕ່ການໂຫຼດຢູ່ໃນເຄື່ອງແມ່ຂ່າຍແມ່ນຢູ່ໃກ້ກັບຄ່າຈໍາກັດ, ແລະໃນປັດຈຸບັນໂອກາດທີ່ດີໄດ້ເກີດຂື້ນ.

ອາທິດກ່ອນ Black Friday, ພວກເຮົາໄດ້ເພີ່ມເວລາແຄດຮູບພາບເປັນ 3 ມື້, ດັ່ງນັ້ນຖ້າ ImageResizer ຂັດຂ້ອງ, ຮູບພາບທີ່ເກັບໄວ້ໃນອະດີດຈະຖືກດຶງມາຈາກ cdn. ມັນຍັງເຮັດໃຫ້ການໂຫຼດຢູ່ໃນເຄື່ອງແມ່ຂ່າຍຂອງພວກເຮົາຫຼຸດລົງ, ເນື່ອງຈາກວ່າຮູບພາບໄດ້ຖືກເກັບຮັກສາໄວ້ດົນຂຶ້ນ, ພວກເຮົາຈໍາເປັນຕ້ອງໃຊ້ຊັບພະຍາກອນໃນການປັບຂະຫນາດຫນ້ອຍລົງ.

ແລະສຸດທ້າຍແຕ່ບໍ່ໄດ້ຢ່າງຫນ້ອຍ: 5 ມື້ກ່ອນ Black Friday, ການເລື່ອນເວລາໄດ້ຖືກປະກາດກ່ຽວກັບການປະຕິບັດຫນ້າທີ່ໃຫມ່, ເຊັ່ນດຽວກັນກັບການເຮັດວຽກໃດໆກັບໂຄງສ້າງພື້ນຖານ - ຄວາມສົນໃຈທັງຫມົດແມ່ນແນໃສ່ຮັບມືກັບການໂຫຼດທີ່ເພີ່ມຂຶ້ນ.

ແຜນການຕອບສະຫນອງຕໍ່ສະຖານະການທີ່ຫຍຸ້ງຍາກ

ບໍ່ວ່າການກະກຽມຄຸນນະພາບສູງເທົ່າໃດ, fakaps ແມ່ນເປັນໄປໄດ້ສະເຫມີ. ແລະພວກເຮົາໄດ້ພັດທະນາແຜນການຕອບໂຕ້ 3 ສະບັບສໍາລັບສະຖານະການທີ່ສໍາຄັນທີ່ເປັນໄປໄດ້:

• ການ​ຫຼຸດ​ຜ່ອນ​ການ​ໂຫຼດ​,
• ປິດ​ການ​ບໍ​ລິ​ການ​ບາງ​ຢ່າງ​,
• ການປິດການບໍລິການຢ່າງສົມບູນ.

ແຜນ A: ຫຼຸດຜ່ອນການໂຫຼດ. ຄວນຈະໄດ້ຮັບການເປີດໃຊ້ງານຖ້າຫາກວ່າ, ເນື່ອງຈາກການເພີ່ມຂຶ້ນຂອງການໂຫຼດ, ເຄື່ອງແມ່ຂ່າຍຂອງພວກເຮົາໄປເກີນກວ່າເວລາຕອບສະຫນອງທີ່ຍອມຮັບໄດ້. ໃນກໍລະນີນີ້, ພວກເຮົາໄດ້ກະກຽມກົນໄກສໍາລັບການຫຼຸດຜ່ອນການໂຫຼດເທື່ອລະກ້າວໂດຍການປ່ຽນສ່ວນຫນຶ່ງຂອງການຈະລາຈອນໄປຫາເຄື່ອງແມ່ຂ່າຍ Amazon, ເຊິ່ງພຽງແຕ່ຈະຕອບສະຫນອງຄໍາຮ້ອງຂໍທັງຫມົດດ້ວຍ "200 OK" ແລະໃຫ້ຄໍາຕອບທີ່ຫວ່າງເປົ່າ. ພວກເຮົາເຂົ້າໃຈວ່ານີ້ແມ່ນການເສື່ອມໂຊມຂອງຄຸນນະພາບຂອງການບໍລິການ, ແຕ່ທາງເລືອກລະຫວ່າງຄວາມຈິງທີ່ວ່າການບໍລິການບໍ່ເຮັດວຽກທັງຫມົດຫຼືບໍ່ສະແດງຄໍາແນະນໍາສໍາລັບປະມານ 10% ຂອງການຈະລາຈອນແມ່ນເຫັນໄດ້ຊັດເຈນ.

ແຜນ B: ປິດການບໍລິການ. ການເຊື່ອມໂຊມບາງສ່ວນຂອງການບໍລິການໂດຍສະແດງໃຫ້ເຫັນ. ຕົວຢ່າງ, ການຫຼຸດຜ່ອນຄວາມໄວໃນການຄິດໄລ່ຄໍາແນະນໍາສ່ວນບຸກຄົນເພື່ອ unload ບາງຖານຂໍ້ມູນແລະຊ່ອງທາງການສື່ສານ. ໃນຮູບແບບປົກກະຕິ, ຄໍາແນະນໍາແມ່ນຖືກຄິດໄລ່ໃນເວລາທີ່ແທ້ຈິງ, ການສ້າງສະບັບທີ່ແຕກຕ່າງກັນຂອງຮ້ານອອນໄລນ໌ສໍາລັບຜູ້ເຂົ້າຊົມແຕ່ລະຄົນ, ແຕ່ພາຍໃຕ້ເງື່ອນໄຂຂອງການໂຫຼດທີ່ເພີ່ມຂຶ້ນ, ການຫຼຸດຜ່ອນຄວາມໄວເຮັດໃຫ້ການບໍລິການຫຼັກອື່ນໆສືບຕໍ່ເຮັດວຽກ.

ແຜນ C: ໃນກໍລະນີຂອງ Armageddon. ຖ້າມີຄວາມລົ້ມເຫຼວຂອງລະບົບຢ່າງສົມບູນ, ພວກເຮົາໄດ້ກະກຽມແຜນການທີ່ຈະຊ່ວຍໃຫ້ພວກເຮົາຖືກຕັດການເຊື່ອມຕໍ່ຈາກລູກຄ້າຂອງພວກເຮົາຢ່າງປອດໄພ. ຜູ້ຊື້ຮ້ານຈະຢຸດພຽງແຕ່ເບິ່ງຄໍາແນະນໍາ; ການປະຕິບັດຂອງຮ້ານອອນໄລນ໌ຈະບໍ່ທົນທຸກໃນທາງໃດກໍ່ຕາມ. ເພື່ອເຮັດສິ່ງນີ້, ພວກເຮົາຈະຕ້ອງຕັ້ງໄຟລ໌ປະສົມປະສານຂອງພວກເຮົາໃຫມ່ເພື່ອໃຫ້ຜູ້ໃຊ້ໃຫມ່ຢຸດເຊົາການພົວພັນກັບການບໍລິການ. ນັ້ນແມ່ນ, ພວກເຮົາຈະປິດການໃຊ້ງານລະຫັດຕິດຕາມຕົ້ນຕໍຂອງພວກເຮົາ, ການບໍລິການຈະຢຸດການລວບລວມຂໍ້ມູນແລະການຄິດໄລ່ຄໍາແນະນໍາ, ແລະຜູ້ໃຊ້ພຽງແຕ່ຈະເຫັນຫນ້າທີ່ບໍ່ມີການແນະນໍາ. ສໍາລັບທຸກຄົນທີ່ໄດ້ຮັບເອກະສານປະສົມປະສານກ່ອນຫນ້ານີ້, ພວກເຮົາໄດ້ສະຫນອງທາງເລືອກໃນການປ່ຽນບັນທຶກ DNS ກັບ Amazon ແລະ 200 OK stub.

ຜົນໄດ້ຮັບ

ພວກເຮົາຈັດການການໂຫຼດທັງຫມົດເຖິງແມ່ນວ່າບໍ່ຈໍາເປັນຕ້ອງໃຊ້ເຄື່ອງຈັກກໍ່ສ້າງເພີ່ມເຕີມ. ແລະຂໍຂອບໃຈກັບການກະກຽມລ່ວງຫນ້າ, ພວກເຮົາບໍ່ຕ້ອງການແຜນການຕອບໂຕ້ທີ່ພັດທະນາ. ແຕ່ວຽກງານທັງຫມົດທີ່ເຮັດແມ່ນປະສົບການອັນລ້ໍາຄ່າທີ່ຈະຊ່ວຍໃຫ້ພວກເຮົາຮັບມືກັບການຈະລາຈອນທີ່ບໍ່ຄາດຄິດແລະຂະຫນາດໃຫຍ່ທີ່ສຸດ.
ເຊັ່ນດຽວກັນກັບໃນປີ 2017, ການໂຫຼດໃນການບໍລິການເພີ່ມຂຶ້ນ 40%, ແລະຈໍານວນຜູ້ໃຊ້ໃນຮ້ານອອນໄລນ໌ເພີ່ມຂຶ້ນ 60% ໃນ Black Friday. ຄວາມຫຍຸ້ງຍາກແລະຄວາມຜິດພາດທັງຫມົດເກີດຂຶ້ນໃນໄລຍະເວລາກະກຽມ, ເຊິ່ງໄດ້ຊ່ວຍປະຢັດພວກເຮົາແລະລູກຄ້າຂອງພວກເຮົາຈາກສະຖານະການທີ່ບໍ່ໄດ້ຄາດຄິດ.

ທ່ານກໍາລັງຮັບມືກັບ Black Friday ແນວໃດ? ເຈົ້າກະກຽມແນວໃດສໍາລັບການໂຫຼດທີ່ສໍາຄັນ?

ແຫຼ່ງຂໍ້ມູນ: www.habr.com