Storacle - ການເກັບຮັກສາໄຟລ໌ແບບກະຈາຍ

ກ່ອນທີ່ຂ້ອຍຈະເລີ່ມຕົ້ນ, ຂ້ອຍຕ້ອງອອກໄປ ເຊື່ອມຕໍ່ກັບບົດຄວາມທີ່ຜ່ານມາດັ່ງນັ້ນມັນຈະແຈ້ງສິ່ງທີ່ພວກເຮົາເວົ້າກ່ຽວກັບ.

ໃນບົດຄວາມນີ້ຂ້າພະເຈົ້າຢາກຈະເບິ່ງຊັ້ນທີ່ຮັບຜິດຊອບສໍາລັບການເກັບຮັກສາໄຟລ໌, ແລະວິທີທີ່ມັນສາມາດໃຊ້ໄດ້ໂດຍໃຜ. Storacle ແມ່ນຫ້ອງສະຫມຸດແບບດ່ຽວ, ບໍ່ມີການເຊື່ອມຕໍ່ໂດຍກົງກັບດົນຕີ. ທ່ານ​ສາ​ມາດ​ຈັດ​ຕັ້ງ​ການ​ເກັບ​ຮັກ​ສາ​ຂອງ​ໄຟລ​໌​ໃດ​ຫນຶ່ງ​.

ໃນບົດຄວາມທີ່ຜ່ານມາ, ຂ້າພະເຈົ້າໄດ້ "ມ້ວນຖັງ" ເລັກນ້ອຍ ipfs, ແຕ່ນີ້ເກີດຂຶ້ນຢ່າງແນ່ນອນໃນສະພາບການຂອງບັນຫາທີ່ຂ້ອຍກໍາລັງແກ້ໄຂ. ໂດຍລວມ, ຂ້າພະເຈົ້າຄິດວ່າໂຄງການນີ້ແມ່ນເຢັນ. ຂ້າພະເຈົ້າພຽງແຕ່ມັກຄວາມສາມາດໃນການສ້າງເຄືອຂ່າຍທີ່ແຕກຕ່າງກັນສໍາລັບວຽກງານທີ່ແຕກຕ່າງກັນ. ນີ້ຊ່ວຍໃຫ້ທ່ານສາມາດຈັດໂຄງສ້າງໄດ້ດີຂຶ້ນແລະຫຼຸດຜ່ອນການໂຫຼດຂອງແຕ່ລະ nodes ແລະເຄືອຂ່າຍທັງຫມົດ. ເຖິງແມ່ນວ່າຢູ່ໃນຂອບຂອງໂຄງການຫນຶ່ງ, ຖ້າຈໍາເປັນ, ທ່ານສາມາດແບ່ງເຄືອຂ່າຍອອກເປັນຕ່ອນຕາມເງື່ອນໄຂບາງຢ່າງ, ຫຼຸດຜ່ອນການໂຫຼດທັງຫມົດ.

ດັ່ງນັ້ນ storacle ໃຊ້ກົນໄກ ສາມາດແຜ່ຂະຫຍາຍໄດ້ ສໍາລັບການຈັດຕັ້ງເຄືອຂ່າຍ. ຄຸນ​ນະ​ສົມ​ບັດ​ທີ່​ສໍາ​ຄັນ​:

• ໄຟລ໌ສາມາດຖືກເພີ່ມໃສ່ repository ຜ່ານ node ໃດ.
• ໄຟລ໌ຖືກບັນທຶກທັງຫມົດ, ບໍ່ແມ່ນຢູ່ໃນບລັອກ.
• ແຕ່ລະໄຟລ໌ມີ hash ເນື້ອຫາທີ່ເປັນເອກະລັກຂອງຕົນເອງເພື່ອເຮັດວຽກຕໍ່ໄປກັບມັນ.
• ໄຟລ໌ສາມາດຖືກຊ້ໍາກັນເພື່ອຄວາມຫນ້າເຊື່ອຖືຫຼາຍຂຶ້ນ
• ຈໍາ​ນວນ​ຂອງ​ໄຟລ​໌​ໃນ​ຫນຶ່ງ node ແມ່ນ​ຈໍາ​ກັດ​ພຽງ​ແຕ່​ໂດຍ​ລະ​ບົບ​ໄຟລ​໌ (ມີ​ຂໍ້​ຍົກ​ເວັ້ນ​, ເພີ່ມ​ເຕີມ​ກ່ຽວ​ກັບ​ການ​ຂ້າງ​ລຸ່ມ​ນີ້​)
• ຈໍານວນຂອງໄຟລ໌ໃນເຄືອຂ່າຍຖືກຈໍາກັດໂດຍຄວາມສາມາດທີ່ສາມາດແຜ່ກະຈາຍໄດ້ຕາມຈໍານວນຂອງ nodes ທີ່ຖືກຕ້ອງໃນເຄືອຂ່າຍ, ເຊິ່ງໃນສະບັບທີສອງຈະສາມາດເຮັດວຽກກັບຈໍານວນ nodes ທີ່ບໍ່ມີຂອບເຂດ (ເພີ່ມເຕີມກ່ຽວກັບເລື່ອງນີ້ໃນບົດຄວາມອື່ນ)

ຕົວຢ່າງທີ່ງ່າຍດາຍຂອງວິທີການເຮັດວຽກໂດຍທົ່ວໄປຈາກໂຄງການ:

ເຊີບເວີ:

const  Node = require('storacle').Node;

(async () => {
  try {
    const node = new Node({
      port: 4000,
      hostname: 'localhost'
    });
    await node.init();
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

ລູກ​ຄ້າ:

const  Client = require('storacle').Client;

(async () => {
  try {
    const client = new  Client({
      address: 'localhost:4000'
    });
    await client.init();
    const hash = await client.storeFile('./my-file');
    const link = await client.getFileLink(hash); 
    await client.removeFile(hash);
  }
  catch(err) {
    console.error(err.stack);
    process.exit(1);
  }
})();

ເບິ່ງພາຍໃນ

ບໍ່​ມີ​ຫຍັງ fancy ພາຍ​ໃຕ້​ການ Hood ໄດ້​. ຂໍ້ມູນກ່ຽວກັບຈໍານວນຂອງໄຟລ໌, ຂະຫນາດທັງຫມົດຂອງພວກເຂົາແລະຈຸດອື່ນໆຖືກເກັບໄວ້ໃນຖານຂໍ້ມູນໃນຫນ່ວຍຄວາມຈໍາແລະຖືກປັບປຸງເມື່ອໄຟລ໌ຖືກລຶບແລະເພີ່ມ, ດັ່ງນັ້ນບໍ່ຈໍາເປັນຕ້ອງເຂົ້າເຖິງລະບົບໄຟລ໌ເລື້ອຍໆ. ຂໍ້ຍົກເວັ້ນແມ່ນເຮັດໃຫ້ຕົວເກັບຂີ້ເຫຍື້ອໃນເວລາທີ່ທ່ານຕ້ອງການການແຜ່ກະຈາຍໄຟລ໌ເມື່ອເຖິງຂະຫນາດການເກັບຮັກສາທີ່ແນ່ນອນ, ແລະບໍ່ຫ້າມການເພີ່ມອັນໃຫມ່. ໃນກໍລະນີນີ້, ທ່ານຕ້ອງຂ້າມການເກັບຮັກສາ, ແລະການເຮັດວຽກກັບໄຟລ໌ຈໍານວນຫລາຍ (> ເວົ້າວ່າລ້ານ) ສາມາດນໍາໄປສູ່ການໂຫຼດທີ່ສໍາຄັນ. ແລະມັນດີກວ່າທີ່ຈະເກັບຮັກສາໄຟລ໌ຫນ້ອຍລົງແລະດໍາເນີນການ nodes ຫຼາຍ. ຖ້າ "ເຄື່ອງເຮັດຄວາມສະອາດ" ຖືກປິດ, ບໍ່ມີບັນຫາດັ່ງກ່າວ.

ການເກັບຮັກສາໄຟລ໌ປະກອບດ້ວຍ 256 ໂຟນເດີແລະ 2 ລະດັບຂອງຮັງ. ໄຟລ໌ຖືກເກັບໄວ້ໃນໂຟນເດີລະດັບທີສອງ. ນັ້ນແມ່ນ, ຖ້າມີ 1 ລ້ານ. ມັນຈະມີປະມານ 62500 ໄຟລ໌ໃນແຕ່ລະໂຟເດີດັ່ງກ່າວ (1000000 / sqrt(256)).

ຊື່ໂຟນເດີຖືກສ້າງຕັ້ງຂຶ້ນຈາກໄຟລ໌ hash ເພື່ອໃຫ້ທ່ານສາມາດເຂົ້າຫາມັນໄດ້ໄວຖ້າທ່ານຮູ້ຈັກ hash.

ໂຄງສ້າງນີ້ໄດ້ຖືກເລືອກໂດຍອີງໃສ່ຄວາມຕ້ອງການເກັບຮັກສາທີ່ແຕກຕ່າງກັນຫຼາຍ: ສະຫນັບສະຫນູນລະບົບໄຟລ໌ທີ່ອ່ອນແອ, ບ່ອນທີ່ມັນບໍ່ຕ້ອງການທີ່ຈະມີໄຟລ໌ຫຼາຍໃນໂຟນເດີດຽວ, ການໂອນຍ້າຍໄວຂອງໂຟນເດີທັງຫມົດຖ້າຈໍາເປັນ, ແລະອື່ນໆ. ບາງຊະນິດຂອງຫມາຍຄວາມວ່າທອງ.

ການເກັບຂໍ້ມູນ

ເມື່ອເພີ່ມໄຟລ໌, ເຊັ່ນດຽວກັນກັບເມື່ອໄດ້ຮັບພວກມັນ, ການເຊື່ອມຕໍ່ກັບໄຟລ໌ຖືກຂຽນໄວ້ໃນແຄດ.
ຂໍຂອບໃຈກັບເລື່ອງນີ້, ເລື້ອຍໆບໍ່ຈໍາເປັນຕ້ອງຜ່ານເຄືອຂ່າຍທັງຫມົດໃນການຊອກຫາໄຟລ໌. ນີ້ເລັ່ງການຮັບການເຊື່ອມຕໍ່ແລະການຫຼຸດຜ່ອນການໂຫຼດໃນເຄືອຂ່າຍ. Caching ຍັງເກີດຂຶ້ນໂດຍຜ່ານ http headers.

Isomorphy

ລູກຄ້າຖືກຂຽນໃນ javascript ແລະເປັນ isomorphic, ມັນສາມາດຖືກນໍາໃຊ້ໂດຍກົງຈາກຕົວທ່ອງເວັບ. 
ທ່ານສາມາດອັບໂຫລດໄຟລ໌ https://github.com/ortexx/storacle/blob/master/dist/storacle.client.js ເປັນ script ແລະການເຂົ້າເຖິງ window.ClientStoracle ຫຼືນໍາເຂົ້າໂດຍຜ່ານລະບົບການກໍ່ສ້າງ, ແລະອື່ນໆ.

ລິ້ງທີ່ເລື່ອນເວລາ

ລັກສະນະທີ່ຫນ້າສົນໃຈແມ່ນ "ການອ້າງອີງທີ່ເລື່ອນເວລາ". ນີ້ແມ່ນການເຊື່ອມຕໍ່ກັບໄຟລ໌ທີ່ສາມາດໄດ້ຮັບ synchronously, ທີ່ນີ້ແລະໃນປັດຈຸບັນ, ແລະໄຟລ໌ຈະຖືກດຶງຂຶ້ນເມື່ອມັນໄດ້ຖືກພົບເຫັນຢູ່ໃນບ່ອນເກັບມ້ຽນ. ນີ້ແມ່ນສະດວກຫຼາຍເມື່ອ, ຕົວຢ່າງ, ທ່ານຈໍາເປັນຕ້ອງສະແດງຮູບພາບບາງຢ່າງຢູ່ໃນເວັບໄຊທ໌. ພວກເຮົາພຽງແຕ່ໃສ່ການເຊື່ອມຕໍ່ທີ່ເລື່ອນລົງໃນ src ແລະນັ້ນແມ່ນມັນ. ທ່ານ​ສາ​ມາດ​ມາ​ເຖິງ​ກັບ​ຫຼາຍ​ກໍ​ລະ​ນີ​.

API ລູກຄ້າ

• async Client.prototype.storeFile() - ຊ່ວຍ​ປະ​ຢັດ​ໄຟລ​໌​
• async Client.prototype.getFileLink() — ໄດ້​ຮັບ​ການ​ເຊື່ອມ​ຕໍ່​ໂດຍ​ກົງ​ກັບ​ໄຟລ​໌​
• async Client.prototype.getFileLinks() — ໄດ້​ຮັບ​ບັນ​ຊີ​ລາຍ​ການ​ຂອງ​ການ​ເຊື່ອມ​ຕໍ່​ໂດຍ​ກົງ​ກັບ​ໄຟລ​໌​ຈາກ​ຂໍ້​ທັງ​ຫມົດ​ທີ່​ມັນ​ມີ​ຢູ່​
• async Client.prototype.getFileToBuffer() - ເອົາໄຟລ໌ເຂົ້າໄປໃນ buffer
• async Client.prototype.getFileToPath() - ເອົາໄຟລ໌ເຂົ້າໄປໃນລະບົບໄຟລ໌
• async Client.prototype.getFileToBlob() - ໄດ້​ຮັບ​ໄຟລ​໌​ໃນ blob (ສໍາ​ລັບ​ສະ​ບັບ​ຕົວ​ທ່ອງ​ເວັບ​)
• async Client.prototype.removeFile() - ລຶບ​ໄຟລ​໌​
• Client.prototype.createRequestedFileLink() — ສ້າງ​ການ​ເຊື່ອມ​ຕໍ່​ທີ່​ຊັກ​ຊ້າ​

ສົ່ງອອກໄຟລ໌ໄປຫາເຄື່ອງແມ່ຂ່າຍອື່ນ

ເພື່ອໂອນໄຟລ໌ໄປຫາ node ອື່ນ, ທ່ານສາມາດ:

• ພຽງແຕ່ຄັດລອກໂຟເດີເກັບຮັກສາທັງຫມົດພ້ອມກັບການຕັ້ງຄ່າ. (ອັນນີ້ອາດຈະບໍ່ເຮັດວຽກໃນອະນາຄົດ)
• ຄັດລອກພຽງແຕ່ໂຟນເດີທີ່ມີໄຟລ໌. ແຕ່, ໃນກໍລະນີນີ້, ທ່ານຈະຕ້ອງດໍາເນີນການຟັງຊັນຫນຶ່ງຄັ້ງ node.normalizeFilesInfo()ເພື່ອຄິດໄລ່ຂໍ້ມູນທັງຫມົດແລະໃສ່ມັນເຂົ້າໄປໃນຖານຂໍ້ມູນ.
• ໃຊ້ຟັງຊັນ node.exportFiles()ເຊິ່ງຈະເລີ່ມການສຳເນົາໄຟລ໌.

ການຕັ້ງຄ່າໂຫນດພື້ນຖານ
ເມື່ອເລີ່ມຕົ້ນ node ການເກັບຮັກສາ, ທ່ານສາມາດກໍານົດການຕັ້ງຄ່າທີ່ຈໍາເປັນທັງຫມົດ.
ຂ້າພະເຈົ້າຈະອະທິບາຍພື້ນຖານທີ່ສຸດ, ສ່ວນທີ່ເຫຼືອສາມາດພົບເຫັນຢູ່ໃນ Github.

• storage.dataSize — ຂະ​ຫນາດ​ຂອງ​ໂຟນ​ເດີ​ທີ່​ມີ​ໄຟລ​໌​
• storage.tempSize - ຂະ​ຫນາດ​ໂຟ​ເດີ​ຊົ່ວ​ຄາວ​
• storage.autoCleanSize — ຂະ​ຫນາດ​ການ​ເກັບ​ຮັກ​ສາ​ຕໍາ​່​ສຸດ​ທີ່​ຕ້ອງ​ການ​ຖື​. ຖ້າທ່ານລະບຸພາລາມິເຕີນີ້, ຫຼັງຈາກນັ້ນທັນທີທີ່ພື້ນທີ່ເລີ່ມຫມົດ, ໄຟລ໌ທີ່ໃຊ້ຫນ້ອຍທີ່ສຸດຈະຖືກລຶບຖິ້ມ.
• file.maxSize - ຂະ​ຫນາດ​ໄຟລ​໌​ສູງ​ສຸດ​
• file.minSize - ຂະ​ຫນາດ​ໄຟລ​໌​ຕໍາ​່​ສຸດ​ທີ່​
• file.preferredDuplicates — ຈໍາ​ນວນ​ທີ່​ຕ້ອງ​ການ​ຂອງ​ເອ​ກະ​ສານ​ຊໍ້າ​ກັນ​ໃນ​ເຄືອ​ຂ່າຍ​
• file.mimeWhitelist - ປະເພດໄຟລ໌ທີ່ຖືກຕ້ອງ
• file.mimeBlacklist - ປະເພດໄຟລ໌ບໍ່ຖືກຕ້ອງ
• file.extWhitelist - ການຂະຫຍາຍໄຟລ໌ທີ່ຖືກຕ້ອງ
• file.extBlacklist - ການຂະຫຍາຍໄຟລ໌ບໍ່ຖືກຕ້ອງ
• file.linkCache - ການ​ຕັ້ງ​ຄ່າ​ຖານ​ຄວາມ​ຈໍາ​ການ​ເຊື່ອມ​ຕໍ່​ຕ່າງໆ​

ເກືອບທຸກຕົວກໍານົດການທີ່ກ່ຽວຂ້ອງກັບຂະຫນາດສາມາດຖືກໃສ່ໃນທັງຄ່າຢ່າງແທ້ຈິງແລະຄ່າພີ່ນ້ອງ.

ເຮັດວຽກຜ່ານເສັ້ນຄໍາສັ່ງ
ຫ້ອງສະຫມຸດສາມາດໄດ້ຮັບການນໍາໃຊ້ໂດຍຜ່ານເສັ້ນຄໍາສັ່ງ. ເພື່ອເຮັດສິ່ງນີ້, ທ່ານຈໍາເປັນຕ້ອງຕິດຕັ້ງມັນທົ່ວໂລກ: npm i -g storacle. ຫຼັງຈາກນີ້, ທ່ານສາມາດເປີດຕົວການດໍາເນີນການທີ່ຈໍາເປັນຈາກໄດເລກະທໍລີໂຄງການບ່ອນທີ່ node ແມ່ນ. ຍົກ​ຕົວ​ຢ່າງ, storacle -a storeFile -f ./file.txt -c ./config.jsເພື່ອເພີ່ມໄຟລ໌. ການປະຕິບັດທັງຫມົດສາມາດພົບເຫັນຢູ່ໃນ https://github.com/ortexx/storacle/blob/master/bin/actions.js

ເປັນຫຍັງເຈົ້າອາດຈະຕ້ອງການອັນນີ້?

• ຖ້າທ່ານຕ້ອງການສ້າງບາງປະເພດຂອງໂຄງການທີ່ມີການແບ່ງຂັ້ນຄຸ້ມຄອງທີ່ທ່ານວາງແຜນທີ່ຈະເກັບຮັກສາແລະເຮັດວຽກກັບໄຟລ໌ໂດຍໃຊ້ວິທີທີ່ສະດວກ. ຕົວຢ່າງ, ໂຄງການດົນຕີທີ່ອະທິບາຍໄວ້ໃນການເຊື່ອມຕໍ່ໃນຕອນຕົ້ນຂອງບົດຄວາມໃຊ້ ບ່ອນເກັບມ້ຽນ.
• ຖ້າທ່ານເຮັດວຽກກ່ຽວກັບໂຄງການອື່ນໆທີ່ທ່ານຈໍາເປັນຕ້ອງເກັບຮັກສາໄຟລ໌ໃນລັກສະນະແຈກຢາຍ. ທ່ານສາມາດສ້າງເຄືອຂ່າຍປິດຂອງທ່ານໄດ້ຢ່າງງ່າຍດາຍ, ປັບຕັ້ງຄ່າໂນດທີ່ມີຄວາມຍືດຫຍຸ່ນ ແລະເພີ່ມອັນໃໝ່ເມື່ອຕ້ອງການ.
• ຖ້າທ່ານພຽງແຕ່ຕ້ອງການເກັບຮັກສາໄຟລ໌ເວັບໄຊທ໌ຂອງທ່ານຢູ່ບ່ອນໃດບ່ອນຫນຶ່ງແລະມັນຫຼາຍເກີນໄປສໍາລັບທ່ານທີ່ຈະຂຽນທຸກສິ່ງທຸກຢ່າງດ້ວຍຕົນເອງ. ບາງທີຫ້ອງສະຫມຸດນີ້ ເໝາະ ສົມກວ່າບ່ອນອື່ນໃນກໍລະນີຂອງເຈົ້າ.
• ຖ້າທ່ານມີໂຄງການທີ່ທ່ານເຮັດວຽກກັບໄຟລ໌, ແຕ່ຕ້ອງການປະຕິບັດການຫມູນໃຊ້ທັງຫມົດຈາກຕົວທ່ອງເວັບ. ທ່ານສາມາດຫຼີກເວັ້ນການຂຽນລະຫັດເຊີຟເວີ.

ລາຍຊື່ຜູ້ຕິດຕໍ່ຂອງຂ້ອຍ:

• @ortex
• [email protected]

ແຫຼ່ງຂໍ້ມູນ: www.habr.com