ການແຈກຢາຍໄຟລ໌ຈາກ Google Drive ໂດຍໃຊ້ nginx

ປະວັດສາດ

ມັນເກີດຂຶ້ນດັ່ງນັ້ນຂ້ອຍຈໍາເປັນຕ້ອງເກັບຮັກສາຂໍ້ມູນຫຼາຍກວ່າ 1.5 TB ຢູ່ບ່ອນໃດຫນຶ່ງ, ແລະຍັງສະຫນອງຄວາມສາມາດສໍາລັບຜູ້ໃຊ້ທົ່ວໄປທີ່ຈະດາວໂຫລດມັນຜ່ານທາງເຊື່ອມຕໍ່ໂດຍກົງ. ນັບຕັ້ງແຕ່ປະລິມານຄວາມຊົງຈໍາດັ່ງກ່າວເປັນປະເພນີໄປຫາ VDS, ຄ່າໃຊ້ຈ່າຍຂອງການເຊົ່າທີ່ບໍ່ມີຫຼາຍຢູ່ໃນງົບປະມານໂຄງການຈາກປະເພດ "ບໍ່ມີຫຍັງເຮັດ", ແລະຈາກຂໍ້ມູນແຫຼ່ງຂ້ອຍມີ VPS 400GB SSD, ບ່ອນທີ່, ເຖິງແມ່ນວ່າຂ້ອຍ. ຕ້ອງການ, ຂ້ອຍບໍ່ສາມາດໃສ່ 1.5TB ຂອງຮູບພາບໂດຍບໍ່ມີການບີບອັດສູນເສຍມັນຈະປະສົບຜົນສໍາເລັດ.

ແລະຫຼັງຈາກນັ້ນຂ້າພະເຈົ້າຈື່ໄດ້ວ່າຖ້າຂ້ອຍລຶບຂີ້ເຫຍື້ອອອກຈາກ Google Drive, ເຊັ່ນໂປລແກລມທີ່ຈະເຮັດວຽກຢູ່ໃນ Windows XP ເທົ່ານັ້ນ, ແລະສິ່ງອື່ນໆທີ່ເຄື່ອນຍ້າຍຈາກອຸປະກອນຫນຶ່ງໄປຫາອີກອັນຫນຶ່ງນັບຕັ້ງແຕ່ມື້ທີ່ອິນເຕີເນັດບໍ່ໄວທີ່ສຸດແມ່ນບໍ່ຈໍາກັດ ( ຕົວຢ່າງ, 10-20 ສະບັບຂອງກ່ອງ virtual ອາດຈະບໍ່ມີມູນຄ່າອື່ນນອກເຫນືອຈາກ nostalgic), ຫຼັງຈາກນັ້ນທຸກສິ່ງທຸກຢ່າງຄວນຈະເຫມາະຫຼາຍ. ບໍ່ໄດ້ເວົ້າໄວກວ່າເຮັດ. ແລະດັ່ງນັ້ນ, ການລະເມີດຂອບເຂດຈໍາກັດຂອງຈໍານວນຄໍາຮ້ອງຂໍຕໍ່ api (ໂດຍວິທີທາງການ, ການສະຫນັບສະຫນູນດ້ານວິຊາການໂດຍບໍ່ມີບັນຫາໃດໆໄດ້ເພີ່ມໂຄຕ້າຄໍາຮ້ອງຂໍຕໍ່ຜູ້ໃຊ້ເປັນ 100 ໃນ 10 ວິນາທີ), ຂໍ້ມູນໄດ້ໄຫຼໄປຢ່າງໄວວາໃນສະຖານທີ່ຂອງການນໍາໃຊ້ຕື່ມອີກ. .

ທຸກສິ່ງທຸກຢ່າງເບິ່ງຄືວ່າດີ, ແຕ່ໃນປັດຈຸບັນມັນຕ້ອງໄດ້ຮັບການຖ່າຍທອດໃຫ້ຜູ້ໃຊ້ສຸດທ້າຍ. ຍິ່ງໄປກວ່ານັ້ນ, ໂດຍບໍ່ມີການປ່ຽນເສັ້ນທາງໄປຫາຊັບພະຍາກອນອື່ນໆ, ແຕ່ເພື່ອໃຫ້ບຸກຄົນພຽງແຕ່ກົດປຸ່ມ "ດາວໂຫລດ" ແລະກາຍເປັນເຈົ້າຂອງໄຟລ໌ທີ່ສົມກຽດ.

ທີ່ນີ້, ໂດຍພຣະເຈົ້າ, ຂ້າພະເຈົ້າໄດ້ເຂົ້າໄປໃນທຸກປະເພດຂອງບັນຫາ. ໃນຕອນທໍາອິດມັນເປັນສະຄິບໃນ AmPHP, ແຕ່ຂ້ອຍບໍ່ພໍໃຈກັບການໂຫຼດທີ່ມັນສ້າງຂຶ້ນ (ການກະໂດດແຫຼມໃນຕອນເລີ່ມຕົ້ນເຖິງ 100% ການບໍລິໂພກຫຼັກ). ຫຼັງຈາກນັ້ນ, curl wrapper ສໍາລັບ ReactPHP ເຂົ້າໄປໃນການຫຼິ້ນ, ເຊິ່ງຂ້ອນຂ້າງເຫມາະສົມກັບຄວາມປາດຖະຫນາຂອງຂ້າພະເຈົ້າກ່ຽວກັບຈໍານວນຂອງວົງຈອນ CPU ທີ່ບໍລິໂພກ, ແຕ່ບໍ່ໄດ້ໃຫ້ຄວາມໄວໃນສິ່ງທີ່ຂ້າພະເຈົ້າຕ້ອງການ (ມັນໄດ້ກາຍເປັນວ່າທ່ານພຽງແຕ່ສາມາດຫຼຸດຜ່ອນໄລຍະການໂທ. curl_multi_select, ແຕ່​ຫຼັງ​ຈາກ​ນັ້ນ​ພວກ​ເຮົາ​ມີ gluttony ຄ້າຍ​ຄື​ກັນ​ກັບ​ທາງ​ເລືອກ​ທໍາ​ອິດ​)​. ຂ້ອຍກໍ່ພະຍາຍາມຂຽນບໍລິການນ້ອຍໆໃນ Rust, ແລະມັນເຮັດວຽກໄດ້ໄວ (ມັນເປັນເລື່ອງແປກທີ່ວ່າມັນເຮັດວຽກ, ໃຫ້ຄວາມຮູ້ຂອງຂ້ອຍ), ແຕ່ຂ້ອຍຕ້ອງການຫຼາຍກວ່ານັ້ນ, ແລະມັນຍາກທີ່ຈະປັບແຕ່ງມັນ. ນອກຈາກນັ້ນ, ການແກ້ໄຂທັງຫມົດເຫຼົ່ານີ້ somehow strangely buffered ຕອບສະຫນອງ, ແລະຂ້າພະເຈົ້າຕ້ອງການທີ່ຈະຕິດຕາມປັດຈຸບັນໃນເວລາທີ່ການດາວໂຫຼດໄຟລ໌ສິ້ນສຸດລົງດ້ວຍຄວາມຖືກຕ້ອງທີ່ສຸດ.

ໂດຍທົ່ວໄປ, ມັນຖືກຫຍາບຊ້າ, ແຕ່ມັນເຮັດວຽກ. ຈົນກ່ວາມື້ຫນຶ່ງຂ້າພະເຈົ້າໄດ້ມີຄວາມຄິດທີ່ໂດດເດັ່ນໃນຄວາມບ້າຂອງມັນ: nginx, ໃນທາງທິດສະດີ, ສາມາດເຮັດສິ່ງທີ່ຂ້ອຍຕ້ອງການ, ເຮັດວຽກໄດ້ໄວ, ແລະແມ້ກະທັ້ງອະນຸຍາດໃຫ້ມີການບິດເບືອນທຸກປະເພດທີ່ມີການຕັ້ງຄ່າ. ພວກເຮົາຕ້ອງພະຍາຍາມ - ຈະເປັນແນວໃດຖ້າມັນເຮັດວຽກ? ແລະຫຼັງຈາກເຄິ່ງມື້ຂອງການຄົ້ນຫາຢ່າງຕໍ່ເນື່ອງ, ການແກ້ໄຂໄດ້ເກີດມາທີ່ເຮັດວຽກຢ່າງຫມັ້ນຄົງເປັນເວລາຫຼາຍເດືອນແລະຕອບສະຫນອງຄວາມຕ້ອງການທັງຫມົດຂອງຂ້ອຍ.

ຕັ້ງຄ່າ NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

ສະບັບສັ້ນທີ່ບໍ່ມີຄໍາເຫັນສາມາດເຫັນໄດ້ພາຍໃຕ້ spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

ພວກເຮົາກໍາລັງຂຽນ script ເພື່ອຈັດການຄວາມສຸກທັງຫມົດນີ້

ຕົວຢ່າງຈະຢູ່ໃນ PHP ແລະຂຽນໂດຍເຈດຕະນາດ້ວຍຊຸດຕໍາ່ສຸດທີ່. ຂ້າພະເຈົ້າຄິດວ່າຜູ້ທີ່ມີປະສົບການກັບພາສາອື່ນໆຈະສາມາດປະສົມປະສານໃນພາກນີ້ໂດຍໃຊ້ຕົວຢ່າງຂອງຂ້ອຍ.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

ຜົນໄດ້ຮັບ

ໂດຍທົ່ວໄປ, ວິທີການນີ້ເຮັດໃຫ້ມັນຂ້ອນຂ້າງງ່າຍທີ່ຈະຈັດລະບຽບການແຈກຢາຍໄຟລ໌ໃຫ້ກັບຜູ້ໃຊ້ຈາກການເກັບຮັກສາຟັງໃດໆ. ແມ່ນແລ້ວ, ເຖິງແມ່ນວ່າຈາກ telegram ຫຼື VK, (ສະຫນອງໃຫ້ວ່າຂະຫນາດໄຟລ໌ບໍ່ເກີນຂະຫນາດທີ່ອະນຸຍາດຂອງການເກັບຮັກສານີ້). ຂ້າພະເຈົ້າໄດ້ມີຄວາມຄິດທີ່ຄ້າຍຄືກັນກັບ ນີ້, ແຕ່ຫນ້າເສຍດາຍ, ຂ້າພະເຈົ້າໄດ້ພົບເຫັນໄຟລ໌ສູງເຖິງ 2GB, ແລະຂ້າພະເຈົ້າຍັງບໍ່ທັນໄດ້ພົບເຫັນວິທີການຫຼືໂມດູນສໍາລັບການ gluing ຄໍາຕອບຈາກຕົ້ນນ້ໍາ, ແລະການຂຽນບາງປະເພດຂອງ wrappers ສໍາລັບໂຄງການນີ້ແມ່ນບໍ່ມີເຫດຜົນແຮງງານຫຼາຍ.

ຂອບໃຈສໍາລັບຄວາມສົນໃຈຂອງທ່ານ. ຂ້າພະເຈົ້າຫວັງວ່າເລື່ອງຂອງຂ້າພະເຈົ້າແມ່ນຢ່າງຫນ້ອຍທີ່ຫນ້າສົນໃຈຫຼືເປັນປະໂຫຍດສໍາລັບທ່ານ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com