Kugawa mafayilo kuchokera ku Google Drive pogwiritsa ntchito nginx

prehistory

Zinangochitika kuti ndikufunika kusunga deta yoposa 1.5 TB kwinakwake, ndikupatsanso mwayi kwa ogwiritsa ntchito wamba kuti azitsitsa kudzera pa ulalo wachindunji. Popeza mwamwambo zokumbukira zotere zimapita ku VDS, mtengo wake wobwereketsa womwe sunaphatikizidwe kwambiri mu bajeti ya polojekiti kuchokera kugulu la "chochita", ndipo kuchokera kugwero ndinali ndi VPS 400GB SSD, pomwe, ngakhale. ndikadafuna, sindikanatha kuyika zithunzi za 1.5TB popanda kuphatikizika kopanda kutaya zikhala bwino.

Kenako ndinakumbukira kuti ngati ndichotsa zosafunika kuchokera ku Google Drive, monga mapulogalamu omwe azingoyenda pa Windows XP, ndi zinthu zina zomwe zakhala zikuyenda kuchokera ku chipangizo china kupita ku china kuyambira masiku omwe intaneti sinali yothamanga konse popanda malire ( mwachitsanzo, matembenuzidwe a 10-20 a bokosi laling'ono sakanatha kukhala ndi phindu lililonse kupatula nostalgic), ndiye zonse ziyenera kugwirizana bwino. Zosavuta kuzinena koma zovuta kuchita. Ndipo kotero, kudutsa malire pa chiwerengero cha zopempha kwa api (mwa njira, chithandizo chaumisiri popanda mavuto chinawonjezera chiwerengero cha zopempha kwa wogwiritsa ntchito mpaka 100 mu masekondi 10), deta inathamangira kumalo omwe amatumizidwa. .

Chilichonse chikuwoneka bwino, koma tsopano chiyenera kuperekedwa kwa wogwiritsa ntchito. Komanso, popanda kulozeranso kuzinthu zina, koma kuti munthu angosindikiza batani la "Koperani" ndikukhala mwiniwake wa fayilo yamtengo wapatali.

Pano, ndi Mulungu, ndinalowa m’mavuto osiyanasiyana. Poyamba inali script mu AmPHP, koma sindinakhutire ndi katundu omwe adapanga (kudumpha kwakuthwa kumayambiriro kwa 100% core pea). Kenako chokulunga chopiringizika cha ReactPHP chidayamba kuseweredwa, chomwe chimagwirizana ndi zomwe ndikufuna malinga ndi kuchuluka kwa ma CPU omwe amadyedwa, koma sanapereke liwiro pazomwe ndimafuna (zinapezeka kuti mutha kuchepetsa nthawi yoyimba foni. curl_multi_select, koma ndiye tili ndi kususuka kofanana ndi njira yoyamba ). Ndinayeseranso kulemba ntchito yaing'ono ku Rust, ndipo inagwira ntchito mofulumira (ndizodabwitsa kuti inagwira ntchito, chifukwa cha chidziwitso changa), koma ndinkafuna zambiri, ndipo zinali zovuta kuzisintha. Kuphatikiza apo, mayankho onsewa adasokoneza mayankho modabwitsa, ndipo ndimafuna kutsatira nthawi yomwe kutsitsa kwa fayilo kunatha molondola kwambiri.

Nthawi zambiri, inali yokhota kwakanthawi, koma idagwira ntchito. Mpaka tsiku lina ndinapeza lingaliro lomwe linali lodabwitsa mu misala yake: nginx, mwachidziwitso, akhoza kuchita zomwe ndikufuna, kugwira ntchito mofulumira, komanso kulola zosokoneza zamitundu yonse ndi kasinthidwe. Tiyenera kuyesa - bwanji ngati zikugwira ntchito? Ndipo patatha theka la tsiku lofufuza mosalekeza, yankho linabadwa lomwe lakhala likugwira ntchito mokhazikika kwa miyezi ingapo ndikukwaniritsa zofunikira zanga zonse.

Kukhazikitsa NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Mtundu waufupi wopanda ndemanga ukhoza kuwoneka pansi pa wowononga

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Tikulemba script kuti tisamalire chisangalalo chonsechi

Chitsanzocho chidzakhala mu PHP ndi kulembedwa mwadala ndi zida zochepa. Ndikuganiza kuti aliyense amene ali ndi chidziwitso ndi chinenero china adzatha kuphatikiza gawoli pogwiritsa ntchito chitsanzo changa.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Zotsatira

Nthawi zambiri, njirayi imapangitsa kukhala kosavuta kukonza kugawa mafayilo kwa ogwiritsa ntchito kuchokera kumtambo uliwonse. Inde, ngakhale kuchokera pa telegalamu kapena VK, (ngati kukula kwa fayilo sikudutsa kukula kovomerezeka kwa malo osungiramo). Ndinali ndi lingaliro lofanana ndi izi, koma mwatsoka ndimapeza mafayilo mpaka 2GB, ndipo sindinapezebe njira kapena gawo la mayankho a gluing kuchokera kumtunda, ndipo kulemba mtundu wina wa mapepala a polojekitiyi ndizovuta kwambiri.

Zikomo chifukwa chakumvetsera. Ndikukhulupirira kuti nkhani yanga inali yosangalatsa kapena yothandiza kwa inu.

Source: www.habr.com