Inasambaza faili kutoka Hifadhi ya Google kwa kutumia nginx

kabla ya historia

Ilifanyika tu kwamba nilihitaji kuhifadhi zaidi ya 1.5 TB ya data mahali fulani, na pia kutoa uwezo kwa watumiaji wa kawaida kuipakua kupitia kiungo cha moja kwa moja. Kwa kuwa jadi kiasi kama hicho cha kumbukumbu huenda kwa VDS, gharama ya kukodisha ambayo haijajumuishwa sana katika bajeti ya mradi kutoka kwa kitengo cha "hakuna cha kufanya", na kutoka kwa data ya chanzo nilikuwa na VPS 400GB SSD, ambapo, hata ikiwa nilitaka, sikuweza kuweka 1.5TB ya picha bila mgandamizo usio na hasara itafaulu.

Na kisha nikakumbuka kuwa ikiwa nitafuta takataka kutoka kwa Hifadhi ya Google, kama programu ambazo zitafanya kazi kwenye Windows XP tu, na vitu vingine ambavyo vimekuwa vikihama kutoka kifaa kimoja hadi kingine tangu siku ambazo mtandao haukuwa haraka sana bila ukomo ( kwa mfano, matoleo hayo 10-20 ya sanduku la kawaida hayakuwezekana kuwa na thamani yoyote isipokuwa nostalgic), basi kila kitu kinapaswa kufaa sana. Hakuna mapema kusema kuliko kufanya. Na kwa hivyo, kuvunja kikomo cha idadi ya maombi kwa api (kwa njia, msaada wa kiufundi bila shida yoyote iliongeza upendeleo wa maombi kwa kila mtumiaji hadi 100 kwa sekunde 10), data ilitiririka haraka hadi mahali pa kupelekwa kwake zaidi. .

Kila kitu kinaonekana kuwa nzuri, lakini sasa kinahitaji kuwasilishwa kwa mtumiaji wa mwisho. Kwa kuongezea, bila kuelekeza tena kwa rasilimali zingine, lakini ili mtu abonyeze kitufe cha "Pakua" na kuwa mmiliki mwenye furaha wa faili iliyohifadhiwa.

Hapa, kwa Mungu, niliingia katika kila aina ya shida. Mwanzoni ilikuwa maandishi katika AmPHP, lakini sikuridhika na mzigo uliounda (kuruka mkali mwanzoni hadi 100% ya matumizi ya msingi). Kisha kitambaa cha curl cha ReactPHP kilianza kucheza, ambacho kililingana kabisa na matakwa yangu kwa suala la idadi ya mizunguko ya CPU inayotumiwa, lakini haikutoa kasi kabisa kile nilichotaka (iliibuka kuwa unaweza kupunguza muda wa kupiga simu. curl_multi_select, lakini basi tuna ulafi sawa na chaguo la kwanza). Nilijaribu hata kuandika huduma ndogo katika Rust, na ilifanya kazi haraka sana (inashangaza kwamba ilifanya kazi, kutokana na ujuzi wangu), lakini nilitaka zaidi, na ilikuwa vigumu kwa namna fulani kuifanya. Kwa kuongezea, masuluhisho haya yote kwa njia fulani yalizuia majibu kwa njia ya kushangaza, na nilitaka kufuatilia wakati upakuaji wa faili ulimalizika kwa usahihi mkubwa.

Kwa ujumla, ilikuwa imepotoka kwa muda, lakini ilifanya kazi. Hadi siku moja nilikuja na wazo ambalo lilikuwa la kushangaza katika ujinga wake: nginx, kwa nadharia, inaweza kufanya kile ninachotaka, kufanya kazi haraka, na hata kuruhusu kila aina ya upotovu na usanidi. Tunapaswa kujaribu - vipi ikiwa inafanya kazi? Na baada ya nusu ya siku ya kutafuta kwa bidii, suluhisho lilizaliwa ambalo lilikuwa likifanya kazi kwa utulivu kwa miezi kadhaa na kukidhi mahitaji yangu yote.

Inaweka NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Toleo fupi bila maoni linaweza kuonekana chini ya uharibifu

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Tunaandika hati ya kudhibiti furaha hii yote

Mfano utakuwa katika PHP na umeandikwa kwa makusudi na kiwango cha chini cha kit. Nadhani mtu yeyote ambaye ana uzoefu na lugha nyingine yoyote ataweza kuunganisha sehemu hii kwa kutumia mfano wangu.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Matokeo ya

Kwa ujumla, njia hii inafanya kuwa rahisi sana kupanga usambazaji wa faili kwa watumiaji kutoka kwa hifadhi yoyote ya wingu. Ndiyo, hata kutoka kwa telegram au VK, (mradi ukubwa wa faili hauzidi ukubwa unaoruhusiwa wa hifadhi hii). Nilikuwa na wazo kama hilo hii, lakini kwa bahati mbaya mimi hukutana na faili hadi 2GB, na bado sijapata njia au moduli ya majibu ya gluing kutoka juu ya mkondo, na kuandika aina fulani ya vifuniko vya mradi huu ni kazi kubwa isiyo na sababu.

Asante kwa umakini wako. Natumaini hadithi yangu ilikuwa angalau ya kuvutia au muhimu kwako.

Chanzo: mapenzi.com