Mizara rakitra avy amin'ny Google Drive mampiasa nginx

prehistory

Nitranga izany fa nila nitahiry angon-drakitra mihoatra ny 1.5 TB aho any ho any, ary manome fahafahan'ny mpampiasa tsotra misintona azy amin'ny alàlan'ny rohy mivantana. Satria amin'ny fomba mahazatra ny fahatsiarovana toy izany dia mandeha amin'ny VDS, ny vidin'ny fanofana izay tsy dia tafiditra loatra amin'ny teti-bolan'ny tetikasa avy amin'ny sokajy "tsy misy tokony hatao", ary avy amin'ny angon-drakitra loharano dia nanana VPS 400GB SSD aho, izay, na dia izaho aza. tiako, tsy afaka mametraka sary 1.5TB aho raha tsy misy famatrarana tsy misy fangarony dia hahomby izany.

Ary avy eo dia tsaroako fa raha mamafa ny junk ao amin'ny Google Drive aho, toy ny programa izay tsy mandeha afa-tsy amin'ny Windows XP, sy ny zavatra hafa izay nifindra avy amin'ny fitaovana iray mankany amin'ny iray hafa hatramin'ny andro izay tsy dia haingana loatra ny Internet tsy misy fetra ( Ohatra, ireo dikan-teny 10-20 amin'ny boaty virtoaly dia tsy misy dikany afa-tsy ny nostalgic), dia tokony hifanaraka tsara ny zava-drehetra. Efa vita. Ary noho izany, ny fanitsakitsahana ny fetran'ny isan'ny fangatahana amin'ny api (amin'ny fomba, ny fanohanana ara-teknika tsy misy olana dia nampitombo ny fetran'ny fangatahana isaky ny mpampiasa ho 100 ao anatin'ny 10 segondra), ny angon-drakitra dia nikoriana haingana tany amin'ny toerana fametrahana azy bebe kokoa. .

Toa tsara daholo ny zava-drehetra, saingy mila ampitaina amin'ny mpampiasa farany izany. Ankoatra izany, tsy misy redirect amin'ny loharano hafa, fa mba hanindry ny bokotra "Download" fotsiny ny olona iray ary lasa tompon'ny rakitra sarobidy.

Eto, Andriamanitra, dia niditra tao amin'ny karazana fahasahiranana rehetra aho. Tamin'ny voalohany dia script tao amin'ny AmPHP izy io, saingy tsy afa-po tamin'ny enta-mavesatra noforoniny aho (mitsambikina mafy amin'ny fanombohana mankany amin'ny fanjifana fototra 100%). Avy eo dia niditra ny curl wrapper ho an'ny ReactPHP, izay mifanentana amin'ny faniriako amin'ny resaka isan'ny tsingerin'ny CPU laniny, fa tsy nanome ny hafainganam-pandeha izay tiako (dia hita fa azonao atao ny mampihena ny elanelan'ny fiantsoana. curl_multi_select, fa avy eo dia manana tendan-kanina mitovy amin'ny safidy voalohany isika). Nanandrana nanoratra serivisy kely tao amin'ny Rust mihitsy aza aho, ary nandeha haingana be izany (tena mahagaga fa niasa izy io, raha ny fahalalako azy), saingy naniry bebe kokoa aho, ary sarotra ny manamboatra azy io. Ho fanampin'izay, ireo vahaolana rehetra ireo dia somary hafahafa ihany ny valinteny, ary tiako ny hanara-maso ny fotoana nifaranan'ny fampidinana rakitra tamin'ny marina indrindra.

Amin'ny ankapobeny, nivadika nandritra ny fotoana kelikely izy io, saingy nahomby. Mandra-pahatongan'ny andro iray dia nahazo hevitra iray izay niavaka tamin'ny hadalany aho: ny nginx, amin'ny teoria, dia afaka manao izay tiako, miasa haingana, ary mamela ny karazana fikorontanana rehetra miaraka amin'ny fanamafisana. Mila manandrana isika - ahoana raha mandaitra izany? Ary taorian'ny antsasaky ny andro nikarohana tsy tapaka dia teraka ny vahaolana iray izay niasa tsara nandritra ny volana maromaro ary nahafeno ny fepetra rehetra takiko.

Fametrahana NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Ny dikan-teny fohy tsy misy fanehoan-kevitra dia azo jerena eo ambanin'ny spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Manoratra script izahay hitantana izany fahasambarana rehetra izany

Ny ohatra dia ho amin'ny PHP ary iniana nosoratana miaraka amin'ny kitapo kely indrindra. Heveriko fa na iza na iza manana traikefa amin'ny fiteny hafa dia afaka mampiditra ity fizarana ity amin'ny fampiasana ny ohatra nasehoko.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

vokatra

Amin'ny ankapobeny, ity fomba ity dia manamora ny fandaminana ny fizarana rakitra amin'ny mpampiasa avy amin'ny fitahirizana rahona. Eny, na dia avy amin'ny telegrama na VK, (raha toa ka tsy mihoatra ny haben'ny fitehirizana ity ny haben'ny rakitra). Nanana hevitra mitovy amin'izany aho izany, saingy indrisy fa sendra rakitra hatramin'ny 2GB aho, ary mbola tsy nahita fomba na maody ho an'ny fametahana valiny avy any ambony aho, ary ny fanoratana karazana fonosana ho an'ity tetikasa ity dia tsy dia misy dikany loatra.

Misaotra anao noho ny fifantohanao. Manantena aho fa ny tantarako dia farafaharatsiny mahaliana na mahasoa anao.

Source: www.habr.com