Kev faib cov ntaub ntawv los ntawm Google Drive siv nginx

prehistory

Nws tsuas yog tshwm sim uas kuv xav tau khaws ntau dua 1.5 TB ntawm cov ntaub ntawv nyob qhov twg, thiab tseem muab lub peev xwm rau cov neeg siv zoo tib yam rub tawm ntawm qhov txuas ncaj qha. Txij li thaum ib txwm muaj ntau npaum li cas ntawm kev nco mus rau VDS, tus nqi xauj tsev uas tsis muaj ntau nyob rau hauv qhov project pob nyiaj los ntawm qeb "tsis muaj dab tsi ua", thiab los ntawm cov ntaub ntawv los ntawm kuv muaj VPS 400GB SSD, qhov twg, txawm tias kuv xav tau, kuv tsis tuaj yeem tso 1.5TB ntawm cov duab yam tsis muaj kev poob qis nws yuav ua tiav.

Thiab tom qab ntawd kuv nco qab tias yog tias kuv rho tawm cov khib nyiab los ntawm Google Drive, zoo li cov kev pab cuam uas tsuas yog khiav ntawm Windows XP, thiab lwm yam uas tau txav los ntawm ib lub cuab yeej mus rau lwm qhov txij li hnub uas Internet tsis ceev heev ntawm txhua qhov tsis txwv ( Piv txwv li, cov 10-20 versions ntawm lub thawv virtual tsis zoo li muaj nuj nqis uas tsis yog nostalgic), ces txhua yam yuav tsum haum zoo heev. Tsis tau hais sai dua li ua tiav. Thiab yog li ntawd, tawg los ntawm kev txwv ntawm tus naj npawb ntawm kev thov rau api (los ntawm txoj kev, kev txhawb nqa kev tsis muaj teeb meem tau nce quota ntawm kev thov rau ib tus neeg siv rau 100 hauv 10 vib nas this), cov ntaub ntawv sai sai ntws mus rau qhov chaw ntawm nws qhov kev xa tawm ntxiv. .

Txhua yam zoo li zoo, tab sis tam sim no nws yuav tsum tau xa mus rau tus neeg siv kawg. Ntxiv mus, tsis muaj redirects rau lwm yam kev pab, tab sis kom ib tug neeg tsuas nias lub "Download" khawm thiab dhau los ua tus tswv zoo siab ntawm cov ntaub ntawv muaj nqis.

Ntawm no, los ntawm Vajtswv, kuv tau mus rau txhua yam teeb meem. Thaum xub thawj nws yog ib tsab ntawv nyob rau hauv AmPHP, tab sis kuv tsis txaus siab rau lub load nws tsim (ib tug ntse dhia thaum pib mus rau 100% core noj). Tom qab ntawd lub curl wrapper rau ReactPHP tuaj rau hauv kev ua si, uas haum rau kuv qhov kev xav tau ntawm tus naj npawb ntawm CPU cycles noj, tab sis tsis muab qhov ceev ntawm txhua qhov kuv xav tau (nws tau muab tawm tias koj tuaj yeem txo qhov luv ntawm kev hu. curl_multi_select, tab sis tom qab ntawd peb muaj gluttony zoo ib yam li thawj qhov kev xaiv ). Kuv txawm sim sau cov kev pabcuam me me hauv Rust, thiab nws ua haujlwm sai heev (nws xav tsis thoob tias nws ua haujlwm, muab kuv txoj kev paub), tab sis kuv xav tau ntau dua, thiab nws nyuaj rau kho nws. Tsis tas li ntawd, tag nrho cov kev daws teeb meem no qee qhov txawv ntawm cov lus teb, thiab kuv xav taug qab lub sijhawm thaum cov ntaub ntawv rub tawm tau xaus nrog qhov tseeb tshaj plaws.

Feem ntau, nws tau crooked rau ib pliag, tab sis nws ua haujlwm. Txog rau ib hnub kuv tau los nrog ib lub tswv yim uas zoo kawg nkaus hauv nws qhov kev vwm: nginx, hauv txoj kev xav, tuaj yeem ua qhov kuv xav tau, ua haujlwm sai, thiab txawm tso cai rau txhua yam kev hloov pauv nrog kev teeb tsa. Peb yuav tsum sim - ua li cas yog nws ua haujlwm? Thiab tom qab ib nrab hnub ntawm kev tshawb nrhiav tsis tu ncua, kev daws teeb meem tau yug los uas tau ua haujlwm ruaj khov rau ob peb lub hlis thiab ua tau raws li txhua yam kuv xav tau.

Teeb tsa NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Ib luv luv version tsis muaj lus pom tuaj yeem pom hauv qab tus spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Peb tab tom sau ib tsab ntawv los tswj txhua qhov kev zoo siab no

Qhov piv txwv yuav nyob hauv PHP thiab txhob txwm sau nrog yam tsawg kawg nkaus ntawm cov khoom siv. Kuv xav tias txhua tus neeg uas muaj kev paub nrog lwm yam lus yuav tuaj yeem koom ua ke ntawm tshooj no siv kuv tus qauv.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Cov txiaj ntsim tau los

Feem ntau, txoj kev no ua rau nws yooj yim heev los npaj kev faib cov ntaub ntawv rau cov neeg siv los ntawm txhua qhov huab cia. Yog, txawm tias los ntawm telegram lossis VK, (muab tias cov ntaub ntawv loj tsis pub dhau qhov tso cai loj ntawm qhov chaw cia). Kuv muaj ib lub tswv yim zoo ib yam li qhov no, tab sis hmoov tsis kuv tuaj hla cov ntaub ntawv mus txog 2GB, thiab kuv tseem tsis tau pom ib txoj hauv kev los yog cov qauv rau gluing cov lus teb los ntawm cov dej ntws, thiab sau qee hom wrappers rau qhov project no tsis tsim nyog siv zog.

Ua tsaug rau koj mloog. Kuv vam tias kuv zaj dab neeg tsawg kawg yog qhov nthuav me ntsis lossis muaj txiaj ntsig rau koj.

Tau qhov twg los: www.hab.com