Pagpaambit sa mga file gikan sa Google Drive gamit ang nginx

sa naunang kasaysayan

Nahitabo lang nga kinahanglan nako nga magtipig labaw pa sa 1.5 TB nga datos sa usa ka lugar, ug maghatag usab katakus sa mga ordinaryong tiggamit nga i-download kini pinaagi sa usa ka direkta nga link. Tungod kay sa naandan ang ingon nga kantidad sa panumduman moadto sa VDS, ang gasto sa pag-abang nga wala kaayo gilakip sa badyet sa proyekto gikan sa kategorya nga "wala’y buhaton", ug gikan sa gigikanan nga datos adunay ako usa ka VPS 400GB SSD, diin, bisan kung ako gusto, dili ko makabutang og 1.5TB nga mga hulagway nga walay lossless compression kini molampos.

Ug unya nahinumdom ko nga kung akong tangtangon ang basura gikan sa Google Drive, sama sa mga programa nga magamit ra sa Windows XP, ug uban pang mga butang nga nagbalhinbalhin gikan sa usa ka aparato ngadto sa lain sukad sa mga adlaw nga ang Internet dili kaayo paspas ug dili limitado ( Pananglitan, kadtong 10-20 nga mga bersyon sa virtual nga kahon dili tingali adunay bisan unsang bili gawas sa nostalgic), nan ang tanan kinahanglan nga mohaum pag-ayo. Wala dayon gisulti kay nahuman. Ug busa, ang paglapas sa limitasyon sa gidaghanon sa mga hangyo sa api (sa paagi nga, ang teknikal nga suporta nga wala’y bisan unsang mga problema nagdugang sa quota sa mga hangyo matag tiggamit sa 100 sa 10 segundo), ang datos dali nga midagayday sa lugar sa dugang nga pag-deploy niini. .

Ang tanan ingon og maayo, apan karon kinahanglan nga ipahibalo sa katapusan nga tiggamit. Dugang pa, nga wala’y bisan unsang pag-redirect sa ubang mga kahinguhaan, apan aron ang usa ka tawo mopilit lang sa "Download" nga buton ug mahimong malipayon nga tag-iya sa gipakabahandi nga file.

Dinhi, pinaagi sa Dios, ako miadto sa tanang matang sa mga kasamok. Sa sinugdanan kini usa ka script sa AmPHP, apan wala ako matagbaw sa load nga nahimo niini (usa ka hait nga paglukso sa pagsugod ngadto sa 100% nga core consumption). Unya ang curl wrapper alang sa ReactPHP miapil sa pagdula, nga mohaum sa akong mga pangandoy sa mga termino sa gidaghanon sa mga siklo sa CPU nga nakonsumo, apan wala maghatag sa katulin sa tanan nga akong gusto (kini nahimo nga mahimo nimo nga makunhuran ang agwat sa pagtawag curl_multi_select, apan unya kita adunay usa ka gluttony susama sa unang kapilian). Gisulayan pa gani nako ang pagsulat sa usa ka gamay nga serbisyo sa Rust, ug kini dali nga nagtrabaho (kini katingad-an nga kini nagtrabaho, tungod sa akong kahibalo), apan gusto ko og dugang, ug kini lisud nga ipasibo kini. Dugang pa, kining tanan nga mga solusyon sa usa ka paagi katingad-an nga nag-buffer sa tubag, ug gusto nako nga masubay ang higayon kung kanus-a natapos ang pag-download sa file nga adunay labing kadaghan nga katukma.

Sa kinatibuk-an, kini hiwi sa makadiyot, apan kini nagtrabaho. Hangtud sa usa ka adlaw nakahunahuna ko og usa ka ideya nga talagsaon sa pagkabuang niini: ang nginx, sa teorya, makahimo sa akong gusto, makatrabaho dayon, ug gani tugotan ang tanang matang sa mga kahiwian nga adunay configuration. Kinahanglan natong sulayan - unsa kaha kung kini molihok? Ug pagkahuman sa tunga sa adlaw nga padayon nga pagpangita, usa ka solusyon ang natawo nga nagtrabaho nga lig-on sa daghang mga bulan ug nakab-ot ang tanan nakong mga kinahanglanon.

Pag-set up sa NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Ang usa ka mubo nga bersyon nga walay mga komento makita sa ilawom sa spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Nagsulat kami usa ka script aron madumala kining tanan nga kalipay

Ang pananglitan naa sa PHP ug gituyo nga gisulat nga adunay labing gamay nga kit. Sa akong hunahuna ang bisan kinsa nga adunay kasinatian sa bisan unsang ubang pinulongan makahimo sa pag-integrate niini nga seksyon gamit ang akong ehemplo.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Mga resulta

Sa kinatibuk-an, kini nga pamaagi nagpadali sa pag-organisar sa pag-apod-apod sa mga file sa mga tiggamit gikan sa bisan unsang pagtipig sa panganod. Oo, bisan gikan sa telegrama o VK, (basta ang gidak-on sa file dili molapas sa gitugotan nga gidak-on niini nga pagtipig). Naa koy ideya nga susama sa kini, apan sa kasubo nakit-an nako ang mga file hangtod sa 2GB, ug wala pa ako nakit-an nga pamaagi o module alang sa pag-gluing sa mga tubag gikan sa ibabaw, ug ang pagsulat sa usa ka matang sa mga wrapper alang niini nga proyekto dili makatarunganon nga kusog sa pagtrabaho.

Salamat sa imong pagtagad. Nanghinaut ko nga ang akong istorya bisan gamay nga makapaikag o mapuslanon kanimo.

Source: www.habr.com