Pamamahagi ng mga file mula sa Google Drive gamit ang nginx

prehistory

Nagkataon lang na kailangan kong mag-imbak ng higit sa 1.5 TB ng data sa isang lugar, at magbigay din ng kakayahan para sa mga ordinaryong user na i-download ito sa pamamagitan ng direktang link. Dahil ayon sa kaugalian ang mga naturang halaga ng memorya ay napupunta sa VDS, ang halaga ng pag-upa nito ay hindi masyadong kasama sa badyet ng isang proyekto mula sa kategoryang "walang gagawin", at mula sa pinagmulan ng data ay mayroon akong VPS 400GB SSD, kung saan, kahit na kung gusto ko, hindi ako makakapaglagay ng 1.5TB ng mga larawan nang walang lossless compression ito ay magtatagumpay.

At pagkatapos ay naalala ko na kung tatanggalin ko ang junk mula sa Google Drive, tulad ng mga program na tatakbo lamang sa Windows XP, at iba pang mga bagay na lumilipat mula sa media patungo sa media mula noong mga araw na ang Internet ay hindi masyadong mabilis at hindi walang limitasyon (para sa halimbawa, ang mga 10-20 na bersyon ng virtual na kahon ay malamang na walang anumang halaga maliban sa nostalhik), kung gayon ang lahat ay dapat magkasya nang maayos. Wala pang sinabi at tapos na. At kaya, ang paglagpas sa limitasyon sa bilang ng mga kahilingan sa API (nga pala, ang teknikal na suporta nang walang anumang problema ay tumaas ang quota ng mga kahilingan sa bawat user sa 100 sa loob ng 10 segundo), ang data ay mabilis na dumaloy sa lugar ng karagdagang pag-deploy nito .

Mukhang maganda ang lahat, ngunit ngayon ay kailangan itong iparating sa end user. Bukod dito, nang walang anumang pag-redirect sa iba pang mga mapagkukunan, ngunit upang ang isang tao ay pinindot lamang ang pindutang "I-download" at maging masayang may-ari ng treasured file.

Dito, sa pamamagitan ng Diyos, napunta ako sa lahat ng uri ng problema. Sa una ito ay isang script sa AmPHP, ngunit hindi ako nasiyahan sa pagkarga na nilikha nito (isang matalim na pagtalon sa simula hanggang sa 100% pangunahing pagkonsumo). Pagkatapos ay ang curl wrapper para sa ReactPHP ay naglaro, na medyo akma sa aking mga kagustuhan sa mga tuntunin ng bilang ng mga cycle ng CPU na natupok, ngunit hindi nagbigay ng bilis sa lahat ng gusto ko (napalabas na maaari mo lamang bawasan ang agwat para sa pagtawag curl_multi_select, ngunit pagkatapos ay mayroon kaming parehong katakawan bilang ang unang pagpipilian ). Sinubukan ko pang magsulat ng isang maliit na serbisyo sa Rust, at ito ay gumana nang mabilis (nakakagulat na ito ay gumana, dahil sa aking kaalaman), ngunit gusto ko ng higit pa, at kahit papaano ay mahirap i-customize ito. Bilang karagdagan, ang lahat ng mga solusyong ito sa paanuman ay kakaibang nag-buffer sa tugon, at gusto kong subaybayan ang sandali kung kailan natapos ang pag-download ng file nang may pinakamataas na katumpakan.

Sa pangkalahatan, ito ay baluktot nang ilang sandali, ngunit ito ay gumana. Hanggang sa isang araw ay nakaisip ako ng isang ideya na kapansin-pansin sa kabaliwan nito: ang nginx, sa teorya, ay maaaring gawin ang gusto ko, gumana nang mabilis, at kahit na pinapayagan ang lahat ng uri ng mga perversion na may pagsasaayos. Kailangan nating subukan - paano kung ito ay gumana? At pagkatapos ng kalahating araw ng patuloy na paghahanap, isang solusyon ang isinilang na gumagana nang matatag sa loob ng ilang buwan at natugunan ang lahat ng aking mga kinakailangan.

Pagse-set up ng NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Ang isang maikling bersyon na walang mga komento ay makikita sa ilalim ng spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Nagsusulat kami ng script para pamahalaan ang lahat ng kaligayahang ito

Ang halimbawa ay nasa PHP at sadyang nakasulat na may pinakamababang kit. Sa tingin ko ang sinumang may karanasan sa anumang iba pang wika ay magagawang isama ang seksyong ito gamit ang aking halimbawa.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Mga resulta ng

Sa pangkalahatan, pinadali ng pamamaraang ito ang pag-aayos ng pamamahagi ng mga file sa mga user mula sa anumang cloud storage. Oo, kahit na mula sa telegrama o VK, (sa kondisyon na ang laki ng file ay hindi lalampas sa pinahihintulutang laki ng imbakan na ito). Nagkaroon ako ng ideya na katulad ng ito, ngunit sa kasamaang-palad ay nakatagpo ako ng mga file na hanggang 2GB, at wala pa akong nakitang paraan o module para sa pag-gluing ng mga tugon mula sa upstream, at ang pagsulat ng ilang uri ng mga wrapper para sa proyektong ito ay hindi makatwirang labor-intensive.

Salamat sa iyong atensyon. Umaasa ako na ang aking kwento ay naging kawili-wili o kapaki-pakinabang sa iyo.

Pinagmulan: www.habr.com