Ka qaybinta faylasha Google Drive iyadoo la isticmaalayo nginx

prehistory

Waxa dhacday in aan u baahday in aan meel ku kaydiyo in ka badan 1.5 TB oo xog ah, oo aan sidoo kale siiyo awoodda isticmaalayaasha caadiga ah in ay ku soo dejiyaan xiriir toos ah. Maaddaama sida caadiga ah qadarka xusuusta ahi ay aado VDS, kharashka kiraynta oo aan aad loogu darin miisaaniyada mashruuca "wax la sameeyo" qaybta, iyo xogta isha waxaan haystay VPS 400GB SSD, halkaas oo, xitaa haddii aan Waxaan rabay, ma dhigi karo 1.5TB oo sawiro ah iyada oo aan la helin cadaadis aan khasaare lahayn way guulaysan doontaa.

Dabadeed waxaan xasuustay in haddii aan qashinka ka tirtiro Google Drive, sida barnaamijyada ku shaqayn doona Windows XP oo keliya, iyo waxyaabo kale oo ka soo wareegayay aaladda ilaa maalmihii aanu internetku aad u degdegsanayn haba yaraatee aan xad lahayn ( tusaale ahaan, noocyada 10-20 ee sanduuqa casriga ah uma badna inay yeeshaan qiimo aan ahayn nostalgic), markaa wax walba waa inay si fiican ugu habboon yihiin. Wax degdeg ah looma sheego. Oo sidaas daraaddeed, jebinta iyada oo loo marayo xadka tirada codsiyada ee api ah (sida, habka, taageero farsamo iyada oo aan wax dhibaato ah la kordhiyo kootada codsiyada user per 100 in 10 seconds), xogta si degdeg ah u qulqulay meesha ay sii dayn dheeraad ah. .

Wax walba waxay u muuqdaan inay wanaagsan yihiin, laakiin hadda waxay u baahan tahay in loo gudbiyo isticmaalaha ugu dambeeya. Intaa waxaa dheer, iyada oo aan loo wareejin kheyraadka kale, laakiin si qofku si fudud u riixo badhanka "Download" oo uu noqdo milkiilaha faraxsan ee faylka qaaliga ah.

Halkan, Illahay baan ku dhaartaye, waxaan galay dhibaato kasta. Markii hore waxay ahayd qoraal ku jira AmPHP, laakiin kuma qanacsanayn culayska ay abuurtay (boodboodka fiiqan ee bilawga ilaa 100% isticmaalka asaasiga ah). Kadib duubista curlka ee ReactPHP ayaa ciyaartay, taas oo ku habboon rabitaankayga marka loo eego tirada wareegyada CPU ee la isticmaalo, laakiin ma siin xawaaraha dhammaan wixii aan rabay (waxaa soo baxday inaad si fudud u yareyn karto muddada wicitaanka). curl_multi_select, laakiin markaa waxaanu leenahay hunguri weyn oo la mid ah ikhtiyaarka koowaad). Waxaan xitaa isku dayay inaan qoro adeeg yar oo Rust ah, waxayna si dhakhso ah u shaqeysay (waa la yaab in ay shaqeysay, iyada oo la siiyay aqoontayda), laakiin waxaan doonayay wax badan, oo waxay ahayd si uun adag tahay in la habeeyo. Intaa waxaa dheer, dhammaan xalalkan ayaa si qarsoodi ah u daboolay jawaabta, oo waxaan rabay inaan la socdo xilliga uu soo dejinta faylka ku dhammaaday saxnaanta ugu weyn.

Guud ahaan, in muddo ah, way qalloocday, laakiin way shaqeysay. Ilaa hal maalin ayaan la yimid fikrad cajiib ah oo waalan: nginx, aragti ahaan, waxay sameyn kartaa waxa aan rabo, si dhakhso ah u shaqeeyo, xitaa u oggolow dhammaan noocyada qalloocyada leh qaabeynta. Waa inaan isku daynaa - maxaa dhacaya haddii ay shaqeyso? Kadib nus-maalin baaritaan joogto ah, waxaa dhashay xal si deggan u shaqeynayay dhowr bilood oo buuxiyey dhammaan shuruudahayga.

Dejinta NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Nooc gaaban oo aan faallooyin lahayn ayaa laga arki karaa qaswada hoosteeda

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Waxaan qoraynaa qoraal si aan u maareyno farxaddan oo dhan

Tusaalaha wuxuu ahaan doonaa PHP oo si ula kac ah loogu qori doonaa ugu yaraan qalafsanaan. Waxaan u maleynayaa in qof kasta oo khibrad u leh luqad kale uu awoodi doono inuu isku daro qaybtan isagoo isticmaalaya tusaalahayga.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Natiijooyinka

Guud ahaan, habkani wuxuu ka dhigayaa mid aad u fudud in la abaabulo qaybinta faylasha isticmaalayaasha kaydinta daruur kasta. Haa, xitaa telegram ama VK, (waa haddii cabbirka faylka uusan ka badnayn cabbirka la oggol yahay ee kaydintan). Waxaan lahaa fikrad la mid ah tan, laakiin nasiib daro waxaan la kulmay faylal gaaraya ilaa 2GB, walina ma helin hab ama moduleka lagu dhejiyo jawaabaha korka, iyo qorista nooc ka mid ah duubista mashruucan waa mid aan macquul ahayn oo xoog leh.

Waad ku mahadsan tahay dareenkaaga. Waxaan rajeynayaa in sheekadeyda ay ugu yaraan wax yar oo xiiso leh ama waxtar kuu lahayd.

Source: www.habr.com