Kugovera mafaera kubva kuGoogle Drive uchishandisa nginx

prehistory

Zvakazoitika kuti ini ndaida kuchengetedza kupfuura 1.5 TB yedata kumwe kunhu, uye nekupawo kugona kwevashandisiwo zvavo kuidhawunirodha kuburikidza neyakananga link. Sezvo pachinyakare huwandu hwakadai hwekurangarira hunoenda kuVDS, mari yekurenda iyo isinganyanyi kusanganisirwa mubhajeti repurojekiti kubva kuchikamu che "hapana chekuita", uye kubva kune data data ndaive neVPS 400GB SSD, uko, kunyangwe ini ndaida, handina kukwanisa kuisa 1.5TB yemifananidzo isina kurasikirwa isingarasikirwe ichabudirira.

Uye ipapo ndakarangarira kuti kana ndikadzima junk kubva kuGoogle Drive, senge zvirongwa zvinongoshanda paWindows XP, uye zvimwe zvinhu zvanga zvichifamba kubva kune imwe mudziyo kuenda kune imwe kubva mazuva apo iyo Internet yakanga isinga kurumidze zvachose. semuenzaniso, idzo 10-20 shanduro dzeiyo virtual bhokisi dzaisambove nechero kukosha kunze kwenostalgic), saka zvese zvinofanirwa kukwana zvakanyanya. Hapana kupera nguva. Uye saka, kutyora muganho wehuwandu hwezvikumbiro kune api (nenzira, rutsigiro rwehunyanzvi pasina matambudziko rwakawedzera quota yezvikumbiro pamushandisi kune gumi mumasekondi zana), iyo data yakakurumidza kuyerera ichienda kunzvimbo yekumwe kutumirwa kwayo. .

Zvese zvinoita sezvakanaka, asi zvino zvinoda kuendeswa kune yekupedzisira mushandisi. Uyezve, pasina kudzoserwa kune zvimwe zviwanikwa, asi kuti munhu anongodzvanya bhatani re "Download" uye ave muridzi anofara wefaira rakakosheswa.

Apa Mwari ndakapinda mumatambudziko. Pakutanga yaive script muAmPHP, asi ini handina kugutsikana nemutoro wayakagadzira (kusvetuka kwakapinza pakutanga kusvika ku100% core consumption). Ipapo iyo curl wrapper yeReactPHP yakatanga kutamba, iyo inonyatsoenderana nezvishuwo zvangu maererano nehuwandu hweCPU mitsetse inodyiwa, asi haina kupa kumhanya zvachose zvandaida (zvakazoitika kuti unogona kungoderedza nguva yekufona. curl_multi_select, asi isu tine gluttony yakafanana neyekutanga sarudzo ). Ndakatomboedza kunyora sevhisi diki muRust, uye yakashanda nekukurumidza (zvinoshamisa kuti yakashanda, yakapihwa ruzivo rwangu), asi ndaida zvimwe, uye neimwe nzira yaive yakaoma kuigadzirisa. Pamusoro pezvo, zvese izvi zvigadziriso neimwe nzira zvakakanganisa mhinduro, uye ini ndaida kuteedzera nguva iyo iyo faira yekurodha yakapera nekurongeka kukuru.

Kazhinji, yakanga yakakombama kwechinguva, asi yakashanda. Kusvikira rimwe zuva ndauya nepfungwa yaishamisa mukupenga kwayo: nginx, mune dzidziso, inokwanisa kuita zvandinoda, kushanda nekukurumidza, uye kunyange kubvumira marudzi ese ekutsveyama nekugadzirisa. Tinofanira kuedza - ko kana ikashanda? Uye mushure mehafu yezuva rekutsvaga kutsvaga, mhinduro yakazvarwa iyo yakanga ichishanda zvakasimba kwemwedzi inoverengeka uye yakazadzisa zvose zvandinoda.

Kugadzira NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Shanduro pfupi isina mhinduro inogona kuonekwa pasi pemuparadzi

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Tiri kunyora script kuti titarise mufaro uyu wese

Muenzaniso unenge uri muPHP uye wakanyorwa nemaune uine hushoma hwekiti. Ndinofunga kuti chero munhu ane ruzivo rwemumwe mutauro achakwanisa kubatanidza chikamu ichi achishandisa muenzaniso wangu.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Migumisiro

Kazhinji, nzira iyi inoita kuti zvive nyore kuronga kugoverwa kwemafaira kune vashandisi kubva kune chero kuchengetedza kwegore. Hongu, kunyange kubva pateregiramu kana VK, (chero bedzi saizi yefaira isingapfuure saizi inobvumidzwa yekuchengetera iyi). Ndakava nemafungiro akafanana ne izvi, asi zvinosuruvarisa kuti ndinosangana nemafaira anosvika ku2GB, uye handisati ndawana nzira kana module yemhinduro dzegluing kubva kumusoro, uye kunyora mamwe marudzi ekuputira epurojekiti iyi ibasa risinganzwisisike.

Ndinokutendai nekuteerera kwenyu. Ndinovimba kuti nyaya yangu yanga ichinakidza kana kubatsira kwauri.

Source: www.habr.com