nginx ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਗੂਗਲ ਡਰਾਈਵ ਤੋਂ ਫਾਈਲਾਂ ਨੂੰ ਵੰਡਣਾ

prehistory

ਅਜਿਹਾ ਹੀ ਹੋਇਆ ਹੈ ਕਿ ਮੈਨੂੰ ਕਿਤੇ 1.5 TB ਤੋਂ ਵੱਧ ਡੇਟਾ ਸਟੋਰ ਕਰਨ ਦੀ ਲੋੜ ਸੀ, ਅਤੇ ਆਮ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਸਿੱਧੇ ਲਿੰਕ ਰਾਹੀਂ ਇਸਨੂੰ ਡਾਊਨਲੋਡ ਕਰਨ ਦੀ ਯੋਗਤਾ ਪ੍ਰਦਾਨ ਕਰਨ ਦੀ ਲੋੜ ਸੀ। ਕਿਉਂਕਿ ਰਵਾਇਤੀ ਤੌਰ 'ਤੇ ਮੈਮੋਰੀ ਦੀ ਅਜਿਹੀ ਮਾਤਰਾ ਵੀਡੀਐਸ ਨੂੰ ਜਾਂਦੀ ਹੈ, ਕਿਰਾਏ ਦੀ ਲਾਗਤ ਜੋ ਕਿ "ਕਰਨ ਲਈ ਕੁਝ ਨਹੀਂ" ਸ਼੍ਰੇਣੀ ਦੇ ਪ੍ਰੋਜੈਕਟ ਬਜਟ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਸ਼ਾਮਲ ਨਹੀਂ ਹੈ, ਅਤੇ ਸਰੋਤ ਡੇਟਾ ਤੋਂ ਮੇਰੇ ਕੋਲ ਇੱਕ VPS 400GB SSD ਸੀ, ਜਿੱਥੇ, ਭਾਵੇਂ ਮੈਂ ਚਾਹੁੰਦਾ ਸੀ, ਮੈਂ ਬਿਨਾਂ ਨੁਕਸਾਨ ਰਹਿਤ ਸੰਕੁਚਨ ਦੇ 1.5TB ਚਿੱਤਰ ਨਹੀਂ ਪਾ ਸਕਦਾ ਸੀ, ਇਹ ਸਫਲ ਹੋਵੇਗਾ.

ਅਤੇ ਫਿਰ ਮੈਨੂੰ ਯਾਦ ਆਇਆ ਕਿ ਜੇਕਰ ਮੈਂ ਗੂਗਲ ਡਰਾਈਵ ਤੋਂ ਜੰਕ ਨੂੰ ਮਿਟਾਉਂਦਾ ਹਾਂ, ਜਿਵੇਂ ਕਿ ਉਹ ਪ੍ਰੋਗਰਾਮ ਜੋ ਸਿਰਫ ਵਿੰਡੋਜ਼ ਐਕਸਪੀ 'ਤੇ ਚੱਲਣਗੇ, ਅਤੇ ਹੋਰ ਚੀਜ਼ਾਂ ਜੋ ਉਨ੍ਹਾਂ ਦਿਨਾਂ ਤੋਂ ਇੱਕ ਡਿਵਾਈਸ ਤੋਂ ਦੂਜੇ ਡਿਵਾਈਸ 'ਤੇ ਜਾ ਰਹੀਆਂ ਹਨ ਜਦੋਂ ਇੰਟਰਨੈਟ ਇੰਨਾ ਤੇਜ਼ ਨਹੀਂ ਸੀ ਬੇਅੰਤ ( ਉਦਾਹਰਨ ਲਈ, ਵਰਚੁਅਲ ਬਾਕਸ ਦੇ ਉਹ 10-20 ਸੰਸਕਰਣਾਂ ਵਿੱਚ ਨੋਸਟਾਲਜਿਕ ਤੋਂ ਇਲਾਵਾ ਹੋਰ ਕੋਈ ਮੁੱਲ ਹੋਣ ਦੀ ਸੰਭਾਵਨਾ ਨਹੀਂ ਸੀ), ਫਿਰ ਸਭ ਕੁਝ ਬਹੁਤ ਚੰਗੀ ਤਰ੍ਹਾਂ ਫਿੱਟ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਤੁਰੰਤ ਕਰਨਾ. ਅਤੇ ਇਸ ਲਈ, ਏਪੀਆਈ ਨੂੰ ਬੇਨਤੀਆਂ ਦੀ ਸੰਖਿਆ ਦੀ ਸੀਮਾ ਨੂੰ ਤੋੜਦੇ ਹੋਏ (ਜਿਵੇਂ ਕਿ, ਤਕਨੀਕੀ ਸਹਾਇਤਾ ਨੇ ਬਿਨਾਂ ਕਿਸੇ ਸਮੱਸਿਆ ਦੇ ਪ੍ਰਤੀ ਉਪਭੋਗਤਾ ਬੇਨਤੀਆਂ ਦਾ ਕੋਟਾ 100 ਸਕਿੰਟਾਂ ਵਿੱਚ 10 ਤੱਕ ਵਧਾ ਦਿੱਤਾ), ਡੇਟਾ ਤੇਜ਼ੀ ਨਾਲ ਇਸਦੀ ਅਗਲੀ ਤੈਨਾਤੀ ਦੇ ਸਥਾਨ ਤੇ ਪ੍ਰਵਾਹ ਕੀਤਾ ਗਿਆ। .

ਸਭ ਕੁਝ ਚੰਗਾ ਜਾਪਦਾ ਹੈ, ਪਰ ਹੁਣ ਇਸਨੂੰ ਅੰਤਮ ਉਪਭੋਗਤਾ ਤੱਕ ਪਹੁੰਚਾਉਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ. ਇਸ ਤੋਂ ਇਲਾਵਾ, ਬਿਨਾਂ ਕਿਸੇ ਹੋਰ ਸਰੋਤਾਂ ਨੂੰ ਰੀਡਾਇਰੈਕਟ ਕੀਤੇ, ਪਰ ਇਸ ਲਈ ਕਿ ਕੋਈ ਵਿਅਕਤੀ ਸਿਰਫ਼ "ਡਾਊਨਲੋਡ" ਬਟਨ ਨੂੰ ਦਬਾਵੇ ਅਤੇ ਖਜ਼ਾਨਚੀ ਫਾਈਲ ਦਾ ਖੁਸ਼ਹਾਲ ਮਾਲਕ ਬਣ ਜਾਵੇ।

ਇੱਥੇ, ਰੱਬ ਦੁਆਰਾ, ਮੈਂ ਹਰ ਤਰ੍ਹਾਂ ਦੇ ਦੁੱਖਾਂ ਵਿੱਚ ਗਿਆ. ਪਹਿਲਾਂ ਇਹ AmPHP ਵਿੱਚ ਇੱਕ ਸਕ੍ਰਿਪਟ ਸੀ, ਪਰ ਮੈਂ ਇਸ ਦੁਆਰਾ ਬਣਾਏ ਗਏ ਲੋਡ ਤੋਂ ਸੰਤੁਸ਼ਟ ਨਹੀਂ ਸੀ (ਸ਼ੁਰੂਆਤ ਵਿੱਚ 100% ਕੋਰ ਖਪਤ ਤੱਕ ਇੱਕ ਤਿੱਖੀ ਛਾਲ)। ਫਿਰ ReactPHP ਲਈ ਕਰਲ ਰੈਪਰ ਖੇਡ ਵਿੱਚ ਆਇਆ, ਜੋ ਕਿ ਖਪਤ ਕੀਤੇ CPU ਚੱਕਰਾਂ ਦੀ ਸੰਖਿਆ ਦੇ ਮਾਮਲੇ ਵਿੱਚ ਮੇਰੀਆਂ ਇੱਛਾਵਾਂ ਵਿੱਚ ਚੰਗੀ ਤਰ੍ਹਾਂ ਫਿੱਟ ਹੈ, ਪਰ ਉਹ ਗਤੀ ਨਹੀਂ ਦਿੱਤੀ ਜੋ ਮੈਂ ਚਾਹੁੰਦਾ ਸੀ (ਇਹ ਪਤਾ ਚਲਿਆ ਕਿ ਤੁਸੀਂ ਕਾਲਿੰਗ ਦੇ ਅੰਤਰਾਲ ਨੂੰ ਸਿਰਫ਼ ਘਟਾ ਸਕਦੇ ਹੋ. curl_multi_select, ਪਰ ਫਿਰ ਸਾਡੇ ਕੋਲ ਪਹਿਲੇ ਵਿਕਲਪ ਦੇ ਸਮਾਨ ਇੱਕ ਪੇਟੂ ਹੈ)। ਮੈਂ ਰਸਟ ਵਿੱਚ ਇੱਕ ਛੋਟੀ ਜਿਹੀ ਸੇਵਾ ਲਿਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਵੀ ਕੀਤੀ, ਅਤੇ ਇਸਨੇ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕੀਤਾ (ਇਹ ਹੈਰਾਨੀ ਦੀ ਗੱਲ ਹੈ ਕਿ ਇਸਨੇ ਕੰਮ ਕੀਤਾ, ਮੇਰੇ ਗਿਆਨ ਦੇ ਮੱਦੇਨਜ਼ਰ), ਪਰ ਮੈਂ ਹੋਰ ਚਾਹੁੰਦਾ ਸੀ, ਅਤੇ ਇਸਨੂੰ ਅਨੁਕੂਲਿਤ ਕਰਨਾ ਕਿਸੇ ਤਰ੍ਹਾਂ ਮੁਸ਼ਕਲ ਸੀ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇਹਨਾਂ ਸਾਰੇ ਹੱਲਾਂ ਨੇ ਕਿਸੇ ਤਰ੍ਹਾਂ ਅਜੀਬ ਤੌਰ 'ਤੇ ਜਵਾਬ ਨੂੰ ਬਫਰ ਕੀਤਾ, ਅਤੇ ਮੈਂ ਉਸ ਪਲ ਨੂੰ ਟਰੈਕ ਕਰਨਾ ਚਾਹੁੰਦਾ ਸੀ ਜਦੋਂ ਫਾਈਲ ਡਾਉਨਲੋਡ ਸਭ ਤੋਂ ਵੱਡੀ ਸ਼ੁੱਧਤਾ ਨਾਲ ਖਤਮ ਹੋਇਆ.

ਆਮ ਤੌਰ 'ਤੇ, ਇਹ ਕੁਝ ਸਮੇਂ ਲਈ ਟੇਢੀ ਸੀ, ਪਰ ਇਸ ਨੇ ਕੰਮ ਕੀਤਾ. ਇੱਕ ਦਿਨ ਤੱਕ ਮੈਂ ਇੱਕ ਵਿਚਾਰ ਲੈ ਕੇ ਆਇਆ ਜੋ ਇਸਦੇ ਪਾਗਲਪਨ ਵਿੱਚ ਕਮਾਲ ਦਾ ਸੀ: nginx, ਸਿਧਾਂਤ ਵਿੱਚ, ਉਹ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਮੈਂ ਚਾਹੁੰਦਾ ਹਾਂ, ਤੇਜ਼ੀ ਨਾਲ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਸੰਰਚਨਾ ਦੇ ਨਾਲ ਹਰ ਤਰ੍ਹਾਂ ਦੇ ਵਿਗਾੜ ਦੀ ਆਗਿਆ ਵੀ ਦਿੰਦਾ ਹੈ. ਸਾਨੂੰ ਕੋਸ਼ਿਸ਼ ਕਰਨੀ ਪਵੇਗੀ - ਜੇ ਇਹ ਕੰਮ ਕਰਦਾ ਹੈ ਤਾਂ ਕੀ ਹੋਵੇਗਾ? ਅਤੇ ਲਗਾਤਾਰ ਖੋਜ ਦੇ ਅੱਧੇ ਦਿਨ ਬਾਅਦ, ਇੱਕ ਹੱਲ ਪੈਦਾ ਹੋਇਆ ਜੋ ਕਈ ਮਹੀਨਿਆਂ ਤੋਂ ਸਥਿਰਤਾ ਨਾਲ ਕੰਮ ਕਰ ਰਿਹਾ ਸੀ ਅਤੇ ਮੇਰੀਆਂ ਸਾਰੀਆਂ ਜ਼ਰੂਰਤਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦਾ ਸੀ।

NGINX ਸੈੱਟਅੱਪ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

ਟਿੱਪਣੀਆਂ ਤੋਂ ਬਿਨਾਂ ਇੱਕ ਛੋਟਾ ਸੰਸਕਰਣ ਵਿਗਾੜਣ ਵਾਲੇ ਦੇ ਹੇਠਾਂ ਵੇਖਿਆ ਜਾ ਸਕਦਾ ਹੈ

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

ਇਸ ਸਾਰੀ ਖੁਸ਼ੀ ਨੂੰ ਸੰਭਾਲਣ ਲਈ ਅਸੀਂ ਇੱਕ ਸਕ੍ਰਿਪਟ ਲਿਖ ਰਹੇ ਹਾਂ

ਉਦਾਹਰਨ PHP ਵਿੱਚ ਹੋਵੇਗੀ ਅਤੇ ਜਾਣਬੁੱਝ ਕੇ ਘੱਟੋ-ਘੱਟ ਕਿੱਟ ਨਾਲ ਲਿਖੀ ਜਾਵੇਗੀ। ਮੈਨੂੰ ਲਗਦਾ ਹੈ ਕਿ ਕੋਈ ਵੀ ਜਿਸਨੂੰ ਕਿਸੇ ਹੋਰ ਭਾਸ਼ਾ ਦਾ ਅਨੁਭਵ ਹੈ ਉਹ ਮੇਰੀ ਉਦਾਹਰਣ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸ ਭਾਗ ਨੂੰ ਜੋੜਨ ਦੇ ਯੋਗ ਹੋਵੇਗਾ।

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

ਨਤੀਜੇ

ਆਮ ਤੌਰ 'ਤੇ, ਇਹ ਵਿਧੀ ਕਿਸੇ ਵੀ ਕਲਾਉਡ ਸਟੋਰੇਜ ਤੋਂ ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ ਫਾਈਲਾਂ ਦੀ ਵੰਡ ਨੂੰ ਸੰਗਠਿਤ ਕਰਨਾ ਕਾਫ਼ੀ ਆਸਾਨ ਬਣਾਉਂਦੀ ਹੈ। ਹਾਂ, ਟੈਲੀਗ੍ਰਾਮ ਜਾਂ VK ਤੋਂ ਵੀ, (ਬਸ਼ਰਤੇ ਕਿ ਫਾਈਲ ਦਾ ਆਕਾਰ ਇਸ ਸਟੋਰੇਜ ਦੇ ਮਨਜ਼ੂਰਸ਼ੁਦਾ ਆਕਾਰ ਤੋਂ ਵੱਧ ਨਾ ਹੋਵੇ)। ਮੇਰੇ ਕੋਲ ਵੀ ਇਸੇ ਤਰ੍ਹਾਂ ਦਾ ਵਿਚਾਰ ਸੀ ਇਹ, ਪਰ ਬਦਕਿਸਮਤੀ ਨਾਲ ਮੈਨੂੰ 2GB ਤੱਕ ਦੀਆਂ ਫਾਈਲਾਂ ਮਿਲਦੀਆਂ ਹਨ, ਅਤੇ ਮੈਨੂੰ ਅਜੇ ਤੱਕ ਅੱਪਸਟ੍ਰੀਮ ਤੋਂ ਜਵਾਬਾਂ ਨੂੰ ਗਲੂਇੰਗ ਕਰਨ ਲਈ ਕੋਈ ਵਿਧੀ ਜਾਂ ਮੋਡੀਊਲ ਨਹੀਂ ਮਿਲਿਆ ਹੈ, ਅਤੇ ਇਸ ਪ੍ਰੋਜੈਕਟ ਲਈ ਕਿਸੇ ਕਿਸਮ ਦੇ ਰੈਪਰ ਲਿਖਣਾ ਗੈਰ-ਵਾਜਬ ਤੌਰ 'ਤੇ ਮਿਹਨਤ-ਮੰਨ ਵਾਲਾ ਹੈ।

ਤੁਹਾਡੇ ਧਿਆਨ ਲਈ ਧੰਨਵਾਦ. ਮੈਨੂੰ ਉਮੀਦ ਹੈ ਕਿ ਮੇਰੀ ਕਹਾਣੀ ਤੁਹਾਡੇ ਲਈ ਘੱਟੋ ਘੱਟ ਥੋੜੀ ਦਿਲਚਸਪ ਜਾਂ ਉਪਯੋਗੀ ਸੀ.

ਸਰੋਤ: www.habr.com