ការចែកចាយឯកសារពី Google Drive ដោយប្រើ nginx

សម័យបុរេប្រវត្តិសាស្ត្រ

វាទើបតែកើតឡើងដែលខ្ញុំត្រូវការផ្ទុកទិន្នន័យលើសពី 1.5 TB នៅកន្លែងណាមួយ ហើយថែមទាំងផ្តល់លទ្ធភាពដល់អ្នកប្រើប្រាស់ធម្មតាក្នុងការទាញយកវាតាមរយៈតំណផ្ទាល់។ ចាប់តាំងពីបរិមាណនៃអង្គចងចាំបែបនេះទៅ VDS ជាប្រពៃណី តម្លៃនៃការជួលដែលមិនមានច្រើននៅក្នុងថវិកាគម្រោងពីប្រភេទ "គ្មានអ្វីត្រូវធ្វើ" ហើយពីទិន្នន័យប្រភពខ្ញុំមាន VPS 400GB SSD ដែលសូម្បីតែខ្ញុំ ខ្ញុំចង់ ខ្ញុំមិនអាចដាក់រូបភាព 1.5TB ដោយគ្មានការបង្ហាប់ដោយគ្មានការបាត់បង់ទេ វានឹងជោគជ័យ។

ហើយបន្ទាប់មកខ្ញុំចាំថាប្រសិនបើខ្ញុំលុបសារឥតបានការពី Google Drive ដូចជាកម្មវិធីដែលនឹងដំណើរការតែលើ Windows XP និងរបស់ផ្សេងទៀតដែលបានផ្លាស់ប្តូរពីឧបករណ៍មួយទៅឧបករណ៍មួយទៀតចាប់តាំងពីថ្ងៃដែលអ៊ីនធឺណែតមិនលឿនទាល់តែសោះមិនកំណត់ ( ឧទាហរណ៍ កំណែ 10-20 នៃប្រអប់និម្មិត ទំនងជាមិនមានតម្លៃអ្វីក្រៅពីការនឹករលឹកទេ) បន្ទាប់មកអ្វីៗទាំងអស់គួរតែសមល្អណាស់។ មិនមែននិយាយលឿនជាងធ្វើទេ។ ដូច្នេះហើយ ការទម្លុះដែនកំណត់លើចំនួនសំណើទៅកាន់ api (ដោយវិធីនេះ ជំនួយបច្ចេកទេសដោយគ្មានបញ្ហាណាមួយបានបង្កើនកូតានៃសំណើសម្រាប់អ្នកប្រើប្រាស់ដល់ 100 ក្នុងរយៈពេល 10 វិនាទី) ទិន្នន័យបានហូរយ៉ាងលឿនទៅកាន់កន្លែងដាក់ពង្រាយបន្ថែមទៀតរបស់វា។ .

អ្វីៗហាក់បីដូចជាល្អ ប៉ុន្តែឥឡូវនេះវាត្រូវតែបញ្ជូនទៅកាន់អ្នកប្រើប្រាស់ចុងក្រោយ។ ជាងនេះទៅទៀត ដោយគ្មានការបញ្ជូនបន្តទៅកាន់ធនធានផ្សេងទៀត ប៉ុន្តែដើម្បីឱ្យមនុស្សម្នាក់គ្រាន់តែចុចប៊ូតុង "ទាញយក" ហើយក្លាយជាម្ចាស់ដ៏រីករាយនៃឯកសារដែលមានតម្លៃ។

នៅទីនេះ ដោយព្រះជាម្ចាស់ ខ្ញុំបានចូលទៅក្នុងបញ្ហាគ្រប់ប្រភេទ។ ដំបូងវាជាស្គ្រីបនៅក្នុង AmPHP ប៉ុន្តែខ្ញុំមិនពេញចិត្តនឹងបន្ទុកដែលវាបង្កើតទេ (ការលោតយ៉ាងខ្លាំងនៅពេលចាប់ផ្តើមរហូតដល់ 100% ស្នូលប្រើប្រាស់)។ បន្ទាប់មក curl wrapper សម្រាប់ ReactPHP បានចូលមកលេង ដែលសាកសមនឹងការចង់បានរបស់ខ្ញុំទាក់ទងនឹងចំនួននៃ CPU cycles ដែលប្រើប្រាស់ ប៉ុន្តែមិនបានផ្តល់ល្បឿនអ្វីទាំងអស់ដែលខ្ញុំចង់បាន (វាប្រែថាអ្នកអាចកាត់បន្ថយចន្លោះពេលនៃការហៅទូរសព្ទ។ curl_multi_select ប៉ុន្តែ​បន្ទាប់​មក​យើង​មាន​ភាព​ស្រពិចស្រពិល​ស្រដៀង​នឹង​ជម្រើស​ដំបូង​)។ ខ្ញុំថែមទាំងបានព្យាយាមសរសេរសេវាកម្មតូចមួយនៅក្នុង Rust ហើយវាដំណើរការលឿនណាស់ (វាគួរឱ្យភ្ញាក់ផ្អើលដែលវាដំណើរការដោយផ្តល់ចំណេះដឹងរបស់ខ្ញុំ) ប៉ុន្តែខ្ញុំចង់បានច្រើនជាងនេះ ហើយវាពិបាកក្នុងការប្ដូរតាមបំណង។ លើសពីនេះ ដំណោះស្រាយទាំងអស់នេះបានរារាំងការឆ្លើយតបយ៉ាងចម្លែក ហើយខ្ញុំចង់តាមដានពេលដែលការទាញយកឯកសារបានបញ្ចប់ជាមួយនឹងភាពត្រឹមត្រូវបំផុត។

ជាទូទៅ​វា​ត្រូវ​បាន​ច្រឹប​មួយ​រយៈ​ប៉ុន្តែ​វា​បាន​ផល។ រហូតមកដល់ថ្ងៃមួយ ខ្ញុំបានបង្កើតគំនិតមួយដែលគួរឱ្យកត់សម្គាល់នៅក្នុងភាពឆ្កួតរបស់វា៖ តាមទ្រឹស្តី nginx អាចធ្វើអ្វីដែលខ្ញុំចង់បាន ធ្វើការបានយ៉ាងឆាប់រហ័ស ហើយថែមទាំងអនុញ្ញាតឱ្យមានការបំប្លែងគ្រប់ប្រភេទជាមួយនឹងការកំណត់រចនាសម្ព័ន្ធ។ យើងត្រូវព្យាយាម - ចុះបើវាដំណើរការ? ហើយបន្ទាប់ពីពាក់កណ្តាលថ្ងៃនៃការស្វែងរកជាប់លាប់ ដំណោះស្រាយមួយបានកើតមក ដែលបានដំណើរការយ៉ាងមានស្ថេរភាពអស់រយៈពេលជាច្រើនខែ ហើយបានបំពេញតាមតម្រូវការរបស់ខ្ញុំទាំងអស់។

ការដំឡើង NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

កំណែខ្លីដោយគ្មានយោបល់អាចឃើញនៅក្រោម spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

យើងកំពុងសរសេរស្គ្រីបដើម្បីគ្រប់គ្រងសុភមង្គលទាំងអស់នេះ

ឧទាហរណ៍នឹងមាននៅក្នុង PHP ហើយសរសេរដោយចេតនាជាមួយនឹងកញ្ចប់អប្បបរមា។ ខ្ញុំគិតថានរណាម្នាក់ដែលមានបទពិសោធន៍ជាមួយភាសាផ្សេងទៀតនឹងអាចបញ្ចូលផ្នែកនេះដោយប្រើឧទាហរណ៍របស់ខ្ញុំ។

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

លទ្ធផល

ជាទូទៅ វិធីសាស្រ្តនេះធ្វើឱ្យមានភាពងាយស្រួលក្នុងការរៀបចំការចែកចាយឯកសារទៅកាន់អ្នកប្រើប្រាស់ពីកន្លែងផ្ទុកពពកណាមួយ។ បាទ/ចាស សូម្បីតែពីទូរលេខ ឬ VK ក៏ដោយ (ផ្តល់ថាទំហំឯកសារមិនលើសពីទំហំដែលអាចអនុញ្ញាតបាននៃទំហំផ្ទុកនេះ)។ ខ្ញុំមានគំនិតស្រដៀងនឹង នេះប៉ុន្តែជាអកុសល ខ្ញុំបានឆ្លងកាត់ឯកសាររហូតដល់ 2GB ហើយខ្ញុំមិនទាន់រកឃើញវិធីសាស្រ្ត ឬម៉ូឌុលសម្រាប់បិទភ្ជាប់ការឆ្លើយតបពីចរន្តទឹកនៅឡើយ ហើយការសរសេរប្រភេទរុំមួយចំនួនសម្រាប់គម្រោងនេះគឺពឹងផ្អែកខ្លាំងលើកម្លាំងពលកម្ម។

សូម​អរគុណ​ចំពោះ​ការ​យកចិត្ត​ទុកដាក់​របស់​លោកអ្នក។ ខ្ញុំសង្ឃឹមថារឿងរបស់ខ្ញុំយ៉ាងហោចណាស់គួរឱ្យចាប់អារម្មណ៍ឬមានប្រយោជន៍សម្រាប់អ្នក។

ប្រភព: www.habr.com