ფაილების გავრცელება Google Drive-იდან nginx-ის გამოყენებით

წინაისტორია

ისე მოხდა, რომ დამჭირდა სადმე 1.5 ტბ-ზე მეტი მონაცემების შენახვა და ასევე ჩვეულებრივი მომხმარებლებისთვის მისი გადმოტვირთვის შესაძლებლობა პირდაპირი ლინკის საშუალებით. იმის გამო, რომ მეხსიერების ასეთი რაოდენობა ტრადიციულად მიდის VDS-ზე, დაქირავების ღირებულება, რომელიც არც თუ ისე დიდად შედის პროექტის ბიუჯეტში "არაფერია გასაკეთებელი" კატეგორიიდან, და წყაროს მონაცემებიდან მქონდა VPS 400 GB SSD, სადაც, თუნდაც მე. მინდოდა, 1.5 ტბ გამოსახულება ვერ დავდე უდანაკარგო შეკუმშვის გარეშე გამოვა.

შემდეგ გამახსენდა, რომ თუ წაშალე უსარგებლო Google Drive-იდან, როგორიცაა პროგრამები, რომლებიც მხოლოდ Windows XP-ზე იმუშავებს და სხვა რამ, რაც გადადიოდა ერთი მოწყობილობიდან მეორეზე იმ დროიდან, როდესაც ინტერნეტი არც ისე სწრაფი იყო, შეუზღუდავი ( მაგალითად, ვირტუალური ყუთის იმ 10-20 ვერსიას ნაკლებად სავარაუდოა, რომ რაიმე სხვა მნიშვნელობა ჰქონდეს, გარდა ნოსტალგიისა), მაშინ ყველაფერი ძალიან კარგად უნდა მოერგოს. ადრე არ არის ნათქვამი. ასე რომ, api-ზე მოთხოვნის რაოდენობის ლიმიტის გარღვევით (სხვათა შორის, ტექნიკურმა მხარდაჭერამ უპრობლემოდ გაზარდა თითო მომხმარებლის მოთხოვნის კვოტა 100-მდე 10 წამში), მონაცემები სწრაფად მიედინებოდა მისი შემდგომი განლაგების ადგილზე. .

როგორც ჩანს, ყველაფერი კარგია, მაგრამ ახლა საჭიროა საბოლოო მომხმარებლისთვის გადაცემა. უფრო მეტიც, სხვა რესურსებზე გადამისამართების გარეშე, მაგრამ ისე, რომ ადამიანი უბრალოდ დააჭიროს ღილაკს "ჩამოტვირთვა" და გახდეს ძვირფასი ფაილის ბედნიერი მფლობელი.

აი, ღმერთო, ყველანაირ უბედურებაში წავედი. თავიდან ეს იყო სკრიპტი AmPHP-ში, მაგრამ მე არ ვიყავი კმაყოფილი მის მიერ შექმნილი დატვირთვით (მკვეთრი ნახტომი დასაწყისში 100% ძირითადი მოხმარებამდე). შემდეგ ამოქმედდა ReactPHP-ის სახვევი, რომელიც საკმაოდ ჯდებოდა ჩემს სურვილებში მოხმარებული CPU ციკლების რაოდენობის თვალსაზრისით, მაგრამ საერთოდ არ აძლევდა სიჩქარეს რაც მინდოდა (აღმოჩნდა, რომ თქვენ შეგიძლიათ უბრალოდ შეამციროთ დარეკვის ინტერვალი curl_multi_select, მაგრამ შემდეგ გვაქვს პირველი ვარიანტის მსგავსი სიხარბე). მე კი ვცადე პატარა სერვისის დაწერა Rust-ში და საკმაოდ სწრაფად მუშაობდა (გასაკვირია, რომ მუშაობდა, ჩემი ცოდნის გათვალისწინებით), მაგრამ მეტი მინდოდა და რატომღაც რთული იყო მისი მორგება. გარდა ამისა, ყველა ეს გამოსავალი რატომღაც უცნაურად აფერხებდა პასუხს და მინდოდა თვალყური ადევნო იმ მომენტს, როდესაც ფაილის ჩამოტვირთვა დასრულდა უდიდესი სიზუსტით.

ზოგადად, ცოტა ხანი იკეცებოდა, მაგრამ მუშაობდა. სანამ ერთ მშვენიერ დღეს არ მომივიდა იდეა, რომელიც გამორჩეული იყო თავისი სიგიჟით: nginx-ს, თეორიულად, შეუძლია გააკეთოს ის, რაც მე მინდა, იმუშაოს სწრაფად და დაუშვას ყველა სახის გარყვნილება კონფიგურაციით. ჩვენ უნდა ვცადოთ - რა მოხდება, თუ ეს მუშაობს? და ნახევარი დღის დაჟინებული ძიების შემდეგ დაიბადა გამოსავალი, რომელიც რამდენიმე თვის განმავლობაში სტაბილურად მუშაობდა და აკმაყოფილებდა ჩემს ყველა მოთხოვნას.

NGINX-ის დაყენება

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

მოკლე ვერსია კომენტარების გარეშე შეგიძლიათ ნახოთ სპოილერის ქვეშ

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

ჩვენ ვწერთ სცენარს მთელი ამ ბედნიერების სამართავად

მაგალითი იქნება PHP-ში და შეგნებულად დაიწერება მინიმალური ნაკრებით. ვფიქრობ, ვისაც აქვს გამოცდილება სხვა ენაზე, შეძლებს ამ განყოფილების ინტეგრირებას ჩემი მაგალითის გამოყენებით.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

შედეგები

ზოგადად, ეს მეთოდი საკმაოდ აადვილებს ფაილების განაწილებას მომხმარებლებს ნებისმიერი ღრუბლოვანი საცავიდან. დიახ, თუნდაც ტელეგრამიდან ან VK-დან, (იმ პირობით, რომ ფაილის ზომა არ აღემატება ამ შენახვის დასაშვებ ზომას). მეც მქონდა მსგავსი იდეა ამ, მაგრამ სამწუხაროდ 2 გბ-მდე ფაილებს წავაწყდი და ჯერ ვერ ვიპოვე მეთოდი ან მოდული ზემო დინებიდან პასუხების დასაწებებლად და ამ პროექტისთვის რაიმე სახის შეფუთვის დაწერა უსაფუძვლოდ შრომატევადია.

Გმადლობთ ყურადღებისთვის. იმედი მაქვს, რომ ჩემი ისტორია ცოტათი მაინც საინტერესო ან სასარგებლო იყო თქვენთვის.

წყარო: www.habr.com