Mengedarkan fail daripada Google Drive menggunakan nginx

prasejarah

Kebetulan saya perlu menyimpan lebih daripada 1.5 TB data di suatu tempat, dan juga menyediakan keupayaan untuk pengguna biasa memuat turunnya melalui pautan terus. Oleh kerana secara tradisinya jumlah memori seperti itu pergi ke VDS, kos penyewaan yang tidak begitu banyak termasuk dalam belanjawan projek dari kategori "tiada untuk dilakukan", dan dari data sumber saya mempunyai VPS 400GB SSD, di mana, walaupun saya mahu, saya tidak boleh meletakkan 1.5TB imej tanpa pemampatan tanpa kehilangan ia akan berjaya.

Dan kemudian saya teringat bahawa jika saya memadamkan sampah dari Google Drive, seperti program yang hanya akan dijalankan pada Windows XP, dan perkara lain yang telah berpindah dari satu peranti ke peranti lain sejak zaman Internet tidak begitu pantas sama sekali tidak terhad ( sebagai contoh, 10-20 versi kotak maya itu tidak mungkin mempunyai sebarang nilai selain daripada nostalgia), maka semuanya harus sesuai dengan baik. Tidak lebih awal berkata daripada selesai. Oleh itu, dengan menerobos had bilangan permintaan kepada api (dengan cara itu, sokongan teknikal tanpa sebarang masalah meningkatkan kuota permintaan setiap pengguna kepada 100 dalam 10 saat), data dengan cepat mengalir ke tempat penggunaan selanjutnya .

Semuanya nampak baik, tetapi kini ia perlu disampaikan kepada pengguna akhir. Lebih-lebih lagi, tanpa sebarang ubah hala ke sumber lain, tetapi supaya seseorang hanya menekan butang "Muat turun" dan menjadi pemilik gembira fail yang berharga itu.

Di sini, demi Tuhan, saya mengalami pelbagai masalah. Pada mulanya ia adalah skrip dalam AmPHP, tetapi saya tidak berpuas hati dengan beban yang dibuatnya (lonjakan mendadak pada permulaan kepada penggunaan teras 100%). Kemudian pembungkus curl untuk ReactPHP dimainkan, yang agak sesuai dengan kehendak saya dari segi bilangan kitaran CPU yang digunakan, tetapi tidak memberikan kelajuan sama sekali apa yang saya mahukan (ternyata anda hanya boleh mengurangkan selang panggilan curl_multi_select, tetapi kemudian kita mempunyai kerakusan yang serupa dengan pilihan pertama ). Saya juga cuba menulis perkhidmatan kecil dalam Rust, dan ia berfungsi dengan cepat (mengejutkan bahawa ia berfungsi, berdasarkan pengetahuan saya), tetapi saya mahukan lebih banyak lagi, dan entah bagaimana sukar untuk menyesuaikannya. Di samping itu, semua penyelesaian ini entah bagaimana peliknya menimbal tindak balas, dan saya ingin menjejaki saat apabila muat turun fail berakhir dengan ketepatan yang paling tinggi.

Secara umum, ia bengkok untuk seketika, tetapi ia berfungsi. Sehingga suatu hari saya mendapat idea yang luar biasa dalam kegilaannya: nginx, secara teori, boleh melakukan apa yang saya mahu, bekerja dengan cepat, dan juga membenarkan semua jenis penyelewengan dengan konfigurasi. Kita perlu mencuba - bagaimana jika ia berkesan? Dan selepas setengah hari pencarian yang berterusan, penyelesaian telah lahir yang telah berfungsi dengan stabil selama beberapa bulan dan memenuhi semua keperluan saya.

Menyediakan NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Versi pendek tanpa komen boleh dilihat di bawah spoiler

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

Kami sedang menulis skrip untuk menguruskan semua kebahagiaan ini

Contoh akan dalam PHP dan sengaja ditulis dengan kit minimum. Saya rasa sesiapa yang mempunyai pengalaman dengan mana-mana bahasa lain akan dapat mengintegrasikan bahagian ini menggunakan contoh saya.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

Keputusan

Secara umum, kaedah ini menjadikannya agak mudah untuk mengatur pengedaran fail kepada pengguna dari mana-mana storan awan. Ya, walaupun dari telegram atau VK, (dengan syarat saiz fail tidak melebihi saiz storan yang dibenarkan). Saya mempunyai idea yang serupa dengan ini, tetapi malangnya saya menjumpai fail sehingga 2GB, dan saya masih belum menemui kaedah atau modul untuk melekatkan respons dari huluan, dan menulis beberapa jenis pembungkus untuk projek ini adalah tidak munasabah intensif buruh.

Terima kasih kerana memberi perhatian. Saya harap cerita saya sekurang-kurangnya menarik atau berguna kepada anda.

Sumber: www.habr.com