הפצת קבצים מ-Google Drive באמצעות nginx

פרהיסטוריה

קרה שהייתי צריך לאחסן יותר מ-1.5 TB של נתונים איפשהו, וגם לספק את היכולת למשתמשים רגילים להוריד אותם דרך קישור ישיר. מכיוון שבאופן מסורתי כמויות כאלה של זיכרון עוברות ל-VDS, עלות ההשכרה שאינה כלולה בתקציב הפרויקט מקטגוריית "אין מה לעשות", ומנתוני המקור היה לי VPS 400GB SSD, שבו, גם אם אני רציתי, לא יכולתי לשים 1.5TB של תמונות בלי דחיסה ללא אובדן זה יצליח.

ואז נזכרתי שאם אני מוחק זבל מגוגל דרייב, כמו תוכניות שירוצו רק ב-Windows XP, ועוד דברים שעוברים ממכשיר אחד למשנהו מאז הימים שבהם האינטרנט לא היה כל כך מהיר בכלל לא בלתי מוגבל ( לדוגמה, לא היה סביר ש-10-20 הגרסאות הללו של הקופסה הוירטואלית יהיו בעלי ערך אחר מלבד נוסטלגיה), אז הכל אמור להתאים היטב. לא מוקדם יותר מאשר נעשה. וכך, תוך פריצת מגבלת מספר הבקשות ל-API (אגב, תמיכה טכנית ללא בעיות הגדילה את מכסת הבקשות למשתמש ל-100 תוך 10 שניות), הנתונים זרמו במהירות למקום הפריסה הנוספת שלו. .

הכל נראה טוב, אבל עכשיו צריך להעביר את זה למשתמש הקצה. יתר על כן, ללא כל הפניות למשאבים אחרים, אלא כך שאדם פשוט לוחץ על כפתור "הורד" והופך לבעלים המאושר של הקובץ היקר.

כאן, אלוהים, נכנסתי לכל מיני צרות. בהתחלה זה היה סקריפט ב-AmPHP, אבל לא הייתי מרוצה מהעומס שהוא יצר (קפיצה חדה בהתחלה ל-100% צריכת ליבה). ואז נכנסה למשחק מעטפת התלתלים של ReactPHP, שדי התאימה לרצונות שלי מבחינת מספר מחזורי המעבד שנצרכו, אבל לא נתנה את המהירות בכלל מה שרציתי (התברר שאפשר פשוט לצמצם את מרווח ההתקשרות curl_multi_select, אבל אז יש לנו גרגרנות דומה לאפשרות הראשונה ). אפילו ניסיתי לכתוב שירות קטן ב-Rust, וזה עבד די מהר (מפתיע שזה עבד, בהתחשב בידע שלי), אבל רציתי יותר, ואיכשהו היה קשה להתאים אותו. בנוסף, כל הפתרונות האלה איכשהו חיגרו את התגובה בצורה מוזרה, ורציתי לעקוב אחר הרגע שבו הורדת הקובץ הסתיימה בדיוק הכי גדול.

באופן כללי, זה היה עקום לזמן מה, אבל זה עבד. עד שיום אחד הגעתי לרעיון מדהים בטירוף שלו: nginx, בתיאוריה, יכול לעשות מה שאני רוצה, לעבוד מהר, ואפילו לאפשר כל מיני סטיות עם קונפיגורציה. אנחנו חייבים לנסות - מה אם זה עובד? ואחרי חצי יום של חיפושים מתמידים, נולד פתרון שעבד ביציבות כבר כמה חודשים ועונה על כל הדרישות שלי.

הגדרת NGINX

# Первым делом создадим в конфигах нашего сайта отдельную локацию.
location ~* ^/google_drive/(.+)$ {

    # И закроем её от посторонних глаз (рук, ног и прочих частей тела).
    internal;

    # Ограничим пользователям скорость до разумных пределов (я за равноправие).
    limit_rate 1m;

    # А чтоб nginx мог найти сервера google drive укажем ему адрес резолвера.
    resolver 8.8.8.8;

    # Cоберем путь к нашему файлу (мы потом передадим его заголовками).
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;

    # А так же Content-Disposition заголовок, имя файла мы передадим опять же в заголовках.
    set $content_disposition 'attachment; filename="$upstream_http_filename"';

    # Запретим буфферизировать ответ на диск.
    proxy_max_temp_file_size 0;

    # И, что немаловажно, передадим заголовок с токеном (не знаю почему, но в заголовках из $http_upstream токен передать не получилось. Вернее передать получилось, но скорей всего его где-то нужно экранировать, потому что гугл отдает ошибку авторизации).
    proxy_set_header Authorization 'Bearer $1';

    # И все, осталось отправить запрос гуглу по ранее собранному нами адресу.
    proxy_pass $download_url;

    # А чтоб у пользователя при скачивании отобразилось правильное имя файла мы добавим соответствующий заголовок.
    add_header Content-Disposition $content_disposition;

    # Опционально можно поубирать ненужные нам заголовки от гугла.
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

גרסה קצרה ללא הערות ניתן לראות מתחת לספוילר

location ~* ^/google_drive/(.+)$ {
    internal;
    limit_rate 1m;
    resolver 8.8.8.8;
    
    set $download_url https://www.googleapis.com/drive/v3/files/$upstream_http_file_id?alt=media;
    set $content_disposition 'attachment; filename="$upstream_http_filename"';
    
    proxy_max_temp_file_size 0;
    proxy_set_header Authorization 'Bearer $1';
    proxy_pass $download_url;
    
    add_header Content-Disposition $content_disposition;
    
    proxy_hide_header Content-Disposition;
    proxy_hide_header Alt-Svc;
    proxy_hide_header Expires;
    proxy_hide_header Cache-Control;
    proxy_hide_header Vary;
    proxy_hide_header X-Goog-Hash;
    proxy_hide_header X-GUploader-UploadID;
}

אנחנו כותבים תסריט כדי לנהל את כל האושר הזה

הדוגמה תהיה ב-PHP וכתובה בכוונה עם מינימום ערכה. אני חושב שכל מי שיש לו ניסיון בכל שפה אחרת יוכל לשלב את הקטע הזה באמצעות הדוגמה שלי.

<?php

# Токен для Google Drive Api.
define('TOKEN', '*****');

# ID файла на гугл диске
$fileId = 'abcdefghijklmnopqrstuvwxyz1234567890';

# Опционально, но так как мы не передаем никаких данных - почему бы и нет?
http_response_code(204);

# Зададим заголовок c ID файла (в конфигах nginx мы потом получим его как $upstream_http_file_id).
header('File-Id: ' . $fileId);
# И заголовок с именем файла (соответственно $upstream_http_filename).
header('Filename: ' . 'test.zip');
# Внутренний редирект. А еще в адресе мы передадим токен, тот самый, что мы получаем из $1 в nginx.
header('X-Accel-Redirect: ' . rawurlencode('/google_drive/' . TOKEN));

תוצאות של

באופן כללי, שיטה זו מקלה למדי על ארגון הפצת הקבצים למשתמשים מכל אחסון בענן. כן, אפילו מטלגרם או VK, (בתנאי שגודל הקובץ לא חורג מהגודל המותר של אחסון זה). היה לי רעיון דומה לזה זה, אבל לצערי אני נתקל בקבצים של עד 2GB, ועדיין לא מצאתי שיטה או מודול להדבקת תגובות ממעלה הזרם, וכתיבת סוג של עטיפות עבור הפרויקט הזה דורשת עבודה בלתי סבירה.

תודה לך על תשומת הלב. אני מקווה שהסיפור שלי היה לפחות קצת מעניין או שימושי עבורך.

מקור: www.habr.com