הרפתקה ישר

כיצד Spotify יכולה לעזור לך ללמוד דמונים, RFCs, רשתות ולקדם קוד פתוח. או מה קורה אם אתה לא יכול לשלם, אבל אתה באמת רוצה כמה מוצרי פרימיום.

החל

ביום השלישי הבחינו שספוטיפיי מציגה פרסומות המבוססות על המדינה של כתובת ה-IP. עוד צוין כי בחלק מהמדינות לא יובא פרסום כלל. לדוגמה, ברפובליקה של בלארוס. ואז נרקמה תוכנית "מבריקה" להשבית פרסום בחשבון שאינו פרימיום.

קצת על Spotify

באופן כללי, לספוטיפיי יש מדיניות מוזרה. אחינו צריך להתפתל למדי כדי לקנות פרימיום: לשנות את המיקום בפרופיל שלו לחו"ל, לחפש כרטיס מתנה מתאים שאפשר לשלם עליו רק בפייפאל, שמתנהגת מוזר לאחרונה ורוצה שלל מסמכים. באופן כללי, זו גם הרפתקה, אבל בסדר אחר. למרות שרוב האנשים עושים זאת למען הגרסה הניידת, אני לא מעוניין בזה. לכן, כל מה למטה יעזור רק במקרה של גרסת שולחן העבודה. יתר על כן, לא תהיה הרחבה של פונקציות. פשוט חותך כמה מהנוספים.

למה זה כל כך מסובך?

וחשבתי כך כשרשמתי את נתוני הגרביים-פרוקסי בתצורת Spotify. התברר שהבעיה היא שאימות בגרביים באמצעות כניסה וסיסמא לא עובד. בנוסף, מפתחים עושים באופן קבוע משהו סביב ה-proxy: או מאפשרים אותו, ואז אוסרים אותו, או שוברים אותו, מה שמוביל לפאנלים שלמים של דיונים מחוץ לאתר.

הוחלט לא להסתמך על פונקציות לא יציבות ולמצוא משהו אמין ומעניין יותר.

איפשהו כאן הקורא חייב לשאול: למה לא לקחת ssh עם מפתח -D ובזה זה נגמר? ובכלל, הוא יהיה צודק. אבל ראשית, זה עדיין צריך לעבור דמוניזציה ולהתיידד עם autossh, כדי לא לחשוב על קשרים קרועים. ושנית: זה פשוט ומשעמם מדי.

בסדר

כרגיל, בואו נעבור משמאל לימין, מלמעלה למטה ונתאר את כל מה שאנחנו צריכים כדי ליישם את הרעיון ה"פשוט" שלנו.

ראשית אתה צריך פרוקסי

ויש הרבה אלטרנטיבות בבת אחת:

• אתה יכול פשוט ללכת ולקחת מרשימות פרוקסי פתוחות. זול (או ליתר דיוק לחינם), אבל לחלוטין לא אמין ואורך החיים של פרוקסי כאלה שואף לאפס. לכן, יהיה צורך למצוא/לכתוב מנתח לרשימות פרוקסי, לסנן אותן לפי הסוג והמדינה הרצויים, והשאלה של החלפת ה-proxy שנמצא בספוטיפיי נשארת פתוחה (טוב, אולי דרך HTTP_PROXY העבר וצור מעטפת מותאמת אישית עבור הבינארי כך שכל שאר התעבורה לא תישלח לשם).
• אתה יכול לקנות פרוקסי דומה ולהציל את עצמך מרוב הבעיות שתוארו לעיל. אבל במחיר של פרוקסי, אתה יכול מיד לקנות פרימיום בספוטיפיי, וזה לא מעשי למשימה המקורית.
• תעלה את שלך. כפי שבטח ניחשתם, זו הבחירה שלנו.

לגמרי במקרה עשוי להתברר שיש לך חבר עם שרת ברפובליקה של בלארוס או במדינה קטנה אחרת. אתה צריך להשתמש בזה ולהפעיל עליו את ה-proxy הרצוי. אניני טעם מיוחדים יכולים להסתפק בחבר עם נתב דולק DD-WRT או תוכנה דומה. אבל שם שלו עולם נפלא והעולם הזה בבירור לא מתאים למסגרת הסיפור הזה.

אז, האפשרויות שלנו: דיונון - לא מעורר השראה, ואני לא רוצה פרוקסי HTTP, כבר יש יותר מדי מהפרוטוקול הזה בסביבה. ובתחום SOCKS אין שום דבר הגיוני מלבד דנטה עדיין לא העבירו. לכן, בואו ניקח את זה.

אל תחכו למדריך של דנטה על התקנה והגדרה. הוא רק בגוגל ואינו מעניין במיוחד. בתצורה המינימלית אתה צריך לזרוק כל מיני client pass, socks pass, רשום נכון את הממשקים ואל תשכח להוסיף socksmethod: username. בטופס זה, לצורך אימות, ה-logopass יילקח ממשתמשי המערכת. והחלק על אבטחה: איסור גישה ל-localhost, הגבלת משתמשים וכו' - זה אינדיבידואלי בלבד, תלוי בפרנויה אישית.

פרוס פרוקסי הפונה לרשת

ההצגה בשתי מערכות.

מעשה ראשון

סידרנו את ה-proxy, כעת עלינו לגשת אליו מהאינטרנט העולמי. אם יש לך מכונה עם IP לבן במדינה הרצויה, אז אתה יכול לדלג בבטחה על נקודה זו. אין לנו אחד כזה (אנחנו, כאמור, מתארחים בבתי חברים) וה-IP הלבן הקרוב ביותר נמצא איפשהו בגרמניה, אז נלמד רשתות.

אז כן, הקורא הקשוב ישאל שוב: למה שלא תיקח לייק לשירות קיים נגרוק או דומה? והוא שוב יהיה צודק. אבל זה שירות, שוב צריך לעשות לו דמוניזציה, זה גם יכול לעלות כסף ובכלל זה לא ספורטיבי. לכן, ניצור אופניים מגרוטאות.

משימה: יש פרוקסי איפשהו הרחק מאחורי NAT, אתה צריך לתלות אותו באחת היציאות של VPS שיש לו IP לבן וממוקם בקצה העולם.

הגיוני להניח שניתן לפתור זאת גם על ידי העברת פורטים (אשר מיושם באמצעות האמור לעיל ssh), או על ידי שילוב חומרה לרשת וירטואלית באמצעות VPN. עם ssh אנחנו יודעים איך לעבוד, autossh זה משעמם לקחת, אז בואו ניקח את OpenVPN.

ל-DigitalOcean יש מנול נפלא בעניין זה. אין לי מה להוסיף על זה. ואת התצורה המתקבלת ניתן לחבר די בקלות עם לקוח OpenVPN ו systemd. פשוט תכניס את זה (config). /etc/openvpn/client/ ואל תשכח לשנות את ההרחבה ל .conf. לאחר מכן, משוך את השירות [email protected]אל תשכח לעשות את זה בשבילה enable ולשמוח שהכל עף.

כמובן, אנחנו צריכים להשבית כל ניתוב מחדש של תעבורה ל-VPN החדש שנוצר, מכיוון שאנחנו לא רוצים להפחית את המהירות במחשב הלקוח על ידי העברת תעבורה דרך חצי כדור.

וכן, אנחנו צריכים לרשום כתובת IP סטטית בשרת ה-VPN עבור הלקוח שלנו. זה יהיה נחוץ קצת בהמשך הסיפור. כדי לעשות זאת אתה צריך להפעיל ifconfig-pool-persist, ערוך ipp.txt, כלול ב-OpenVPN ואפשר ל-client-config-dir, בנוסף לערוך את התצורה של הלקוח הרצוי על ידי הוספת ifconfig-push עם המסכה הנכונה וכתובת ה-IP הרצויה.

מערכה שניה

כעת יש לנו מכונה ב"רשת" הפונה לאינטרנט וניתן להשתמש בה למטרות אנוכיות. כלומר, להפנות חלק מהתנועה דרכו.

אז, משימה חדשה: אתה צריך לכבות את התעבורה שמגיעה לאחת מיציאות ה-VPS עם IP לבן כדי שתעבורה זו תעבור לרשת הוירטואלית החדשה שחוברה והתגובה תוכל לחזור משם.

פתרון: כמובן iptables! מתי עוד תהיה לך הזדמנות כל כך נפלאה להתאמן איתו?

את התצורה הנדרשת ניתן למצוא די מהר, תוך שלוש שעות, מאה מילות קללות וקומץ עצבים מבוזבזים, כי איתור באגים ברשתות הוא הליך מאוד ספציפי.

ראשית, עליך לאפשר ניתוב תנועה בקרנל. לדבר הזה קוראים ipv4.ip_forward והוא מופעל מעט שונה בהתאם למערכת ההפעלה ולמנהל הרשת.

שנית, עליך לבחור יציאה ב-VPS ולעטוף את כל התעבורה העוברת אליו לתוך תת-רשת וירטואלית. ניתן לעשות זאת, למשל, כך:

iptables -t nat -A PREROUTING -p tcp -i eth0 --dport 8080 -j DNAT --to-destination 10.8.0.2:8080

כאן אנו מפנים את כל תעבורת ה-TCP שמגיעה ליציאה 8080 של הממשק החיצוני למכונה בעלת IP 10.8.0.2 ואותה יציאה 8080.

למי שרוצה את הפרטים המלוכלכים של העבודה netfilter, iptables וניתוב באופן כללי, זה הכרחי בהחלט להרהר זה או זה.

אז, עכשיו החבילות שלנו עפות לרשת המשנה הווירטואלית ו... הן נשארות שם. ליתר דיוק, התגובה מהפרוקסי של socks עפה חזרה דרך שער ברירת המחדל במכונה עם דנטה והנמען מפיל אותה, כי ברשתות לא נהוג לשלוח בקשה ל-IP אחד ולקבל תשובה מאחרת. לכן, אנחנו צריכים להמשיך להעלות על הדעת.

אז עכשיו אתה צריך להפנות את כל החבילות מהפרוקסי בחזרה לרשת המשנה הווירטואלית לכיוון ה-VPS עם IP לבן. כאן המצב קצת יותר גרוע, כי זה פשוט iptables לא יהיה לנו מספיק, כי אם נתקן את כתובת היעד לפני הניתוב (PREROUTING), אז החבילה שלנו לא תטוס לאינטרנט, ואם לא נתקן אותה, החבילה תעבור אל default gateway. אז, אתה צריך לעשות את הפעולות הבאות: לזכור את השרשרת mangle, על מנת לסמן מנות דרך iptables ולעטוף אותם בטבלת ניתוב מותאמת אישית שתשלח אותם לאן שהם צריכים ללכת.

לא מוקדם אמרו מאשר נעשה:

iptables -t mangle -A OUTPUT -p tcp --sport 8080 -j MARK --set-mark 0x80
ip rule add fwmark 0x80 table 80
ip route add default via 10.8.0.1 dev tun0 table 80

אנחנו לוקחים תעבורה יוצאת, מסמנים כל מה שטס מהפורט שעליו יושב ה-proxy (8080 במקרה שלנו), מפנים את כל התעבורה המסומנת לטבלת הניתוב עם מספר 80 (בכלל המספר לא תלוי בכלום, רק רצינו to) והוסיפו כלל בודד , לפיו כל החבילות הכלולות בטבלה זו עפות לרשת המשנה של VPN.

גדול! עכשיו החבילות עפות בחזרה לכיוון ה-VPS... ומתות שם. כי VPS לא יודע מה לעשות איתם. לכן, אם אתה לא טורח, אתה יכול פשוט להפנות את כל התעבורה שמגיעה מרשת המשנה הווירטואלית בחזרה לאינטרנט:

iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o eth0 -j SNAT --to-source 172.42.1.10

כאן, כל מה שמגיע מרשת המשנה 10.8.0.0 עם מסיכה של 255.255.255.000 עטוף במקור-NAT וטס לממשק ברירת המחדל, שמופנה לאינטרנט. חשוב לציין שהדבר הזה יעבוד רק אם נעביר בשקיפות את הפורט, כלומר, הפורט הנכנס ב-VPS מתאים לפורט של ה-proxy שלנו. אחרת תצטרך לסבול קצת יותר.

איפשהו עכשיו הכל אמור להתחיל לעבוד. ונשאר רק קצת: אל תשכח לוודא שכל ההגדרות iptables и route לא המשיך לאחר ההפעלה מחדש. ל iptables יש קבצים מיוחדים כמו /etc/iptables/rules.v4(במקרה של אובונטו), אבל לגבי מסלולים הכל קצת יותר מסובך. דחפתי אותם פנימה up/down סקריפטים של OpenVPN, למרות שאני חושב שאפשר היה לעשות אותם בצורה יותר הגונה.

עטוף תעבורה מהאפליקציה ב-proxy

אז, יש לנו פרוקסי עם אימות במדינה הרצויה, נגיש באמצעות כתובת IP לבנה סטטית. כל מה שנותר הוא להשתמש בו ולהפנות תנועה מ-Spotify לשם. אבל יש ניואנס, כפי שהוזכר לעיל, סיסמת הכניסה ל-proxy ב-Spotify לא עובדת, אז אנחנו נחפש איך לעקוף אותה.

בתור התחלה, בואו נזכור בערך פרוקסי. דברים נהדרים, אבל זה עולה כמו ספינת כוכבים (40 $). עם הכסף הזה אנחנו יכולים שוב לקנות פרימיום ולסיים עם זה. לכן, נחפש עוד אנלוגים חופשיים ופתוחים ב-Mac (כן, אנחנו רוצים להאזין למוזיקה ב-Mac). בואו לגלות כלי אחד שלם: proximac. ונלך לתקוע אותו בשמחה.

אבל השמחה תהיה קצרת מועד, כי מסתבר שאתה צריך להפעיל מצב ניפוי באגים והרחבות ליבה מותאמות אישית ב-MacOS, להגיש תצורה פשוטה ולהבין שלכלי הזה יש בדיוק את אותה בעיה כמו Spotify: הוא לא יכול לעבור אימות באמצעות כניסה-סיסמה על socks-proxy.

איפשהו כאן הגיע הזמן להתחרפן ולקנות פרימיום... אבל לא! בוא ננסה לבקש לתקן את זה, זה קוד פתוח! בא נעשה כַּרְטִיס. ובתגובה אנחנו מקבלים סיפור קורע לב על איך למתחזק היחיד כבר אין MacBook ולעזאזל עם זה, לא תיקון.

שוב נתעצבן. אבל אז נזכור את הנעורים שלנו ו-C, הפעל את מצב ניפוי הבאגים בדנטה, נחפור במאות קילובייטים של יומנים, עבור אל RFC1927 למידע על פרוטוקול SOCKS5, בואו נסתכל על Xcode ונמצא את הבעיה. מספיק לתקן תו אחד ברשימת קודי השיטה שהלקוח מציע לאימות והכל מתחיל לעבוד כמו שעון. אנחנו שמחים, אנחנו אוספים את השחרור הבינארי, אנחנו כן בקשה למשוך ואנחנו נכנסים לשקיעה והולכים לנקודה הבאה.

הפוך אותו לאוטומטי

ברגע ש-Proximac עובד, צריך לעשות דמוניזציה ולשכוח אותה. יש מערכת אתחול אחת שלמה שמתאימה לכך, שנמצאת ב-MacOS, כלומר השיקה.

אנחנו מוצאים את זה מהר מדריך ל ואנחנו מבינים שזה בכלל לא systemd והנה זה כמעט סקופ ו xml. אין הגדרות מפוארות עבורך, אין פקודות כמו status, restart, daemon-reload. סוג הארדקור בלבד start-stop, list-grep, unload-load ועוד הרבה מוזרויות. להתגבר על כל זה אנחנו כותבים plist, טוען. לא עובד. אנחנו לומדים את שיטת ניפוי השד, מנפים אותו, מבינים מה יש שם ENV אפילו PATH לא הספקנו את הרגיל, אנחנו טוענים, אנחנו מביאים אותו (מוסיף /sbin и /usr/local/bin) ולבסוף אנו מרוצים מההפעלה האוטומטית והפעולה היציבה.

לִנְשׁוֹף

מה התוצאה? שבוע של הרפתקאות, גן חיות כורע משירותים היקרים ללב ועושה את הנדרש ממנו. קצת ידע בתחומים טכניים מפוקפקים, קצת קוד פתוח וחיוך על הפנים מהמחשבה "עשיתי את זה!"

נ.ב: זו לא קריאה לחרם על בעלי הון, לחסכון בגפרורים או לערמומיות מוחלטת, אלא רק אינדיקציה לאפשרויות המחקר והפיתוח שבהן, באופן כללי, אתה לא מצפה להן.

מקור: www.habr.com