נתב Banana Pi R64 - דביאן, Wireguard, RKN

ה-Banana Pi 64 הוא מחשב בעל לוח בודד הדומה ל-Raspberry Pi, אך עם מספר יציאות Ethernet, מה שמאפשר להפוך אותו לנתב המבוסס על הפצת לינוקס לשימוש כללי.

כן, יש כבר Openwrt, אבל יש לו בעיות משלו, GUI ו-CLI שלו; יש Mikrotik, אבל שוב יש לו GUI/CLI משלו, ו-Wireguard לא עובד מהקופסה... באופן כללי, אני רוצה נתב עם הגדרות גמישות, תוך הישארות במסגרת של לינוקס רגילה, שבה אתה עובד עם כל יום.

במאמר תחת השמות BPI, R64, single-board, אני אתכוון לאותו דבר - ה-Banana Pi R64 single-board עצמו.

בחירת תמונה. הורד דרך eMMC

המיומנות הראשונה שאתה צריך לרכוש כשעובדים איתה SBC בכלל, ועם ה-R64 בפרט, זה אומר ללמוד לטעון לתוכו מערכת הפעלה ולהיות מסוגל ליצור איתה אינטראקציה, כי ל-R64 אין יציאה למסך (HDMI, למשל). כשהכל נפל - Wifi, Ethernet, בלוטות', USB וכו' הפסיקו לעבוד יש UART שדרך הממשק שלו תמיד אפשר לראות מה השתבש וגם להריץ כמה פקודות מהקונסולה אם צריך.

אלגוריתם לחיבור ל-R64 באמצעות USB-UART:

• אנו רצים לחנות חלקי הרדיו עבור כבל USB-UART (PL2303, Serial-to-USB)
• חבר קצה USB אחד למחשב, והשני, UART, ל-R64, עם שלושה חוטים מתוך ארבעה, כמו בתמונה למטה
• להפעיל בקונסולת המחשב sudo minicom

לאחר מכן, ברוב המקרים תופיע קונסולת הלוח היחיד = הצלחה.
תוכל לראות פרטים נוספים כאן.

לאחר מכן, הדרך הקלה ביותר היא לטעון את מערכת ההפעלה מכרטיס SD: הורד לפי קשר תמונה ומלא אותה:

unzip -p 2019-08-23-ubuntu-16.04-lite-preview-bpi-r64-sd-emmc.img.zip | pv | sudo dd of=/dev/mmcblk0 bs=10M status=noxfer

אנו מכניסים את הכרטיס לחריץ SD R64, מפעילים אותו וצופים בטעינת הקונסולה המחוברת תחילה ב-uboot, ולאחר מכן בטעינת לינוקס רגילה.

אפשרות אתחול חלופית היא שימוש בכרטיס 64Gb שכבר מובנה ב-R8, הנקרא eMMC. לפי ההוראות בויקי, אנו מעתיקים את התמונה למכשיר
/dev/mmcblk0 ל-BPI, הפעל מחדש, הסר את כרטיס ה-SD, הפעל שוב את BPI... וזה לא עובד. איך ללכת קדימה ואחורה Boot select אל תטרח.

העובדה היא שלפחות עבור BPI אתה צריך להגדיר דגל מיוחד כדי להיות מסוגל לאתחל מכונן הבזק פנימי:

root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x00]
root@bpi-r64:~# ./mmc bootpart enable 1 1 /dev/mmcblk1
root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x48]

לאחר מכן, עליך לכתוב טוען מראש למחיצת אתחול מיוחדת

root@bpi-r64:~# echo 0 > /sys/block/mmcblk0boot0/force_ro 
root@bpi-r64:~# dd if=preloader_evb7622_64_foremmc.bin of=/dev/mmcblk0boot0

היצרן R64 (סין) פרסם בינארי זה כאן. מה זה עושה לא ידוע (אין קודי מקור), אבל זה לא יעבוד גם בלעדיו.

באופן כללי, לאחר מכן, התמונות מתחילות להיטען מ-eMMC. אם אתה רוצה להבין את זה וליצור תמונות מאפס, אז בשני המקרים (SD/eMMC) אתה צריך לכתוב עוד כמה קבצים (טוען מראש לכרטיס SD, ATF, u-boot) רק כדי להגיע לטעינת הקרנל. הנושא הזה עדיין מתפתח, אבל אצלנו העיקר שזה עובד ובסדר.

עכשיו אני מוריד דרך eMMC, למען האמת, אני לא משתמש בזה, מספיק כרטיס SD, אבל ביליתי די הרבה זמן כדי שזה יפעל, אז תן לזה להיות במאמר.

בחירת מערכת הפעלה. ארמביאן

משימת היישום הראשונה היא להשיק VPN, כמובן Wireguard. מיד התגלה שבצד הגרעין הוא לא הורכב ולא היו כותרות. בניתי מחדש את הליבה, וכהרגלי עם x86, הרכבתי את מודול הליבה באמצעות DKMS. עם זאת, המהירות של בניית אפילו כלי עזר קטנים על arm64 הפתיעה אותי בצורה לא נעימה. ואז נדרש מודול קרנל נוסף וכו'. באופן כללי, מסתבר שכל מה שקשור לקרנל עדיף להרכיב על מחשב נייד x86 חם, ולאחר מכן להעביר ל-R64 על ידי העתקה פשוטה, הפעלה מחדש ובדיקה.

דבר נוסף הוא החלק של מרחב המשתמש. במקרה שלי של הבחירה בדביאן, הכל עבור ארכיטקטורת arm64 כבר נמצא ב-packages.debian.org ואין צורך לבנות שום דבר מחדש.

כדי לא לייצר עוד אופניים, אני מועבר ארמבית על BPI R64.
או ליתר דיוק, זה: החלק של מרחב המשתמש הוא Armbian, והקרנל נלקח מהמאגר כן-א. ניתן להוריד את התמונה העדכנית ביותר כאן.

כל הפעילות בפיתוח חלק התוכנה של R64 מתבצעת על פורום. באופן כללי, היצרן עצמו שואף להפוך את הנתב לפופולרי עבור Openwrt, אך הודות לפעילותו של המפתח פרנק מגרמניה, כל הפיצ'רים מגיעים במהירות בקרנל של דביאן. באופן מפתיע, פרנק פעיל בכל שרשור בפורום.

ארגון סביבת העבודה: חוטים

בנפרד, ברצוני לספר לכם כיצד במהלך פיתוח/בדיקה מניחים SBC (לא רק BPI) על שולחן כדי לא להפעיל אליו כבל Ethernet ממקור אינטרנט על פני כל החדר/משרד. העובדה היא שמצד אחד אתה צריך לספק את פיסת החומרה עם אינטרנט, אבל מצד שני, כל דבר ברכיב החומרה הזה יכול להתקלקל, וקודם כל Wifi.

ראשית, החלטתי לקנות "משרוקית" USB-Wifi זולה, לחבר אותה ליציאה היחידה ב-BPI ולשכוח מהחוטים. לשם כך רכשתי TP-LINK TL-WN725N USB 2.0 זול, אבל מהר מאוד התברר שהוא לא ימריא: כדי שהמשרוקית תעבוד, אתה צריך דרייבר גרעין, שכמובן לא היה שם (מאוחר יותר הרכבתי את הדרייבר הדרוש RTL8XXXU, אבל זה עדיין לא מעשי). וכבל ה-Ethernet קלקל את מראה החדר לזמן מה.

כתוצאה מכך, הצלחתי להיפטר מהכבל בעזרת Tenda MW3 (מערכת Wifi Mesh): פשוט הנחתי קובייה אחת מתחת לשולחן וחיברתי את ה-BPI ליציאת ה-LAN של האחרון עם כבל Ethernet באורך מטר. הַצלָחָה.

Wireguard, RKN, Bird

אחד הדברים שאני רוצה להשתמש עבורם ב-Banana PI הוא לקבל גישה חופשית לאתרים חסומים על ידי RKN, בפרט, כדי ששיחות טלגרם ו-Slack יוכלו לעבוד. מאמרים על Habré כבר הוצעו בנושא זה: זמן, два, שלוש.

פרסתי בדיוק את הפתרון הזה באמצעות Ansible: קשר.

ההנחה היא שה-VPS מריץ את אובונטו 18.04. בדקתי את הפונקציונליות בשני מארחים באירופה: אמזון ו-Digital Ocean.

אז, התקנו את Armbian לעיל על R64, זה נגיש דרך ssh תחת השם hm-bananapi-1 ויש לו גישה לאינטרנט. אנו פורסים באופן עקבי סקריפטים של Ansible, אוטומציה ומשיקים את ההתקנה עצמה ב-R64:

# зависимости для Debian-based дистрибутивов
$ sudo apt install --no-install-recommends python3-pip python3-setuptools python3-wheel git
$ which pip3
/usr/bin/pip3

# ansible с pybook, скриптование на Python
$ pip3 install https://github.com/muravjov/ansible/archive/ansible-2.10.0.dev0-pybook2019.tar.gz

$ export PATH=~/.local/bin:$PATH
$ which ansible-playbook
/home/sa/.local/bin/ansible-playbook

$ git clone https://github.com/muravjov/ansible-bpi-r64.git
$ cd ansible-bpi-r64

$ git submodule update --init

# убеждаемся в доступности hm-bananapi-1
$ ssh hm-bananapi-1 which python3
/usr/bin/python3

# собственно установка
$ ansible-playbook ./router.py -l hm-bananapi-1

לאחר מכן, עליך לפרוס את ה-VPN שלנו ל-VPS באותו אופן:

ansible-playbook ./router.py -l current-vpn

כאן הארגומנט הוא תמיד current-vpn, ושם ה-VPS בפועל מוגדר במשתנה (במקרה זה הוא paris-vpn-aws-t2-micro-1):

$ grep current_vpn group_vars/all 
current_vpn: paris-vpn-aws-t2-micro-1
#current_vpn: frankfurt-vpn-d0-starter-1

אה כן, לפני כל הפעולות האלה אתה צריך ליצור סודות (בפרט מפתחות Wireguard) לתוך התיקיה ./secrets, הספרייה אמורה להיראות כך.

אוטומציה Ansible ב- Python

ייתכן שתבחין שבמקום להיות בפורמט YAML, הפקודות של Ansible מקודדות בסקריפטים של Python. לשם השוואה, כיצד להפעיל את דמון הציפורים בדרך הרגילה:

- name: start bird
  systemd:
    name: bird
    state: started
    enabled: yes

ואיך לעשות את אותו הדבר דרך Python:

with mapping:
    append("name", "start bird")
    with mapping("systemd"):
        append("name",  "bird")
        append("state", "started")
        append("enabled", "yes")

כתיבת פקודות Ansible ב-Python מאפשרת לעשות שימוש חוזר בקוד, ובאופן כללי פותחת את כל האפשרויות של השפה התכליתית. לדוגמה, התקנת bird על R64 ו-VPS:

install_bird("router/bird.conf.j2")
install_bird("vpn/bird.conf.j2")

ראה את קוד הפונקציה install_bird().

תכונה זו נקראת pybook מוטמע כאן. אין עדיין תיעוד על pybook, אבל אני אתקן בעיה זו מאוחר יותר.

מה הוא חושב בְּמַעֲלֶה הַזֶרֶם בהזדמנות זו.

ניטור. פרומתאוס

סה"כ: טלגרם עובד, גם linkedin ו- pornhub, באופן כללי חווית המשתמש בסדר. אבל הכל יכול להישבר, כולל חומרה סינית.

גם עדכוני ליבה יכולים להיות מעניינים: לדוגמא, רציתי לעדכן את הגרעין 5.4 => 5.6, ובכן, Wireguard נמצא שם מחוץ לקופסה, אין צורך לבצע תיקון... לא מוקדם יותר מאשר נעשה: העברתי בקפידה את התיקונים מגרסה 5.4 ל-5.6, הליבה התחילה לפעול, המנהרה ל-VPS פנתה, אבל bird לא יכולה להתחבר לשגיאה "BGP Error"... "חזרתי באימה" (ג) ל-5.4; המעבר ל-5.6 נדחה ב-TODO.

לכן, בנוסף להתקנת הנתב וה-VPS, הוספתי ניטור (ב-x86 Ubuntu 18.04), המותקן על מארח נפרד עם הרכיבים הבאים:

• prometheus, alertmanager, blackbox_exporter - הכל ב-docker
• התראות נשלחות לערוץ הטלגרם באמצעות הבוט metalmatze/alertmanager-bot - גם ב-Docker
• tor עבור הבוט, כך שהבוט יוכל להתריע על מצבים כאשר יש אינטרנט, אבל טלגרם עדיין לא עובד, והבוט עצמו לא יכול להתחבר
• הוחל התראות: NodeVPNTroubles (ללא פינג ל-VPS), BirdVPNTroubles (ללא הפעלת Bird), AntifilterDownloadTroubles (שגיאה בטעינת כתובות IP חסומות), SiteTroubles (טלגרם לא זמין)
• התראות מערכת, למשל, HostGrowingDiskReadLatency (כרטיס SD זול הופך לבלתי קריא)

דוגמה להגדרת ניטור:

ansible-playbook ./monitoring.py -l monitoring-preprod

גילוי אוטומטי עבור Prometheus מוגדר בתיקייה /etc/prometheus/auto_http, דוגמה להוספת מארח לניטור (מארחים אינם מנוטרים כברירת מחדל):

bash << 'EOF'
HOSTNAME=hm-bananapi-1
IP_ADDRESS=`ssh -G $HOSTNAME | awk '/^hostname / { print $2 }'`

ssh monitoring-preprod sudo sponge /etc/prometheus/auto_http/$HOSTNAME.json << EOF2
[
  {
    "targets": ["$IP_ADDRESS:9100"],
    "labels": {
      "env": "prod",
      "hostname": "$HOSTNAME"
    }
  }
]
EOF2
EOF

TODO: 2 ספקים, 2 BPI, anycast failover

בנוסף להכל, תכננתי להתחבר לשני ספקים כדי שהאינטרנט ימשיך לעבוד, גם אם לספק אחד יש בעיות ברשת, או ששכחו לשלם על האינטרנט וכו' ועוד גורמים אנושיים.

מתוארת חווית המשתמש המתקדמת ביותר בנושא ריבוי וואן כאן עבור מערכת Mwan3 תחת Openwrt. לפתרון הזה יש פונקציונליות עשירה, אבל ההגדרה וההפעלה שלו באופן כללי עבור multi-wan היא די בעייתית. רק דוגמה אחת: אם אתה מגיע לאתרים מסוימים משתי כתובות IP בו-זמנית, ייתכן שהם לא יאהבו את זה, הם יפסיקו לעבוד => "האינטרנט לא עובד."

בהתחשב בניסיון הזה, החלטתי ש-multihoming עדיין לא בראש סדר העדיפויות, אלא רק כשל בכשל. אמנם, נראה שבגרסאות האחרונות של לינוקס הכל אמור לעבוד עם פקודה אחת כמו:

ip route add default 
    nexthop via 192.168.1.1 weight 10 
    nexthop via 192.168.2.1 weight 5

לכן, על מנת למנוע נקודת כשל בודדת, אנו לוקחים 2 BPIs, מחברים כל אחד לספק אחד, מחברים אותם זה לזה ויוצרים את החיבור אחד עם השני לניתוב דינמי באמצעות bird/OSPF.

לאחר מכן, אנו מפרסמים את אותה כתובת IP בכל אחת מהן אם השירות זמין (אינטרנט, DNS). כלומר, לא נגדיר את מסלול ברירת המחדל בעצמנו, אלא דרך bird. חיפשתי את הפתרון כאן .

הפונקציונליות הזו עדיין לא יושמה, וירוס הקורונה הערמומי שיחק כאן (לא הכל הגיע מאליאקספרס; חנות מקוונת אחרת, Layta, הבטיחה לספק תוך שבוע, אבל עבר יותר מחודש; לספק השני לא היה זמן להאריך את הכבל לפני ההסגר, רק הצליח להשיג חור במקדחה לתוך הקיר עבור הכבל).

כיצד להזמין R64

הלוח עצמו נמצא בחנות הרשמית SinoVoip.
עדיף גם להזמין מיד:

• תזונה + ליידע את תקן התקע באיחוד האירופי או בארה"ב
• גוף קירור: רדיאטורים/מאווררים; כי גם המעבד וגם שבב המתג מתחממים
• אנטנת wifi, לדוגמה

יש ניואנס - מחיר המשלוח הפך גבוה במידה מספקת בחנות הרשמית במשך זמן מה. המנהלת ג'ודי הואנג שכנעה אותי שאין שגיאה, ואתה יכול לבחור ePacket ב-$5, אבל ראיתי שלרוסיה יש רק EMS ב->33$. לא נעים, אבל לא קריטי. יתרה מכך, אם תבחר בכל מדינה אחרת למשלוח (עברתי בכל היבשות), המשלוח יעלה ~$5. רוסופובים?.. אבל אז גיליתי שלצרפת מחיר המשלוח הוא גם ~30$, ונרגעתי.

כתוצאה מכך, ג'ודי הציעה לבצע הזמנה, אך לא לשלם (לרמוז: שים פחות על הכרטיס כדי שהתשלום האוטומטי לא יעבור); כתבו לה והיא תוריד את מחיר המשלוח לשגרה. הַצלָחָה.

נושאים

עדיין לא הכל עובד בצורה מושלמת.

פרודוקטיביות

Ansible=פקודות Python מבוצעות באיטיות, אפילו בטלות, למשך 20-30 שניות; יותר בסדר גודל מאשר במחשב נייד x86. יתר על כן, בהתחלה הם מבוצעים די מהר, ~3 שניות, ואז הם מאטים בחדות. ייתכן שהסיבה לכך היא התחממות המעבד (מחסנת). גם לקוד ה-Go לוקח הרבה זמן לעבוד:

# запрос метрик для прометея из node_exporter на Go
$ time curl -s http://172.30.1.1:9100/metrics > /dev/null

real    0m6,118s
user    0m0,005s
sys     0m0,009s

# однако температура 51 градус, не так и много
sa@bananapir64:~$ cat /sys/devices/virtual/thermal/thermal_zone0/temp
51700

wifi

Wifi עובד, אבל בארמביאן זה מפסיק אחרי יום בערך, כותב:

sa@bananapir64:~$ dmesg | grep -E 'mt7622_wmac.*timeout'
[470303.802539] mt7622_wmac 18000000.wmac: Message 38 (seq 3) timeout
[470314.042508] mt7622_wmac 18000000.wmac: Message 50 (seq 4) timeout
...

רק הפעלה מחדש עוזרת. אנחנו צריכים להמשיך הלאה להבין.

Ethernet

Ethernet עובד, אבל לאחר ~64 שעות מנות (DHCP) מ-RXNUMX מפסיקות להגיע.
הפעלה מחדש של הממשק עוזרת:

ifdown br0; sleep 30; ifup br0

הדרייבר חדש, הוא עדיין לא התקבל לגרעין, אני מקווה שזה לנדן צ'או הסינית מסיים את זה.

מקור: www.habr.com