🥇 बनाना पाय आर६४ राउटर — Debian, Wireguard, आरकेएन

Banana Pi 64 हा Raspberry Pi सारखाच एकल-बोर्ड संगणक आहे, परंतु अनेक इथरनेट पोर्टसह, जे सामान्य-उद्देश लिनक्स वितरणावर आधारित राउटरमध्ये बदलणे शक्य करते.

हो, ओपनडब्लूआरटी (Openwrt) आहे, पण त्याची स्वतःची काही वैशिष्ट्ये, स्वतःचा जीयूआय (GUI) आणि सीएलआय (CLI) आहे; मायक्रोटिक (Mikrotik) आहे, पण त्याचाही स्वतःचा जीयूआय/सीएलआय आहे, आणि Wireguard ते थेट वापरता येत नाही... थोडक्यात, मला एक असा राउटर हवा आहे ज्यामध्ये लवचिक सेटिंग्ज असतील आणि जो मी दररोज वापरत असलेल्या मानक लिनक्सच्या चौकटीतच राहील.

बीपीआय, आर 64, सिंगल-बोर्ड नावांखालील लेखात, माझा अर्थ एकच असेल - केळी पी आर 64 सिंगल-बोर्ड स्वतः.

प्रतिमा निवडत आहे. eMMC द्वारे डाउनलोड करा

काम करताना तुम्हाला प्रथम कौशल्य प्राप्त करणे आवश्यक आहे एसबीसी सर्वसाधारणपणे, आणि विशेषतः R64 सह, याचा अर्थ त्यात ऑपरेटिंग सिस्टम कशी लोड करायची हे शिकणे आणि त्याच्याशी संवाद साधण्यास सक्षम असणे, कारण R64 मध्ये मॉनिटरसाठी पोर्ट नाही (उदाहरणार्थ HDMI). जेव्हा सर्वकाही बंद होते - वायफाय, इथरनेट, ब्लूटूथ, यूएसबी, इत्यादींनी कार्य करणे थांबवले. एक यूएआरटी आहे, ज्याच्या इंटरफेसद्वारे आपण नेहमी काय चूक झाली ते पाहू शकता आणि आवश्यक असल्यास, कन्सोलमधून दोन कमांड देखील चालवू शकता.

USB-UART द्वारे R64 शी कनेक्ट करण्यासाठी अल्गोरिदम:

आम्ही USB-UART केबल (PL2303, Serial-to-USB) साठी रेडिओ पार्ट्सच्या दुकानात धावतो.
खाली दिलेल्या चित्राप्रमाणे चारपैकी तीन वायरसह एक USB टोक संगणकाला आणि दुसरा UART ला R64 ला जोडा
संगणक कन्सोलमध्ये चालवा sudo minicom

यानंतर, बहुतेक प्रकरणांमध्ये सिंगल-बोर्ड कन्सोल दिसेल = यश.
तुम्ही अधिक तपशील पाहू शकता येथे.

पुढे, SD कार्डवरून ऑपरेटिंग सिस्टम लोड करण्याचा सर्वात सोपा मार्ग आहे: द्वारे डाउनलोड करा दुवा प्रतिमा आणि भरा:

unzip -p 2019-08-23-ubuntu-16.04-lite-preview-bpi-r64-sd-emmc.img.zip | pv | sudo dd of=/dev/mmcblk0 bs=10M status=noxfer

आम्ही कार्ड R64 SD स्लॉटमध्ये घालतो, ते चालू करतो आणि कनेक्ट केलेले कन्सोल लोडिंग प्रथम uboot, नंतर मानक Linux लोडिंगचे निरीक्षण करतो.

पर्यायी बूट पर्याय R64 मध्ये आधीपासून तयार केलेले 8Gb कार्ड वापरत आहे, ज्याला eMMC म्हणतात. विकीमधील सूचनांनुसार, आम्ही प्रतिमा डिव्हाइसवर कॉपी करतो
/dev/mmcblk0 वर BPI, रीबूट करा, SD कार्ड काढा, BPI पुन्हा चालू करा... आणि ते कार्य करत नाही. पुढे मागे कसे जायचे Boot select त्रास देऊ नका.

वस्तुस्थिती अशी आहे की किमान बीपीआयसाठी तुम्हाला अंतर्गत फ्लॅश ड्राइव्हवरून बूट करण्यास सक्षम होण्यासाठी एक विशेष ध्वज सेट करणे आवश्यक आहे:

root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x00]
root@bpi-r64:~# ./mmc bootpart enable 1 1 /dev/mmcblk1
root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x48]

पुढे, तुम्हाला विशेष बूट विभाजनामध्ये प्रीलोडर लिहिणे आवश्यक आहे

root@bpi-r64:~# echo 0 > /sys/block/mmcblk0boot0/force_ro 
root@bpi-r64:~# dd if=preloader_evb7622_64_foremmc.bin of=/dev/mmcblk0boot0

निर्माता R64 (चीन) ने ही बायनरी पोस्ट केली येथे. ते काय करते हे अज्ञात आहे (कोणतेही स्त्रोत कोड नाहीत), परंतु त्याशिवाय ते कार्य करणार नाही.

सर्वसाधारणपणे, यानंतर, प्रतिमा eMMC वरून लोड होऊ लागतात. जर तुम्हाला ते शोधून काढायचे असेल आणि स्क्रॅचमधून प्रतिमा तयार करायच्या असतील, तर दोन्ही प्रकरणांसाठी (SD/eMMC) तुम्हाला कर्नल लोड करण्यासाठी आणखी काही फाइल्स (SD कार्ड, ATF, u-boot साठी प्रीलोडर) लिहिण्याची आवश्यकता आहे. हा विषय अजूनही आहे विकसित होते, परंतु आमच्यासाठी मुख्य गोष्ट अशी आहे की ते कार्य करते आणि ठीक आहे.

आता मी eMMC द्वारे डाउनलोड करतो, खरे सांगायचे तर, मी ते वापरत नाही, एक SD कार्ड पुरेसे आहे, परंतु मी ते कार्य करण्यासाठी बराच वेळ घालवला, म्हणून ते लेखात असू द्या.

ऑपरेटिंग सिस्टम निवडत आहे. आर्म्बियन

पहिले व्यावहारिक काम म्हणजे अर्थातच व्हीपीएन सुरू करणे. Wireguardमाझ्या लगेच लक्षात आले की कर्नल योग्यरित्या कंपाइल झाले नव्हते आणि त्यात हेडर फाइल्सही नव्हत्या. मी कर्नल पुन्हा बिल्ड केले आणि x86 च्या बाबतीत माझ्या सवयीप्रमाणे, DKMS वापरून एक कर्नल मॉड्यूल तयार केले. तथापि, ARM64 वर, अगदी लहान युटिलिटीजसाठी सुद्धा, बिल्डचा वेग अनपेक्षितपणे आश्चर्यकारक होता. मग आणखी एका कर्नल मॉड्यूलची गरज भासली, आणि असेच पुढे चालू राहिले. थोडक्यात सांगायचे तर, कर्नलशी संबंधित कोणतीही गोष्ट एका जुनाट x86 लॅपटॉपवर कंपाइल करणे, नंतर फक्त ARM64 वर कॉपी-पेस्ट करणे, रीबूट करणे आणि तपासणे हे सर्वोत्तम ठरते.

वापर-जागेचा भाग ही एक वेगळी बाब आहे. माझ्या बाबतीत, निवड Debianarm64 आर्किटेक्चरसाठी सर्व काही आधीच पॅकेजेसमध्ये उपलब्ध आहे.debian.org आणि काहीही पुन्हा संकलित करण्याची गरज नाही.

दुसरी सायकल तयार करू नये म्हणून, आय पोर्ट केलेले आर्म्बियन BPI R64 वर.
किंवा त्याऐवजी, हे: युजरस्पेस भाग आर्म्बियन आहे आणि कर्नल रेपॉजिटरीमधून घेतले आहे फ्रॅंक-ए. नवीनतम प्रतिमा डाउनलोड केली जाऊ शकते येथे.

R64 च्या सॉफ्टवेअर भागाच्या विकासावरील सर्व क्रियाकलाप चालू आहेत मंचसर्वसाधारणपणे, निर्माता स्वतः OpenWrt साठी राउटर लोकप्रिय करण्याचा प्रयत्न करत आहे, परंतु जर्मनीतील डेव्हलपर फ्रँकच्या सक्रियतेमुळे, सर्व वैशिष्ट्ये लवकरच कर्नलमध्ये समाविष्ट होतात. Debianआश्चर्याची गोष्ट म्हणजे, फ्रँक प्रत्येक फोरम थ्रेडमध्ये सक्रिय असतो.

कार्यक्षेत्र संघटना: वायर्स

स्वतंत्रपणे, मी तुम्हाला सांगू इच्छितो की, विकास/चाचणी दरम्यान, टेबलवर SBC (केवळ BPI नाही) कसे ठेवावे जेणेकरून संपूर्ण खोली/ऑफिसमध्ये इंटरनेट स्त्रोताकडून इथरनेट केबल चालवू नये. वस्तुस्थिती अशी आहे की, एकीकडे, आपल्याला इंटरनेटसह हार्डवेअरचा तुकडा प्रदान करणे आवश्यक आहे, परंतु दुसरीकडे, त्या हार्डवेअरच्या तुकड्यातील सर्व काही खराब होऊ शकते आणि सर्व प्रथम वायफाय.

प्रथम, मी एक स्वस्त यूएसबी-वायफाय “शिट्टी” विकत घेण्याचे ठरवले, ते बीपीआयवरील एकमेव पोर्टमध्ये प्लग करा आणि वायर विसरून जा. हे करण्यासाठी, मी एक स्वस्त TP-LINK TL-WN725N USB 2.0 खरेदी केला, परंतु लवकरच हे स्पष्ट झाले की ते बंद होणार नाही: शीळ वाजविण्यासाठी, आपल्याला कर्नल ड्रायव्हरची आवश्यकता आहे, जो अर्थातच तेथे नव्हता. (नंतर मी आवश्यक RTL8XXXU ड्रायव्हर एकत्र केले, परंतु ते अद्याप अव्यवहार्य आहे). आणि इथरनेट केबलने काही काळ खोलीचे स्वरूप खराब केले.

परिणामी, मी Tenda MW3 (वायफाय जाळी प्रणाली) च्या मदतीने केबल काढून टाकण्यात व्यवस्थापित केले: मी फक्त एक क्यूब टेबलखाली ठेवला आणि BPI ला नंतरच्या LAN पोर्टला मीटर-लांब इथरनेट केबलने जोडले. यश.

Wireguard, आरकेएन, पक्षी

मला Banana PI वापरायचे आहे अशा गोष्टींपैकी एक म्हणजे RKN द्वारे अवरोधित केलेल्या साइट्सवर विनामूल्य प्रवेश असणे, विशेषत: टेलीग्राम आणि स्लॅक कॉल्स कार्य करू शकतात. या विषयावर Habré वरील लेख आधीच प्रस्तावित केले गेले आहेत: वेळा, два, तीन.

मी Ansible वापरून नेमके हे समाधान उपयोजित केले: ссылка.

असे गृहीत धरले आहे की व्हीपीएस चालू आहे Ubuntu १८ एप्रिल. मी युरोपमधील दोन होस्टिंग प्रदात्यांवर, ॲमेझॉन आणि डिजिटल ओशनवर, कार्यक्षमतेची चाचणी केली.

म्हणून, आम्ही R64 वर वरील आर्म्बियन स्थापित केले आहे, ते नावाखाली ssh द्वारे प्रवेशयोग्य आहे hm-bananapi-1 आणि इंटरनेट प्रवेश आहे. आम्ही सातत्याने उत्तरदायी, ऑटोमेशन स्क्रिप्ट्स उपयोजित करतो आणि R64 वर इंस्टॉलेशन लाँच करतो:

# зависимости для Debian-based дистрибутивов
$ sudo apt install --no-install-recommends python3-pip python3-setuptools python3-wheel git
$ which pip3
/usr/bin/pip3

# ansible с pybook, скриптование на Python
$ pip3 install https://github.com/muravjov/ansible/archive/ansible-2.10.0.dev0-pybook2019.tar.gz

$ export PATH=~/.local/bin:$PATH
$ which ansible-playbook
/home/sa/.local/bin/ansible-playbook

$ git clone https://github.com/muravjov/ansible-bpi-r64.git
$ cd ansible-bpi-r64

$ git submodule update --init

# убеждаемся в доступности hm-bananapi-1
$ ssh hm-bananapi-1 which python3
/usr/bin/python3

# собственно установка
$ ansible-playbook ./router.py -l hm-bananapi-1

पुढे, तुम्हाला आमचा VPN VPS वर त्याच प्रकारे तैनात करणे आवश्यक आहे:

ansible-playbook ./router.py -l current-vpn

येथे युक्तिवाद नेहमी चालू-vpn असतो आणि वास्तविक VPS नाव व्हेरिएबलमध्ये कॉन्फिगर केले जाते (या प्रकरणात ते paris-vpn-aws-t2-micro-1 आहे):

$ grep current_vpn group_vars/all 
current_vpn: paris-vpn-aws-t2-micro-1
#current_vpn: frankfurt-vpn-d0-starter-1

हो, या सर्व क्रिया करण्यापूर्वी तुम्हाला सिक्रेट्स (विशेषतः कीज) तयार कराव्या लागतील. Wireguard) फोल्डरमध्ये ./secrets, निर्देशिका सारखी दिसली पाहिजे त्यामुळे.

Python मध्ये उत्तरदायी ऑटोमेशन

तुमच्या लक्षात येईल की YAML फॉरमॅटमध्ये असण्याऐवजी, Ansible कमांड्स Python स्क्रिप्टमध्ये एन्कोड केलेल्या आहेत. तुलना करण्यासाठी, नेहमीच्या पद्धतीने पक्षी डिमन कसे सक्षम करावे:

- name: start bird
  systemd:
    name: bird
    state: started
    enabled: yes

आणि पायथन द्वारे ते कसे करावे:

with mapping:
    append("name", "start bird")
    with mapping("systemd"):
        append("name",  "bird")
        append("state", "started")
        append("enabled", "yes")

Python मध्ये उत्तरदायी आदेश लिहिल्याने तुम्हाला कोडचा पुनर्वापर करता येतो आणि सर्वसाधारणपणे सामान्य-उद्देशीय भाषेच्या सर्व शक्यता उघडतात. उदाहरणार्थ, R64 आणि VPS वर बर्ड स्थापित करणे:

install_bird("router/bird.conf.j2")
install_bird("vpn/bird.conf.j2")

फंक्शन कोड पहा install_bird().

हे वैशिष्ट्य म्हणतात pybook लागू केले येथे. पायबुकवर अद्याप कोणतेही दस्तऐवजीकरण नाही, परंतु मी नंतर या समस्येचे निराकरण करेन.

त्याला काय वाटतं अपस्ट्रीम या प्रसंगी.

देखरेख. प्रोमिथियस

एकूण: टेलिग्राम कार्य करते, लिंक्डइन आणि पॉर्नहब देखील, सर्वसाधारणपणे वापरकर्त्याचा अनुभव ठीक आहे. परंतु चीनी हार्डवेअरसह सर्व काही खंडित होऊ शकते.

कर्नेल अपडेट्स देखील मनोरंजक असू शकतात: उदाहरणार्थ, मला कर्नेल ५.४ वरून ५.६ वर अपडेट करायचे होते, तर, तिथे Wireguard मूळ स्थितीत, पॅच करण्याची गरज नाही... बोलल्याबरोबरच कृती झाली: मी मोठ्या कष्टाने 5.4 वरून 5.6 वर पॅचेस हस्तांतरित केले, कर्नल सुरू झाले, VPS कडे जाणारा टनेल पिंग होत आहे, पण "BGP Error" या त्रुटीमुळे बर्ड कनेक्ट होऊ शकत नाही... "भयंकरपणे, मी (c) 5.4 वर रोलबॅक केले; 5.6 वर जाण्याचे काम TODO मध्ये टाकले आहे.

त्यामुळे, राउटर आणि व्हीपीएस स्थापित करण्याव्यतिरिक्त, मी मॉनिटरिंग (x86 वर) जोडले. Ubuntu 18.04), जे खालील घटकांसह एका वेगळ्या होस्टवर स्थापित केले आहे:

prometheus, alertmanager, blackbox_exporter - सर्व डॉकरमध्ये
मेटलमॅटझे/अॅलर्टमॅनेजर-बॉट वापरून टेलिग्राम चॅनेलवर अलर्ट पाठवले जातात - डॉकरमध्ये देखील
बॉटसाठी tor, जेणेकरून बॉट इंटरनेट असताना परिस्थितीची सूचना देऊ शकेल, परंतु टेलिग्राम अद्याप कार्य करत नाही आणि बॉट स्वतः कनेक्ट करू शकत नाही
लागू केले सूचना: NodeVPNtroubles (VPS ला पिंग नाही), BirdVPNtroubles (पक्षी सत्र नाही), AntifilterDownloadTroubles (ब्लॉक केलेले IP पत्ते लोड करताना त्रुटी), SiteTroubles (दुर्भाग्यपूर्ण टेलिग्राम अनुपलब्ध आहे)
सिस्टम अलर्ट, उदाहरणार्थ, HostGrowingDiskReadLatency (स्वस्त SD कार्ड वाचण्यायोग्य नाही)

देखरेख प्रतिष्ठापन उदाहरण:

ansible-playbook ./monitoring.py -l monitoring-preprod

प्रोमिथियससाठी ऑटो डिस्कव्हरी /etc/prometheus/auto_http फोल्डरमध्ये कॉन्फिगर केले आहे, मॉनिटरिंगमध्ये होस्ट जोडण्याचे उदाहरण (डिफॉल्टनुसार होस्टचे परीक्षण केले जात नाही):

bash << 'EOF'
HOSTNAME=hm-bananapi-1
IP_ADDRESS=`ssh -G $HOSTNAME | awk '/^hostname / { print $2 }'`

ssh monitoring-preprod sudo sponge /etc/prometheus/auto_http/$HOSTNAME.json << EOF2
[
  {
    "targets": ["$IP_ADDRESS:9100"],
    "labels": {
      "env": "prod",
      "hostname": "$HOSTNAME"
    }
  }
]
EOF2
EOF

TODO: 2 प्रदाता, 2 BPI, anycast फेलओव्हर

सर्वकाही व्यतिरिक्त, मी दोन प्रदात्यांशी कनेक्ट करण्याची योजना आखली आहे जेणेकरून इंटरनेट कार्य करत राहील, जरी एका प्रदात्याला नेटवर्कमध्ये समस्या आली किंवा ते इंटरनेटसाठी पैसे देण्यास विसरले, इत्यादी आणि इतर मानवी घटक.

मल्टी-वॅन विषयावरील सर्वात प्रगत वापरकर्ता अनुभव वर्णन केले आहे येथे Openwrt अंतर्गत Mwan3 प्रणालीसाठी. या सोल्यूशनमध्ये समृद्ध कार्यक्षमता आहे, परंतु बहु-वॅनसाठी सर्वसाधारणपणे ते सेट करणे आणि ऑपरेट करणे खूप त्रासदायक आहे. फक्त एक उदाहरण: जर तुम्ही एकाच वेळी दोन IP पत्त्यांवरून काही साइटवर आलात, तर त्यांना ते आवडणार नाही, ते काम करणे थांबवतील => “इंटरनेट काम करत नाही.”

हा अनुभव लक्षात घेऊन, मी ठरवले की मल्टीहोमिंगला अद्याप प्राधान्य नाही, फक्त फेलओव्हर आहे. तथापि, असे दिसते की लिनक्सच्या नवीनतम आवृत्त्यांमध्ये सर्वकाही एका कमांडसह कार्य केले पाहिजे जसे:

ip route add default 
    nexthop via 192.168.1.1 weight 10 
    nexthop via 192.168.2.1 weight 5

त्यामुळे, अपयशाचा एकच मुद्दा टाळण्यासाठी, आम्ही 2 BPI घेतो, प्रत्येकाला एका प्रदात्याशी जोडतो, त्यांना एकमेकांशी जोडतो आणि पक्षी/OSPF द्वारे एकमेकांशी डायनॅमिक राउटिंग बनवतो.

पुढे, सेवा उपलब्ध असल्यास (इंटरनेट, DNS) आम्ही प्रत्येकावर समान IP पत्त्याची जाहिरात करतो. म्हणजेच, आम्ही स्वतः डीफॉल्ट मार्ग सेट करणार नाही, परंतु पक्ष्याद्वारे. मी उपाय हेरला येथे .

ही कार्यक्षमता अद्याप अंमलात आणली गेली नाही, कपटी कोरोनाव्हायरसने येथे एक युक्ती खेळली (सर्व काही Aliexpress वरून आले नाही; दुसर्या ऑनलाइन स्टोअर, Layta ने एका आठवड्यात वितरित करण्याचे वचन दिले होते, परंतु एक महिन्यापेक्षा जास्त वेळ निघून गेला आहे; दुसऱ्या प्रदात्याकडे वेळ नाही अलग ठेवण्यापूर्वी केबल वाढवण्यासाठी, फक्त केबलसाठी भिंतीमध्ये ड्रिलमध्ये छिद्र पाडण्यात व्यवस्थापित).

R64 ऑर्डर कशी करावी

बोर्ड स्वतः अधिकृत स्टोअरमध्ये आहे SinoVoip.
त्वरित ऑर्डर करणे देखील चांगले आहे:

पोषण + EU किंवा US प्लग मानकांना कळवा
उष्णता सिंक: रेडिएटर्स/पंखे; कारण CPU आणि स्विच चिप दोन्ही गरम होत आहेत
वायफायसाठी अँटेना, उदाहरणार्थ

एक सूक्ष्मता आहे - काही काळ अधिकृत स्टोअरमध्ये वितरण किंमत अपुरीपणे जास्त झाली आहे. व्यवस्थापक जूडी हुआंग यांनी मला खात्री दिली की कोणतीही त्रुटी नाही, आणि तुम्ही $5 साठी ePacket निवडू शकता, परंतु मी पाहिले की रशियासाठी फक्त >$33 साठी EMS आहे. अप्रिय, परंतु गंभीर नाही. शिवाय, डिलिव्हरीसाठी तुम्ही इतर कोणताही देश निवडल्यास (मी सर्व खंडांमधून गेलो आहे), डिलिव्हरीची किंमत $5 असेल. Russophobes?.. पण नंतर मला आढळले की फ्रान्ससाठी डिलिव्हरीची किंमत देखील ~30$ आहे आणि मी शांत झालो.

परिणामी, जुडीने ऑर्डर देण्याची ऑफर दिली, परंतु पैसे दिले नाहीत (इशारा: कार्डवर कमी ठेवा जेणेकरून स्वयंचलित पेमेंट होणार नाही); तिला लिहा आणि ती डिलिव्हरीची किंमत सामान्य करेल. यश.

समस्या

अद्याप सर्व काही पूर्णपणे कार्य करत नाही.

उत्पादकता

Ansible=Python कमांड्स 20-30 सेकंदांसाठी हळू हळू चालवल्या जातात, अगदी निष्क्रिय देखील; x86 लॅपटॉपपेक्षा मोठेपणाचा क्रम. शिवाय, सुरुवातीला ते अगदी त्वरीत कार्यान्वित केले जातात, ~3 सेकंद, नंतर ते झपाट्याने कमी होतात. हे CPU गरम होण्यामुळे (थ्रॉटलिंग) असू शकते. गो कोडला देखील कार्य करण्यास बराच वेळ लागतो:

# запрос метрик для прометея из node_exporter на Go
$ time curl -s http://172.30.1.1:9100/metrics > /dev/null

real    0m6,118s
user    0m0,005s
sys     0m0,009s

# однако температура 51 градус, не так и много
sa@bananapir64:~$ cat /sys/devices/virtual/thermal/thermal_zone0/temp
51700

वायफाय

वायफाय कार्य करते, परंतु आर्म्बियनवर ते एका दिवसानंतर थांबते, लिहितात:

sa@bananapir64:~$ dmesg | grep -E 'mt7622_wmac.*timeout'
[470303.802539] mt7622_wmac 18000000.wmac: Message 38 (seq 3) timeout
[470314.042508] mt7622_wmac 18000000.wmac: Message 50 (seq 4) timeout
...

फक्त रीस्टार्ट मदत करते. आपण पुढे जाणे आवश्यक आहे क्रमवारी लावा.