Banana Pi R64 როუტერი - Debian, Wireguard, RKN

Banana Pi 64 არის Raspberry Pi-ს მსგავსი ერთბორტიანი კომპიუტერი, მაგრამ რამდენიმე Ethernet პორტით, რაც შესაძლებელს ხდის მის როუტერად გადაქცევას ლინუქსის ზოგადი დისტრიბუციის საფუძველზე.

დიახ, უკვე არსებობს Openwrt, მაგრამ მას აქვს თავისი პრობლემები, მისი GUI და CLI; არის Mikrotik, მაგრამ ისევ თავისი GUI/CLI აქვს და Wireguard არ გამოდის... ზოგადად, მოქნილი პარამეტრების მქონე როუტერი მინდა სტანდარტული ლინუქსის ფარგლებში დარჩეს, რომელსაც შენ მუშაობ. ყოველ დღესთან ერთად.

სტატიაში სახელწოდებით BPI, R64, ერთი დაფა, იგივეს ვგულისხმობ - თავად Banana Pi R64 ერთი დაფა.

სურათის არჩევა. ჩამოტვირთეთ eMMC-ის საშუალებით

პირველივე უნარი, რომელიც უნდა შეიძინო მუშაობისას SBC ზოგადად, და კონკრეტულად R64-თან, ეს ნიშნავს ისწავლო როგორ ჩატვირთო მასში ოპერაციული სისტემა და შეგეძლოს მასთან ურთიერთობა, რადგან R64-ს არ აქვს მონიტორის პორტი (მაგალითად, HDMI). როცა ყველაფერი გაფუჭდა - შეწყვიტა მუშაობა Wifi, Ethernet, Bluetooth, USB და ა.შ. არის UART, რომლის ინტერფეისის მეშვეობით ყოველთვის ხედავ რა შეცდა და ასევე საჭიროების შემთხვევაში კონსოლიდან რამდენიმე ბრძანების გაშვება.

ალგორითმი R64-თან USB-UART-ით დასაკავშირებლად:

• ჩვენ მივდივართ რადიოს ნაწილების მაღაზიაში USB-UART კაბელისთვის (PL2303, Serial-to-USB)
• დააკავშირეთ ერთი USB ბოლო კომპიუტერთან, ხოლო მეორე, UART, R64-ზე, ოთხი სადენით, როგორც ქვემოთ მოცემულ სურათზე.
• გაშვება კომპიუტერის კონსოლში sudo minicom

ამის შემდეგ, უმეტეს შემთხვევაში გამოჩნდება ერთი დაფის კონსოლი = წარმატება.
მეტის ნახვა შეგიძლიათ აქ.

შემდეგი, უმარტივესი გზაა ოპერაციული სისტემის ჩატვირთვა SD ბარათიდან: ჩამოტვირთეთ ლინკები სურათი და შეავსე:

unzip -p 2019-08-23-ubuntu-16.04-lite-preview-bpi-r64-sd-emmc.img.zip | pv | sudo dd of=/dev/mmcblk0 bs=10M status=noxfer

ბარათს ვსვამთ R64 SD სლოტში, ჩართავთ მას და ვაკვირდებით დაკავშირებული კონსოლის ჩატვირთვას ჯერ uboot, შემდეგ კი სტანდარტული Linux-ის ჩატვირთვას.

ჩატვირთვის ალტერნატიული ვარიანტია R64-ში უკვე ჩაშენებული 8 გბ ბარათის გამოყენება, სახელწოდებით eMMC. ვიკიში მოცემული ინსტრუქციის მიხედვით, ჩვენ ვაკოპირებთ სურათს მოწყობილობაზე
/dev/mmcblk0 BPI-ზე, გადატვირთეთ, ამოიღეთ SD ბარათი, ისევ ჩართეთ BPI... და არ მუშაობს. როგორ წავიდე წინ და უკან Boot select არ ინერვიულო.

ფაქტია, რომ მინიმუმ BPI-სთვის საჭიროა სპეციალური დროშის დაყენება, რათა შეძლოთ ჩატვირთვა შიდა ფლეშ დრაივიდან:

root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x00]
root@bpi-r64:~# ./mmc bootpart enable 1 1 /dev/mmcblk1
root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x48]

შემდეგი, თქვენ უნდა ჩაწეროთ preloader სპეციალურ ჩატვირთვის დანაყოფში

root@bpi-r64:~# echo 0 > /sys/block/mmcblk0boot0/force_ro 
root@bpi-r64:~# dd if=preloader_evb7622_64_foremmc.bin of=/dev/mmcblk0boot0

მწარმოებელმა R64-მა (ჩინეთი) გამოაქვეყნა ეს ბინარი აქ. რას აკეთებს ის უცნობია (არ არსებობს წყაროს კოდები), მაგრამ არც მის გარეშე იმუშავებს.

ზოგადად, ამის შემდეგ, სურათების ჩატვირთვა იწყება eMMC-დან. თუ გსურთ გაერკვნენ და შექმნათ სურათები ნულიდან, მაშინ ორივე შემთხვევაში (SD/eMMC) თქვენ უნდა დაწეროთ კიდევ რამდენიმე ფაილი (preloader SD ბარათისთვის, ATF, u-boot) მხოლოდ ბირთვის ჩატვირთვამდე. ეს თემა ჯერ კიდევ არის ვითარდება, მაგრამ ჩვენთვის მთავარი ის არის, რომ მუშაობს და კარგი.

ახლა გადმოვწერ eMMC-ის საშუალებით, მართალი გითხრათ, არ ვიყენებ, საკმარისია SD ბარათი, მაგრამ საკმაოდ დიდი დრო დავხარჯე მის მუშაობაში, ასე რომ სტატიაში იყოს.

ოპერაციული სისტემის შერჩევა. არმბიანი

პირველი აპლიკაციის ამოცანაა VPN-ის გაშვება, ბუნებრივია Wireguard. მაშინვე გაირკვა, რომ ბირთვის მხარეს ის არ იყო აწყობილი და არ იყო სათაურები. მე აღვადგინე ბირთვი და, როგორც ჩემი ჩვევაა x86-თან დაკავშირებით, ავაწყე ბირთვის მოდული DKMS-ის გამოყენებით. თუმცა arm64-ზე მცირე კომუნალური საშუალებების აშენების სიჩქარემ უსიამოვნოდ გამაოცა. შემდეგ კი სხვა ბირთვის მოდული იყო საჭირო და ა.შ. ზოგადად, გამოდის, რომ ბირთვთან დაკავშირებული ყველაფერი საუკეთესოდ არის აწყობილი თბილ x86 ლეპტოპზე, შემდეგ გადაეცემა R64-ზე მარტივი კოპირებით, გადატვირთვა და ტესტირება.

კიდევ ერთი რამ არის მომხმარებლის სივრცის ნაწილი. ჩემი Debian-ის არჩევის შემთხვევაში, arm64 არქიტექტურისთვის ყველაფერი უკვე არის packages.debian.org-ზე და არაფრის ხელახლა აშენება არ არის საჭირო.

იმისთვის, რომ სხვა ველოსიპედი არ გამოვიდეს, ი პორტირებული არმბიანი BPI R64-ზე.
უფრო სწორად, ეს: მომხმარებლის სივრცის ნაწილი არის Armbian, ხოლო ბირთვი აღებულია საცავიდან ფრანკ-ა. უახლესი სურათის ჩამოტვირთვა შესაძლებელია აქ.

ყველა აქტივობა R64-ის პროგრამული ნაწილის შემუშავებაზე მიმდინარეობს ფორუმი. ზოგადად რომ ვთქვათ, თავად მწარმოებელი ცდილობს როუტერის პოპულარიზაციას Openwrt-ისთვის, მაგრამ გერმანიის დეველოპერ ფრანკის აქტივობის წყალობით, ყველა ფუნქცია სწრაფად მთავრდება Debian-ის ბირთვში. გასაკვირია, რომ ფრენკი აქტიურია ყველა ფორუმის თემაში.

სამუშაო სივრცის ორგანიზაცია: მავთულები

ცალ-ცალკე, მინდა გითხრათ, თუ როგორ, განვითარების/ტესტირების დროს, მოათავსეთ SBC (არა მხოლოდ BPI) მაგიდაზე, რათა არ მოხდეს მასზე Ethernet კაბელი ინტერნეტ წყაროდან მთელ ოთახში/ოფისში. ფაქტია, რომ ერთის მხრივ, თქვენ უნდა მიაწოდოთ ტექნიკის ნაწილი ინტერნეტით, მაგრამ, მეორე მხრივ, ამ აპარატურაში ყველაფერი შეიძლება გაფუჭდეს და პირველ რიგში Wifi.

ჯერ გადავწყვიტე ვიყიდო იაფფასიანი USB-Wifi „სასტვენი“, შევაერთო ის ერთადერთ პორტში BPI-ზე და დავივიწყო სადენები. ამისათვის მე შევიძინე იაფი TP-LINK TL-WN725N USB 2.0, მაგრამ ძალიან მალე გაირკვა, რომ ის არ აფრინდებოდა: სასტვენის მუშაობისთვის გჭირდებათ ბირთვის დრაივერი, რომელიც, რა თქმა უნდა, არ იყო. (მოგვიანებით შევკრიბე საჭირო RTL8XXXU დრაივერი, მაგრამ ეს ჯერ კიდევ არაპრაქტიკულია). და Ethernet კაბელი ცოტა ხნით გააფუჭა ოთახს.

შედეგად, მე მოვახერხე კაბელის მოშორება Tenda MW3-ის (Wifi mesh system) დახმარებით: უბრალოდ მაგიდის ქვეშ მოვათავსე ერთი კუბი და დავაკავშირე BPI ამ უკანასკნელის LAN პორტს მეტრიანი Ethernet კაბელით. წარმატებები.

Wireguard, RKN, Bird

ერთ-ერთი რამ, რისთვისაც მინდა გამოვიყენო Banana PI არის უფასო წვდომა RKN-ის მიერ დაბლოკილ საიტებზე, კერძოდ, რათა Telegram-ისა და Slack-ის ზარები იმუშაოს. Habré-ზე სტატიები უკვე შემოთავაზებულია ამ თემაზე: დრო, два, სამ.

მე განვათავსე ზუსტად ეს გამოსავალი Ansible გამოყენებით: ლინკები.

ვარაუდობენ, რომ VPS მუშაობს Ubuntu 18.04-ზე. მე შევამოწმე ფუნქციონირება ორ ჰოსტერზე ევროპაში: Amazon და Digital Ocean.

ასე რომ, ჩვენ დავაყენეთ ზემოხსენებული Armbian R64-ზე, ის ხელმისაწვდომია ssh-ის საშუალებით სახელით hm-bananapi-1 და აქვს ინტერნეტი. ჩვენ მუდმივად ვაყენებთ Ansible-ს, ავტომატიზაციის სკრიპტებს და თავად ვიწყებთ ინსტალაციას R64-ზე:

# зависимости для Debian-based дистрибутивов
$ sudo apt install --no-install-recommends python3-pip python3-setuptools python3-wheel git
$ which pip3
/usr/bin/pip3

# ansible с pybook, скриптование на Python
$ pip3 install https://github.com/muravjov/ansible/archive/ansible-2.10.0.dev0-pybook2019.tar.gz

$ export PATH=~/.local/bin:$PATH
$ which ansible-playbook
/home/sa/.local/bin/ansible-playbook

$ git clone https://github.com/muravjov/ansible-bpi-r64.git
$ cd ansible-bpi-r64

$ git submodule update --init

# убеждаемся в доступности hm-bananapi-1
$ ssh hm-bananapi-1 which python3
/usr/bin/python3

# собственно установка
$ ansible-playbook ./router.py -l hm-bananapi-1

შემდეგი, თქვენ უნდა განათავსოთ ჩვენი VPN VPS-ზე იმავე გზით:

ansible-playbook ./router.py -l current-vpn

აქ არგუმენტი ყოველთვის არის მიმდინარე-vpn და რეალური VPS სახელი კონფიგურირებულია ცვლადში (ამ შემთხვევაში ეს არის paris-vpn-aws-t2-micro-1):

$ grep current_vpn group_vars/all 
current_vpn: paris-vpn-aws-t2-micro-1
#current_vpn: frankfurt-vpn-d0-starter-1

დიახ, ყველა ამ ოპერაციამდე თქვენ უნდა შექმნათ საიდუმლოებები (კერძოდ Wireguard გასაღებები) საქაღალდეში ./secrets, დირექტორია უნდა გამოიყურებოდეს ასე.

Ansible ავტომატიზაცია პითონში

შეიძლება შეამჩნიოთ, რომ YAML ფორმატში ყოფნის ნაცვლად, Ansible ბრძანებები დაშიფრულია პითონის სკრიპტებში. შედარებისთვის, როგორ ჩართოთ ფრინველის დემონი ჩვეულებრივი გზით:

- name: start bird
  systemd:
    name: bird
    state: started
    enabled: yes

და როგორ გავაკეთოთ იგივე პითონის საშუალებით:

with mapping:
    append("name", "start bird")
    with mapping("systemd"):
        append("name",  "bird")
        append("state", "started")
        append("enabled", "yes")

Python-ში Ansible ბრძანებების დაწერა საშუალებას გაძლევთ ხელახლა გამოიყენოთ კოდი და ზოგადად ხსნის ზოგადი დანიშნულების ენის ყველა შესაძლებლობას. მაგალითად, ჩიტის დაყენება R64-ზე და VPS-ზე:

install_bird("router/bird.conf.j2")
install_bird("vpn/bird.conf.j2")

იხილეთ ფუნქციის კოდი install_bird().

ეს ფუნქცია ე.წ pybook განხორციელდა აქ. pybook-ზე ჯერ არ არის დოკუმენტაცია, მაგრამ ამ პრობლემას მოგვიანებით მოვაგვარებ.

რას ფიქრობს ზედა დინებაში ამ შემთხვევაში.

Მონიტორინგი. პრომეთე

სულ: მუშაობს ტელეგრამა, ლინკდინიც და პორნოჰაბიც, ზოგადად მომხმარებლის გამოცდილება ნორმალურია. მაგრამ ყველაფერი შეიძლება დაირღვეს, მათ შორის ჩინური აპარატურა.

ბირთვის განახლებები ასევე შეიძლება იყოს საინტერესო: მაგალითად, მე მინდოდა 5.4 => 5.6-ის განახლება, Wireguard არის გამოტანილი, არ არის საჭირო პატჩი... ადრე არ ვთქვი: მე გულმოდგინედ გადავიტანე პატჩები 5.4-დან. 5.6-მდე, ბირთვი ამოქმედდა, გვირაბი VPS-მდე pinged, მაგრამ ფრინველს არ შეუძლია დაუკავშირდეს შეცდომას "BGP Error" ... "I roll in horror" (c) to 5.4; 5.6-ზე გადასვლა TODO-ში გადაიდო.

ამიტომ, როუტერის და VPS-ის დაყენების გარდა, დავამატე მონიტორინგი (x86 Ubuntu 18.04-ზე), რომელიც დაყენებულია ცალკე ჰოსტზე შემდეგი კომპონენტებით:

• prometheus, alertmanager, blackbox_exporter - ყველაფერი დოკერში
• შეტყობინებები იგზავნება ტელეგრამის არხზე metalmatze/alertmanager-bot ბოტის გამოყენებით - ასევე Docker-ში
• tor ბოტისთვის, რათა ბოტმა გააფრთხილოს სიტუაციები, როდესაც არის ინტერნეტი, მაგრამ Telegram მაინც არ მუშაობს და თავად ბოტი ვერ აკავშირებს
• გამოყენებითი გაფრთხილებები: NodeVPNTroubles (Ping-ის გარეშე VPS-ზე), BirdVPNTroubles (ფრინველის სესიის გარეშე), AntifilterDownloadTroubles (შეცდომა დაბლოკილი IP მისამართების ჩატვირთვისას), SiteTroubles (ავბედითი ტელეგრამა მიუწვდომელია)
• სისტემის გაფრთხილებები, მაგალითად, HostGrowingDiskReadLatency (იაფი SD ბარათი წაუკითხავი ხდება)

მონიტორინგის ინსტალაციის მაგალითი:

ansible-playbook ./monitoring.py -l monitoring-preprod

Prometheus-ისთვის Auto Discovery კონფიგურირებულია /etc/prometheus/auto_http საქაღალდეში, ჰოსტის დამატების მაგალითი მონიტორინგზე (ჰოსტები ნაგულისხმევად არ აკონტროლებენ):

bash << 'EOF'
HOSTNAME=hm-bananapi-1
IP_ADDRESS=`ssh -G $HOSTNAME | awk '/^hostname / { print $2 }'`

ssh monitoring-preprod sudo sponge /etc/prometheus/auto_http/$HOSTNAME.json << EOF2
[
  {
    "targets": ["$IP_ADDRESS:9100"],
    "labels": {
      "env": "prod",
      "hostname": "$HOSTNAME"
    }
  }
]
EOF2
EOF

TODO: 2 პროვაიდერი, 2 BPI, anycast failover

ყველაფრის გარდა ვგეგმავდი ორ პროვაიდერთან დაკავშირებას, რომ ინტერნეტმა გააგრძელოს მუშაობა, თუნდაც ერთ პროვაიდერს ქსელთან დაკავშირებით პრობლემები ჰქონდეს, ან დაავიწყდეს ინტერნეტის გადახდა და ა.შ. და სხვა ადამიანური ფაქტორები.

აღწერილია მომხმარებლის ყველაზე მოწინავე გამოცდილება მულტი-ვან თემაზე აქ Mwan3 სისტემისთვის Openwrt-ის ქვეშ. ამ გადაწყვეტას აქვს მდიდარი ფუნქციონირება, მაგრამ მისი დაყენება და ფუნქციონირება ზოგადად მულტი-ვანისთვის საკმაოდ პრობლემურია. მხოლოდ ერთი მაგალითი: თუ რამდენიმე საიტს მიხვალთ ერთდროულად ორი IP მისამართიდან, მათ შეიძლება არ მოეწონოთ, ისინი შეწყვეტენ მუშაობას => „ინტერნეტი არ მუშაობს“.

ამ გამოცდილების გათვალისწინებით, გადავწყვიტე, რომ მულტიჰუმინგი ჯერ არ არის პრიორიტეტი, მხოლოდ მარცხი. თუმცა, როგორც ჩანს, Linux-ის უახლეს ვერსიებში ყველაფერი უნდა იმუშაოს ერთი ბრძანებით, როგორიცაა:

ip route add default 
    nexthop via 192.168.1.1 weight 10 
    nexthop via 192.168.2.1 weight 5

ასე რომ, ერთი მარცხის წერტილის თავიდან აცილების მიზნით, ჩვენ ვიღებთ 2 BPI-ს, ვაკავშირებთ თითოეულს ერთ პროვაიდერთან, ვუკავშირდებით ერთმანეთს და ვაკეთებთ კავშირს ერთმანეთთან დინამიურ მარშრუტზე bird/OSPF-ის საშუალებით.

შემდეგი, ჩვენ ვაცხადებთ ერთსა და იმავე IP მისამართს თითოეულზე, თუ სერვისი ხელმისაწვდომია (ინტერნეტი, DNS). ანუ ჩვენ თვითონ არ დავაყენებთ ნაგულისხმევ მარშრუტს, არამედ ჩიტის მეშვეობით. მე შევნიშნე გამოსავალი აქ .

ეს ფუნქციონალობა ჯერ არ განხორციელებულა, მზაკვრულმა კორონავირუსმა აქ ითამაშა (ყველაფერი არ ჩამოვიდა Aliexpress-დან; კიდევ ერთი ონლაინ მაღაზია, Layta, დაჰპირდა მიწოდებას ერთ კვირაში, მაგრამ თვეზე მეტი გავიდა; მეორე პროვაიდერს დრო არ ჰქონდა კარანტინამდე კაბელის გასაგრძელებლად, კედელში მხოლოდ საბურღი ხვრელია კაბელისთვის).

როგორ შეუკვეთოთ R64

თავად დაფა არის ოფიციალურ მაღაზიაში სინოვოიპი.
ასევე უმჯობესია შეუკვეთოთ დაუყოვნებლივ:

• საკვები + შეატყობინეთ ევროკავშირის ან აშშ-ს დანამატის სტანდარტს
• გამათბობელი: რადიატორები/ვენტილატორები; რადგან პროცესორიც და გადართვის ჩიპიც თბება
• wifi ანტენა, მაგალითად

არის ნიუანსი - მიტანის ფასი გარკვეული პერიოდის განმავლობაში არაადეკვატურად მაღალი გახდა ოფიციალურ მაღაზიაში. მენეჯერმა ჯუდი ჰუანგმა დამარწმუნა, რომ შეცდომა არ ყოფილა და შეგიძლიათ აირჩიოთ ePacket 5$-ად, მაგრამ დავინახე, რომ რუსეთისთვის არის მხოლოდ EMS >33$-ად. უსიამოვნო, მაგრამ არა კრიტიკული. უფრო მეტიც, თუ მიტანისთვის რომელიმე სხვა ქვეყანას აირჩევთ (ყველა კონტინენტი გავიარე), მიწოდება დაგიჯდებათ ~5$. რუსოფობები?.. მაგრამ მერე აღმოვაჩინე რომ საფრანგეთშიც მიტანის ფასია ~30$ და დავმშვიდდი.

შედეგად, ჯუდიმ შესთავაზა შეკვეთის განთავსება, მაგრამ არა გადახდა (მინიშნება: ბარათზე ნაკლები ჩადეთ, რომ ავტომატური გადახდა არ განხორციელდეს); მიწერე და მიტანის ფასს ნორმალურად დააკლებს. წარმატებები.

საკითხებში

ჯერ ყველაფერი იდეალურად არ მუშაობს.

მოქმედება

Ansible=პითონის ბრძანებები შესრულებულია ნელა, თუნდაც უმოქმედო, 20-30 წამის განმავლობაში; სიდიდის ბრძანებით უფრო გრძელი ვიდრე x86 ლეპტოპზე. უფრო მეტიც, ჯერ საკმაოდ სწრაფად სრულდება, ~ 3 წამში, შემდეგ მკვეთრად ანელებენ. ეს შეიძლება გამოწვეული იყოს CPU-ის გახურებით (დახშობა). Go კოდის მუშაობას ასევე დიდი დრო სჭირდება:

# запрос метрик для прометея из node_exporter на Go
$ time curl -s http://172.30.1.1:9100/metrics > /dev/null

real    0m6,118s
user    0m0,005s
sys     0m0,009s

# однако температура 51 градус, не так и много
sa@bananapir64:~$ cat /sys/devices/virtual/thermal/thermal_zone0/temp
51700

Wifi

Wifi მუშაობს, მაგრამ Armbian-ზე ის ჩერდება დაახლოებით ერთი დღის შემდეგ, წერს:

sa@bananapir64:~$ dmesg | grep -E 'mt7622_wmac.*timeout'
[470303.802539] mt7622_wmac 18000000.wmac: Message 38 (seq 3) timeout
[470314.042508] mt7622_wmac 18000000.wmac: Message 50 (seq 4) timeout
...

მხოლოდ გადატვირთვა ეხმარება. ჩვენ უნდა გადავიდეთ გარკვევა.

ეთერნეტის

Ethernet მუშაობს, მაგრამ ~64 საათის შემდეგ პაკეტები (DHCP) RXNUMX-დან ჩერდება.
ინტერფეისის გადატვირთვა დაგეხმარებათ:

ifdown br0; sleep 30; ifup br0

დრაივერი ახალია, ჯერ არ არის მიღებული ბირთვში, იმედია ჩინური Landen Chao-ია ამთავრებს მას.

წყარო: www.habr.com