바나나 파이 R64 라우터 - Debian, Wireguard, RKN

Banana Pi 64는 Raspberry Pi와 유사한 단일 보드 컴퓨터이지만 여러 이더넷 포트가 있어 범용 Linux 배포 라우터가 됩니다.

네, OpenWrt가 있지만, OpenWrt는 고유한 특징과 GUI 및 CLI를 가지고 있습니다. Mikrotik도 있지만, 이 또한 자체적인 GUI/CLI를 가지고 있습니다. Wireguard 기본 설정으로는 제대로 작동하지 않네요... 제가 원하는 건, 매일 사용하는 표준 리눅스 시스템 내에서 유연한 설정이 가능한 라우터입니다.

BPI, R64, 단일 보드라는 이름의 기사에서 Banana Pi R64 단일 보드 자체를 의미합니다.

이미지 선택. eMMC를 통해 다운로드

일할 때 가장 먼저 습득하는 기술 SBC 일반적으로, 특히 R64의 경우 R64에는 모니터 포트(예: HDMI)가 없기 때문에 OS를 로드하고 상호 작용할 수 있는 방법을 배우는 것을 의미합니다. 모든 것이 떨어졌을 때-Wifi, 이더넷 네트워크, Bluetooth, USB 등이 작동을 멈췄습니다. 인터페이스를 통해 무엇이 잘못되었는지 항상 볼 수 있고 필요한 경우 콘솔에서 몇 가지 명령을 실행할 수 있는 UART가 있습니다.

USB-UART를 통한 R64 연결 알고리즘:

• USB-UART 케이블(PL2303, Serial-to-USB)용 라디오 부품 매장으로 이동
• 아래 그림과 같이 USB 한쪽 끝을 컴퓨터에 연결하고 다른 쪽 UART를 R64에 연결합니다.
• 컴퓨터 콘솔에서 실행 sudo minicom

그 후 대부분의 경우 단일 보드 콘솔이 나타납니다 = 성공.
자세한 내용을 보실 수 있습니다 여기에.

다음으로 가장 쉬운 방법은 SD 카드에서 운영 체제를 로드하는 것입니다. 링크 이미지를 업로드합니다.

unzip -p 2019-08-23-ubuntu-16.04-lite-preview-bpi-r64-sd-emmc.img.zip | pv | sudo dd of=/dev/mmcblk0 bs=10M status=noxfer

우리는 카드를 R64 SD 슬롯에 삽입하고 전원을 켠 다음 연결된 콘솔에서 먼저 uboot 로딩을 관찰한 다음 표준 Linux 부팅을 관찰합니다.

대체 부팅 옵션은 eMMC라고 하는 R64에 이미 내장된 8Gb 카드를 사용하는 것입니다. 위키의 지침에 따라 이미지를 장치에 다시 씁니다.
/dev/mmcblk0 to BPI, 재부팅, SD 카드 제거, BPI 다시 활성화... 그리고 작동하지 않습니다. 거기에 도착하는 방법 Boot select 참지 마.

사실 최소한 BPI의 경우 내부 플래시 드라이브에서 부팅하려면 특수 플래그를 설정해야 합니다.

root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x00]
root@bpi-r64:~# ./mmc bootpart enable 1 1 /dev/mmcblk1
root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x48]

다음으로 특수 부트 파티션에 프리로더를 작성해야 합니다.

root@bpi-r64:~# echo 0 > /sys/block/mmcblk0boot0/force_ro 
root@bpi-r64:~# dd if=preloader_evb7622_64_foremmc.bin of=/dev/mmcblk0boot0

R64 제조업체(중국)가 이 바이너리를 게시했습니다. 여기에. 그가 하는 일은 알려지지 않았지만(소스 코드가 없음), 그가 없이는 작동하지 않을 것입니다.

일반적으로 그 후에 eMMC에서 이미지가 로드되기 시작합니다. 그것을 파악하고 처음부터 이미지를 만들고 싶다면 두 경우 모두 (SD / eMMC) 커널에 도달하기 위해 몇 가지 파일 (SD 카드 용 프리 로더, ATF, u-boot)을 더 작성해야합니다 신병. 이 주제는 아직 개발 중, 그러나 우리에게 가장 중요한 것은 작동하고 괜찮다는 것입니다.

지금은 솔직히 eMMC다운로드 안쓰고 SD카드면 충분하지만 작동시키는 데 꽤 많은 시간을 들였으니 기사에 쓰도록 합시다.

운영 체제 선택. 아르비아어

첫 번째 실질적인 작업은 당연히 VPN을 실행하는 것입니다. Wireguard곧바로 커널이 제대로 컴파일되지 않았고 헤더 파일도 없다는 것을 발견했습니다. 커널을 다시 빌드하고, x86 환경에서 늘 하던 대로 DKMS를 이용해 커널 모듈을 빌드했습니다. 하지만 ARM64 환경에서의 빌드 속도는 작은 유틸리티조차 예상외로 느렸습니다. 그 후 또 다른 커널 모듈이 필요했고, 이런 식으로 계속 진행되었습니다. 결국, 커널 관련 작업은 성능이 떨어지는 x86 노트북에서 컴파일한 다음 ARM64 환경으로 복사해서 붙여넣고 재부팅 후 테스트하는 것이 가장 효율적이라는 것을 알게 되었습니다.

사용 공간 부분은 별개의 문제입니다. 제 경우에는 선택은... Debianarm64 아키텍처에 필요한 모든 것은 이미 패키지에 포함되어 있습니다.debian.org 도메인이므로 다시 컴파일할 필요가 없습니다.

다른 자전거를 생산하지 않기 위해, 나는 포트 아르메니아 BPI R64에서.
또는 오히려: 사용자 공간 부분은 Armbian이고 코어는 저장소에서 가져옵니다. 솔직한-ㅏ. 최신 이미지를 다운로드할 수 있습니다. 여기에.

R64의 소프트웨어 부분 개발에 대한 모든 활동은 다음에서 수행됩니다. 포럼일반적으로 제조사 자체는 OpenWrt를 사용하는 라우터를 보급하려고 노력하지만, 독일 개발자 Frank의 활동 덕분에 모든 기능이 빠르게 커널에 반영됩니다. Debian-a. 놀랍게도 프랭크는 모든 포럼 게시글에 활발하게 참여하고 있습니다.

작업 공간 구성: 와이어

이와는 별도로 인터넷 소스에서 전체 방 / 사무실을 통해 이더넷 케이블을 연결하지 않도록 개발 / 테스트 중에 SBC (BPI뿐만 아니라)를 테이블에 배치하는 방법을 알려 드리고 싶습니다. 사실 한편으로는 철 조각에 인터넷을 제공해야하고 다른 한편으로는이 철 조각, 특히 Wi-Fi에서 모든 것이 깨질 수 있습니다.

먼저 저렴한 USB-Wifi "휘파람"을 구입하기로 결정하고 BPI의 유일한 포트에 연결하고 전선은 잊어 버렸습니다. 이를 위해 저렴한 TP-LINK TL-WN725N USB 2.0을 구입했지만 곧 이륙하지 않을 것이라는 것이 분명해졌습니다. 휘파람이 작동하려면 물론 거기에 없었던 커널 드라이버가 필요했습니다. (나중에 필요한 RTL8XXXU 드라이버를 컴파일했지만 여전히 비실용적입니다.) 그리고 이더넷 케이블은 한동안 방의 전망을 망쳤습니다.

결과적으로 저는 Tenda MW3(Wifi 메쉬 시스템)의 도움으로 케이블을 제거할 수 있었습니다. 테이블 아래에 큐브 하나를 놓고 BPI를 미터 이더넷 케이블로 후자의 LAN 포트에 연결했습니다. 성공.

Wireguard, RKN, 새

제가 Banana PI를 사용하는 것 중 하나는 특히 RKN에 의해 ​​차단된 사이트에 무료로 액세스하여 Telegram과 Slack에 대한 호출이 작동하도록 하는 것입니다. 이 주제에 대한 기사는 이미 Habré에서 제안되었습니다. 시간, два, 세.

Ansible을 사용하여 이러한 솔루션의 배포를 구현했습니다. 링크.

VPS는 다음 환경에서 실행 중이라고 가정합니다. Ubuntu 4월 18일. 유럽의 두 호스팅 제공업체인 아마존과 디지털 오션에서 해당 기능을 테스트했습니다.

그래서 위의 Armbian을 R64에 설치했는데, 이름으로 ssh를 통해 사용할 수 있습니다. hm-bananapi-1 인터넷 접속이 가능합니다. 순차적으로 실행 가능한 자동화 스크립트를 배포하고 R64에서 설치 자체를 실행합니다.

# зависимости для Debian-based дистрибутивов
$ sudo apt install --no-install-recommends python3-pip python3-setuptools python3-wheel git
$ which pip3
/usr/bin/pip3

# ansible с pybook, скриптование на Python
$ pip3 install https://github.com/muravjov/ansible/archive/ansible-2.10.0.dev0-pybook2019.tar.gz

$ export PATH=~/.local/bin:$PATH
$ which ansible-playbook
/home/sa/.local/bin/ansible-playbook

$ git clone https://github.com/muravjov/ansible-bpi-r64.git
$ cd ansible-bpi-r64

$ git submodule update --init

# убеждаемся в доступности hm-bananapi-1
$ ssh hm-bananapi-1 which python3
/usr/bin/python3

# собственно установка
$ ansible-playbook ./router.py -l hm-bananapi-1

다음으로 동일한 방식으로 VPN을 VPS에 배포해야 합니다.

ansible-playbook ./router.py -l current-vpn

여기서 인수는 항상 current-vpn이고 VPS 이름 자체는 변수에 구성됩니다(이 경우 paris-vpn-aws-t2-micro-1).

$ grep current_vpn group_vars/all 
current_vpn: paris-vpn-aws-t2-micro-1
#current_vpn: frankfurt-vpn-d0-starter-1

아, 그리고 이러한 모든 작업을 시작하기 전에 비밀 키(특히 비밀 정보)를 생성해야 합니다. Wireguard) 폴더에 ./secrets, 디렉토리는 다음과 같아야 합니다. 그래서.

Python의 Ansible 자동화

YAML 형식 대신 Ansible 명령이 Python 스크립트로 인코딩되어 있음을 알 수 있습니다. 비교를 위해 일반적인 방법으로 새 ​​데몬을 활성화하는 방법:

- name: start bird
  systemd:
    name: bird
    state: started
    enabled: yes

Python을 통해 동일한 방법:

with mapping:
    append("name", "start bird")
    with mapping("systemd"):
        append("name",  "bird")
        append("state", "started")
        append("enabled", "yes")

Python 코드로 Ansible 명령을 작성하면 코드를 재사용할 수 있으며 일반적으로 범용 언어의 모든 가능성이 열려 있습니다. 예를 들어 R64 및 VPS에 새를 설치하는 경우:

install_bird("router/bird.conf.j2")
install_bird("vpn/bird.conf.j2")

함수 코드 참조 install_bird().

이 기능은 pybook 구현 여기에. 아직 pybook에 대한 문서가 없으므로 이 결함을 수정하겠습니다.

그는 어떻게 생각하니? 상류에 이것에 대해.

모니터링. 프로메테우스

합계: 텔레그램 작동, linkedin 및 pornhub도 일반적으로 사용자 경험은 괜찮습니다. 그러나 모든 것이 깨질 수 있고 중국 철 조각도 있습니다.

커널 업데이트도 흥미로울 수 있습니다. 예를 들어, 저는 커널 5.4에서 5.6으로 업데이트하고 싶었습니다. Wireguard 별도의 패치가 필요 없다고 생각했는데, 곧바로 문제가 발생했습니다. 5.4에서 5.6으로 패치를 힘들게 옮기고 커널은 시작되었지만, VPS 터널에 핑이 연결되지 않고 Bird가 "BGP 오류"를 표시합니다. "너무 놀라서" (c) 5.4로 롤백했고, 5.6으로의 업그레이드는 TODO에 넣어두었습니다.

따라서 라우터와 VPS를 설치하는 것 외에도 모니터링 시스템(x86 기반)을 추가했습니다. Ubuntu 18.04 버전은 다음과 같은 구성 요소를 갖춘 별도의 호스트에 설치됩니다.

• prometheus, alertmanager, blackbox_exporter - 모두 도커에 있음
• 경고는 metalmatze/alertmanager-bot 봇을 사용하여 텔레그램 채널로 전송됩니다.
• 인터넷을 사용할 수 있지만 텔레그램이 여전히 작동하지 않고 봇 자체가 연결할 수 없을 때 봇이 상황을 경고할 수 있도록 봇용 tor
• 적용된 알림: NodeVPNTroubles(VPS에 대한 ping 없음), BirdVPNTroubles(Bird 세션 없음), AntifilterDownloadTroubles(차단된 IP 주소 로드 실패), SiteTroubles(불행한 전보 사용 불가)
• HostGrowingDiskReadLatency와 같은 시스템 경고(저렴한 SD 카드 읽기 중지)

모니터링 설정 예시:

ansible-playbook ./monitoring.py -l monitoring-preprod

prometheus에 대한 자동 검색은 모니터링에 호스트를 추가하는 예인 /etc/prometheus/auto_http 폴더로 설정됩니다(호스트는 기본적으로 모니터링되지 않음).

bash << 'EOF'
HOSTNAME=hm-bananapi-1
IP_ADDRESS=`ssh -G $HOSTNAME | awk '/^hostname / { print $2 }'`

ssh monitoring-preprod sudo sponge /etc/prometheus/auto_http/$HOSTNAME.json << EOF2
[
  {
    "targets": ["$IP_ADDRESS:9100"],
    "labels": {
      "env": "prod",
      "hostname": "$HOSTNAME"
    }
  }
]
EOF2
EOF

TODO: 공급자 2개, BPI 2개, 애니캐스트 장애 조치

모든 것 외에도 한 공급자가 네트워크에 문제가 있거나 인터넷 비용 지불을 잊었거나 기타 인적 요인이 있더라도 인터넷이 계속 작동하도록 두 공급자에 연결할 계획이었습니다.

다중 완 주제에 대한 가장 진보된 사용자 경험이 설명됩니다. 여기에 Openwrt에서 Mwan3 시스템용. 이 솔루션은 기능이 풍부하지만 일반적으로 multi-wan에 대한 설정 및 운영이 다소 번거롭습니다. 한 가지 예 : 한 번에 두 개의 IP 주소에서 일부 사이트로 이동하면 마음에 들지 않을 수 있으며 작동이 중지됩니다 => "인터넷이 작동하지 않습니다."

이 경험을 바탕으로 저는 멀티호밍이 아직 우선순위가 아니라 장애 조치일 뿐이라고 결정했습니다. 최신 버전의 Linux에서는 모든 것이 다음과 같은 하나의 명령으로 작동해야 하는 것 같습니다.

ip route add default 
    nexthop via 192.168.1.1 weight 10 
    nexthop via 192.168.2.1 weight 5

따라서 단일 장애 지점이 없도록 2개의 BPI를 가져와 각각 하나의 공급자에 연결하고 함께 연결하고 bird/OSPF를 통한 동적 라우팅으로 서로 통신합니다.

또한 서비스를 사용할 수 있는 경우(인터넷, DNS) 동일한 IP 주소를 각각 발표합니다. 즉, 기본 경로를 직접 지정하지 않고 새를 통해 지정합니다. 솔루션 염탐 여기에 .

이 기능은 아직 구현되지 않았고 교활한 코로나 바이러스가 엉망이되었습니다 (모든 것이 aliexpress에서 온 것은 아닙니다. 다른 온라인 상점 인 Layta는 일주일 안에 배송하겠다고 약속했고 한 달 이상이 지났습니다. 두 번째 공급자는 확장하지 못했습니다. 검역 전에 케이블을 뚫기 위해 벽에 구멍을 뚫는 데만 성공했습니다).

R64 주문 방법

공식 매장의 보드 자체 시노보이프.
즉시 주문하는 것도 좋습니다.

• 음식 + EU 또는 US 플러그 표준에 알림
• 방열판: 라디에이터/팬; CPU와 스위치 칩이 모두 가열되기 때문에
• 와이파이 안테나, 예를 들면

뉘앙스가 있습니다. 공식 상점에서 언젠가부터 배송 가격이 부적절하게 높아졌습니다. Judy Huang 매니저는 실수가 없으며 $5에 ePacket을 선택할 수 있다고 확신했지만 러시아의 경우 >33$에 EMS만 있음을 확인했습니다. 불쾌하지만 중요하지는 않습니다. 게다가 배송을 위해 다른 국가를 선택하면(저는 모든 대륙을 거쳤습니다) 배송비는 ~5$입니다. Russophobes?.. 그런데 프랑스 배송비도 ~$30인 걸 알게 되었고, 진정되었습니다.

결과적으로 Judy는 주문을 제안했지만 지불하지 않았습니다 (비치다: 결제가 자동으로 진행되지 않도록 카드에 적게 넣습니다.) 그녀에게 편지를 쓰면 배송료를 정상으로 낮출 것입니다. 성공.

문제

아직 모든 것이 완벽하게 작동하는 것은 아닙니다.

Производительность

Ansible=Python 명령이 20-30초 동안 느리게 실행됩니다. x86 노트북보다 훨씬 더 깁니다. 또한 처음에는 ~ 3 초 동안 매우 빠르게 수행된 다음 급격히 느려집니다. 아마도 이것은 CPU의 발열(스로틀링) 때문일 것입니다. Go 코드도 오래 실행됩니다.

# запрос метрик для прометея из node_exporter на Go
$ time curl -s http://172.30.1.1:9100/metrics > /dev/null

real    0m6,118s
user    0m0,005s
sys     0m0,009s

# однако температура 51 градус, не так и много
sa@bananapir64:~$ cat /sys/devices/virtual/thermal/thermal_zone0/temp
51700

무선 랜

Wi-Fi는 작동하지만 약 하루 후에 Armbian에서 멈춥니다.

sa@bananapir64:~$ dmesg | grep -E 'mt7622_wmac.*timeout'
[470303.802539] mt7622_wmac 18000000.wmac: Message 38 (seq 3) timeout
[470314.042508] mt7622_wmac 18000000.wmac: Message 50 (seq 4) timeout
...

재시작만 도움이 됩니다. 더 나아가야 해 이해하다.

Ethernet

이더넷은 작동하지만 ~ 하루 후 R64의 패킷(DHCP) 수신이 중지됩니다.
인터페이스를 다시 시작하면 다음이 도움이 됩니다.

ifdown br0; sleep 30; ifup br0

드라이버가 새롭고 커널이 아직 승인되지 않았습니다. 중국 Landen Chao가 마치다.

출처 : habr.com