Banana Pi R64 ルーター - Debian、Wireguard、RKN

Banana Pi 64 は、Raspberry Pi に似たシングルボード コンピューターですが、複数のイーサネット ポートを備えているため、汎用 Linux ディストリビューション ルーターになります。

はい、Openwrt はすでに存在しますが、独自の GUI と CLI があります。 Mikrotik もありますが、やはり独自の GUI / CLI があり、Wireguard はそのままでは機能しません...一般的に、使用する標準 Linux のフレームワーク内に留まりながら、柔軟な設定を備えたルーターが必要です。毎日。

BPI、R64、シングルボードという名前の記事では、同じこと、つまり Banana Pi R64 シングルボード自体を意味します。

画像の選択。 eMMC経由でダウンロード

仕事をする上で最初に身につけるべきスキル SBC 一般に、特に R64 の場合は、R64 にモニター ポート (HDMI など) がないため、OS をロードして操作できるようにする方法を学ぶことを意味します。 Wi-Fi、イーサネットネットワーク、Bluetooth、USBなどが機能しなくなった場合、UARTがあり、そのインターフェイスを介して何が問題になったかを常に確認でき、必要に応じてコンソールからいくつかのコマンドを実行することもできます。

USB-UART 経由の R64 への接続アルゴリズム:

• USB-UART ケーブル (PL2303、シリアル - USB) を購入するには、無線部品店に行ってください。
• 下の図のように、USB の一方の端をコンピュータに接続し、もう一方の UART を R64 に XNUMX 本のワイヤのうち XNUMX 本で接続します。
• コンピュータのコンソールで実行します sudo minicom

その後、ほとんどの場合、シングルボードのコンソールが表示されます = 成功です。
もっと見ることができます ここで.

次に、最も簡単な方法は、SD カードからオペレーティング システムをロードすることです。 リンク 画像を作成してアップロードします。

unzip -p 2019-08-23-ubuntu-16.04-lite-preview-bpi-r64-sd-emmc.img.zip | pv | sudo dd of=/dev/mmcblk0 bs=10M status=noxfer

カードを R64 SD スロットに挿入して電源をオンにし、接続されたコンソールで最初に uboot のロードを観察し、次に標準の Linux ブートを観察します。

別のブート オプションは、R64 にすでに組み込まれている eMMC と呼ばれる 8Gb カードを使用することです。 wikiの指示に従い、イメージをデバイスに書き換えます
/dev/mmcblk0 を BPI に設定し、再起動し、SD カードを取り外し、BPI を再度有効にします...そして機能しません。 そこに着く方法 Boot select 我慢しないでください。

実際のところ、少なくとも BPI では、内部フラッシュ ドライブから起動できるようにするために特別なフラグを設定する必要があります。

root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x00]
root@bpi-r64:~# ./mmc bootpart enable 1 1 /dev/mmcblk1
root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x48]

次に、プリローダーを特別なブート パーティションに書き込む必要があります。

root@bpi-r64:~# echo 0 > /sys/block/mmcblk0boot0/force_ro 
root@bpi-r64:~# dd if=preloader_evb7622_64_foremmc.bin of=/dev/mmcblk0boot0

R64 メーカー (中国) がこのバイナリを投稿しました ここで。 彼が何をするのかは不明ですが (ソースコードはありません)、彼なしではそれも機能しません。

通常、その後、イメージは eMMC からロードされ始めます。 それを理解してイメージを最初から作成したい場合は、両方の場合 (SD / eMMC) で、カーネルにアクセスするためだけに、さらにいくつかのファイル (SD カード、ATF、U-Boot のプリローダー) を書き込む必要があります。ブート。 この話題はまだ 開発中です、しかし私たちにとって重要なことは、それが機能し、大丈夫であるということです。

正直に言うと、私は eMMC のダウンロードを使用していません。SD カードで十分ですが、それを機能させるのにかなりの時間を費やしたので、記事に残しておきます。

オペレーティング システムの選択。 アルビアン語

最初のアプリケーション タスクは、VPN (もちろん Wireguard) を起動することです。 カーネル側からアセンブルされておらず、ヘッダーがないことがすぐにわかりました。 私はカーネルを再構築し、x86 の習慣から DKMS を使用してカーネル モジュールを構築しました。 しかし、小さなユーティリティでも arm64 でのアセンブリ速度には不快なほど驚きました。 そして、別のカーネル モジュールが必要になる、というように続きました。 一般に、カーネルに関連するものはすべて、ウォーム チューブ x86 ラップトップ上でアセンブルし、単純なコピーによって R64 に転送し、再起動してテストする方がよいことがわかります。

もう 64 つはユーザースペースの部分です。 Debian を選択した私の場合、armXNUMX アーキテクチャのすべてが既に package.debian.org にあるため、何も再構築する必要はありません。

次の自転車を生み出さないために、 移植された アルビアン BPI R64 で。
というか、ユーザースペース部分は Armbian で、コアはリポジトリから取得されます。 -A. 最新のイメージがダウンロード可能 ここで.

R64 のソフトウェア部分の開発に関するすべての活動は、 フォーラム。 一般的に、メーカー自体が Openwrt ルーターの普及に努めていますが、ドイツの開発者 Frank の活躍のおかげで、すべての機能がすぐに Debian カーネルに組み込まれることになりました。 驚くべきことに、フランクはフォーラムのすべてのスレッドでアクティブです。

ワークスペースの構成: ワイヤー

これとは別に、開発/テスト中に SBC (BPI だけでなく) をテーブルの上に置き、インターネット ソースから部屋/オフィス全体にイーサネット ケーブルを配線しないようにする方法について説明したいと思います。 実際のところ、一方では鉄にインターネットを提供する必要があるが、他方ではこの鉄の中であらゆるもの、特に Wifi が壊れる可能性がある。

まず、安価な USB-Wifi「ホイッスル」を購入し、BPI の唯一のポートに接続して、ワイヤーのことは忘れることにしました。 これを行うために、私は安価な TP-LINK TL-WN725N USB 2.0 を購入しましたが、すぐにそれがうまくいかないことが明らかになりました。ホイッスルが機能するにはカーネル ドライバーが必要でしたが、当然のことながら、そこにはありませんでした。 (後で必要な RTL8XXXU ドライバーをコンパイルしましたが、それでも実用的ではありません)。 そして、イーサネットケーブルのせいで、しばらく部屋の景色が台無しになりました。

その結果、Tenda MW3 (Wifi メッシュ システム) の助けを借りてケーブルを取り除くことができました。単純にテーブルの下に XNUMX つの立方体を置き、メーター イーサネット ケーブルで BPI を後者の LAN ポートに接続しました。 成功。

ワイヤーガード、RKN、バード

私が Banana PI を使用している目的の XNUMX つは、特に RKN によってブロックされているサイトに無料でアクセスできるようにすることです。これにより、Telegram と Slack への通話が機能します。 このトピックに関する記事はすでに Habré で提案されています。 時間, два, 3.

Ansible を使用して、まさにそのようなソリューションのデプロイメントを実装しました。 リンク.

VPS は Ubuntu 18.04 を実行しているはずです。 ヨーロッパの XNUMX つのホスティング会社、Amazon と Digital Ocean でパフォーマンスをチェックしました。

そこで、上記の Armbian を R64 にインストールしました。これは、ssh 経由で次の名前で利用できます。 hm-bananapi-1 インターネットにアクセスできます。 Ansible 自動化スクリプトを順次デプロイし、R64 上でインストール自体を実行します。

# зависимости для Debian-based дистрибутивов
$ sudo apt install --no-install-recommends python3-pip python3-setuptools python3-wheel git
$ which pip3
/usr/bin/pip3

# ansible с pybook, скриптование на Python
$ pip3 install https://github.com/muravjov/ansible/archive/ansible-2.10.0.dev0-pybook2019.tar.gz

$ export PATH=~/.local/bin:$PATH
$ which ansible-playbook
/home/sa/.local/bin/ansible-playbook

$ git clone https://github.com/muravjov/ansible-bpi-r64.git
$ cd ansible-bpi-r64

$ git submodule update --init

# убеждаемся в доступности hm-bananapi-1
$ ssh hm-bananapi-1 which python3
/usr/bin/python3

# собственно установка
$ ansible-playbook ./router.py -l hm-bananapi-1

次に、同じ方法で VPN を VPS にデプロイする必要があります。

ansible-playbook ./router.py -l current-vpn

ここで、引数は常に current-vpn であり、VPS 名自体は変数で構成されます (この場合、paris-vpn-aws-t2-micro-1)。

$ grep current_vpn group_vars/all 
current_vpn: paris-vpn-aws-t2-micro-1
#current_vpn: frankfurt-vpn-d0-starter-1

そうそう、これらすべての操作の前に、フォルダー内にシークレット (特に Wireguard キー) を生成する必要があります。 ./secrets、ディレクトリは次のようになります。 そう.

Python での Ansible 自動化

Ansible コマンドが YAML 形式ではなく、Python スクリプトでエンコードされていることに気づくかもしれません。 比較のために、通常の方法で Bird デーモンを有効にする方法を示します。

- name: start bird
  systemd:
    name: bird
    state: started
    enabled: yes

Python 経由でも同様です:

with mapping:
    append("name", "start bird")
    with mapping("systemd"):
        append("name",  "bird")
        append("state", "started")
        append("enabled", "yes")

Python コードを使用して Ansible コマンドを作成すると、コードを再利用でき、一般に、汎用言語のあらゆる可能性が開かれます。 たとえば、bird を R64 と VPS にインストールすると、次のようになります。

install_bird("router/bird.conf.j2")
install_bird("vpn/bird.conf.j2")

関数コードを参照 install_bird().

この機能はと呼ばれます pybook 実装されました ここで。 pybook に関するドキュメントはまだありません。この欠陥は修正します。

彼はどう思いますか アップストリーム これについて。

監視。 プロメテウス

合計: テレグラムは機能し、linkedin とpornhub も機能し、一般的にユーザー エクスペリエンスは問題ありません。 しかし、あらゆるものは壊れる可能性があり、中国の鉄片も壊れます。

カーネルの更新も興味深い場合があります。たとえば、カーネル 5.4 => 5.6 を更新したいと考えていました。まあ、Wireguard がすぐに使えるので、パッチを適用する必要はありません...言うまでもなく、苦労してパッチを 5.4 から 5.6 に移行しました。 5.4、カーネルが開始され、VPS へのトンネルが ping されましたが、bird はエラー「BGP エラー」で接続できません…「恐怖でロールバックされました」(c) から 5.6; XNUMX への移行は TODO で延期されました。

したがって、ルーターと VPS のインストールに加えて、次のコンポーネントを含む別のホストにインストールされるモニタリング (x86 Ubuntu 18.04 上) を追加しました。

• prometheus、alertmanager、blackbox_exporter - すべて Docker 内にあります
• アラートは、docker 内の metalmatze/alertmanager-bot ボットを使用してテレグラム チャネルに送信されます。
• ボット用の tor。これにより、インターネットは利用可能であるが、テレグラムがまだ機能せず、ボット自体が接続できない場合にボットが状況を警告できるようになります。
• 適用 アラート: NodeVPNTroubles (VPS への ping がありません)、BirdVPNTroubles (Bird セッションがありません)、AntifilterDownloadTroubles (ブロックされた IP アドレスのロードに失敗しました)、SiteTroubles (残念ながらテレグラムが利用できません)
• HostGrowingDiskReadLatency などのシステム アラート (安価な SD カードは読み取りを停止します)

監視設定例：

ansible-playbook ./monitoring.py -l monitoring-preprod

prometheus の自動検出は /etc/prometheus/auto_http フォルダーに設定されます。これは、ホストを監視に追加する例です (ホストはデフォルトでは監視されません)。

bash << 'EOF'
HOSTNAME=hm-bananapi-1
IP_ADDRESS=`ssh -G $HOSTNAME | awk '/^hostname / { print $2 }'`

ssh monitoring-preprod sudo sponge /etc/prometheus/auto_http/$HOSTNAME.json << EOF2
[
  {
    "targets": ["$IP_ADDRESS:9100"],
    "labels": {
      "env": "prod",
      "hostname": "$HOSTNAME"
    }
  }
]
EOF2
EOF

TODO: 2 つのプロバイダー、2 つの BPI、エニーキャスト フェイルオーバー

すべてに加えて、XNUMX つのプロバイダーでネットワークに問題が発生したり、インターネット料金の支払いを忘れたり、その他の人的要因が発生した場合でも、インターネットが引き続き機能できるように、XNUMX つのプロバイダーに接続することを計画しました。

マルチワンに関する最先端のユーザー エクスペリエンスについて説明します ここで Openwrt 下の Mwan3 システム用。 このソリューションは機能が豊富ですが、マルチ WAN の設定と運用は一般的にかなり面倒です。 ほんの XNUMX つの例です。一度に XNUMX つの IP アドレスからいくつかのサイトにアクセスすると、サイトはそれを好まない可能性があり、動作を停止します => 「インターネットは動作していません」。

この経験を考慮して、私はマルチホーミングはまだ優先事項ではなく、フェイルオーバーのみを優先すると判断しました。 Linux の最新バージョンでは、次のような XNUMX つのコマンドですべてが機能するようですが、

ip route add default 
    nexthop via 192.168.1.1 weight 10 
    nexthop via 192.168.2.1 weight 5

したがって、単一障害点が存在しないように、2 つの BPI を使用し、それぞれが XNUMX つのプロバイダーに接続し、それらを相互に接続し、bird/OSPF を介した動的ルーティングによって相互に通信を行います。

さらに、サービス (インターネット、DNS) が利用可能な場合は、それぞれで同じ IP アドレスをアナウンスします。 つまり、デフォルトのルートを自分たちで設定するのではなく、bird を通じて設定します。 解決策がスパイされた ここで .

この機能はまだ実装されておらず、潜伏性のコロナウイルスによって混乱が生じました（すべてが aliexpress から提供されたわけではありません。別のオンライン ストアである Layta は XNUMX 週間以内に配送すると約束していましたが、XNUMX か月以上経過しました。XNUMX 番目のプロバイダーは期限を延長することができませんでした）検疫前にケーブルを取り外しましたが、ケーブル用のドリルで壁に穴を開けることしかできませんでした）。

R64形番表示方法

ボード本体は公式ストアにあります シノボイプ.
すぐに注文することもお勧めします。

• 食べ物 + EU または US のプラグ規格を通知
• ヒートシンク: ラジエーター/ファン; CPUとスイッチチップの両方が加熱されるため、
• 無線 LAN アンテナ, 例えば

ニュアンスがあります - ある時期から、公式ストアでは配送価格が不適切に高くなっています。 マネージャーのジュディ・ファンは、間違いはないと保証してくれました。5 ドルの ePacket を選択できますが、ロシアの場合は 33 ドルを超える EMS しかないことが分かりました。 不快ではありますが、批判的ではありません。 さらに、配送先として他の国を選択した場合 (私はすべての大陸を経由しました)、配送料は最大 5 ドルかかります。 ロシア嫌い?...しかしその後、フランスの配達価格も ~ 30 ドルであることがわかり、落ち着きました。

その結果、ジュディは注文はするが支払いはしないと申し出ました（ヒント: 支払いが自動的に行われないように、カードの金額を減らしてください)。 彼女に手紙を書いていただければ、送料を通常の価格に値下げしてくれるでしょう。 成功。

問題

まだすべてが完璧に機能しているわけではありません。

Производительность

Ansible=Python コマンドは、アイドル状態であっても 20 ～ 30 秒ほどゆっくりと実行されます。 x86 ラップトップよりも一桁長いです。 さらに、最初は非常に速く（約 3 秒）実行され、その後急激に遅くなります。 おそらくこれは CPU の加熱 (スロットリング) が原因であると考えられます。 Go コードも実行時間が長くなります。

# запрос метрик для прометея из node_exporter на Go
$ time curl -s http://172.30.1.1:9100/metrics > /dev/null

real    0m6,118s
user    0m0,005s
sys     0m0,009s

# однако температура 51 градус, не так и много
sa@bananapir64:~$ cat /sys/devices/virtual/thermal/thermal_zone0/temp
51700

無線LAN

Wi-Fi は機能しますが、Armbian では約 XNUMX 日後に停止します。次のように書いています。

sa@bananapir64:~$ dmesg | grep -E 'mt7622_wmac.*timeout'
[470303.802539] mt7622_wmac 18000000.wmac: Message 38 (seq 3) timeout
[470314.042508] mt7622_wmac 18000000.wmac: Message 50 (seq 4) timeout
...

再起動のみが役に立ちます。 さらに前進する必要があります 理解する.

イーサネット

イーサネットは機能しますが、64 日経つと RXNUMX からのパケット (DHCP) が受信されなくなります。
インターフェイスを再起動すると、次のことが役立ちます。

ifdown br0; sleep 30; ifup br0

ドライバーは新しいですが、カーネルはまだ受け入れられていません。中国の Landen Chao を願っています 仕上げる.

出所： habr.com