Banana Pi R64ルーター - Debian, WireguardRKN

Banana Pi 64 は、Raspberry Pi に似たシングルボードコンピュータですが、複数のイーサネットポートを備えているため、汎用 Linux ルーターとして使用できます。

はい、Openwrt がありますが、独自の癖、独自の GUI と CLI があります。Mikrotik もありますが、これも独自の GUI/CLI があり、 Wireguard そのままでは動作しません... 基本的に、私が毎日使用している標準的なLinuxの枠組み内で、柔軟な設定が可能なルーターが欲しいのです。

この記事では、BPI、R64、シングルボードという名前で、同じもの、つまり Banana Pi R64 シングルボード自体を指します。

画像を選択しています。 eMMC経由で起動

仕事をする際に最初に習得する必要があるスキルは SBC 一般的に、そして特に R64 の場合、R64 にはモニター用のポート (HDMI など) がないため、オペレーティング システムをロードして対話する方法を学習することが目的です。すべてが機能しなくなり、Wi-Fi、イーサネット、Bluetooth、USB、その他のネットワークが機能しなくなりました。 UART があり、そのインターフェースを通じて何が問題なのかを常に確認でき、必要に応じてコンソールからいくつかのコマンドを実行することもできます。

USB-UART経由でR64に接続するためのアルゴリズム:

• USB-UARTケーブル（PL2303、シリアル-USB）を求めてラジオ部品店へ走ります
• 下の図のように、64本のワイヤーのうちXNUMX本を使用して、片方のUSB端子をコンピューターに接続し、もう片方のUART端子をRXNUMXに接続します。
• コンピュータコンソールで起動します sudo minicom

この後、ほとんどの場合、シングルボードコンソールが表示されます = 成功です。
詳細は以下をご覧ください ここで.

次に、オペレーティングシステムをロードする最も簡単な方法は、SDカードからダウンロードすることです。 リンク 画像を入力して塗りつぶします。

unzip -p 2019-08-23-ubuntu-16.04-lite-preview-bpi-r64-sd-emmc.img.zip | pv | sudo dd of=/dev/mmcblk0 bs=10M status=noxfer

カードを R64 SD スロットに挿入し、電源を入れると、接続されたコンソールが最初に uboot をロードし、次に標準の Linux をロードするのを確認します。

代替のブート オプションとしては、R64 にすでに組み込まれている eMMC と呼ばれる 8Gb カードを使用する方法があります。 Wikiの指示に従って、イメージをデバイスにコピーします
/dev/mmcblk0 を BPI に設定し、再起動し、SD カードを取り外し、BPI を再度オンにします... でも動作しません。行ったり来たり Boot select 引っ張らないでください。

問題は、少なくとも BPI の場合、内部フラッシュ ドライブから起動できるようにするには特別なフラグを設定する必要があることです。

root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x00]
root@bpi-r64:~# ./mmc bootpart enable 1 1 /dev/mmcblk1
root@bpi-r64:~# ./mmc extcsd read /dev/mmcblk1 | grep 'PARTITION_CONFIG'
Boot configuration bytes [PARTITION_CONFIG: 0x48]

次に、特別なブート セクションにプリローダーを書き込む必要があります。

root@bpi-r64:~# echo 0 > /sys/block/mmcblk0boot0/force_ro 
root@bpi-r64:~# dd if=preloader_evb7622_64_foremmc.bin of=/dev/mmcblk0boot0

メーカーR64（中国）がこのバイナリを投稿しました ここで。何をするのかは不明です（ソースコードはありません）が、これがないと動作しません。

通常、この後、eMMC からイメージの読み込みが開始されます。それを理解して最初からイメージを作成したい場合は、どちらの場合も (SD/eMMC)、カーネルをロードするために、さらにいくつかのファイル (SD カードのプリローダー、ATF、u-boot) を書き込む必要があります。この話題はまだ続いている 開発中ですしかし、私たちにとって重要なのは、それが機能すること、それだけです。

正直に言うと、今は eMMC ブートは使用しておらず、SD カードで十分ですが、動作させるのにかなりの時間を費やしたので、記事に残しておきます。

オペレーティング システムを選択します。アルムビア語

最初の実務的なタスクは、当然VPNを起動することです。 Wireguardすぐにカーネルが正しくコンパイルされておらず、ヘッダーファイルも存在しないことに気づきました。カーネルを再構築し、x86での私の習慣通り、DKMSを使ってカーネルモジュールを作成しました。しかし、ARM64でのビルド速度は、小さなユーティリティでさえも、予想外に遅いものでした。その後、別のカーネルモジュールが必要になり、といった具合に作業が続きました。結局のところ、カーネル関連のものは、性能の低いx86ノートパソコンでコンパイルし、それをARM64にコピー＆ペーストして再起動し、テストするのが最善策であることが分かりました。

使用スペースの部分は別の問題です。私の場合、選択は Debianarm64アーキテクチャ向けのものはすべて既にパッケージに含まれています。debian.org なので、何も再コンパイルする必要はありません。

新たな自転車を作らないために、私は 移植された アルビアン BPI R64 について。
より正確に言うと、ユーザー空間部分はArmbianであり、カーネルはリポジトリから取得されます -A.最新の画像をダウンロードできます ここで.

R64ソフトウェアの開発に関するすべての活動は、 フォーラム一般的に言って、メーカー自身はOpenWrt用のルーターを普及させようとしていますが、ドイツの開発者Frankの活動のおかげで、すべての機能がすぐにカーネルに取り込まれます。 Debian-a. 驚くべきことに、フランクはすべてのフォーラムのスレッドで活発に活動している。

ワークスペースの整理：配線

また、開発/テスト中に、部屋/オフィス全体のインターネット ソースからイーサネット ケーブルを SBC (BPI だけでなく) まで配線しないように、SBC をテーブル上に配置する方法についても説明したいと思います。問題は、一方ではハードウェアにインターネットを提供する必要があるが、他方では、このハードウェアのすべてが壊れる可能性があり、まず第一に Wi-Fi が壊れる可能性があるということです。

最初は、安価な USB-Wifi「ホイッスル」を購入し、それを BPI の唯一のポートに接続して、配線のことを忘れることにしました。この目的のために、安価な TP-LINK TL-WN725N USB 2.0 を購入しましたが、すぐに動作しないことが明らかになりました。ホイッスルが動作するにはカーネル ドライバーが必要ですが、当然ながらそこにはありませんでした (後で必要な RTL8XXXU ドライバーを組み立てましたが、それでも実用的ではありません)。そして、イーサネット ケーブルのせいで、しばらくの間、部屋の見た目が台無しになっていました。

結局、Tenda MW3 (Wifi メッシュ システム) の助けを借りて、ケーブルを取り除くことができました。テーブルの下にキューブを XNUMX つ置き、XNUMX メートルのイーサネット ケーブルを使用して BPI をキューブの LAN ポートに接続するだけで済みました。成功。

Wireguard、RKN、鳥

私が Banana PI を使いたい目的の 1 つは、Roskomnadzor によってブロックされているサイトに自由にアクセスし、特に Telegram と Slack の通話を機能させることです。このトピックに関する記事はすでにHabrで提案されています。 時間, два, 3.

私はまさにこのソリューションのデプロイメントを Ansible を使用して実装しました。 リンク.

VPSは以下で動作していると想定されます Ubuntu 4月18日。ヨーロッパの2つのホスティングプロバイダー、AmazonとDigital Oceanで機能テストを実施しました。

そこで、上記のArmbianをR64にインストールし、ssh経由で次の名前でアクセスできるようにしました。 hm-bananapi-1 インターネットアクセスも備わっています。 Ansible と自動化スクリプトを展開し、R64 でインストールを開始します。

# зависимости для Debian-based дистрибутивов
$ sudo apt install --no-install-recommends python3-pip python3-setuptools python3-wheel git
$ which pip3
/usr/bin/pip3

# ansible с pybook, скриптование на Python
$ pip3 install https://github.com/muravjov/ansible/archive/ansible-2.10.0.dev0-pybook2019.tar.gz

$ export PATH=~/.local/bin:$PATH
$ which ansible-playbook
/home/sa/.local/bin/ansible-playbook

$ git clone https://github.com/muravjov/ansible-bpi-r64.git
$ cd ansible-bpi-r64

$ git submodule update --init

# убеждаемся в доступности hm-bananapi-1
$ ssh hm-bananapi-1 which python3
/usr/bin/python3

# собственно установка
$ ansible-playbook ./router.py -l hm-bananapi-1

次に、同様の方法で VPS に VPN を展開する必要があります。

ansible-playbook ./router.py -l current-vpn

ここでの引数は常に current-vpn であり、VPS 名自体は変数で構成されます (この場合は paris-vpn-aws-t2-micro-1)。

$ grep current_vpn group_vars/all 
current_vpn: paris-vpn-aws-t2-micro-1
#current_vpn: frankfurt-vpn-d0-starter-1

そうそう、これらの操作を行う前に、秘密情報（特に鍵）を生成する必要があります。 Wireguard) をフォルダへ ./secretsディレクトリは次のようになります そう.

Python での Ansible 自動化

YAML 形式ではなく、Ansible コマンドが Python スクリプトでエンコードされていることに気づくでしょう。比較のために、通常の方法で bird デーモンを有効にする方法は次のとおりです。

- name: start bird
  systemd:
    name: bird
    state: started
    enabled: yes

Python でも同じことができます:

with mapping:
    append("name", "start bird")
    with mapping("systemd"):
        append("name",  "bird")
        append("state", "started")
        append("enabled", "yes")

Ansible コマンドを Python コードで記述すると、コードの再利用が可能になり、汎用言語のすべての機能を利用できるようになります。たとえば、R64 と VPS に bird をインストールする場合:

install_bird("router/bird.conf.j2")
install_bird("vpn/bird.conf.j2")

関数コードを表示 インストール_bird().

この機能は pybook 実装されました ここで。 pybook のドキュメントはまだありません。この問題は後で修正します。

彼は何を考えているのでしょうか？ アップストリーム これについて。

監視。プロメテウス

要約: Telegram は機能し、LinkedIn と Pornhub も機能し、全体的なユーザー エクスペリエンスは良好です。しかし、中国製のハードウェアを含め、あらゆるものが壊れる可能性があります。

カーネルのアップデートも興味深いことがあります。たとえば、カーネルを5.4から5.6にアップデートしたいのですが、 Wireguard 箱から出してすぐに使えるので、パッチを当てる必要はありません... 言ったとおり、5.4 から 5.6 にパッチを苦労して転送し、カーネルを起動し、VPS へのトンネルは ping しますが、Bird は「BGP エラー」というエラーで接続できません... 「恐怖を感じて、5.4 にロールバックしました」(c)。5.6 への移行は TODO に追加されました。

そのため、ルーターとVPSのインストールに加えて、監視機能を追加しました（x86 Ubuntu 18.04）は、以下のコンポーネントを備えた別のホストにインストールされています。

• prometheus、alertmanager、blackbox_exporter — すべてdockerで
• アラートは、ボット metalmatze/alertmanager-bot を使用してテレグラムチャンネルに送信されます (これも docker にあります)
• ボット用のTor。インターネットは存在するがTelegramがまだ機能せず、ボット自体が接続できない場合にボットが状況を警告できるようにします。
• 適用 アラート: NodeVPNTroubles (VPS への ping なし)、BirdVPNTroubles (Bird セッションなし)、AntifilterDownloadTroubles (ブロックされた IP アドレスのダウンロードエラー)、SiteTroubles (不運な Telegram が利用できない)
• HostGrowingDiskReadLatency（安価なSDカードが読み取りを停止する）などのシステムアラート

監視設定の例:

ansible-playbook ./monitoring.py -l monitoring-preprod

Prometheus の自動検出は /etc/prometheus/auto_http フォルダーに対して構成されています。監視対象にホストを追加する例は次のとおりです (デフォルトではホストは監視されません)。

bash << 'EOF'
HOSTNAME=hm-bananapi-1
IP_ADDRESS=`ssh -G $HOSTNAME | awk '/^hostname / { print $2 }'`

ssh monitoring-preprod sudo sponge /etc/prometheus/auto_http/$HOSTNAME.json << EOF2
[
  {
    "targets": ["$IP_ADDRESS:9100"],
    "labels": {
      "env": "prod",
      "hostname": "$HOSTNAME"
    }
  }
]
EOF2
EOF

TODO: プロバイダー 2 つ、BPI 2 つ、エニーキャスト フェイルオーバー

さらに、1 つのプロバイダーでネットワークに問題が発生した場合や、インターネット料金の支払いを忘れた場合など、その他の人的要因が発生した場合でも、インターネットが引き続き機能するように、2 つのプロバイダーに接続することを計画しました。

マルチWANに関する最も先進的なユーザーエクスペリエンスについて説明します ここで Openwrt の Mwan3 システム用。このソリューションは機能が豊富ですが、マルチ WAN のセットアップと操作は一般的に非常に面倒です。ほんの一例ですが、XNUMX つの IP アドレスから同時にいくつかのサイトにアクセスすると、ユーザーはそれを好ましく思わず、動作を停止してしまいます => 「インターネットが動作していません」。

この経験を踏まえて、私は今のところマルチホーミングは優先事項ではなく、フェイルオーバーのみを優先することにしました。ただし、最新バージョンの Linux では、次のような 1 つのコマンドですべてが機能するようです。

ip route add default 
    nexthop via 192.168.1.1 weight 10 
    nexthop via 192.168.2.1 weight 5

したがって、単一障害点を回避するために、2 つの BPI を用意し、それぞれを XNUMX つのプロバイダーに接続し、それらを相互に接続して、bird/OSPF 経由で相互の接続を動的にルーティングします。

次に、サービスが利用可能な場合 (インターネット、DNS)、それぞれに同じ IP アドレスをアナウンスします。つまり、デフォルト ルートを自分で設定するのではなく、bird を通じて設定することになります。私は解決策を見つけた ここで .

この機能はまだ実装されていません。陰険なコロナウイルスがここでも事態を混乱させています (AliExpress からすべてが届いたわけではありません。別のオンライン ストア Layta は 1 週間で配送すると約束しましたが、すでに 1 か月以上が経過しています。2 番目のプロバイダーは検疫前にケーブルを敷設する時間がなく、ケーブル用に壁に穴を開けることしかできませんでした)。

R64の注文方法

ボード自体は公式ストアにあります シノボイプ.
すぐに注文した方が良いでしょう:

• 食べ物 + EUまたは米国のプラグ規格を入力してください
• 放熱：ラジエーター/ファンCPUとスイッチチップの両方が熱くなるため
• Wi-Fi用アンテナ、 例えば

微妙なところがありますが、ここしばらく、公式ストアでは配送料金が不当に高くなっています。マネージャーの Judy Huang は、間違いはないと私を説得し、5 ドルで ePacket を選択できると説明しましたが、ロシアの場合は 33 ドルを超える EMS しかないことがわかりました。不快だが、重大ではない。さらに、配送先に他の国を選択した場合（すべての大陸を試しました）、配送料は約 5 ドルかかります。ロシア嫌い？...でもフランスへの配送料も約30ドルだと知って、落ち着きました。

結局、ジュディは注文はするが支払いはしないことを提案した（ヒント: 自動支払いが実行されないようにカードの残高を少なくします);彼女にメールを送れば、配送料金を通常価格に引き下げてくれます。成功。

問題

まだすべてが完璧に機能しているわけではありません。

Производительность

Ansible=Python コマンドは、アイドル状態のコマンドであっても 20 ～ 30 秒間ゆっくりと実行されます。 x86 ラップトップよりも 3 桁長くなります。さらに、最初は約 XNUMX 秒と非常に速く実行されますが、その後は急激に速度が低下します。これは CPU の過熱 (スロットリング) が原因である可能性があります。 Go コードも実行に長い時間がかかります。

# запрос метрик для прометея из node_exporter на Go
$ time curl -s http://172.30.1.1:9100/metrics > /dev/null

real    0m6,118s
user    0m0,005s
sys     0m0,009s

# однако температура 51 градус, не так и много
sa@bananapir64:~$ cat /sys/devices/virtual/thermal/thermal_zone0/temp
51700

無線LAN

Wi-Fi は動作しますが、Armbian では約 1 日後に停止し、次のメッセージが表示されます。

sa@bananapir64:~$ dmesg | grep -E 'mt7622_wmac.*timeout'
[470303.802539] mt7622_wmac 18000000.wmac: Message 38 (seq 3) timeout
[470314.042508] mt7622_wmac 18000000.wmac: Message 50 (seq 4) timeout
...

再起動のみが役立ちます。さらに進む必要がある 理解する.

イーサネット

イーサネットは動作しますが、約 64 日後、RXNUMX からのパケット (DHCP) が到着しなくなります。
インターフェースを再起動すると次のことが起こります:

ifdown br0; sleep 30; ifup br0

ドライバーは新しく、まだカーネルに受け入れられていないが、中国のLanden Chaoであることを期待している。 終了します.

出所： habr.com