この話題はかなり荒らされているのは承知しています。 たとえば、素晴らしいものがあります 記事ただし、そこではブロックリストの IP 部分のみが考慮されます。 ドメインも追加していきます。

裁判所と RKN があらゆるものを右も左もブロックしており、プロバイダーは Revizorro が発行する罰金に該当しないように懸命に努力しているという事実により、ブロックに関連する損失は非常に大きくなります。 そして、「合法的に」ブロックされたサイトの中には、便利なサイトがたくさんあります (こんにちは、rutracker)

私は RKN の管轄外に住んでいますが、両親、親戚、友人は家に残りました。 そこで、IT から離れた人々が、できればまったく参加せずにブロックを回避する簡単な方法を考え出すことにしました。

このノートでは、ネットワークの基本的なことを段階的に説明するのではなく、このスキームを実装する方法の一般原則を説明します。 したがって、ネットワークが一般的にどのように機能するか、特に Linux でどのように機能するかについての知識が必須です。

ロックの種類

まず、何がブロックされているかを思い出してみましょう。

RKN からアンロードされた XML には、いくつかのタイプのロックがあります。

• IP
• Домен
• URL

簡単にするために、それらを IP とドメインの XNUMX つに減らし、URL によるブロックからドメインを単純に取り出します (より正確には、これはすでに行われています)。

からの良い人たち ロスコムスヴォボダ 素晴らしいことに気づきました API、そこから必要なものを入手できます。

• IPアドレス： https://api.reserve-rbl.ru/api/v2/ips/json
• ドメイン: https://api.reserve-rbl.ru/api/v2/domains/json

ブロックされたサイトへのアクセス

これを行うには、できればトラフィックが無制限の小規模な海外 VPS が必要です。これらの多くは 3 ～ 5 ドルで入手できます。 ping があまり大きくならないように、海外に近い場所で接続する必要がありますが、インターネットと地理が必ずしも一致するとは限らないことを考慮してください。 また、5 ドルには SLA がないため、耐障害性を確保するには、さまざまなプロバイダーから 2 つ以上を購入することをお勧めします。

次に、クライアント ルーターから VPS への暗号化されたトンネルを設定する必要があります。 私はセットアップが最も速くて簡単な Wireguard を使用しています。 Linux ベースのクライアント ルーターもあります (APU2 または OpenWRT の何か)。 一部の Mikrotik / Cisco の場合、OpenVPN や GRE-over-IPSEC など、それらで利用可能なプロトコルを使用できます。

対象のトラフィックの識別とリダイレクト

もちろん、海外を経由するすべてのインターネット トラフィックをオフにすることもできます。 しかし、おそらく、ローカル コンテンツの操作速度はこれによって大きく低下するでしょう。 さらに、VPS での帯域幅要件はさらに高くなります。

したがって、何らかの方法でトラフィックをブロックされたサイトに割り当て、選択的にトンネルに送信する必要があります。 たとえ「余分な」交通の一部がそこに到達したとしても、すべてがトンネルを通過するよりははるかに優れています。

トラフィックを管理するために、BGP プロトコルを使用し、VPS からクライアントに必要なネットワークへのルートをアナウンスします。 最も機能的で便利な BGP デーモンの XNUMX つとして BIRD を取り上げましょう。

IP

IP によるブロックでは、すべてが明確になります。ブロックされたすべての IP を VPS でアナウンスするだけです。 問題は、API が返すリストには約 600 万のサブネットがあり、その大部分が /32 ホストであることです。 このルート数により、弱いクライアント ルーターが混乱する可能性があります。

そのため、リストを処理する際、ホストが24台以上ある場合はネットワーク/2までを集計することとしました。 したがって、ルートの数は約 100 まで減少しました。 このスクリプトは次のとおりです。

ドメイン

それはもっと複雑で、いくつかの方法があります。 たとえば、各クライアント ルーターに透過的な Squid をインストールし、そこで HTTP インターセプトを実行し、TLS ハンドシェイクを覗いて、最初のケースでは要求された URL を取得し、XNUMX 番目のケースでは SNI からドメインを取得できます。

しかし、あらゆる種類の新しい TLS1.3 + eSNI のせいで、HTTPS 分析は日に日に現実的ではなくなりつつあります。 はい、クライアント側のインフラストラクチャはますます複雑になっています。少なくとも OpenWRT を使用する必要があります。

そこで、DNS クエリに対する応答を傍受するという方法をとることにしました。 ここでも、DNS-over-TLS / HTTPS が頭上に浮かび始めますが、この部分は (今のところ) クライアントで制御できます。これを無効にするか、DoT / DoH に独自のサーバーを使用します。

DNSを傍受するにはどうすればよいですか?

ここでも、いくつかのアプローチが考えられます。

• PCAP または NFLOG を介した DNS トラフィックの傍受
  これらの傍受方法はどちらもユーティリティに実装されています。 シドマット。 ただし、長い間サポートされておらず、機能が非常に原始的であるため、依然としてハーネスを作成する必要があります。
• DNSサーバーログの分析
  残念ながら、私が知っているリカーサーは応答をログに記録することができず、リクエストのみをログに記録することができます。 リクエストとは異なり、回答は複雑な構造を持ち、テキスト形式で記述するのが難しいため、これは原則として論理的です。
• DNSタップ
  幸いなことに、それらの多くはすでにこの目的のために DNSTap をサポートしています。

DNSタップとは何ですか?

これは、DNS サーバーから構造化された DNS クエリと応答のコレクターに転送するための、プロトコル バッファーとフレーム ストリームに基づくクライアント/サーバー プロトコルです。 基本的に、DNS サーバーは、クエリと応答のメタデータ (メッセージの種類、クライアント/サーバー IP など) に加えて、ネットワーク上で連携する完全な DNS メッセージを (バイナリ) 形式で送信します。

DNSTap パラダイムでは、DNS サーバーがクライアントとして機能し、コレクターがサーバーとして機能することを理解することが重要です。 つまり、DNS サーバーはコレクターに接続しますが、その逆はありません。

現在、DNSTap はすべての一般的な DNS サーバーでサポートされています。 しかし、たとえば、多くのディストリビューション (Ubuntu LTS など) の BIND は、何らかの理由でサポートなしで構築されることがよくあります。 したがって、再アセンブリを気にするのではなく、より軽量で高速なリカーサー、Unbound を使用しましょう。

DNSTapをキャッチするにはどうすればよいですか?

あり いくつか 数 DNSTap イベントのストリームを処理するための CLI ユーティリティですが、問題の解決には適していません。 そこで、必要なすべてを実行できる独自の自転車を発明することにしました。 dnstap-bgp

作業アルゴリズム:

• 起動すると、テキスト ファイルからドメインのリストを読み込み、それらを反転し (habr.com -> com.habr)、破線、重複、サブドメインを除外します (つまり、リストに habr.com と www.habr.com が含まれている場合、最初のものだけがロードされます)、このリストを高速に検索するためのプレフィックス ツリーを構築します。
• DNSTap サーバーとして機能し、DNS サーバーからの接続を待ちます。 原則として、UNIX ソケットと TCP ソケットの両方をサポートしていますが、私が知っている DNS サーバーは UNIX ソケットのみを使用できます
• 受信 DNSTap パケットは、まず Protobuf 構造に逆シリアル化され、次に Protobuf フィールドの XNUMX つにあるバイナリ DNS メッセージ自体が DNS RR レコードのレベルまで解析されます。
• 要求されたホスト (またはその親ドメイン) がロードされたリストにあるかどうかがチェックされ、そうでない場合、応答は無視されます。
• A/AAAA/CNAME RR のみが応答から選択され、対応する IPv4/IPv6 アドレスがそれらから抽出されます。
• IP アドレスは構成可能な TTL でキャッシュされ、構成されたすべての BGP ピアにアドバタイズされます。
• すでにキャッシュされている IP を指す応答を受信すると、その TTL が更新されます
• TTL の有効期限が切れると、エントリはキャッシュおよび BGP アナウンスメントから削除されます。

追加機能:

• SIGHUP によるドメインのリストの再読み取り
• キャッシュを他のインスタンスと同期させる dnstap-bgp HTTP/JSON経由
• ディスク (BoltDB データベース内) にキャッシュを複製して、再起動後にその内容を復元します。
• 別のネットワーク名前空間への切り替えのサポート (これが必要な理由は後述します)
• IPv6のサポート

制限事項：

• IDN ドメインはまだサポートされていません
• BGP設定がほとんどない

私が集めました RPMとDEB 簡単にインストールできるパッケージ。 systemd を備えた比較的最近のすべての OS で動作するはずです。 彼らには依存関係はありません。

スキーム

それでは、すべてのコンポーネントを一緒に組み立て始めましょう。 結果として、次のようなネットワーク トポロジが得られるはずです。

仕事のロジックは、次の図から明らかだと思います。

• クライアントのサーバーは DNS として構成されており、DNS クエリも VPN 経由で行われる必要があります。 これは、プロバイダーが DNS インターセプトを使用してブロックできないようにするために必要です。
• サイトを開くと、クライアントは「xxx.org の IP は何ですか」のような DNS クエリを送信します。
• バインドされていない xxx.org を解決し (またはキャッシュから取得し)、「xxx.org にはこれこれの IP があります」という応答をクライアントに送信し、それを DNSTap 経由で並行して複製します。
• dnstap-bgp これらのアドレスを で発表します バード ドメインがブロックリストに載っている場合は BGP 経由
• バード これらの IP へのルートをアドバタイズします。 next-hop self クライアントルーター
• クライアントからこれらの IP への後続のパケットはトンネルを通過します。

サーバー上では、ブロックされたサイトへのルートとして、BIRD 内の別のテーブルを使用しており、OS とはまったく交差しません。

この方式には欠点があります。クライアントからの最初の SYN パケットは、国内プロバイダーを経由して送信されるまでに時間がかかる可能性が高くなります。 ルートはすぐには発表されません。 ここで、プロバイダーがブロックを行う方法に応じてオプションが可能です。 トラフィックをドロップするだけであれば問題はありません。 そして、それを何らかの DPI にリダイレクトすると、(理論的には) 特殊効果が可能になります。

また、クライアントが DNS TTL の奇跡を尊重していない可能性もあり、その場合、クライアントは Unbound を要求する代わりに、腐ったキャッシュからの古いエントリを使用する可能性があります。

実際には、XNUMX つ目も XNUMX つ目も問題は発生しませんでしたが、状況は人によって異なるかもしれません。

サーバーのチューニング

転がしやすくするために、私は書きました Ansible の役割。 Linux (deb ベースのディストリビューション用に設計) に基づいてサーバーとクライアントの両方を構成できます。 すべての設定は非常に明白であり、次のように設定されています。 在庫.yml。 このロールは私の大規模なプレイブックから切り取られたものであるため、エラーが含まれている可能性があります - プルリクエスト いらっしゃいませ ：）

主なコンポーネントを見てみましょう。

BGP

同じホスト上で XNUMX つの BGP デーモンを実行することには根本的な問題があります。それは、BIRD がローカルホスト (または任意のローカル インターフェイス) との BGP ピアリングをセットアップしたくないということです。 まったくその言葉から。 グーグルで調べたり、メーリングリストを読んだりしても役に立たず、これは仕様だと彼らは主張しています。 おそらく何か方法があるのでしょうが、見つかりませんでした。

別の BGP デーモンを試すこともできますが、私は BIRD が好きで、どこでもそれを使用しているため、エンティティを生成したくありません。

したがって、ネットワーク名前空間内に dnstap-bgp を隠しました。ネットワーク名前空間は、veth インターフェイスを介してルートに接続されています。これはパイプのようなもので、その端がさまざまな名前空間に突き出ています。 これらの両端には、ホストを超えないプライベート p2p IP アドレスが設定されているため、任意のアドレスを使用できます。 これは、内部のプロセスにアクセスするために使用されるメカニズムと同じです みんなに愛されてる Docker およびその他のコンテナー。

このために書かれたのは、 脚本 また、上ですでに説明した、髪をつかんで別の名前空間にドラッグする機能が dnstap-bgp に追加されました。 このため、root として実行するか、setcap コマンドを介して CAP_SYS_ADMIN バイナリに対して発行する必要があります。

ネームスペースを作成するためのサンプルスクリプト

#!/bin/bash

NS="dtap"

IP="/sbin/ip"
IPNS="$IP netns exec $NS $IP"

IF_R="veth-$NS-r"
IF_NS="veth-$NS-ns"

IP_R="192.168.149.1"
IP_NS="192.168.149.2"

/bin/systemctl stop dnstap-bgp || true

$IP netns del $NS > /dev/null 2>&1
$IP netns add $NS

$IP link add $IF_R type veth peer name $IF_NS
$IP link set $IF_NS netns $NS

$IP addr add $IP_R remote $IP_NS dev $IF_R
$IP link set $IF_R up

$IPNS addr add $IP_NS remote $IP_R dev $IF_NS
$IPNS link set $IF_NS up

/bin/systemctl start dnstap-bgp

dnstap-bgp.conf

namespace = "dtap"
domains = "/var/cache/rkn_domains.txt"
ttl = "168h"

[dnstap]
listen = "/tmp/dnstap.sock"
perm = "0666"

[bgp]
as = 65000
routerid = "192.168.149.2"

peers = [
    "192.168.149.1",
]

鳥.conf

router id 192.168.1.1;

table rkn;

# Clients
protocol bgp bgp_client1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.2 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    export all;
    import none;
}

# DNSTap-BGP
protocol bgp bgp_dnstap {
    table rkn;
    local as 65000;
    neighbor 192.168.149.2 as 65000;
    direct;
    passive on;
    rr client;
    import all;
    export none;
}

# Static routes list
protocol static static_rkn {
    table rkn;
    include "rkn_routes.list";
    import all;
    export none;
}

rkn_routes.list

route 3.226.79.85/32 via "ens3";
route 18.236.189.0/24 via "ens3";
route 3.224.21.0/24 via "ens3";
...

DNS

Ubuntu のデフォルトでは、Unbound バイナリは AppArmor プロファイルによってクランプされ、あらゆる種類の DNSTap ソケットへの接続が禁止されます。 このプロファイルは削除するか、無効にすることができます。

# cd /etc/apparmor.d/disable && ln -s ../usr.sbin.unbound .
# apparmor_parser -R /etc/apparmor.d/usr.sbin.unbound

これはおそらくプレイブックに追加されるはずです。 もちろんプロフィールを修正して必要な権利を発行するのが理想ですが、私は怠け者でした。

unbound.conf

server:
    chroot: ""
    port: 53
    interface: 0.0.0.0
    root-hints: "/var/lib/unbound/named.root"
    auto-trust-anchor-file: "/var/lib/unbound/root.key"
    access-control: 192.168.0.0/16 allow

remote-control:
    control-enable: yes
    control-use-cert: no

dnstap:
    dnstap-enable: yes
    dnstap-socket-path: "/tmp/dnstap.sock"
    dnstap-send-identity: no
    dnstap-send-version: no

    dnstap-log-client-response-messages: yes

リストのダウンロードと処理

IP アドレスのリストをダウンロードして処理するためのスクリプト
リストをダウンロードし、プレフィックスまで合計します FX。 で 追加しないでください и 要約しないでください IP とネットワークに要約をスキップするか、要約しないように指示できます。 それが必要だったんです。 私の VPS のサブネットはブロックリストに入っていました 🙂

面白いのは、RosKomSvoboda API がデフォルトの Python ユーザー エージェントによるリクエストをブロックすることです。 スクリプトキディはそれを理解したようです。 そこで、オグネリスに変更します。

今のところ、IPv4 でのみ動作します。 IPv6 のシェアは小さいですが、修正するのは簡単です。 Bird6 も使用する必要がある場合を除きます。

rkn.py

#!/usr/bin/python3

import json, urllib.request, ipaddress as ipa

url = 'https://api.reserve-rbl.ru/api/v2/ips/json'
pfx = '24'

dont_summarize = {
    # ipa.IPv4Network('1.1.1.0/24'),
}

dont_add = {
    # ipa.IPv4Address('1.1.1.1'),
}

req = urllib.request.Request(
    url,
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

f = urllib.request.urlopen(req)
ips = json.loads(f.read().decode('utf-8'))

prefix32 = ipa.IPv4Address('255.255.255.255')

r = {}
for i in ips:
    ip = ipa.ip_network(i)
    if not isinstance(ip, ipa.IPv4Network):
        continue

    addr = ip.network_address

    if addr in dont_add:
        continue

    m = ip.netmask
    if m != prefix32:
        r[m] = [addr, 1]
        continue

    sn = ipa.IPv4Network(str(addr) + '/' + pfx, strict=False)

    if sn in dont_summarize:
        tgt = addr
    else:
        tgt = sn

    if not sn in r:
        r[tgt] = [addr, 1]
    else:
        r[tgt][1] += 1

o = []
for n, v in r.items():
    if v[1] == 1:
        o.append(str(v[0]) + '/32')
    else:
        o.append(n)

for k in o:
    print(k)

更新するスクリプト
私は 4 日 XNUMX 回リューズを押しますが、XNUMX 時間ごとに引く価値があるかもしれません。 私の考えでは、これは RKN がプロバイダーに要求する更新期間です。 さらに、他の超緊急ブロッキングもあり、より早く到着する可能性があります。

次のことを行います。

• 最初のスクリプトを実行し、ルートのリストを更新します (rkn_routes.list) バード用
• リロードバード
• dnstap-bgp のドメインのリストを更新してクリーンアップします。
• dnstap-bgp をリロードする

rkn_update.sh

#!/bin/bash

ROUTES="/etc/bird/rkn_routes.list"
DOMAINS="/var/cache/rkn_domains.txt"

# Get & summarize routes
/opt/rkn.py | sed 's/(.*)/route 1 via "ens3";/' > $ROUTES.new

if [ $? -ne 0 ]; then
    rm -f $ROUTES.new
    echo "Unable to download RKN routes"
    exit 1
fi

if [ -e $ROUTES ]; then
    mv $ROUTES $ROUTES.old
fi

mv $ROUTES.new $ROUTES

/bin/systemctl try-reload-or-restart bird

# Get domains
curl -s https://api.reserve-rbl.ru/api/v2/domains/json -o - | jq -r '.[]' | sed 's/^*.//' | sort | uniq > $DOMAINS.new

if [ $? -ne 0 ]; then
    rm -f $DOMAINS.new
    echo "Unable to download RKN domains"
    exit 1
fi

if [ -e $DOMAINS ]; then
    mv $DOMAINS $DOMAINS.old
fi

mv $DOMAINS.new $DOMAINS

/bin/systemctl try-reload-or-restart dnstap-bgp

これらは深く考えずに書かれたものなので、改善できる点があれば、それを試してください。

クライアントのセットアップ

ここでは Linux ルーターの例を示しますが、Mikrotik/Cisco の場合はさらに簡単になるはずです。

まず、BIRD をセットアップします。

鳥.conf

router id 192.168.1.2;
table rkn;

protocol device {
    scan time 10;
};

# Servers
protocol bgp bgp_server1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.1 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    rr client;
    export none;
    import all;
}

protocol kernel {
    table rkn;
    kernel table 222;
    scan time 10;
    export all;
    import none;
}

したがって、BGP から受信したルートをカーネル ルーティング テーブル番号 222 と同期します。

その後、デフォルトのプレートを確認する前に、このプレートを確認するようにカーネルに要求するだけで十分です。

# ip rule add from all pref 256 lookup 222
# ip rule
0:  from all lookup local
256:    from all lookup 222
32766:  from all lookup main
32767:  from all lookup default

あとは、サーバーのトンネル IP アドレスを DNS として配布するようにルーター上で DHCP を構成するだけで、スキームの準備は完了です。

制限事項

ドメインのリストを生成および処理する現在のアルゴリズムには、とりわけ次のものが含まれます。 youtube.com とその CDN。

これにより、すべてのビデオが VPN を経由することになり、チャンネル全体が詰まる可能性があります。 おそらく、当分の間 RKN をブロックする人気のある除外ドメインのリストを作成する価値はあるでしょうが、根性は薄いです。 そして解析時にそれらをスキップします。

まとめ

説明されている方法を使用すると、プロバイダーが現在実装しているほぼすべてのブロックをバイパスできます。

原理的には、 dnstap-bgp ドメイン名に基づいてある程度のトラフィック制御が必要な他の目的にも使用できます。 現在では、XNUMX のサイトが同じ IP アドレスにハングアップする可能性があるため (たとえば、一部の Cloudflare の背後で)、この方法の精度はかなり低いことに注意してください。

しかし、ロックをバイパスする必要がある場合には、これで十分です。

追加、編集、プル リクエスト - ようこそ!

出所： habr.com