주제가 꽤 두들겨 맞았습니다. 예를 들어, 훌륭한 기사, 그러나 차단 목록의 IP 부분만 여기에서 고려됩니다. 도메인도 추가합니다.

법원과 RKN이 모든 것을 좌우로 차단하고 공급자가 Revizorro가 부과한 벌금을 부과하지 않기 위해 열심히 노력하고 있기 때문에 차단으로 인한 관련 손실이 상당히 큽니다. 그리고 "합법적으로" 차단된 사이트 중에는 유용한 사이트가 많이 있습니다(hello, rutracker).

나는 RKN 관할권 밖에 살고 있지만 부모님, 친척, 친구들은 집에 남아 있었습니다. 따라서 IT와 거리가 먼 사람들이 가급적이면 참여하지 않고 차단을 우회할 수 있는 쉬운 방법을 찾기로 결정했습니다.

이 노트에서는 기본 네트워크 항목을 단계별로 설명하지는 않지만 이 체계를 구현할 수 있는 방법에 대한 일반적인 원칙을 설명합니다. 따라서 일반적으로 네트워크가 어떻게 작동하는지, 특히 Linux에서 어떻게 작동하는지에 대한 지식이 반드시 필요합니다.

잠금 유형

먼저 무엇이 차단되고 있는지 기억해 봅시다.

RKN에서 언로드된 XML에는 여러 유형의 잠금이 있습니다.

• IP
• 도메인 이름
• URL

단순화를 위해 IP와 도메인의 두 가지로 줄이고 URL 차단에서 도메인을 간단히 제거합니다(더 정확하게는 이미 우리를 위해 이 작업을 수행했습니다).

의 좋은 사람들 로스콤보보다 놀라운 것을 깨달았다 API, 이를 통해 필요한 것을 얻을 수 있습니다.

• IP : https://api.reserve-rbl.ru/api/v2/ips/json
• 도메인: https://api.reserve-rbl.ru/api/v2/domains/json

차단된 사이트에 대한 액세스

이를 위해서는 트래픽이 무제한인 작은 외부 VPS가 필요합니다. 3-5달러에 많은 VPS가 있습니다. 핑이 그다지 크지 않도록 가까운 해외에서 가져 가야하지만 인터넷과 지리가 항상 일치하지는 않는다는 점을 다시 고려하십시오. 그리고 5달러에 대한 SLA가 없기 때문에 내결함성을 위해 다른 공급자로부터 2개 이상의 부품을 가져가는 것이 좋습니다.

다음으로 클라이언트 라우터에서 VPS로 암호화된 터널을 설정해야 합니다. 저는 Wireguard를 가장 빠르고 쉽게 설정할 수 있는 도구로 사용합니다. Linux 기반 클라이언트 라우터도 있습니다(APU2 또는 OpenWRT의 무언가). 일부 Mikrotik/Cisco의 경우 OpenVPN 및 GRE-over-IPSEC와 같이 사용 가능한 프로토콜을 사용할 수 있습니다.

관심 트래픽 식별 및 리디렉션

물론 해외를 통한 모든 인터넷 트래픽을 끌 수 있습니다. 그러나 이로 인해 로컬 콘텐츠 작업 속도가 크게 저하될 가능성이 큽니다. 또한 VPS의 대역폭 요구 사항은 훨씬 더 높습니다.

따라서 어떻게든 차단된 사이트에 트래픽을 할당하고 선택적으로 터널로 보내야 합니다. "여분의" 트래픽 중 일부가 거기에 도달하더라도 터널을 통해 모든 것을 운전하는 것보다 여전히 훨씬 낫습니다.

트래픽을 관리하기 위해 BGP 프로토콜을 사용하고 VPS에서 클라이언트로 필요한 네트워크 경로를 알립니다. 가장 기능적이고 편리한 BGP 데몬 중 하나로 BIRD를 살펴보겠습니다.

IP

IP로 차단하면 모든 것이 명확해집니다. VPS로 차단된 모든 IP를 간단히 발표합니다. 문제는 API가 반환하는 목록에 약 600만 개의 서브넷이 있고 그 중 대다수가 /32 호스트라는 것입니다. 이 경로 수는 취약한 클라이언트 라우터를 혼동시킬 수 있습니다.

따라서 목록을 처리할 때 호스트가 24개 이상인 경우 네트워크/2까지 요약하기로 했습니다. 따라서 경로 수가 ~100개로 줄었습니다. 이에 대한 스크립트는 다음과 같습니다.

도메인

더 복잡하고 여러 가지 방법이 있습니다. 예를 들어, 각 클라이언트 라우터에 투명 Squid를 설치하고 그곳에서 HTTP 가로채기를 수행하고 TLS 핸드셰이크를 엿볼 수 있습니다. 이를 통해 첫 번째 경우에는 요청된 URL을, 두 번째 경우에는 SNI에서 도메인을 얻을 수 있습니다.

그러나 모든 종류의 새로운 TLS1.3 + eSNI로 인해 HTTPS 분석은 매일 점점 더 현실적이지 않습니다. 예, 클라이언트 측 인프라가 점점 더 복잡해지고 있습니다. 최소한 OpenWRT를 사용해야 합니다.

그래서 나는 DNS 요청에 대한 응답을 가로채는 길을 택하기로 했다. 여기에서도 모든 DNS-over-TLS/HTTPS가 머리 위로 움직이기 시작하지만 클라이언트에서 이 부분을 제어할 수 있습니다. 비활성화하거나 DoT/DoH에 자체 서버를 사용할 수 있습니다.

DNS를 가로채는 방법?

여기에도 몇 가지 접근 방식이 있을 수 있습니다.

• PCAP 또는 NFLOG를 통한 DNS 트래픽 차단
  이 두 차단 방법은 모두 유틸리티에서 구현됩니다. 시드마트. 그러나 오랫동안 지원되지 않았고 기능이 매우 원시적이므로 여전히 이를 위한 하네스를 작성해야 합니다.
• DNS 서버 로그 분석
  불행하게도 내가 아는 리커서는 응답을 기록할 수 없고 요청만 기록할 수 있습니다. 원칙적으로 이것은 요청과 달리 답변이 복잡한 구조를 가지고 있고 텍스트 형식으로 작성하기 어렵기 때문에 논리적입니다.
• DNSTap
  다행스럽게도 많은 기업이 이미 이러한 목적을 위해 DNSTap을 지원하고 있습니다.

DNSTap이란 무엇입니까?

DNS 서버에서 구조화된 DNS 쿼리 및 응답 수집기로 전송하기 위한 프로토콜 버퍼 및 프레임 스트림을 기반으로 하는 클라이언트-서버 프로토콜입니다. 기본적으로 DNS 서버는 쿼리 및 응답 메타데이터(메시지 유형, 클라이언트/서버 IP 등)와 완전한 DNS 메시지를 네트워크를 통해 함께 작동하는 (바이너리) 형식으로 전송합니다.

DNSTap 패러다임에서 DNS 서버는 클라이언트 역할을 하고 수집기는 서버 역할을 한다는 점을 이해하는 것이 중요합니다. 즉, DNS 서버는 수집기에 연결되며 그 반대는 아닙니다.

오늘날 DNSTap은 널리 사용되는 모든 DNS 서버에서 지원됩니다. 그러나 예를 들어 많은 배포판(Ubuntu LTS와 같은)의 BIND는 어떤 이유로 지원 없이 구축되는 경우가 많습니다. 따라서 재조립에 신경쓰지 말고 더 가볍고 빠른 재귀인 Unbound를 사용합시다.

DNSTap을 잡는 방법?

이 일부 수 DNSTap 이벤트 스트림 작업을 위한 CLI 유틸리티이지만 문제 해결에는 적합하지 않습니다. 그래서 필요한 모든 것을 할 수 있는 나만의 자전거를 발명하기로 결정했습니다. dnstap-bgp

작업 알고리즘:

• 시작되면 텍스트 파일에서 도메인 목록을 로드하고 반전(habr.com -> com.habr)하고 끊어진 줄, 중복 및 하위 도메인을 제외합니다(즉, 목록에 habr.com 및 www.habr.com이 포함된 경우, 첫 번째 항목만 로드됨) 이 목록을 통한 빠른 검색을 위한 접두사 트리를 구축합니다.
• DNSTap 서버로 작동하여 DNS 서버의 연결을 기다립니다. 원칙적으로는 유닉스와 TCP 소켓을 모두 지원하지만 내가 아는 DNS 서버는 유닉스 소켓만 사용할 수 있다.
• 들어오는 DNSTap 패킷은 먼저 Protobuf 구조로 역직렬화되고 Protobuf 필드 중 하나에 있는 이진 DNS 메시지 자체가 DNS RR 레코드 수준으로 구문 분석됩니다.
• 요청된 호스트(또는 상위 도메인)가 로드된 목록에 있는지 확인하고 그렇지 않은 경우 응답을 무시합니다.
• 응답에서 A/AAAA/CNAME RR만 선택하고 해당 IPv4/IPv6 주소를 추출합니다.
• IP 주소는 구성 가능한 TTL로 캐시되고 구성된 모든 BGP 피어에 알려집니다.
• 이미 캐시된 IP를 가리키는 응답을 수신하면 해당 TTL이 업데이트됩니다.
• TTL이 만료되면 항목이 캐시 및 BGP 알림에서 제거됩니다.

추가 기능:

• SIGHUP으로 도메인 목록 다시 읽기
• 캐시를 다른 인스턴스와 동기화 상태로 유지 dnstap-bgp HTTP/JSON을 통해
• 다시 시작한 후 내용을 복원하기 위해 디스크(BoltDB 데이터베이스)의 캐시를 복제합니다.
• 다른 네트워크 네임스페이스로의 전환 지원(필요한 이유는 아래에서 설명)
• IPv6 지원

제한 사항 :

• IDN 도메인은 아직 지원되지 않습니다.
• 몇 가지 BGP 설정

나는 모았다 RPM 및 DEB 쉬운 설치를 위한 패키지. systemd를 사용하는 비교적 최근의 모든 OS에서 작동해야 합니다. 종속성이 없습니다.

계획

이제 모든 구성 요소를 함께 조립해 봅시다. 결과적으로 다음 네트워크 토폴로지와 같은 것을 얻어야 합니다.

작업의 논리는 다이어그램에서 명확하다고 생각합니다.

• 클라이언트에는 DNS로 구성된 서버가 있으며 DNS 쿼리도 VPN을 거쳐야 합니다. 이는 공급자가 DNS 가로채기를 사용하여 차단할 수 없도록 하기 위해 필요합니다.
• 사이트를 열 때 클라이언트는 "xxx.org의 IP는 무엇입니까"와 같은 DNS 쿼리를 보냅니다.
• 매여 있지 않은 xxx.org를 확인(또는 캐시에서 가져옴)하고 "xxx.org에는 이러한 IP가 있습니다"라는 응답을 클라이언트에 보내고 DNSTap을 통해 병렬로 복제합니다.
• dnstap-bgp 에서 이러한 주소를 발표합니다. 새 도메인이 차단 목록에 있는 경우 BGP를 통해
• 새 다음을 사용하여 이러한 IP에 대한 경로를 알립니다. next-hop self 클라이언트 라우터
• 클라이언트에서 이러한 IP로의 후속 패킷은 터널을 통과합니다.

서버에서 차단된 사이트로의 경로를 위해 BIRD 내부에 별도의 테이블을 사용하며 어떤 식으로든 OS와 교차하지 않습니다.

이 체계에는 단점이 있습니다. 클라이언트의 첫 번째 SYN 패킷은 대부분 국내 공급자를 통해 떠날 시간이 있습니다. 경로는 즉시 발표되지 않습니다. 공급자가 차단을 수행하는 방법에 따라 여기에서 옵션이 가능합니다. 그가 트래픽을 끊기만 하면 문제가 없습니다. 그리고 그가 그것을 일부 DPI로 리디렉션하면 (이론적으로) 특수 효과가 가능합니다.

또한 클라이언트가 DNS TTL 기적을 존중하지 않아 클라이언트가 Unbound를 요청하는 대신 썩은 캐시의 오래된 항목을 사용할 수도 있습니다.

실제로 첫 번째도 두 번째도 나에게 문제를 일으키지 않았지만 마일리지는 다를 수 있습니다.

서버 튜닝

롤링하기 쉽게 썼습니다. Ansible의 역할. Linux(deb 기반 배포용으로 설계됨)를 기반으로 서버와 클라이언트를 모두 구성할 수 있습니다. 모든 설정은 매우 명확하며 인벤토리.yml. 이 역할은 내 큰 플레이북에서 잘라낸 것이므로 오류가 포함될 수 있습니다. 풀 요청 환영합니다 🙂

주요 구성 요소를 살펴 보겠습니다.

BGP

동일한 호스트에서 두 개의 BGP 데몬을 실행하는 데에는 근본적인 문제가 있습니다. BIRD는 localhost(또는 로컬 인터페이스)와의 BGP 피어링 설정을 원하지 않습니다. 전혀 단어에서. 인터넷 검색과 메일링 리스트 읽기는 도움이 되지 않았습니다. 그들은 이것이 의도된 것이라고 주장합니다. 아마도 어떤 방법이 있을지 모르지만 찾지 못했습니다.

다른 BGP 데몬을 사용해 볼 수 있지만 BIRD를 좋아하고 모든 곳에서 사용하므로 엔티티를 생성하고 싶지 않습니다.

따라서 dnstap-bgp를 veth 인터페이스를 통해 루트에 연결된 네트워크 네임스페이스 내부에 숨겼습니다. 파이프의 끝이 다른 네임스페이스에 튀어나와 있는 것과 같습니다. 이러한 각 끝에서 호스트를 벗어나지 않는 개인 p2p IP 주소를 걸면 무엇이든 될 수 있습니다. 이것은 내부 프로세스에 액세스하는 데 사용되는 것과 동일한 메커니즘입니다. 모두에게 사랑받는 도커 및 기타 컨테이너.

이를 위해 쓰여졌다. 스크립트 머리카락으로 자신을 다른 네임스페이스로 드래그하기 위해 위에서 이미 설명한 기능이 dnstap-bgp에 추가되었습니다. 이 때문에 루트로 실행하거나 setcap 명령을 통해 CAP_SYS_ADMIN 바이너리로 발행해야 합니다.

네임스페이스 생성을 위한 예제 스크립트

#!/bin/bash

NS="dtap"

IP="/sbin/ip"
IPNS="$IP netns exec $NS $IP"

IF_R="veth-$NS-r"
IF_NS="veth-$NS-ns"

IP_R="192.168.149.1"
IP_NS="192.168.149.2"

/bin/systemctl stop dnstap-bgp || true

$IP netns del $NS > /dev/null 2>&1
$IP netns add $NS

$IP link add $IF_R type veth peer name $IF_NS
$IP link set $IF_NS netns $NS

$IP addr add $IP_R remote $IP_NS dev $IF_R
$IP link set $IF_R up

$IPNS addr add $IP_NS remote $IP_R dev $IF_NS
$IPNS link set $IF_NS up

/bin/systemctl start dnstap-bgp

dnstap-bgp.conf

namespace = "dtap"
domains = "/var/cache/rkn_domains.txt"
ttl = "168h"

[dnstap]
listen = "/tmp/dnstap.sock"
perm = "0666"

[bgp]
as = 65000
routerid = "192.168.149.2"

peers = [
    "192.168.149.1",
]

새.conf

router id 192.168.1.1;

table rkn;

# Clients
protocol bgp bgp_client1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.2 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    export all;
    import none;
}

# DNSTap-BGP
protocol bgp bgp_dnstap {
    table rkn;
    local as 65000;
    neighbor 192.168.149.2 as 65000;
    direct;
    passive on;
    rr client;
    import all;
    export none;
}

# Static routes list
protocol static static_rkn {
    table rkn;
    include "rkn_routes.list";
    import all;
    export none;
}

rkn_routes.list

route 3.226.79.85/32 via "ens3";
route 18.236.189.0/24 via "ens3";
route 3.224.21.0/24 via "ens3";
...

DNS

기본적으로 Ubuntu에서 Unbound 바이너리는 AppArmor 프로필에 의해 고정되어 모든 종류의 DNSTap 소켓에 연결하는 것을 금지합니다. 이 프로필을 삭제하거나 비활성화할 수 있습니다.

# cd /etc/apparmor.d/disable && ln -s ../usr.sbin.unbound .
# apparmor_parser -R /etc/apparmor.d/usr.sbin.unbound

이것은 아마도 플레이북에 추가되어야 할 것입니다. 물론 프로필을 수정하고 필요한 권한을 발급하는 것이 이상적이지만 너무 게을렀습니다.

언바운드.conf

server:
    chroot: ""
    port: 53
    interface: 0.0.0.0
    root-hints: "/var/lib/unbound/named.root"
    auto-trust-anchor-file: "/var/lib/unbound/root.key"
    access-control: 192.168.0.0/16 allow

remote-control:
    control-enable: yes
    control-use-cert: no

dnstap:
    dnstap-enable: yes
    dnstap-socket-path: "/tmp/dnstap.sock"
    dnstap-send-identity: no
    dnstap-send-version: no

    dnstap-log-client-response-messages: yes

목록 다운로드 및 처리

IP 주소 목록을 다운로드하고 처리하기 위한 스크립트
목록을 다운로드하고 접두사까지 요약합니다. pfx. 에 추가하지 마세요 и dont_summarize 건너뛰거나 요약하지 않도록 IP와 네트워크에 지시할 수 있습니다. 나는 그것이 필요했다. 내 VPS의 서브넷이 차단 목록에 있었습니다 🙂

재미있는 점은 RosKomSvoboda API가 기본 Python 사용자 에이전트로 요청을 차단한다는 것입니다. script-kiddy가 얻은 것 같습니다. 따라서 Ognelis로 변경합니다.

지금까지는 IPv4에서만 작동합니다. IPv6의 점유율은 적지만 쉽게 고칠 수 있습니다. bird6도 사용해야 하는 경우가 아니라면요.

rkn.py

#!/usr/bin/python3

import json, urllib.request, ipaddress as ipa

url = 'https://api.reserve-rbl.ru/api/v2/ips/json'
pfx = '24'

dont_summarize = {
    # ipa.IPv4Network('1.1.1.0/24'),
}

dont_add = {
    # ipa.IPv4Address('1.1.1.1'),
}

req = urllib.request.Request(
    url,
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)

f = urllib.request.urlopen(req)
ips = json.loads(f.read().decode('utf-8'))

prefix32 = ipa.IPv4Address('255.255.255.255')

r = {}
for i in ips:
    ip = ipa.ip_network(i)
    if not isinstance(ip, ipa.IPv4Network):
        continue

    addr = ip.network_address

    if addr in dont_add:
        continue

    m = ip.netmask
    if m != prefix32:
        r[m] = [addr, 1]
        continue

    sn = ipa.IPv4Network(str(addr) + '/' + pfx, strict=False)

    if sn in dont_summarize:
        tgt = addr
    else:
        tgt = sn

    if not sn in r:
        r[tgt] = [addr, 1]
    else:
        r[tgt][1] += 1

o = []
for n, v in r.items():
    if v[1] == 1:
        o.append(str(v[0]) + '/32')
    else:
        o.append(n)

for k in o:
    print(k)

업데이트할 스크립트
나는 하루에 한 번 크라운에서 실행합니다. 아마도 4 시간마다 당길 가치가 있습니다. 제 생각에는 이것이 RKN이 공급자에게 요구하는 갱신 기간입니다. 또한 더 빨리 도착할 수 있는 다른 매우 긴급한 차단 기능이 있습니다.

다음을 수행합니다.

• 첫 번째 스크립트를 실행하고 경로 목록을 업데이트합니다(rkn_routes.list) 버드
• 버드 새로고침
• dnstap-bgp에 대한 도메인 목록 업데이트 및 정리
• dnstap-bgp 새로고침

rkn_update.sh

#!/bin/bash

ROUTES="/etc/bird/rkn_routes.list"
DOMAINS="/var/cache/rkn_domains.txt"

# Get & summarize routes
/opt/rkn.py | sed 's/(.*)/route 1 via "ens3";/' > $ROUTES.new

if [ $? -ne 0 ]; then
    rm -f $ROUTES.new
    echo "Unable to download RKN routes"
    exit 1
fi

if [ -e $ROUTES ]; then
    mv $ROUTES $ROUTES.old
fi

mv $ROUTES.new $ROUTES

/bin/systemctl try-reload-or-restart bird

# Get domains
curl -s https://api.reserve-rbl.ru/api/v2/domains/json -o - | jq -r '.[]' | sed 's/^*.//' | sort | uniq > $DOMAINS.new

if [ $? -ne 0 ]; then
    rm -f $DOMAINS.new
    echo "Unable to download RKN domains"
    exit 1
fi

if [ -e $DOMAINS ]; then
    mv $DOMAINS $DOMAINS.old
fi

mv $DOMAINS.new $DOMAINS

/bin/systemctl try-reload-or-restart dnstap-bgp

별로 생각하지 않고 작성했으므로 개선할 수 있는 부분이 보이면 바로 실행하십시오.

클라이언트 설정

여기서는 Linux 라우터에 대한 예를 제공하지만 Mikrotik / Cisco의 경우 훨씬 더 쉬울 것입니다.

먼저 BIRD를 설정합니다.

새.conf

router id 192.168.1.2;
table rkn;

protocol device {
    scan time 10;
};

# Servers
protocol bgp bgp_server1 {
    table rkn;
    local as 65000;
    neighbor 192.168.1.1 as 65000;
    direct;
    bfd on;
    next hop self;
    graceful restart;
    graceful restart time 60;
    rr client;
    export none;
    import all;
}

protocol kernel {
    table rkn;
    kernel table 222;
    scan time 10;
    export all;
    import none;
}

따라서 BGP에서 받은 경로를 커널 라우팅 테이블 번호 222와 동기화합니다.

그런 다음 기본 판을 보기 전에 이 판을 보도록 커널에 요청하는 것으로 충분합니다.

# ip rule add from all pref 256 lookup 222
# ip rule
0:  from all lookup local
256:    from all lookup 222
32766:  from all lookup main
32767:  from all lookup default

모든 것은 라우터에서 DHCP를 구성하여 서버의 터널 IP 주소를 DNS로 배포하고 체계가 준비되는 것입니다.

제한

도메인 목록을 생성하고 처리하는 현재 알고리즘에는 무엇보다도 다음이 포함됩니다. youtube.com 그리고 그것의 CDN.

그리고 이것은 모든 비디오가 VPN을 통과하여 전체 채널을 막을 수 있다는 사실로 이어집니다. 아마도 당분간 RKN을 차단하는 인기 있는 도메인 제외 목록을 작성하는 것이 가치가 있을 것입니다. 구문 분석할 때 건너뜁니다.

결론

설명된 방법을 사용하면 공급자가 현재 구현하는 거의 모든 차단을 우회할 수 있습니다.

원칙적으로, dnstap-bgp 도메인 이름을 기반으로 일정 수준의 트래픽 제어가 필요한 다른 용도로 사용할 수 있습니다. 우리 시대에는 수천 개의 사이트가 동일한 IP 주소(예: 일부 Cloudflare 뒤)에 매달릴 수 있으므로 이 방법은 정확도가 다소 낮습니다.

그러나 잠금 우회의 필요성에 대해서는 이것으로 충분합니다.

추가, 편집, 풀 요청 - 환영합니다!

출처 : habr.com