🥇Grundlagen des transparenten Proxys mit 3proxy und iptables/netfilter oder wie man „alles durch den Proxy leitet“

In diesem Artikel möchte ich die Möglichkeiten der transparenten Proxierung darlegen, die es ermöglicht, den gesamten oder Teile des Traffics unbemerkt über externe Proxy-Server umzuleiten.

Als ich begann, diese Aufgabe zu lösen, stieß ich auf ein erheblichem Problem – das HTTPS-Protokoll. In alten Zeiten gab es bei der transparenten Proxierung von HTTP kaum Probleme, aber beim Proxieren von HTTPS melden Browser, dass das Protokoll beeinträchtigt wird, und damit ist der Spaß vorbei.

In gängigen Anleitungen für den Proxy-Server Squid wird sogar empfohlen, ein eigenes Zertifikat zu generieren und es den Clients zu installieren, was völlig absurd ist, mindestens irrational und aussieht wie eine MITM-Attacke. Ich weiß, dass Squid bereits etwas Ähnliches kann, aber in diesem Artikel geht es um eine bewährte und funktionierende Methode mit 3proxy vom angesehenen 3APA3A.

Im Folgenden betrachten wir detailliert den Prozess des Zusammenbaus von 3proxy aus den Quellcodes, dessen Konfiguration, das vollständige und partielle Proxysieren mit NAT, die Verteilung des Datenverkehrs auf mehrere externe Proxy-Server sowie die Nutzung eines Routers und statischer Routen. Wir verwenden als Betriebssystem Debian 9 x64. Lassen Sie uns beginnen!

Installation von 3proxy und Start eines normalen Proxy-Servers

1. Installieren Sie ifconfig (aus dem Paket net-tools)
apt-get install net-tools
2. Installieren Sie Midnight Commander
apt-get install mc
3. Wir haben jetzt 2 Schnittstellen:
enp0s3 — extern, geht ins Internet
enp0s8 — intern, sollte ins lokale Netzwerk schauen
In anderen Debian-basierten Distributionen werden die Schnittstellen normalerweise eth0 und eth1 genannt.
ifconfig -a

Schnittstellenenp0s3: flags=4163 mtu 1500
inet 192.168.23.11 netmask 255.255.255.0 broadcast 192.168.23.255
inet6 fe80::a00:27ff:fec2:bae4 prefixlen 64 scopeid 0x20 ether 08:00:27:c2:ba:e4 txqueuelen 1000 (Ethernet)
RX packets 6412 bytes 8676619 (8.2 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1726 bytes 289128 (282.3 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

enp0s8: flags=4098 mtu 1500
ether 08:00:27:79:a7:e3 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

lo: flags=73 mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10 loop txqueuelen 1 (Local Loopback)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

Die Schnittstelle enp0s8 wird derzeit nicht verwendet; wir aktivieren sie, sobald wir die Proxy-NAT- oder NAT-Konfiguration nutzen möchten. Es wird dann sinnvoll sein, ihr eine statische IP zuzuweisen.

4. Beginnen wir mit der Installation von 3proxy.

4.1 Installation der grundlegenden Pakete zur Kompilierung von 3proxy aus den Quellen.

root@debian9:~# apt-get install build-essential libevent-dev libssl-dev -y

4.2. Erstellen wir einen Ordner zum Herunterladen des Archivs mit den Quellcodes.

root@debian9:~# mkdir -p /opt/proxy

4.3. Wechseln wir in diesen Ordner.

root@debian9:~# cd /opt/proxy

4.4. Jetzt laden wir das neueste Paket von 3proxy herunter. Zum Zeitpunkt des Schreibens war die letzte stabile Version 0.8.12 (18/04/2018). Wir laden sie von der offiziellen 3proxy-Website herunter.

root@debian9:/opt/proxy# wget https://github.com/z3APA3A/3proxy/archive/0.8.12.tar.gz

4.5. Entpacken wir das heruntergeladene Archiv.

root@debian9:/opt/proxy# tar zxvf 0.8.12.tar.gz

4.6. Wechseln wir in das entpackte Verzeichnis zur Programmkompilierung.

root@debian9:/opt/proxy# cd 3proxy-0.8.12

4.7. Jetzt müssen wir eine Zeile in die Header-Datei hinzufügen, damit unser Server vollständig anonym ist (funktioniert wirklich, alles wurde überprüft, IPs der Clients werden verborgen).

root@debian9:/opt/proxy/3proxy-0.8.12# nano +29 src/proxy.h

Fügen Sie die Zeile hinzu.

#define ANONYMOUS 1
Drücken Sie Ctrl+x und Enter, um die Änderungen zu speichern.

4.8. Lassen Sie uns mit der Programmkompilierung beginnen.

root@debian9:/opt/proxy/3proxy-0.8.12# make -f Makefile.Linux

Makelogmake[2]: Verlasse das Verzeichnis ‘/opt/proxy/3proxy-0.8.12/src/plugins/TransparentPlugin’
make[1]: Verzeichnis ‚/opt/proxy/3proxy-0.8.12/src‘ verlassen

Keine Fehler, wir fahren fort.

4.9. Installieren wir das Programm im System

root@debian9:/opt/proxy/3proxy-0.8.12# make -f Makefile.Linux install

4.10. Wechseln Sie in das Wurzelverzeichnis und überprüfen Sie, wo das Programm installiert wurde

root@debian9:/opt/proxy/3proxy-0.8.12# cd ~/ root@debian9:~# whereis 3proxy
3proxy: /usr/local/bin/3proxy /usr/local/etc/3proxy

4.11. Erstellen Sie einen Ordner für die Konfigurationsdateien und Protokolle im Benutzerverzeichnis

root@debian9:~# mkdir -p /home/joke/proxy/logs

4.12. Wechseln Sie in das Verzeichnis, in dem die Konfiguration sein sollte

root@debian9:~# cd /home/joke/proxy/

4.13. Erstellen Sie eine leere Datei und kopieren Sie die Konfiguration dort hinein

root@debian9:/home/joke/proxy# cat > 3proxy.conf

3proxy.confdaemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
users tester:CL:1234
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
auth strong
flush
allow tester
socks -p3128
proxy -p8080

Zum Speichern drücken Sie Ctrl + Z

4.14. Erstellen Sie eine PID-Datei, um Fehler beim Start zu vermeiden.

root@debian9:/home/joke/proxy# cat > 3proxy.pid

Zum Speichern drücken Sie Ctrl + Z

4.15. Starten Sie den Proxy-Server!

root@debian9:/home/joke/proxy# 3proxy /home/joke/proxy/3proxy.conf

4.16. Überprüfen wir, ob der Server Ports abhört

root@debian9:~/home/joke/proxy# netstat -nlp

netstat ProtokollAktive Internetverbindungen (nur Server)
Proto Recv-Q Send-Q Lokale Adresse Fremde Adresse Zustand PID/Programmname
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 504/3proxy
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 338/sshd
tcp 0 0 0.0.0.0:3128 0.0.0.0:* LISTEN 504/3proxy
tcp6 0 0 :::22 :::* LISTEN 338/sshd
udp 0 0 0.0.0.0:68 0.0.0.0:* 352/dhclient

Wie im Konfigurationsdokument erwähnt, hört der Web-Proxy auf Port 8080, der Socks5-Proxy auf 3128.

4.17. Um den Proxy-Service nach einem Neustart automatisch zu starten, müssen wir ihn zu cron hinzufügen.

root@debian9:~/home/joke/proxy# crontab -e

Fügen Sie die Zeile hinzu.

@reboot /usr/local/bin/3proxy /home/joke/proxy/3proxy.conf

Drücken Sie Enter, da cron das Zeilenende-Symbol erkennen und die Datei speichern muss.

Es sollte eine Meldung über die Installation des neuen Crontabs erscheinen.

crontab: neuen crontab installieren

4.18. Starten Sie das System neu und versuchen Sie, über den Browser eine Verbindung zum Proxy herzustellen. Verwenden Sie dazu den Firefox-Browser (für den Web-Proxy) und das Add-on FoxyProxy für socks5 mit Authentifizierung.

root@debian9:/home/joke/proxy# reboot

4.19. Nachdem die Funktionalität des Proxys nach dem Neustart überprüft wurde, können die Protokolle eingesehen werden. Damit ist die Konfiguration des Proxy-Servers abgeschlossen.

3proxy-Protokoll1542573996.018 PROXY.8080 00000 tester 192.168.23.10:50915 217.12.15.54:443 1193 6939 0 CONNECT_ads.yahoo.com:443_HTTP/1.1
1542574289.634 SOCK5.3128 00000 tester 192.168.23.10:51193 54.192.13.69:443 0 0 0 CONNECT_normandy.cdn.mozilla.net:443

Konfiguration und Start des Transparent Proxy NAT

In dieser Konfiguration werden alle Geräte des internen Netzwerks transparent über einen entfernten Proxy-Server im Internet arbeiten. Alle TCP-Verbindungen werden an einen oder mehrere Proxy-Server weitergeleitet (dies erweitert tatsächlich die Bandbreite, Beispiel für Konfiguration Nr. 2!). Der DNS-Dienst wird die Funktionen von 3proxy (dnspr) nutzen. UDP wird nach außen nicht funktionieren, da wir derzeit den Forward-Mechanismus nicht verwenden (standardmäßig im Linux-Kernel deaktiviert).

1. Es ist Zeit, das Interface enp0s8 zu aktivieren.

root@debian9:~# nano /etc/network/interfaces

/etc/network/interfaces file# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s3
iface enp0s3 inet dhcp

# The secondary network interface
allow-hotplug enp0s8
iface enp0s8 inet static
address 192.168.201.254
netmask 255.255.255.0

Hier haben wir der Schnittstelle enp0s8 die statische Adresse 192.168.201.254 und die Maske 255.255.255.0 zugewiesen.
Konfiguration speichern mit Ctrl+X und neu starten.

root@debian9:~# neu starten

2. Überprüfen der Schnittstellen.

root@debian9:~# ifconfig

ifconfig logenp0s3: flags=4163 mtu 1500
inet 192.168.23.11 netmask 255.255.255.0 broadcast 192.168.23.255
inet6 fe80::a00:27ff:fec2:bae4 prefixlen 64 scopeid 0x20 ether 08:00:27:c2:ba:e4 txqueuelen 1000 (Ethernet)
RX-Pakete 61 Bytes 7873 (7.6 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX-Pakete 65 Bytes 10917 (10.6 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

enp0s8: flags=4163 mtu 1500
inet 192.168.201.254 netmask 255.255.255.0 broadcast 192.168.201.255
inet6 fe80::a00:27ff:fe79:a7e3 prefixlen 64 scopeid 0x20 ether 08:00:27:79:a7:e3 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX-Pakete 8 Bytes 648 (648.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

3. Es hat geklappt, nun müssen wir 3proxy für transparentes Proxying konfigurieren.

root@debian9:~# cd /home/joke/proxy/ root@debian9:/home/joke/proxy# cat > 3proxytransp.conf

Beispielkonfiguration für einen transparenten Proxy-Server Nr. 1daemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
flush
auth iponly
dnspr
erlauben *
parent 1000 socks5 IP_ADRESSE_AUSSEN_PROXY 3128 tester 1234
plugin /opt/proxy/3proxy-0.8.12/src/TransparentPlugin.ld.so transparent_plugin
tcppm -i0.0.0.0 888 127.0.0.1 11111

4. Jetzt starten wir 3proxy mit der neuen Konfiguration
root@debian9:/home/joke/proxy# /usr/local/bin/3proxy /home/joke/proxy/3proxytransp.conf

5. Fügen wir erneut den crontab hinzu
root@debian9:~/home/joke/proxy# crontab -e @reboot /usr/local/bin/3proxy /home/joke/proxy/3proxytransp.conf

6. Überprüfen wir, was jetzt unser Proxy abhört
root@debian9:~# netstat -nlp

7. Jetzt ist der Proxy bereit, beliebige TCP-Verbindungen an Port 888 und DNS an Port 53 anzunehmen, um sie anschließend an einen entfernten socks5-Proxy und DNS von Google 8.8.8.8 weiterzuleiten. Wir müssen noch die Netfilter-Regeln (iptables) und DHCP für die Zuweisung von Adressen konfigurieren.

8. Installieren wir das Paket iptables-persistent und dhcpd

root@debian9:~# apt-get install iptables-persistent isc-dhcp-server

9. Bearbeiten wir die Startdatei von dhcpd
root@debian9:~# nano /etc/dhcp/dhcpd.conf

dhcpd.conf# dhcpd.conf
#
# Sample configuration file for ISC dhcpd
#

# option definitions common to all supported networks…
option domain-name "example.org";
option domain-name-servers ns1.example.org, ns2.example.org;

default-lease-time 600;
max-lease-time 7200;

ddns-update-style none;

# If this DHCP server is the official DHCP server for the local
# network, the authoritative directive should be uncommented.

authoritative;

# A slightly different configuration for an internal subnet.
subnet 192.168.201.0 netmask 255.255.255.0 {
range 192.168.201.10 192.168.201.250;
option domain-name-servers 192.168.201.254;
option routers 192.168.201.254;
option broadcast-address 192.168.201.255;
default-lease-time 600;
max-lease-time 7200;
}

11. Neustarten und den Dienst auf Port 67 überprüfen
root@debian9:~# neu starten root@debian9:~# netstat -nlp

netstat ProtokollAktive Internetverbindungen (nur Server)
Proto Recv-Q Send-Q Lokale Adresse Fremde Adresse Zustand PID/Programmname
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 389/sshd
tcp 0 0 0.0.0.0:888 0.0.0.0:* LISTEN 310/3proxy
tcp6 0 0 :::22 :::* LISTEN 389/sshd
udp 0 0 0.0.0.0:20364 0.0.0.0:* 393/dhcpd
udp 0 0 0.0.0.0:53 0.0.0.0:* 310/3proxy
udp 0 0 0.0.0.0:67 0.0.0.0:* 393/dhcpd
udp 0 0 0.0.0.0:68 0.0.0.0:* 405/dhclient
udp6 0 0 :::31728 :::* 393/dhcpd
raw 0 0 0.0.0.0:1 0.0.0.0:* 393/dhcpd

12. Leiten Sie alle TCP-Anfragen an den Port 888 um und speichern Sie die Regel in iptables.

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.201.0/24 -p tcp -j REDIRECT --to-ports 888

root@debian9:~# iptables-save > /etc/iptables/rules.v4

13. Um die Bandbreite zu erweitern, können mehrere Proxy-Server gleichzeitig eingesetzt werden. Die Gesamtsumme sollte 1000 betragen. Neue Verbindungen werden mit einer Wahrscheinlichkeit von 0,2, 0,2, 0,2, 0,2, 0,1, 0,1 zu den angegebenen Proxy-Servern hergestellt.

Hinweis: Wenn wir einen Web-Proxy haben, sollten wir anstelle von socks5 connect schreiben, und bei socks4 entsprechend socks4 (socks4 UNTERSTÜTZT KEINE AUTHENTIFIZIERUNG MIT BENUTZERNAME/PASSWORT!)

Beispielkonfiguration für transparenten Proxy-Server Nr. 2daemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
maxconn 500
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
flush
auth iponly
dnspr
erlauben *

parent 200 socks5 EXTERNE_PROXY_IP_1 3128 tester 1234
parent 200 socks5 EXTERNE_PROXY_IP_2 3128 tester 1234
parent 200 socks5 EXTERNE_PROXY_IP_3 3128 tester 1234
parent 200 socks5 EXTERNE_PROXY_IP_4 3128 tester 1234
parent 100 socks5 EXTERNE_PROXY_IP_5 3128 tester 1234
parent 100 socks5 EXTERNE_PROXY_IP_6 3128 tester 1234

plugin /opt/proxy/3proxy-0.8.12/src/TransparentPlugin.ld.so transparent_plugin
tcppm -i0.0.0.0 888 127.0.0.1 11111

Einrichtung und Start der NAT + Transparent Proxy-Konfiguration

In dieser Konfiguration verwenden wir eine herkömmliche NAT-Mechanik mit selektivem oder vollständigem transparentem Proxying bestimmter Adressen oder Subnetze. Benutzer des internen Netzwerks werden mit bestimmten Services/Subnetzen arbeiten, ohne auch nur zu ahnen, dass sie über einen Proxy verbunden sind. Alle HTTPS-Verbindungen funktionieren einwandfrei, es müssen keine Zertifikate generiert oder ersetzt werden.

Zunächst müssen wir festlegen, welche Subnetze/Services wir proxen möchten. Nehmen wir an, dass sich die externen Proxy-Server dort befinden, wo ein Service wie pandora.com betrieben wird. Jetzt müssen wir seine Subnetze/Adressen bestimmen.

1. Pingen

root@debian9:~# ping pandora.com
PING pandora.com (208.85.40.20) 56(84) bytes of data.

2. Google BGP 208.85.40.20 suchen

Gehe auf die Website bgp.he.net/net/208.85.40.0/24#_netinfo
Es ist zu sehen, dass das gesuchte Subnetz AS40428 Pandora Media, Inc ist.

bgp.he.net/net/208.85.40.0/24#_netinfo

Öffne die v4-Prefixe

bgp.he.net/AS40428#_prefixes

Hier sind die gesuchten Subnetze!

199.116.161.0/24
199.116.162.0/24
199.116.164.0/23
199.116.164.0/24
199.116.165.0/24
208.85.40.0/24
208.85.41.0/24
208.85.42.0/23
208.85.42.0/24
208.85.43.0/24
208.85.44.0/24
208.85.46.0/23
208.85.46.0/24
208.85.47.0/24

3. Um die Anzahl der Subnetze zu reduzieren, muss eine Aggregation durchgeführt werden. Gehe auf die Website ip-calculator.ru/aggregate und kopiere unsere Liste dort hinein. Als Ergebnis erhalten wir 6 Subnetze anstelle von 14.

199.116.161.0/24
199.116.162.0/24
199.116.164.0/23
208.85.40.0/22
208.85.44.0/24
208.85.46.0/23

4. Bereinige die iptables-Regeln

root@debian9:~# iptables -F root@debian9:~# iptables -X root@debian9:~# iptables -t nat -F root@debian9:~# iptables -t nat -X

Aktiviere den Forward- und NAT-Mechanismus.

root@debian9:~# echo 1 > /proc/sys/net/ipv4/ip_forward root@debian9:~# iptables -A FORWARD -i enp0s3 -o enp0s8 -j ACCEPT root@debian9:~# iptables -A FORWARD -i enp0s8 -o enp0s3 -j ACCEPT root@debian9:~# iptables -t nat -A POSTROUTING -o enp0s3 -s 192.168.201.0/24 -j MASQUERADE

Um das Forwarding nach einem Neustart dauerhaft zu aktivieren, ändern wir die Datei

root@debian9:~# nano /etc/sysctl.conf

Und kommentieren die Zeile aus

net.ipv4.ip_forward = 1

Ctrl+X zum Speichern der Datei

5. Leiten wir die Subnetze pandora.com über einen Proxy

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.201.0/24 -d 199.116.161.0/24,199.116.162.0/24,199.116.164.0/23,208.85.40.0/22,208.85.44.0/24,208.85.46.0/23 -p tcp -j REDIRECT --to-ports 888

6. Speichern wir die Regeln

root@debian9:~# iptables-save > /etc/iptables/rules.v4

Einrichtung und Start der Transparent Proxy-Konfiguration über den Router

In dieser Konfiguration kann der transparente Proxy-Server ein separater PC oder eine virtuelle Maschine hinter dem heimischen/unternehmerischen Router sein. Es reicht aus, statische Routen auf dem Router oder den Geräten einzutragen, und das gesamte Subnetz wird den Proxy nutzen, ohne dass zusätzliche Einstellungen erforderlich sind.

WICHTIG! Unser Gateway muss eine statische IP vom Router erhalten oder selbst auf statische IP konfiguriert sein.

1. Konfigurieren Sie die statische Adresse des Gateways (Adapter enp0s3)

root@debian9:~# nano /etc/network/interfaces

/etc/network/interfaces file# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s3
iface enp0s3 inet static
address 192.168.23.2
netmask 255.255.255.0
gateway 192.168.23.254

# The secondary network interface
allow-hotplug enp0s8
iface enp0s8 inet static
address 192.168.201.254
netmask 255.255.255.0

2. Erlauben Sie Geräten im Subnetz 192.168.23.0/24 die Nutzung des Proxys

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.23.0/24 -d 199.116.161.0/24,199.116.162.0/24,199.116.164.0/23,208.85.40.0/22,208.85.44.0/24,208.85.46.0/23 -p tcp -j REDIRECT --to-ports 888

3. Speichern wir die Regeln
root@debian9:~# iptables-save > /etc/iptables/rules.v4

4. Tragen Sie die Subnetze auf dem Router ein

Router-Netzwerkliste199.116.161.0 255.255.255.0 192.168.23.2
199.116.162.0 255.255.255.0 192.168.23.2
199.116.164.0 255.255.254.0 192.168.23.2
208.85.40.0 255.255.252.0 192.168.23.2
208.85.44.0 255.255.255.0 192.168.23.2
208.85.46.0 255.255.254.0 192.168.23.2