🥇A transzparens proxyzáció alapjai 3proxy-val és iptables/netfilter-rel, avagy hogyan "engedjünk mindent át a proxyn"

Ebben a cikkben szeretném bemutatni a transzparens proxizás lehetőségeit, amely lehetővé teszi, hogy a kliensek számára észrevétlenül az összes vagy a forgalom egy részét külső proxy szervereken keresztül irányítsuk.

Amikor elkezdtem megoldani ezt a feladatot, szembesültem azzal, hogy a megvalósítása egy jelentős problémával jár — az HTTPS protokollal. A régi, szép időkben nem voltak különösebb problémák a HTTP transzparens proxizásával, de HTTPS proxizálásakor a böngészők beavatkozást jeleznek a protokollba, és ezzel véget ér a dolog.

A Squid proxy szerver közismert útmutatásaiban még saját tanúsítvány generálását és annak kliensoldali telepítését is ajánlják, ami legalábbis értelmetlen és úgy tűnik, mint egy MITM támadás. Tudom, hogy a Squid már tud valami hasonlót csinálni, de ebben a cikkben egy bevált és működő módszert tárgyalunk, amely a 3proxy-ra épül, amelyet a tiszteletben álló 3APA3A készített.

Ezután részletesen megvizsgáljuk a 3proxy forrásból történő összeállításának folyamatát, annak beállítását, a teljes és szelektív proxizálást NAT használatával, a csatorna elosztását több külső proxy szerver között, valamint a router és statikus útvonalak használatát. Mint operációs rendszert a Debian 9 x64-et használjuk. Kezdjük!

3proxy telepítése és a hagyományos proxy szerver indítása

1. Telepítjük az ifconfig-ot (a net-tools csomagból)
apt-get install net-tools
2. Telepítjük a Midnight Commandert
apt-get install mc
3. Jelenleg 2 interfészünk van:
enp0s3 — külső, az internet felé néz
enp0s8 — belső, a helyi hálózat felé kell néznie
Más Debian-alapú disztribúciókban az interfészek általában eth0 és eth1 néven szerepelnek.
ifconfig -a

Interfacesenp0s3: flags=4163 mtu 1500
inet 192.168.23.11 netmask 255.255.255.0 broadcast 192.168.23.255
inet6 fe80::a00:27ff:fec2:bae4 prefixlen 64 scopeid 0x20 ether 08:00:27:c2:ba:e4 txqueuelen 1000 (Ethernet)
RX csomagok 6412 byte 8676619 (8.2 MiB)
RX hibák 0 csökkenés 0 túllépés 0 keret 0
TX csomagok 1726 byte 289128 (282.3 KiB)
TX hibák 0 csökkenés 0 túllépés 0 carrier 0 ütközés 0

enp0s8: flags=4098 mtu 1500
ether 08:00:27:79:a7:e3 txqueuelen 1000 (Ethernet)
RX csomagok 0 byte 0 (0.0 B)
RX hibák 0 csökkenés 0 túllépés 0 keret 0
TX csomagok 0 byte 0 (0.0 B)
TX hibák 0 csökkenés 0 túllépés 0 carrier 0 ütközés 0

lo: flags=73 mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10 loop txqueuelen 1 (Helyi hurok)
RX csomagok 0 byte 0 (0.0 B)
RX hibák 0 csökkenés 0 túllépés 0 keret 0
TX csomagok 0 byte 0 (0.0 B)
TX hibák 0 csökkenés 0 túllépés 0 carrier 0 ütközés 0

Az enp0s8 interfész jelenleg nincs használatban, bekapcsoljuk, amikor a Proxy NAT vagy NAT konfigurációt szeretnénk használni. Akkor lesz logikus, ha statikus IP-t rendelünk hozzá.

4. Kezdjük el a 3proxy telepítését

4.1 Az alapcsomagok telepítése a 3proxy forráskódú fordításához

root@debian9:~# apt-get install build-essential libevent-dev libssl-dev -y

4.2 Hozzunk létre egy mappát a források letöltéséhez

root@debian9:~# mkdir -p /opt/proxy

4.3 Lépjünk át ebbe a mappába

root@debian9:~# cd /opt/proxy

4.4 Most letöltjük a legújabb 3proxy csomagot. A cikk írásakor a legutolsó stabil verzió a 0.8.12 (2018/04/18) volt. Töltsük le a 3proxy hivatalos weboldaláról.

root@debian9:\/opt\/proxy# wget https://github.com/z3APA3A/3proxy/archive/0.8.12.tar.gz

4.5 Csomagoljuk ki a letöltött archívumot

root@debian9:/opt/proxy# tar zxvf 0.8.12.tar.gz

4.6 Lépjünk a kibővített könyvtárba a program fordításához

root@debian9:/opt/proxy# cd 3proxy-0.8.12

4.7 Ezután hozzá kell adnunk egy sort a fejléc fájlhoz, hogy a szerverünk teljesen névtelen legyen (ténylegesen működik, minden tesztelve van, az ügyfelek IP címei elrejtésre kerülnek)

root@debian9:/opt/proxy/3proxy-0.8.12# nano +29 src/proxy.h

Adjuk hozzá a sort

#define ANONYMOUS 1
Nyomjuk meg a Ctrl+x és az Enter billentyűt a módosítások mentéséhez.

4.8 Kezdjük el a program fordítását

root@debian9:/opt/proxy/3proxy-0.8.12# make -f Makefile.Linux

Makelogmake[2]: A ‘/opt/proxy/3proxy-0.8.12/src/plugins/TransparentPlugin’ könyvtár elhagyása
make[1]: A ‘/opt/proxy/3proxy-0.8.12/src’ könyvtár elhagyása

Nincsenek hibák, folytassuk.

4.9 Telepítsük a programot a rendszerbe

root@debian9:/opt/proxy/3proxy-0.8.12# make -f Makefile.Linux install

4.10 Lépjünk a gyökérkönyvtárba és ellenőrizzük, hova települt a program

root@debian9:~# cd ~/ root@debian9:~# whereis 3proxy
3proxy: /usr/local/bin/3proxy /usr/local/etc/3proxy

4.11 Hozzunk létre egy mappát a konfigurációs fájlok és naplók számára a felhasználó otthoni könyvtárában

root@debian9:~# mkdir -p /home/joke/proxy/logs

4.12 Lépjünk arra a könyvtárra, ahol a konfigurációs fájlnak lennie kell

root@debian9:~# cd /home/joke/proxy/

4.13 Hozzunk létre egy üres fájlt, és másoljuk bele a konfigurációt

root@debian9:/home/joke/proxy# cat > 3proxy.conf

3proxy.confdaemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
users tester:CL:1234
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
auth strong
flush
allow tester
socks -p3128
proxy -p8080

A mentéshez nyomjuk meg a Ctrl + Z-t

4.14 Hozzunk létre egy pid-fájlt, hogy elkerüljük a hibákat indításkor.

root@debian9:/home/joke/proxy# cat > 3proxy.pid

A mentéshez nyomjuk meg a Ctrl + Z-t

4.15 Indítsuk el a proxy szervert!

root@debian9:/home/joke/proxy# 3proxy /home/joke/proxy/3proxy.conf

4.16 Nézzük meg, hallgatja-e a szerver a portokat

root@debian9:~/home/joke/proxy# netstat -nlp

netstat naplóAktív internethálózati kapcsolatok (csak szerverek)
Proto Recv-Q Send-Q Helyi cím Külső cím Állapot PID/Program név
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 504/3proxy
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 338/sshd
tcp 0 0 0.0.0.0:3128 0.0.0.0:* LISTEN 504/3proxy
tcp6 0 0 :::22 :::* LISTEN 338/sshd
udp 0 0 0.0.0.0:68 0.0.0.0:* 352/dhclient

Ahogy a konfigurációban le volt írva, a webproxy a 8080-as porton hallgat, a Socks5-proxy pedig a 3128-as porton.

4.17 Ahhoz, hogy a proxy szolgáltatás indításkor automatikusan elinduljon, hozzá kell adnunk a cronhoz.

root@debian9:‍/home‍/joke‍/proxy# crontab -e

Adjuk hozzá a sort

@reboot /usr/local/bin/3proxy /home/joke/proxy/3proxy.conf

Megnyomjuk az Entert, mert a cron-nak látnia kell a sor végét jelző karaktert, és mentjük a fájlt.

Meg kell jelenjen egy üzenet az új crontab telepítéséről.

crontab: új crontab telepítése

4.18. Újraindítjuk a rendszert, és megpróbáljuk a böngészőn keresztül csatlakozni a proxyhoz. A Firefox böngészőt használjuk (web proxyhoz) és a FoxyProxy bővítményt a socks5-ös hitelesítéssel.

root@debian9:~/home/joke/proxy# reboot

4.19. A proxy működésének ellenőrzése után megnézhetjük a naplókat. Ezzel a proxy beállítása befejeződött.

3 proxy napló1542573996.018 PROXY.8080 00000 tester 192.168.23.10:50915 217.12.15.54:443 1193 6939 0 CONNECT_ads.yahoo.com:443_HTTP/1.1
1542574289.634 SOCK5.3128 00000 tester 192.168.23.10:51193 54.192.13.69:443 0 0 0 CONNECT_normandy.cdn.mozilla.net:443

A Transparent Proxy NAT konfigurálása és elindítása

Ebben a konfigurációban minden belső hálózati eszköz áttetszően fog működni az interneten keresztül a távoli proxy szerveren. Minden tcp-kapcsolatot egy vagy több (valóban bővíti a sávszélességet, a 2. számú példakonfiguráció!) proxy szerverre irányítunk. A DNS szolgáltatás a 3proxy (dnspr) lehetőségeit fogja használni. A UDP forgalom nem fog megjelenni, mivel egyelőre nem használunk előrehaladás mechanizmust (alapértelmezés szerint le van tiltva a Linux kernelben).

1. Itt az idő, hogy bepillantást nyerjünk az enp0s8 interfészbe

root@debian9:~# nano /etc/network/interfaces

/etc/network/interfaces file# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s3
iface enp0s3 inet dhcp

# The secondary network interface
allow-hotplug enp0s8
iface enp0s8 inet static
address 192.168.201.254
netmask 255.255.255.0

Itt állítottuk be az enp0s8 interfész statikus címét 192.168.201.254 és 255.255.255.0 maszkot.
Mentjük a konfigurációt Ctrl+X és újraindulunk

root@debian9:~# újraindítás

2. Ellenőrizzük az interfészeket

root@debian9:~# ifconfig

ifconfig naplóenp0s3: flags=4163 mtu 1500
inet 192.168.23.11 netmask 255.255.255.0 broadcast 192.168.23.255
inet6 fe80::a00:27ff:fec2:bae4 prefixlen 64 scopeid 0x20 ether 08:00:27:c2:ba:e4 txqueuelen 1000 (Ethernet)
RX csomagok 61 bájt 7873 (7.6 KiB)
RX hibák 0 csökkenés 0 túllépés 0 keret 0
TX csomagok 65 bájt 10917 (10.6 KiB)
TX hibák 0 csökkenés 0 túllépés 0 carrier 0 ütközés 0

enp0s8: flags=4163 mtu 1500
inet 192.168.201.254 netmask 255.255.255.0 broadcast 192.168.201.255
inet6 fe80::a00:27ff:fe79:a7e3 prefixlen 64 scopeid 0x20 ether 08:00:27:79:a7:e3 txqueuelen 1000 (Ethernet)
RX csomagok 0 byte 0 (0.0 B)
RX hibák 0 csökkenés 0 túllépés 0 keret 0
TX csomagok 8 bájt 648 (648.0 B)
TX hibák 0 csökkenés 0 túllépés 0 carrier 0 ütközés 0

3. Minden rendben, most be kell állítani a 3proxy-t a áttetsző proxyzáshoz.

root@debian9:~# cd /home/joke/proxy/ root@debian9:/home/joke/proxy# cat > 3proxytransp.conf

A 3. számú áttetsző proxy szerver konfigurációs példájadaemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
flush
auth iponly
dnspr
allow *
parent 1000 socks5 KÜLSŐ_PROXY_IP_CÍM 3128 tester 1234
plugin /opt/proxy/3proxy-0.8.12/src/TransparentPlugin.ld.so transparent_plugin
tcppm -i0.0.0.0 888 127.0.0.1 11111

4. Most indítsuk el a 3proxy-t az új konfigurációval
root@debian9:/home/joke/proxy# /usr/local/bin/3proxy /home/joke/proxy/3proxytransp.conf

5. Újra hozzáadjuk a crontabba
root@debian9:‍/home‍/joke‍/proxy# crontab -e @reboot ‍/usr‍/local‍/bin‍/3proxy ‍/home‍/joke‍/proxy‍/3proxytransp.conf

6. Nézzük meg, mit hallgat most a proxy
root@debian9:~# netstat -nlp

netstat naplóAktív internethálózati kapcsolatok (csak szerverek)
Proto Recv-Q Send-Q Helyi cím Külső cím Állapot PID/Program név
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 349/sshd
tcp 0 0 0.0.0.0:888 0.0.0.0:* LISTEN 354/3proxy
tcp6 0 0 :::22 :::* LISTEN 349/sshd
udp 0 0 0.0.0.0:53 0.0.0.0:* 354/3proxy
udp 0 0 0.0.0.0:68 0.0.0.0:* 367/dhclient

7. A proxy most now accept any TCP connections on port 888, DNS on port 53, to subsequently redirect them to the remote socks5 proxy and Google DNS 8.8.8.8. We just need to configure the netfilter (iptables) rules and DHCP for issuing addresses.

8. Install the iptables-persistent and dhcpd packages.

root@debian9:~# apt-get install iptables-persistent isc-dhcp-server

9. Editing the dhcpd startup file.
root@debian9:~# nano /etc/dhcp/dhcpd.conf

dhcpd.conf# dhcpd.conf
#
# Sample configuration file for ISC dhcpd
#

# option definitions common to all supported networks…
option domain-name "example.org";
option domain-name-servers ns1.example.org, ns2.example.org;

default-lease-time 600;
max-lease-time 7200;

ddns-update-style none;

# If this DHCP server is the official DHCP server for the local
# network, the authoritative directive should be uncommented.

authoritative;

# A slightly different configuration for an internal subnet.
subnet 192.168.201.0 netmask 255.255.255.0 {
range 192.168.201.10 192.168.201.250;
option domain-name-servers 192.168.201.254;
option routers 192.168.201.254;
option broadcast-address 192.168.201.255;
default-lease-time 600;
max-lease-time 7200;
}

11. Reboot and check the service on port 67.
root@debian9:~# újraindítás root@debian9:~# netstat -nlp

netstat naplóAktív internethálózati kapcsolatok (csak szerverek)
Proto Recv-Q Send-Q Helyi cím Külső cím Állapot PID/Program név
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 389/sshd
tcp 0 0 0.0.0.0:888 0.0.0.0:* LISTEN 310/3proxy
tcp6 0 0 :::22 :::* LISTEN 389/sshd
udp 0 0 0.0.0.0:20364 0.0.0.0:* 393/dhcpd
udp 0 0 0.0.0.0:53 0.0.0.0:* 310/3proxy
udp 0 0 0.0.0.0:67 0.0.0.0:* 393/dhcpd
udp 0 0 0.0.0.0:68 0.0.0.0:* 405/dhclient
udp6 0 0 :::31728 :::* 393/dhcpd
raw 0 0 0.0.0.0:1 0.0.0.0:* 393/dhcpd

12. We need to redirect all TCP requests to port 888 and save the rule in iptables.

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.201.0/24 -p tcp -j REDIRECT --to-ports 888

root@debian9:~# iptables-save > /etc/iptables/rules.v4

13. To expand the bandwidth, multiple proxy servers can be used at once. The total sum must be 1000. New connections are established with probabilities of 0.2, 0.2, 0.2, 0.2, 0.1, 0.1 towards the specified proxy servers.

Note: if we have a web proxy, then instead of socks5 we need to write connect; if socks4, then socks4 (socks4 DOES NOT SUPPORT AUTHENTICATION LOGIN/PASSWORD!).

Example configuration of transparent proxy server No. 2.daemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
maxconn 500
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
flush
auth iponly
dnspr
allow *

parent 200 socks5 EXTERNAL_PROXY_ADDRESS_1 3128 tester 1234
parent 200 socks5 EXTERNAL_PROXY_ADDRESS_2 3128 tester 1234
parent 200 socks5 EXTERNAL_PROXY_ADDRESS_3 3128 tester 1234
parent 200 socks5 EXTERNAL_PROXY_ADDRESS_4 3128 tester 1234
parent 100 socks5 EXTERNAL_PROXY_ADDRESS_5 3128 tester 1234
parent 100 socks5 EXTERNAL_PROXY_ADDRESS_6 3128 tester 1234

plugin /opt/proxy/3proxy-0.8.12/src/TransparentPlugin.ld.so transparent_plugin
tcppm -i0.0.0.0 888 127.0.0.1 11111

Configuring and launching the NAT + Transparent Proxy configuration.

In this configuration, we will use a standard NAT mechanism with selective or full transparent proxying of specific addresses or subnets. Users within the internal network will work with certain services/subnets without even realizing they are operating through a proxy. All HTTPS connections work perfectly, no certificates need to be generated or substituted.

Először is határozzuk meg, hogy mely alhálózatokat/szolgáltatásokat szeretnénk proxyzni. Tegyük fel, hogy a külső proxy szerverek ott találhatók, ahol egy olyan szolgáltatás működik, mint a pandora.com. Most meg kell határoznunk az alhálózatait/címét.

1. Pingeljük le

root@debian9:~# ping pandora.com
PING pandora.com (208.85.40.20) 56(84) bájt adat.

2. Keressük rá a BGP 208.85.40.20-ra a Google-ban

Lépjünk a weboldalra bgp.he.net/net/208.85.40.0/24#_netinfo
Látható, hogy a keresett alhálózat az AS40428 Pandora Media, Inc.

bgp.he.net/net/208.85.40.0/24#_netinfo

Nyissuk meg a v4 prefixeket

bgp.he.net/AS40428#_prefixes

Íme a keresett alhálózatok!

199.116.161.0/24
199.116.162.0/24
199.116.164.0/23
199.116.164.0/24
199.116.165.0/24
208.85.40.0/24
208.85.41.0/24
208.85.42.0/23
208.85.42.0/24
208.85.43.0/24
208.85.44.0/24
208.85.46.0/23
208.85.46.0/24
208.85.47.0/24

3. Az alhálózatok számának csökkentéséhez aggregálást kell végezni. Lépjünk a weboldalra ip-calculator.ru/aggregate és másoljuk be a listánkat oda. Az eredmény — 6 alhálózat a 14 helyett.

199.116.161.0/24
199.116.162.0/24
199.116.164.0/23
208.85.40.0/22
208.85.44.0/24
208.85.46.0/23

4. Töröljük az iptables szabályokat

root@debian9:~# iptables -F root@debian9:~# iptables -X root@debian9:~# iptables -t nat -F root@debian9:~# iptables -t nat -X

Kapcsoljuk be az előreirányítást és a NAT-ot

root@debian9:~# echo 1 > /proc/sys/net/ipv4/ip_forward root@debian9:~# iptables -A FORWARD -i enp0s3 -o enp0s8 -j ACCEPT root@debian9:~# iptables -A FORWARD -i enp0s8 -o enp0s3 -j ACCEPT root@debian9:~# iptables -t nat -A POSTROUTING -o enp0s3 -s 192.168.201.0/24 -j MASQUERADE

Ahhoz, hogy az előreirányítás folyamatosan be legyen kapcsolva újraindítás után, módosítsuk a fájlt

root@debian9:~# nano /etc/sysctl.conf

És töröljük a megjegyzést a sor elől

net.ipv4.ip_forward = 1

Ctrl+X a fájl mentéséhez

5. Zárjuk be a pandora.com alhálózatokat proxyba

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.201.0/24 -d 199.116.161.0/24,199.116.162.0/24,199.116.164.0/23,208.85.40.0/22,208.85.44.0/24,208.85.46.0/23 -p tcp -j REDIRECT --to-ports 888

6. Mentsük a szabályokat

root@debian9:~# iptables-save > /etc/iptables/rules.v4

A Transparent Proxy konfigurálása és indítása routeren keresztül

Ebben a konfigurációban a transzparens proxy szerver lehet külön PC vagy virtuális gép a háztartási/vállalati router mögött. Elég, ha statikus útvonalakat írunk a routerre vagy az eszközökre, és az egész alhálózat a proxy-t fogja használni, anélkül hogy bármilyen további beállításra lenne szükség.

FONTOS! Azt kell biztosítani, hogy az átjárónk statikus IP-t kapjon a routertől, vagy magának kell statikusan beállítania.

1. Állítsuk be az átjáró statikus címét (enp0s3 adapter)

root@debian9:~# nano /etc/network/interfaces

/etc/network/interfaces file# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s3
iface enp0s3 inet static
address 192.168.23.2
netmask 255.255.255.0
gateway 192.168.23.254

# The secondary network interface
allow-hotplug enp0s8
iface enp0s8 inet static
address 192.168.201.254
netmask 255.255.255.0

2. Engedélyezzük a 192.168.23.0/24 alhálózat eszközeit a proxy használatára

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.23.0/24 -d 199.116.161.0/24,199.116.162.0/24,199.116.164.0/23,208.85.40.0/22,208.85.44.0/24,208.85.46.0/23 -p tcp -j REDIRECT --to-ports 888

3. Mentsük a szabályokat
root@debian9:~# iptables-save > /etc/iptables/rules.v4

4. Írjuk be az alhálózatokat a routerbe

Router hálózati lista199.116.161.0 255.255.255.0 192.168.23.2
199.116.162.0 255.255.255.0 192.168.23.2
199.116.164.0 255.255.254.0 192.168.23.2
208.85.40.0 255.255.252.0 192.168.23.2
208.85.44.0 255.255.255.0 192.168.23.2
208.85.46.0 255.255.254.0 192.168.23.2