🥇 Läbipaistva proksimise alused 3proxy ja iptables/netfilteri abil või kuidas "kõik läbi proksi lasta"

Selles artiklis soovin avada läbipaistva kohandamise võimalusi, mis võimaldavad klientidele märkamatult suunata kogu või osa liiklust välistele proksi-serveritele.

Kui ma hakkasin seda ülesannet lahendama, siis sattusin kokku ühe olulise probleemiga – HTTPS protokolliga. Vanasti ei olnud läbipaistva HTTP kohandamisega erilisi probleeme, kuid HTTPS-i proksimisel teavitavad brauserid protokolli sekkumisest ja sellega on lõpp.

Levinud juhistes proksi-serveri Squid jaoks soovitatakse isegi genereerida oma sertifikaat ja paigaldada see klientidele, mis on täielik bollocks, kuna see ei ole ratsionaalne ja näeb välja nagu MITM – rünnak. Ma tean, et Squid oskab midagi sarnast teha, kuid selles artiklis räägitakse tõest ja töötavast viisist, kasutades 3proxy austatud 3APA3A-lt.

Edasi vaatame põhjalikult 3proxy ehitamise protsessi allikakoodist, selle seadistamist, täielikku ja valikuline proksimist NAT-i kasutades, kanali jaotamist mitmele välisele proksi-serverile ning ruuteri ja staatiliste marsruutide kasutamist. Operatsioonisüsteemiks on Debian 9 x64. Alustame!

3proxy installimine ja tavalise proksi-serveri käivitamine

1. Paigaldame ifconfig (net-tools paketist)
apt-get install net-tools
2. Paigaldame Midnight Commanderi
apt-get install mc
3. Meil on praegu 2 liidest:
enp0s3 – väline, vaatab internetti
enp0s8 – sisemine, peab vaatama kohaliku võrgu poole
Teistes Debian-põhistes distributsioonides nimetatakse liideseid tavaliselt eth0 ja eth1.
ifconfig -a

Interfacesenp0s3: flags=4163 mtu 1500
inet 192.168.23.11 netmask 255.255.255.0 broadcast 192.168.23.255
inet6 fe80::a00:27ff:fec2:bae4 prefixlen 64 scopeid 0x20 ether 08:00:27:c2:ba:e4 txqueuelen 1000 (Ethernet)
RX packets 6412 bytes 8676619 (8.2 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1726 bytes 289128 (282.3 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

enp0s8: flags=4098 mtu 1500
ether 08:00:27:79:a7:e3 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

lo: flags=73 mtu 65536
inet 127.0.0.1 netmask 255.0.0.0
inet6 ::1 prefixlen 128 scopeid 0x10 loop txqueuelen 1 (Local Loopback)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

Liides enp0s8 hetkel ei kasutata; aktiveerime selle, kui soovime kasutada Proxy NAT-i või NAT-i konfiguratsiooni. Just siis on õigustatud määrata sellele staatiline IP.

4. Alustame 3proxy installimist

4.1 3proxy allikakoodist kompileerimiseks vajalike põhik स्थापितamine

root@debian9:~# apt-get install build-essential libevent-dev libssl-dev -y

4.2. Loome kaust allalaadimiseks, kuhu laeme lähtekoodide arhiivi

root@debian9:~# mkdir -p /opt/proxy

4.3. Liigume sellesse kausta

root@debian9:~# cd /opt/proxy

4.4. Nüüd laeme alla viimase 3proxy paketi. Artikli kirjutamise hetkel oli viimane stabiilne versioon 0.8.12 (18/04/2018). Laeme selle ametlikult 3proxy veebisaidilt alla

root@debian9:\/opt\/proxy# wget https:\/\/github.com\/z3APA3A\/3proxy\/archive\/0.8.12.tar.gz

4.5. Pakkime alla laaditud arhiivi lahti

root@debian9:/opt/proxy# tar zxvf 0.8.12.tar.gz

4.6. Liigume lahti pakitud katalooge programmi koostamiseks

root@debian9:/opt/proxy# cd 3proxy-0.8.12

4.7. Peame lisama faili päisesse rea, et meie server oleks täiesti anonüümne (see toimib tõeliselt, kõik on kontrollitud, klientide IP-d on varjatud)

root@debian9:/opt/proxy/3proxy-0.8.12# nano +29 src/proxy.h

Lisame rea

#define ANONYMOUS 1
Vajutame Ctrl+x ja Enter, et salvestada muudatused.

4.8. Alustame programmi koostamist

root@debian9:/opt/proxy/3proxy-0.8.12# make -f Makefile.Linux

Makelogmake[2]: Leaving directory ‘/opt/proxy/3proxy-0.8.12/src/plugins/TransparentPlugin’
make[1]: Leaving directory ‘/opt/proxy/3proxy-0.8.12/src’

Vigu ei esine, jätkame.

4.9. Paigaldame programmi süsteemi

root@debian9:/opt/proxy/3proxy-0.8.12# make -f Makefile.Linux install

4.10. Liigume juurkatalooge ja kontrollime, kuhu programm paigaldati

root@debian9: /opt/proxy/3proxy-0.8.12# cd ~/ root@debian9:~# whereis 3proxy
3proxy: /usr/local/bin/3proxy /usr/local/etc/3proxy

4.11. Loome kausta konfiguratsioonifailide ja logide jaoks kasutaja kodukausta

root@debian9:~# mkdir -p /home/joke/proxy/logs

4.12. Liigume kausta, kus konfiguratsioonifail peaks olema

root@debian9:~# cd /home/joke/proxy/

4.13. Loome tühja faili ja kopeerime sinna konfiguratsiooni

root@debian9:/home/joke/proxy# cat > 3proxy.conf

3proxy.confdaemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
users tester:CL:1234
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
auth strong
flush
allow tester
socks -p3128
proxy -p8080

Salvestamiseks vajutame Ctrl + Z

4.14. Loome pid-faili, et käivitamisel ei tekiks vigu.

root@debian9:/home/joke/proxy# cat > 3proxy.pid

Salvestamiseks vajutame Ctrl + Z

4.15. Käivitame proxy-serveri!

root@debian9:/home/joke/proxy# 3proxy /home/joke/proxy/3proxy.conf

4.16. Kontrollime, kas server kuuleb porte

root@debian9:~/home/joke/proxy# netstat -nlp

netstat logAktiivne Interneti-ühendused (ainult serverid)
Proto Recv-Q Send-Q Kohalik aadress Välis aadress Oleku PID/Programmi nimi
tcp 0 0 0.0.0.0:8080 0.0.0.0:* LISTEN 504/3proxy
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 338/sshd
tcp 0 0 0.0.0.0:3128 0.0.0.0:* LISTEN 504/3proxy
tcp6 0 0 :::22 :::* LISTEN 338/sshd
udp 0 0 0.0.0.0:68 0.0.0.0:* 352/dhclient

Nagu konfiguratsioonis oli kirjutatud, kuulab veebipõhine proxy meie juures pordil 8080, Socks5-proxy – 3128.

4.17. Proxy teenuse automaatseks käivitamiseks pärast taaskäivitamist tuleb see croni lisada.

root@debian9: /home/joke/proxy# crontab -e

Lisame rea

@reboot /usr/local/bin/3proxy /home/joke/proxy/3proxy.conf

Vajutame Enter, et cron näeks rea lõpu sümbolit ja salvestame faili.

Peab olema teadet uue crontab-i paigaldamise kohta.

crontab: installimine uus crontab

4.18. Taaskäivitame süsteemi ja proovime brauseri kaudu proksile ühenduda. Kontrollimiseks kasutame Firefox'i brauserit (veebiproksi jaoks) ja FoxyProxy lisandmoodulit socks5 autentimisega.

root@debian9:/home/joke/proxy# reboot

4.19. Kontrollides proksi tööd pärast taaskäivitamist, saame vaadata logifailide sisu. Proksiserveri seadistamine on nüüd lõpule viidud.

3 proksi logi1542573996.018 PROXY.8080 00000 tester 192.168.23.10:50915 217.12.15.54:443 1193 6939 0 CONNECT_ads.yahoo.com:443_HTTP/1.1
1542574289.634 SOCK5.3128 00000 tester 192.168.23.10:51193 54.192.13.69:443 0 0 0 CONNECT_normandy.cdn.mozilla.net:443

Läbipaistva Proksi NAT seadistamine ja käivitamine

Käesolevas konfiguratsioonis töötavad kõik sisevõrgu seadmed läbipaistvalt internetis läbi kaugproksiserveri. Kõik tcp-ühendused suunatakse ühte või mitmesse (reaalselt laiendab ribalaiust, näiteks konfiguratsioon nr 2!) proksiserverisse. DNS-teenus kasutab 3proxy (dnspr) funktsioone. UDP ei saa väljapoole minna, kuna me ei kasuta hetkel forward mehhanismi (vaikesätetes on see Linuxi tuumas keelatud).

1. On aeg lubada liides enp0s8

root@debian9:~# nano /etc/network/interfaces

/etc/network/interfaces file# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s3
iface enp0s3 inet dhcp

# The secondary network interface
allow-hotplug enp0s8
iface enp0s8 inet static
address 192.168.201.254
netmask 255.255.255.0

Siin määrasime liidesele enp0s8 staatilise aadressi 192.168.201.254 ja maski 255.255.255.0
Salvestame konfogi Ctrl+X ja taaskäivitame

root@debian9:~# taaskäima

2. Kontrollime liideseid

root@debian9:~# ifconfig

ifconfig logienp0s3: flags=4163 mtu 1500
inet 192.168.23.11 netmask 255.255.255.0 broadcast 192.168.23.255
inet6 fe80::a00:27ff:fec2:bae4 prefixlen 64 scopeid 0x20 ether 08:00:27:c2:ba:e4 txqueuelen 1000 (Ethernet)
RX paketid 61 bytes 7873 (7.6 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX paketid 65 bytes 10917 (10.6 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

enp0s8: flags=4163 mtu 1500
inet 192.168.201.254 netmask 255.255.255.0 broadcast 192.168.201.255
inet6 fe80::a00:27ff:fe79:a7e3 prefixlen 64 scopeid 0x20 ether 08:00:27:79:a7:e3 txqueuelen 1000 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX paketid 8 bytes 648 (648.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

3. Kõik läks korda, nüüd tuleb seadistada 3proxy läbipaistvaks proksimiseks.

root@debian9:~# cd /home/joke/proxy/ root@debian9:/home/joke/proxy# cat > 3proxytransp.conf

Näide läbipaistva proksiserveri konfiguratsioonist nr 1daemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
flush
auth iponly
dnspr
allow *
parent 1000 socks5 VÄLISPROKSI_IP 3128 tester 1234
plugin /opt/proxy/3proxy-0.8.12/src/TransparentPlugin.ld.so transparent_plugin
tcppm -i0.0.0.0 888 127.0.0.1 11111

4. Nüüd käivitame 3proxy uue konfigureerimisega
root@debian9:/home/joke/proxy# /usr/local/bin/3proxy /home/joke/proxy/3proxytransp.conf

5. Lisame jälle crontab'i
root@debian9: /home/joke/proxy# crontab -e @reboot /usr/local/bin/3proxy /home/joke/proxy/3proxytransp.conf

6. Vaadakem, mida nüüd meie proksi kuulab
root@debian9:~# netstat -nlp

7. Nüüd on proksi valmis aktsepteerima kõiki TCP-ühendusi sadamal 888, DNS-il sadamal 53, et suunata need kaugproksi ja Google'i DNS-i 8.8.8.8. Peame seadistama netfilter (iptables) ja DHCP aadresside jagamiseks.

8. Paigaldame paketi iptables-persistent ja dhcpd

root@debian9:~# apt-get install iptables-persistent isc-dhcp-server

9. Muudame dhcpd käivitusfaili
root@debian9:~# nano /etc/dhcp/dhcpd.conf

dhcpd.conf# dhcpd.conf
#
# Sample configuration file for ISC dhcpd
#

# option definitions common to all supported networks…
option domain-name "example.org";
option domain-name-servers ns1.example.org, ns2.example.org;

default-lease-time 600;
max-lease-time 7200;

ddns-update-style none;

# If this DHCP server is the official DHCP server for the local
# network, the authoritative directive should be uncommented.

authoritative;

# A slightly different configuration for an internal subnet.
subnet 192.168.201.0 netmask 255.255.255.0 {
range 192.168.201.10 192.168.201.250;
option domain-name-servers 192.168.201.254;
option routers 192.168.201.254;
option broadcast-address 192.168.201.255;
default-lease-time 600;
max-lease-time 7200;
}

11. Taaskäivitame ja kontrollime teenust sadamal 67
root@debian9:~# taaskäima root@debian9:~# netstat -nlp

netstat logAktiivne Interneti-ühendused (ainult serverid)
Proto Recv-Q Send-Q Kohalik aadress Välis aadress Oleku PID/Programmi nimi
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 389/sshd
tcp 0 0 0.0.0.0:888 0.0.0.0:* LISTEN 310/3proxy
tcp6 0 0 :::22 :::* LISTEN 389/sshd
udp 0 0 0.0.0.0:20364 0.0.0.0:* 393/dhcpd
udp 0 0 0.0.0.0:53 0.0.0.0:* 310/3proxy
udp 0 0 0.0.0.0:67 0.0.0.0:* 393/dhcpd
udp 0 0 0.0.0.0:68 0.0.0.0:* 405/dhclient
udp6 0 0 :::31728 :::* 393/dhcpd
raw 0 0 0.0.0.0:1 0.0.0.0:* 393/dhcpd

12. Jäänud on suunata kõik tcp päringud sadamale 888 ja salvestada reegel iptables

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.201.0/24 -p tcp -j REDIRECT --to-ports 888

root@debian9:~# iptables-save > /etc/iptables/rules.v4

13. Saatmise ribalaiuse laiendamiseks võib kasutada mitut proksiserverit. Kokkuvõttes peaks olema 1000. Uued ühendused luuakse tõenäosusega 0.2, 0.2, 0.2, 0.2, 0.1, 0.1 määratud proksiserverite suhtes.

Märkus: kui meil on veebi-proksi, siis tuleb socks5 asemel kirjutada connect; kui socks4, siis socks4 (socks4 EI TOETA AUTORISED LOGI/PAROOL!).

Näide läbipaistva proksiserveri konfiguratsioonist nr 2daemon
pidfile /home/joke/proxy/3proxy.pid
nserver 8.8.8.8
nscache 65536
maxconn 500
timeouts 1 5 30 60 180 1800 16 60
log /home/joke/proxy/logs/3proxy.log D
logformat "- +_L%t.%. %N.%p %E %U %C:%c %R:%r %O %I %h %T"
rotate 3
flush
auth iponly
dnspr
allow *

parent 200 socks5 VÄLJASPOOLT_PROKSI_IP_1 3128 tester 1234
parent 200 socks5 VÄLJASPOOLT_PROKSI_IP_2 3128 tester 1234
parent 200 socks5 VÄLJASPOOLT_PROKSI_IP_3 3128 tester 1234
parent 200 socks5 VÄLJASPOOLT_PROKSI_IP_4 3128 tester 1234
parent 100 socks5 VÄLJASPOOLT_PROKSI_IP_5 3128 tester 1234
parent 100 socks5 VÄLJASPOOLT_PROKSI_IP_6 3128 tester 1234

plugin /opt/proxy/3proxy-0.8.12/src/TransparentPlugin.ld.so transparent_plugin
tcppm -i0.0.0.0 888 127.0.0.1 11111

NAT + Läbipaistva proksi konfiguratsiooni seadistamine ja käivitamine

Selles konfiguratsioonis kasutame tavalist NAT-mekanismi, valikulist või täielikku läbipaistvat proksimist teatud aadresside või alamvõrkude suhtes. Sisemiste võrgu kasutajad töötavad teatud teenuste/alamvõrkudega, isegi teadmata, et nad töötavad proksi kaudu. Kõik https-ühendused töötavad suurepäraselt, sertifikaate pole vaja genereerida/vahetada.

Alustame sellest, et määrame, milliseid alamsüsteeme/teenuseid me soovime proksida. Oletame, et välistel proksiserveritel asuvad seal, kus töötab selline teenus nagu pandora.com. Nüüd tuleb määrata selle alamsüsteemid/aadressid.

1. Pingime

root@debian9:~# ping pandora.com
PING pandora.com (208.85.40.20) 56(84) baiti andmeid.

2. Otsime Google'ist BGP 208.85.40.20

Liigume veebilehele bgp.he.net/net/208.85.40.0/24#_netinfo
Nähtavasti on otsitav alamsüsteem AS40428 Pandora Media, Inc

bgp.he.net/net/208.85.40.0/24#_netinfo

Avame v4 prefikseid

bgp.he.net/AS40428#_prefixes

Siin on otsitud alamsüsteemid!

199.116.161.0/24
199.116.162.0/24
199.116.164.0/23
199.116.164.0/24
199.116.165.0/24
208.85.40.0/24
208.85.41.0/24
208.85.42.0/23
208.85.42.0/24
208.85.43.0/24
208.85.44.0/24
208.85.46.0/23
208.85.46.0/24
208.85.47.0/24

3. Alamsüsteemide arvu vähendamiseks tuleb teha agregatsioon. Liigume veebisaidile ip-calculator.ru/aggregate ja kopeerime sinna meie nimekirja. Tulemuseks on 6 alamsüsteemi, mitte 14.

199.116.161.0/24
199.116.162.0/24
199.116.164.0/23
208.85.40.0/22
208.85.44.0/24
208.85.46.0/23

4. Kõrvaldame iptables reeglid

root@debian9:~# iptables -F root@debian9:~# iptables -X root@debian9:~# iptables -t nat -F root@debian9:~# iptables -t nat -X

Käivitage forward ja NAT mehhanism

root@debian9:~# echo 1 > /proc/sys/net/ipv4/ip_forward root@debian9:~# iptables -A FORWARD -i enp0s3 -o enp0s8 -j ACCEPT root@debian9:~# iptables -A FORWARD -i enp0s8 -o enp0s3 -j ACCEPT root@debian9:~# iptables -t nat -A POSTROUTING -o enp0s3 -s 192.168.201.0/24 -j MASQUERADE

Kuna forward peaks olema pidevalt sisselülitatud pärast taaskäivitamist, muudame faili

root@debian9:~# nano /etc/sysctl.conf

Ja eemaldame kommentaari selle rea pealt

net.ipv4.ip_forward = 1

Ctrl+X faili salvestamiseks

5. Pakime pandora.com alamsüsteemid proksi

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.201.0/24 -d 199.116.161.0/24,199.116.162.0/24,199.116.164.0/23,208.85.40.0/22,208.85.44.0/24,208.85.46.0/23 -p tcp -j REDIRECT --to-ports 888

6. Salvestame reeglid

root@debian9:~# iptables-save > /etc/iptables/rules.v4

Konfigureerimine ja läbipaistva proksi käivitamine ruuteri kaudu

Sellises konfiguratsioonis võib läbipaistev proksiserver olla eraldi arvuti või virtuaalmasin koduse/korporatiivse ruuteri taga. Piisab staatiliste marsruutide seadmisest ruuterisse või seadmetesse ja kogu alamsüsteem kasutab proksit ilma täiendavate seadistusteta.

OLULINE! On vajalik, et meie värav saaks staatilise IP ruuterilt või oleks ise staatiliseks seadistatud.

1. Seame staatilise aadressi väravale (adapter enp0s3)

root@debian9:~# nano /etc/network/interfaces

/etc/network/interfaces file# This file describes the network interfaces available on your system
# and how to activate them. For more information, see interfaces(5).

source /etc/network/interfaces.d/*

# The loopback network interface
auto lo
iface lo inet loopback

# The primary network interface
allow-hotplug enp0s3
iface enp0s3 inet static
address 192.168.23.2
netmask 255.255.255.0
gateway 192.168.23.254

# The secondary network interface
allow-hotplug enp0s8
iface enp0s8 inet static
address 192.168.201.254
netmask 255.255.255.0

2. Lubame seadmetel alamsüsteemist 192.168.23.0/24 kasutada proksimist

root@debian9:~# iptables -t nat -A PREROUTING -s 192.168.23.0/24 -d 199.116.161.0/24,199.116.162.0/24,199.116.164.0/23,208.85.40.0/22,208.85.44.0/24,208.85.46.0/23 -p tcp -j REDIRECT --to-ports 888

3. Salvestame reeglid
root@debian9:~# iptables-save > /etc/iptables/rules.v4

4. Seadistame alamsüsteemid ruuteris

Ruuteri võrguloendi nimekiri199.116.161.0 255.255.255.0 192.168.23.2
199.116.162.0 255.255.255.0 192.168.23.2
199.116.164.0 255.255.254.0 192.168.23.2
208.85.40.0 255.255.252.0 192.168.23.2
208.85.44.0 255.255.255.0 192.168.23.2
208.85.46.0 255.255.254.0 192.168.23.2