Продължение на статията за това как успях да организирам директен VPN-тунел между два компютъра, находящи се зад NAT на доставчиците. В предишната статия описвах процеса на създаване на връзка чрез трета страна — посредник (нает VPS извършващ роля, нещо като STUN-сървър и предавател на данни между възлите за свързване). В тази статия ще разкажа как се справих без VPS, но посредниците останаха и те бяха STUN-сървър и Яндекс.Диск…
Въведение
Прочитайки коментарите на предишния пост, осъзнах, че основният недостатък на реализацията беше използването на посредник — трета страна (VPS), която указваше текущите параметри на възела, към който и как да се свързвам. С оглед на препоръките да се използва истински STUN (които са много) за определяне на текущите параметри на свързване. Първото нещо, което реших да направя, беше да погледна с помощта на TCPDump съдържанието на пакетите при работа на STUN-сървър с клиентите и получих напълно нечетимо съдържание. Поглеждайки протокола, срещнах статия с описание на протокола. Разбрах, че не мога самостоятелно да реализирам заявка към STUN-сървъра и сложих замисъла в "далечния шкаф".
Теория
Наскоро ми се наложи да инсталирам STUN-сървър на Debian от пакета
# apt install stun-serverи в зависимостите видях пакета stun-client, но не му придадох значение. Но по-късно си спомних за пакета stun-client и реших да разбера как работи; гуглейки и яндексвайки получих:
# apt install stun-client
# stun stun.ekiga.net -p 21234 -v
В отговор получих:
STUN client version 0.97
Отворен порт 21234 с fd 3
Отворен порт 21235 с fd 4
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 0Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Получено STUN съобщение: 92 байта
MappedAddress = :2885
SourceAddress = 216.93.246.18:3478
ChangedAddress = 216.93.246.17:3479
Неизвестен атрибут: 32800
ServerName = Vovida.org 0.98-CPC
Получено съобщение от тип 257 id=1
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 0Готов съм да изпратя съобщение с дължина 28 до 216.93.246.17:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 0Готов съм да изпратя съобщение с дължина 28 до :2885
Получено STUN съобщение: 28 байта
ChangeRequest = 0
Получено съобщение от тип 1 id=11
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 0Готов съм да изпратя съобщение с дължина 28 до 216.93.246.17:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Получено STUN съобщение: 92 байта
MappedAddress = :2885
SourceAddress = 216.93.246.17:3479
ChangedAddress = 216.93.246.18:3478
Неизвестен атрибут: 32800
ServerName = Vovida.org 0.98-CPC
Получено съобщение от тип 257 id=10
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 4Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
Кодиране на STUN съобщение:
Кодиране на ChangeRequest: 2Готов съм да изпратя съобщение с дължина 28 до 216.93.246.18:3478
test I = 1
test II = 0
test III = 0
test I(2) = 1
is nat = 1
mapped IP same = 1
hairpin = 1
preserver port = 0
Primary: Independent Mapping, Port Dependent Filter, random port, will hairpin
Return value is 0x000006
Строка със стойност
MappedAddress = :2885
точно това, от което се нуждаем! Тя показваше текущото състояние на свързването на локалния UDP порт 21234. Но това е само част от работата, възникна въпросът как да предадем тези данни на отдалечен възел и да организираме VPN връзка. Използване на пощенски протокол, а може би Telegram?! Опциите са много и реших да използвам Яндекс.Диск, тъй като попаднах на него. статия за работа с Curl през WebDav с Яндекс.Диск. Обмисляйки реализирането, стигнах до следната схема:
- Да сигнализирам за готовността на възлите за установяване на връзка с наличието на определен файл с времеви печат на Яндекс.Диск;
- Ако възлите са готови, да получим текущите параметри от STUN сървъра;
- Да качваме текущите параметри на Яндекс.Диск;
- Да проверим наличието и да прочетем параметрите на отдалечения възел от файла на Яндекс.Диск;
- Установяване на връзка с отдалечения възел с помощта на OpenVPN.
Практика
След малко размисъл, с оглед опита от предишната статия, написах скрипт набързо. Ще ни е необходимо:
# apt install openvpn stun-client curl Самият скрипт:
Първоначален вариант
# cat vpn8.sh
#!/bin/bash
######################## Задаем цветной текст ###
WARN='33[37;1;41m' #
END='33[0m' #
RED='33[0;31m' # ${RED} #
GREEN='33[0;32m' # ${GREEN} #
#################################################
####################### Проверяем наличие необходымих приложений #########################################################
al="echo readlink dirname grep awk md5sum shuf nc curl sleep openvpn cat stun"
ch=0
for i in $al; do which $i > /dev/null || echo -e "${WARN}Для работы необходим $i ${END}"; which $i > /dev/null || ch=1; done
if (( $ch > 0 )); then echo -e "${WARN}Ой, отсутствуют необходимые для корректной работы приложения${END}"; exit; fi
#######################################################################################################################
if [[ $1 == '' ]]; then echo -e "${WARN}Введите идентификатор соединения (любое уникальное слово, должно быть одинаковое с двух сторон!) ${END} t
${GREEN}Для запуска в автоматическом режиме при включении компьютера можно прописать в /etc/rc.local строку nohup /<путь к файлу>/vpn8.sh > /var/log/vpn8.log 2>/dev/hull & ${END}"; exit; fi
ABSOLUTE_FILENAME=`readlink -f "$0"` # полный путь до скрипта
DIR=`dirname "$ABSOLUTE_FILENAME"` # каталог в котором лежит скрипт
############################### Проверка наличия секретного ключа ##################################
key="$DIR/secret.key"
if [ ! -f "$key" ]; then
echo -e "${WARN}Секретный ключ VPN-соединения не найден, для генерации ключа выполните:
openvpn --genkey --secret secret.key Внимание: ключ используется для авторизации и должен
быть одинаковым с двух сторон!!!${END}
# ls -l secret.key
-rw------- 1 root root 637 ноя 27 11:12 secret.key
# chmod 600 secret.key";
exit;
fi
########################################################################################################################
ABSOLUTE_FILENAME=`readlink -f "$0"` # полный путь до скрипта
DIR=`dirname "$ABSOLUTE_FILENAME"` # каталог в котором лежит скрипт
name=$(uname -n | md5sum | awk '{print $1}')
vpn=$(echo $1 | md5sum | awk '{print $1}')
stun="stun.ekiga.net" # STUN сервер
username="Yandex" # Логин от Яндекс.диска
password="Password" # Пароль от Яндекс.диска
localport=`shuf -i 20000-65000 -n 1` # генерация локального порта
echo "$(date) Создаю папку на Яндекс.диске"
curl -X MKCOL --user "${username}:${password}" https://webdav.yandex.ru/vpn-$vpn
echo "$(date) Очищаю папку от всякого мусора"
for i in `curl --silent --user "$username:$password" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></n/g' | grep "d:displayname" | sed 's/d:displayname//g' | sed 's/>//g' | sed 's/<//' | sed 's////g' | grep -v $(date +%Y-%m-%d-%H-%M)`; do
echo "$(date) Delete: $i"
curl -X DELETE --user "${username}:${password}" https://webdav.yandex.ru/vpn-$vpn/$i
done
until [ $c ];do
until [[ $b ]]; do
echo "$(date) Проверяю папку"
date=`date +%Y-%m-%d-%H-%M`
mydata=`curl --silent --user "${username}:${password}" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></>n</g' | grep $name | grep $date | grep "d:displayname"`
if [[ -z $mydata ]]; then
echo "$(date) Файл готовности создан"
echo "$date" > "/tmp/$date-$name-ready.txt"
curl -T "/tmp/$date-$name-ready.txt" --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$date-$name-ready.txt
else
echo "$(date) Файл готовности уже существует - $date"
fi
remote=`curl --silent --user "${username}:${password}" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></>n</g' | grep -v $name | grep $date | grep "d:displayname"`
if [[ -z $remote ]]; then
echo -e "$(date) ${RED} Удаленный узел не готов ${END}"
echo "$(date) Жду"
sleep 20
else
echo -e "$(date) ${GREEN} Удаленный узел готов ${END}"
b=1
a=''
fi
done
until [ $a ]; do
echo "$(date) Подключение и получение данных от STUN сервера: $stun"
mydata=`stun $stun -p $localport -v 2>&1 | grep MappedAddress | sort | uniq`
echo -e "$(date) ${GREEN}Мои данные соединения: $mydata${END}"
echo "$mydata" > "$DIR/mydata"
echo "$(date) Загрузка данных на Яндекс.диск"
curl -T "$DIR/mydata" --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$name.txt
echo "$(date) Получение файла данных удаленного узла"
filename=$(curl --silent --user "${username}:${password}" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></n/g' | grep "d:displayname>" | grep "txt" | grep -v "$name" | grep -v "ready" | sed 's|.*d:displayname>||' | sed 's/</ /g' | awk '{print $1}')
echo "$(date) Чтение файла данных удаленного узла: $filename"
address=$(curl --silent --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$filename | sort | uniq | head -n1 | sed 's/:/ /g')
echo "$(date) Определение IP-адреса и порта"
ip=$(echo "$address" | awk '{print $3}')
port=$(echo "$address" | awk '{print $4}')
if [[ -n "$ip" && -n "$port" ]]; then
echo -e "$(date) ${GREEN} Соединение $ip $port ${END}"
openvpn --remote $ip --rport $port --lport $localport
--proto udp --dev tap --float --auth-nocache --verb 3 --mute 20
--ifconfig 10.45.54.2 255.255.255.252
--secret "$DIR/secret.key"
--auth SHA256 --cipher AES-256-CBC
--ncp-disable --ping 10 --ping-exit 30
--comp-lzo yes
echo -e "$(date) ${WARN} Соединение разорвано${END}"
a=1
b=''
else
a=1
b=''
fi
done
doneЗа работа на скрипта е нужно:
- Да копирате в буфера и да поставите в редактор, например:
# nano vpn8.sh - да посочите потребителското име и паролата от Яндекс.Диск.
- в полето «—ifconfig 10.45.54.(1 или 2) 255.255.255.252» да посочите вътрешния IP адрес на интерфейса
- да създадете secret.key с командата:
# openvpn --genkey --secret secret.key - да направите скрипта изпълняем:
# chmod +x vpn8.sh - да стартирате скрипта:
# ./vpn8.sh nZbVGBuX5dtturDкъдето nZbVGBuX5dtturD — ID на връзката, генериран тук
На отдалечения възел да направите същото, с изключение на генерирането на secret.key и ID на връзката, те трябва да бъдат идентични.
Актуализиран вариант (за коректна работа времето трябва да е синхронизирано):
cat vpn10.sh
#!/bin/bash
stuns="stun.sipnet.ru stun.ekiga.net" # Список STUN серверов через пробел
username=" Login " # Логин от Яндекс.диска
password=" Password " # Пароль от Яндекс.диска
intip="10.23.22.1" # IP-адрес внутреннего интерфейса
WARN='33[37;1;41m'
END='33[0m'
RED='33[0;31m'
GREEN='33[0;32m'
al="ip echo readlink dirname grep awk md5sum openssl sha256sum shuf curl sleep openvpn cat stun"
ch=0
for i in $al; do which $i > /dev/null || echo -e "${WARN}Для работы необходим $i ${END}"; which $i > /dev/null || ch=1; done
if (( $ch > 0 )); then echo -e "${WARN}Ой, отсутствуют необходимые для корректной работы приложения${END}"; exit; fi
if [[ $1 == '' ]];
then
echo -e "${WARN}Введите идентификатор соединения (любое уникальное слово, должно быть одинаковое с двух сторон!) ${END} t
${GREEN}Для запуска в автоматическом режиме при включении компьютера можно прописать в /etc/rc.local строку nohup /<путь к файлу>/vpn10.sh > /var/log/vpn10.log 2>/dev/hull & ${END}"
exit
fi
ABSOLUTE_FILENAME=`readlink -f "$0"` # полный путь до скрипта
DIR=`dirname "$ABSOLUTE_FILENAME"` # каталог в котором лежит скрипт
key="$DIR/secret.key"
until [[ -n "$iftosrv" ]]
do
echo "$(date) Определяю сетевой интерфейс"; iftosrv=`ip route get 8.8.8.8 | head -n 1 | sed 's|.*dev ||' | awk '{print $1}'`
sleep 5
done
timedatectl
name=$(uname -n | md5sum | awk '{print $1}')
vpn=$(echo $1 | md5sum | awk '{print $1}')
echo "$(date) Создаю папку на Яндекс.диске"
curl -X MKCOL --user "${username}:${password}" https://webdav.yandex.ru/vpn-$vpn
echo "$(date) ID на диске: $vpn"
until [ $c ];do
echo "$(date) Очищаю папку от всякого мусора"
for i in `curl --silent --user "$username:$password" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></n/g' | grep "d:displayname" | sed 's/d:displayname//g' | sed 's/>//g' | sed 's/<//' | sed 's////g' | grep -v $(date +%Y-%m-%d-%H-%M)`
do
echo -e "$(date)${RED} Удаляю старый файл: $i${END}"
curl -X DELETE --user "${username}:${password}" https://webdav.yandex.ru/vpn-$vpn/$i
done
echo "$(date) ID на диске: $vpn"
openvpn --genkey --secret "$key"
passwd=`echo "$vpn-tt" | sha256sum | awk '{print $1}'`
openssl AES-256-CBC -e -in "$key" -out "$DIR/file.enc" -k "$passwd" -base64
curl -T "$DIR/file.enc" --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/key.enc
rm "$DIR"/file.enc
echo -e "$(date) ${GREEN}Фаза 1 - Получение готовности удаленного узла${END}"
go=3
localport=`shuf -i 20000-65000 -n 1` # генерация локального порта
start=''
remote=''
timeout1=''
nextcheck=''
timestart=''
until [[ $b ]]
do
echo "$(date) Проверяю папку"
date=`date +%s`
timeout1=60
echo "$(date) Создание файла готовности $date"
echo "$date" > "/tmp/ready-$date-$name.txt"
curl -T "/tmp/ready-$date-$name.txt" --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/ready-$name.txt
readyfile=`curl --silent --user "${username}:${password}" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></>n</g' | grep -v $name | grep "ready" | grep "d:displayname" | sed 's/<d:displayname>//g' | sed 's/</d:displayname>//g'`
if [[ -z $readyfile ]]
then
echo -e "$(date) ${RED} Удаленный узел не готов ${END}"
echo "$(date) Жду 60 секунд"
sleep $timeout1
else
remote=$(curl --silent --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$readyfile)
echo -e "$(date) ${GREEN} Удаленный узел готов ${END}"
start=`curl --silent --user "${username}:${password}" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></>n</g' | grep "start" | grep "d:displayname" | sed 's/-/ /g' | awk '{print $2}'`
if [[ -z $start ]]
then
let nextcheck=$timeout1-$date+$remote
let timestart=$date+$timeout1-$nextcheck
go=$nextcheck
echo "$timestart" > "/tmp/start-$date-$name.txt"
curl -T "/tmp/start-$date-$name.txt" --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/start-$date-$name.txt
else
echo "$(date) жду $go секунд"
sleep $go
b=1
a=''
fi
fi
done
echo -e "$(date) ${GREEN}Фаза 2 - Обмен данными и установка соединения${END}"
mydata=''
filename=''
address=''
myip=''
ip=''
port=''
ex=0
until [ $a ]; do
until [[ -n "$mydata" ]]; do
k=`echo "$stuns" | wc -w`
x=1
z=`shuf -i 1-$k -n 1`
for st in $stuns; do
if [[ $x == $z ]]; then
stun=$st;
fi;
(( x++ ));
done
echo "$(date) Подключение и получение данных от STUN сервера: $stun"
sleep 5 && for pid in $(ps xa | grep "stun "$stun" 1 -p "$localport" -v" | grep -v grep | awk '{print $1}'); do kill $pid; done &
mydata=`stun "$stun" 1 -p "$localport" -v 2>&1 | grep "MappedAddress" | sort | uniq`
done
echo -e "$(date) ${GREEN}Мои данные соединения: $mydata${END}"
echo "$(date) Загрузка данных на Яндекс.диск"
echo "$mydata" > "$DIR/mydata"
echo "IntIP $intip" >> "$DIR/mydata"
curl -T "$DIR/mydata" --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$name-ipport.txt
rm "$DIR/mydata"
sleep 5
echo "$(date) Получение файла данных удаленного узла"
filename=$(curl --silent --user "${username}:${password}" -X PROPFIND -H "Depth: 1" https://webdav.yandex.ru/vpn-$vpn/ | sed 's/></n/g' | grep "d:displayname>" | grep "ipport" | grep -v "$name" | sed 's|.*d:displayname>||' | sed 's/</ /g' | awk '{print $1}')
if [[ -n "$filename" ]]
then
echo "$(date) Чтение файла данных удаленного узла: $filename"
address=$(curl --silent --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$filename | grep "MappedAddress" | head -n1 | sed 's/:/ /g')
intip2=$(curl --silent --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/$filename | grep "IntIP" | head -n1 | awk '{print $2}')
echo "$(date) Определение IP-адреса и порта: $address $sesid2 $tunid2"
ip=$(echo "$address" | awk '{print $3}')
port=$(echo "$address" | awk '{print $4}')
myip=`ip route get "$ip" | head -n 1 | sed 's|.*src ||' | awk '{print $1}'`
if [[ -n "$ip" && -n "$port" && -n "$myip" && -n "$localport" ]];
then
echo -e "$(date) ${GREEN} Соединение $ip $port ${END}"
echo -e "`date` ${GREEN} $myip:$localport -> $ip:$port ${END}"
curl --silent --user "$username:$password" https://webdav.yandex.ru/vpn-$vpn/key.enc > "$DIR/secret.enc"
openssl AES-256-CBC -d -in "$DIR/secret.enc" -out "$key" -k "$passwd" -base64
chmod 600 "$key"
rm "$DIR/secret.enc"
openvpn --remote $ip --rport $port --lport $localport
--proto udp --dev tun --float --auth-nocache --verb 3 --mute 20
--ifconfig "$intip" "$intip2"
--secret "$key"
--auth SHA256 --cipher AES-256-CBC
--ncp-disable --ping 10 --ping-exit 20
--comp-lzo yes
a=1
b=''
fi
else
if (( $ex >= 5 ))
then
echo "$(date) Сброс"
a=1
b=''
fi
(( ex++ ))
sleep 5
fi
done
done
За работа на скрипта е нужно:
- Да копирате в буфера и да поставите в редактор, например:
# nano vpn10.sh - да посочите потребителското име (2-ри ред) и паролата от Яндекс.Диск (3-ти ред).
- да посочите вътрешния IP адрес на тунела (4-ти ред).
- да направите скрипта изпълняем:
# chmod +x vpn10.sh - да стартирате скрипта:
# ./vpn10.sh nZbVGBuX5dtturDкъдето nZbVGBuX5dtturD — ID на връзката, генериран тук
На отдалечения възел да направите същото, да посочите съответния вътрешен IP адрес тунел и ID на връзката.
За автоматично стартиране на скрипта при включване, използвам командата «nohup //vpn10.sh nZbVGBuX5dtturD > /var/log/vpn10.log 2>/dev/null &», съдържаща се в файла /etc/rc.local
Заключение
Скриптът работи, проверен е на Ubuntu (18.04, 19.10, 20.04) и Debian 9. В качеството на предавател може да се използва и друга услуга, но за опита използвах Яндекс.Диск.
В процеса на експериментите беше установено, че някои типове NAT на операторите не позволяват организиране на връзка. Основно при мобилни оператори, където торентите са блокирани.
Планирам да доработя в следния аспект:
- Автоматично генериране на secret.key всеки път при стартиране, криптиране и копиране на Яндекс.диск за предаване на отдалечен възел (включено в актуализираната версия)
- Автоматично задаване на IP адреси на интерфейсите
- Криптиране на данни преди извеждане на Яндекс.диск
- Оптимизация на кода
Нека IPv6 бъде в всеки дом!
Актуализирано! Последни файлове и DEB пакет тук — yandex.disk
Източник: habr.com
