Добры дзень. Значыць ёсць сетка з 5к кліентаў. Нядаўна вылез не вельмі прыемны момант - у цэнтры сеткі і ў нас варта Brocade RX8 і ён пачаў слаць шмат unknown-unicast пакетаў, так як сетка падзелена на ўланы - то часткова гэта не праблема АЛЕ ёсць спец ўланы для белых адрасоў і г.д. і яны расцягнуты ва ўсе бакі сеткі. Дык вось зараз прадстаўце ўваходны струмень на адрас кліента, які бордэрам не вучыцца і гэты струмень ляціць у бок радыё лінка на нейкае (а так на ўсё) сяло — канал забіты — кліенты злыя — смутак…
Задача - ператварыць баг у фічу. Думаў у бок q-in-q з паўнавартасным кліент-уланам але ўсякія жалязякі тыпу P3310 пры ўключэнні dot1q перастаюць прапускаць DHCP, яшчэ яны не ўмеюць selective qinq і шмат подводых мыліц у гэтым родзе. Што такое ip-unnambered і як гэта працуе? Калі вельмі ў каротку - адрас шлюза + маршрут на інтэрфейсе. Для нашай задачы нам трэба: рэзаць шэйпера, раздаваць адрасы кліентам, дадаваць маршруты да кліентаў праз пэўныя інтэрфейсы. Чым усё гэта рабіць? Шэйпер – lisg, dhcp – db2dhcp на двух незалежных серверах, на серверах доступу круціцца dhcprelay, гэтак жа на серверах доступу працуе ucarp – для бекапа. А вось як дадаваць маршруты? Можна вялікім скрыптам загадзя ўсё дадаць - але гэта не трувей. Значыць будзем гарадзіць самапісную мыліцу.
Грунтоўна парыўшыся ў інтэрнэце я знайшоў выдатную бібліятэку высокага ўзроўня для c++, якая дазваляе хораша зменшыць трафік. Алгарытм працы праграмы, якая дадае маршруты наступны – слухаем на інтэрфейсе арп запыты, калі ў нас на серверы ёсць адрас на інтэрфейсе lo, які запытваюць то дадаем маршрут праз гэты інтэрфейс і дадаем статычную запіс арп на гэты ip – наогул некалькі капіпастаў, трохі отсебятины і гатова
Зыходнікі 'маршрутчыка'
#include <stdio.h>
#include <sys/types.h>
#include <ifaddrs.h>
#include <netinet/in.h>
#include <string.h>
#include <arpa/inet.h>
#include <tins/tins.h>
#include <map>
#include <iostream>
#include <functional>
#include <sstream>
using std::cout;
using std::endl;
using std::map;
using std::bind;
using std::string;
using std::stringstream;
using namespace Tins;
class arp_monitor {
public:
void run(Sniffer &sniffer);
void reroute();
void makegws();
string iface;
map <string, string> gws;
private:
bool callback(const PDU &pdu);
map <string, string> route_map;
map <string, string> mac_map;
map <IPv4Address, HWAddress<6>> addresses;
};
void arp_monitor::makegws() {
struct ifaddrs *ifAddrStruct = NULL;
struct ifaddrs *ifa = NULL;
void *tmpAddrPtr = NULL;
gws.clear();
getifaddrs(&ifAddrStruct);
for (ifa = ifAddrStruct; ifa != NULL; ifa = ifa->ifa_next) {
if (!ifa->ifa_addr) {
continue;
}
string ifName = ifa->ifa_name;
if (ifName == "lo") {
char addressBuffer[INET_ADDRSTRLEN];
if (ifa->ifa_addr->sa_family == AF_INET) { // check it is IP4
// is a valid IP4 Address
tmpAddrPtr = &((struct sockaddr_in *) ifa->ifa_addr)->sin_addr;
inet_ntop(AF_INET, tmpAddrPtr, addressBuffer, INET_ADDRSTRLEN);
} else if (ifa->ifa_addr->sa_family == AF_INET6) { // check it is IP6
// is a valid IP6 Address
tmpAddrPtr = &((struct sockaddr_in6 *) ifa->ifa_addr)->sin6_addr;
inet_ntop(AF_INET6, tmpAddrPtr, addressBuffer, INET6_ADDRSTRLEN);
} else {
continue;
}
gws[addressBuffer] = addressBuffer;
cout << "GW " << addressBuffer << " is added" << endl;
}
}
if (ifAddrStruct != NULL) freeifaddrs(ifAddrStruct);
}
void arp_monitor::run(Sniffer &sniffer) {
cout << "RUNNED" << endl;
sniffer.sniff_loop(
bind(
&arp_monitor::callback,
this,
std::placeholders::_1
)
);
}
void arp_monitor::reroute() {
cout << "REROUTING" << endl;
map<string, string>::iterator it;
for ( it = route_map.begin(); it != route_map.end(); it++ ) {
if (this->gws.count(it->second) && !this->gws.count(it->second)) {
string cmd = "ip route replace ";
cmd += it->first;
cmd += " dev " + this->iface;
cmd += " src " + it->second;
cmd += " proto static";
cout << cmd << std::endl;
cout << "REROUTE " << it->first << " SRC " << it->second << endl;
system(cmd.c_str());
cmd = "arp -s ";
cmd += it->first;
cmd += " ";
cmd += mac_map[it->first];
cout << cmd << endl;
system(cmd.c_str());
}
}
for ( it = gws.begin(); it != gws.end(); it++ ) {
string cmd = "arping -U -s ";
cmd += it->first;
cmd += " -I ";
cmd += this->iface;
cmd += " -b -c 1 ";
cmd += it->first;
system(cmd.c_str());
}
cout << "REROUTED" << endl;
}
bool arp_monitor::callback(const PDU &pdu) {
// Retrieve the ARP layer
const ARP &arp = pdu.rfind_pdu<ARP>();
if (arp.opcode() == ARP::REQUEST) {
string target = arp.target_ip_addr().to_string();
string sender = arp.sender_ip_addr().to_string();
this->route_map[sender] = target;
this->mac_map[sender] = arp.sender_hw_addr().to_string();
cout << "save sender " << sender << ":" << this->mac_map[sender] << " want taregt " << target << endl;
if (this->gws.count(target) && !this->gws.count(sender)) {
string cmd = "ip route replace ";
cmd += sender;
cmd += " dev " + this->iface;
cmd += " src " + target;
cmd += " proto static";
// cout << cmd << std::endl;
/* cout << "ARP REQUEST FROM " << arp.sender_ip_addr()
<< " for address " << arp.target_ip_addr()
<< " sender hw address " << arp.sender_hw_addr() << std::endl
<< " run cmd: " << cmd << endl;*/
system(cmd.c_str());
cmd = "arp -s ";
cmd += arp.sender_ip_addr().to_string();
cmd += " ";
cmd += arp.sender_hw_addr().to_string();
cout << cmd << endl;
system(cmd.c_str());
}
}
return true;
}
arp_monitor monitor;
void reroute(int signum) {
monitor.makegws();
monitor.reroute();
}
int main(int argc, char *argv[]) {
string test;
cout << sizeof(string) << endl;
if (argc != 2) {
cout << "Usage: " << *argv << " <interface>" << endl;
return 1;
}
signal(SIGHUP, reroute);
monitor.iface = argv[1];
// Sniffer configuration
SnifferConfiguration config;
config.set_promisc_mode(true);
config.set_filter("arp");
monitor.makegws();
try {
// Sniff on the provided interface in promiscuous mode
Sniffer sniffer(argv[1], config);
// Only capture arp packets
monitor.run(sniffer);
}
catch (std::exception &ex) {
std::cerr << "Error: " << ex.what() << std::endl;
}
}Скрыпт усталёўкі libtins
#!/bin/bash
git clone https://github.com/mfontanini/libtins.git
cd libtins
mkdir build
cd build
cmake ../
make
make install
ldconfig
Каманда для зборкі бінарніка
g++ main.cpp -o arp-rt -O3 -std=c++11 -lpthread -ltinsЯк яго запускаць?
start-stop-daemon --start --exec /opt/ipoe/arp-routes/arp-rt -b -m -p /opt/ipoe/arp-routes/daemons/eth0.800.pid -- eth0.800
Так - ён па сігнале HUP перастравія табліцы. Чаму не выкарыстоўваў нетлінк? Лянота проста ды і лінукс гэта скрыпт на скрыпце - так, што ўсё нармальна. Ну маршруты маршрутамі, што далей? Далей нам трэба адправіць на бордэр маршруты, якія ёсць на гэтым серверы - тут, у сілу тых жа састарэлых жалязяк, мы пайшлі шляхам найменшага супраціву - паклалі гэтую задачу на BGP.
Канфіг bgphostname *******
password *******
log file /var/log/bgp.log
!
# нумар ас-кі, адрасы і сеткі выдуманы
Роутер bgp 12345
bgp-ідэнтыфікатар маршрутызатара 1.2.3.4
пераразмеркаваць злуч
пераразмяркоўваць статыку
сусед 1.2.3.1 аддалены як 12345
neighbor 1.2.3.1 next-hop-self
neighbor 1.2.3.1 route-map none in
neighbor 1.2.3.1 route-map export out
!
access-list export permit 1.2.3.0/24
!
route-map export permit 10
match ip address export
!
route-map export deny 20
Працягваем. Для таго, каб сервер адказваў на Арп запыты неабходна ўключыць проксі Арп.
echo 1 > /proc/sys/net/ipv4/conf/eth0.800/proxy_arp
Ідзем далей - ucarp. Скрыпты запуску гэтага цуду пішам самі
Прыклад запуску аднаго дэмана
start-stop-daemon --start --exec /usr/sbin/ucarp -b -m -p /opt/ipoe/ucarp-gen2/daemons/$iface.$vhid.$virtualaddr.pid -- --interface=eth0.800 --srcip=1.2.3.4 --vhid=1 --pass=carpasword --addr=10.10.10.1 --upscript=/opt/ipoe/ucarp-gen2/up.sh --downscript=/opt/ipoe/ucarp-gen2/down.sh -z -k 10 -P --xparam="10.10.10.0/24"
up.sh
#!/bin/bash
iface=$1
addr=$2
gw=$3
vlan=`echo $1 | sed "s/eth0.//"`
ip ad ad $addr/32 dev lo
ip ro add blackhole $gw
echo 1 > /proc/sys/net/ipv4/conf/$iface/proxy_arp
killall -9 dhcrelay
/etc/init.d/dhcrelay zap
/etc/init.d/dhcrelay start
killall -HUP arp-rt
down.sh
#!/bin/bash
iface=$1
addr=$2
gw=$3
ip ad d $addr/32 dev lo
ip ro de blackhole $gw
echo 0 > /proc/sys/net/ipv4/conf/$iface/proxy_arp
killall -9 dhcrelay
/etc/init.d/dhcrelay zap
/etc/init.d/dhcrelay start
Каб dhcprelay працаваў на інтэрфейсе - яму патрэбен адрас. Таму на інтэрфейсах, якія мы выкарыстоўваем мы дадамо левыя адрасы - напрыклад 10.255.255.1/32, 10.255.255.2/32 і г.д. Як наладжваць рэляў расказваць не буду - там усё проста.
Дык вось, што мы маем. Бекап шлюзаў, аўтанастройка маршрутаў, dhcp. Гэта мінімальны набор яшчэ на гэта ўсё накручваецца lisg і ў нас ужо ёсць і шэйпер. Чаму ўсё так доўга і замарочна? Ці не прасцей узяць accel-pppd і наогул юзать pppoe? Няма не прасцей - людзі з цяжкасцю пачкорд у роўтэр ўпіхнуць могуць, не кажучы ўжо пра pppoe. accel-ppp штука крутая – але нам не зайшла – куча памылак у кодзе – сыплецца, рэжыць крыва, і самае сумнае тое, што калі ён скрышыўся – то, людзям трэба ўсё перазаружаць – тэлефоны чырвоныя – наогул не падышоў ён. У чым плюс выкарыстанні ucarp а не keepalived? Ды ва ўсім - ёсць 100 шлюзаў, keepalived і адна памылка ў канфігу - не працуе ўсё. З ucarp не працуе 1 шлюз. З нагоды бяспекі, маўляў прапішуць сабе адрасы левыя і будуць карыстацца на шарыка - для кантролю гэтага моманту на ўсіх свічах/олтах/базах наладжваем dhcp-snooping + source-guard + arp inspection. Калі ў кліента не dhpc а статыка - acces-list на порце.
Навошта гэта ўсё рабілася? Для знішчэння непажаданага нам трафіку. Зараз на кожны свіч свой влан і unknown-unicast ужо не страшны, бо хадзіць то яму ўжо толькі ў адзін порт трэба а не ва ўсе… Ну і пабочныя эфекты - стандартызаваны канфіг абсталявання, вялікая эфектыўнасць размеркавання адраснай прасторы.
Як наладжваць lisg - гэта асобная тэма. Спасылкі на бібліятэкі прыкладаюцца. Магчыма камусьці дапаможа выкладзенае вышэй у рэалізацыі сваіх задач. Версію 6 у нас у сетцы пакуль не ўкараняюць – але там будзе проблемка – у планах перапісаць lisg пад 6 версію ды і трэба будзе падправіць праграму, што маршруты дадае.
Крыніца: habr.com