Hallo allemaal! In mijn debuutartikel op Habr wil ik een zeer interessant onderwerp aan de orde stellen: het kwaliteitssysteem voor het internet, RIPE Atlas. Een deel van mijn interesse betreft de studie van het internet of cyberspace (deze term wint snel aan populariteit, vooral in wetenschappelijke kringen). Er is voldoende materiaal over RIPE Atlas op het internet, ook op Habr, maar ik vond het niet compleet genoeg. Het merendeel van het artikel is gebaseerd op informatie van de officiële website. en mijn eigen overwegingen.
In plaats van een inleiding
De regionale internetregistrar (RIR) wiens verantwoordelijkheid zich uitstrekt over Europa, Centraal-Azië en het Midden-Oosten is RIPE NCC (Réseaux IP Européens Network Coordination Centre – Netwerk coördinatiecentrum voor Europese IP-netwerken). RIPE NCC is een non-profitorganisatie gevestigd in Nederland. Het ondersteunt de werking van het internet. Het verstrekt IP-adressen en autonome systeemnummers aan lokale internetproviders en grote organisaties.
Een van de belangrijkste projecten van RIPE NCC, gericht op het onderzoeken van de staat van het internet, is RIPE Atlas (gestart eind 2010), dat een ontwikkeling is van de Test Traffic Measurement Service, die in 2014 is stopgezet.
RIPE Atlas is een wereldwijd netwerk van sensoren die actieve metingen van de toestand van het internet uitvoeren. Op dit moment heeft het RIPE Atlas-netwerk duizenden sensoren en dit aantal groeit voortdurend. RIPE NCC aggregeert de verzamelde gegevens en stelt deze voor een voor een gebruiksvriendelijke manier vrijwel gratis beschikbaar voor gebruikers.
De ontwikkeling van het netwerk gebeurt op basis van vrijwillige installatie van sensoren door gebruikers in hun infrastructuur, waarvoor 'credits' worden uitgegeven, die gebruikt kunnen worden voor het uitvoeren van interessante metingen met andere sensoren.
Meestal wordt RIPE Atlas gebruikt:
- om de beschikbaarheid van hun netwerk vanuit verschillende punten op het internet te volgen;
- voor het onderzoeken en oplossen van netwerkproblemen door middel van snelle en flexibele connectiviteitstests;
- in een monitoring systeem voor hun eigen netwerk;
- voor het monitoren van de beschikbaarheid van DNS-infrastructuur;
- en voor het testen van de verbinding via het IPv6-protocol.
RIPE Atlas
Zoals eerder vermeld, is RIPE Atlas een systeem van sensoren die over het internet zijn verspreid en onder een gezamenlijke administratie vallen. Naast de gewone sensoren (Probes) zijn er ook geavanceerdere - ankers (Anchors).
Midden 2020 telde het RIPE Atlas-systeem meer dan 11.000 actieve sensoren en meer dan 650 actieve ankers, die samen meer dan 25.000 metingen uitvoeren en meer dan 10.000 resultaten per seconde ontvangen.
De grafieken hieronder tonen de groei van het aantal sensoren en ankers.
De volgende afbeeldingen tonen een wereldkaart met de locaties van de sensoren en ankers.
Ondanks de regionale status van RIPE NCC, dekt het RIPE Atlas-netwerk vrijwel de hele wereld, waarbij Rusland in de top 5 staat qua aantal geïnstalleerde sensoren (568), samen met Duitsland (1562), de VS (1440), Frankrijk (925) en het Verenigd Koninkrijk (610).
Beheerservers
Bij het bestuderen van de werking van de sensor bleek dat deze periodiek (om de 4 minuten) de verbinding controleert met bepaalde objecten in het netwerk, waaronder de root DNS-servers en knooppunten met domeinnamen zoals ‘ctr-sin02.atlas.ripe.net’, waarvan ik vermoed dat ze de beheerservers van het RIPE Atlas-netwerk zijn.
Op de officiële website vond ik geen informatie over de beheerservers, maar ik neem aan dat hun taken het beheren van sensoren en het aggregeren en verwerken van gegevens omvatten. Als mijn vermoeden klopt, zijn er ten minste 6 beheerservers, waarvan 2 in de VS, 2 in Nederland, 1 in Duitsland en 1 in Singapore. Op alle servers is poort 443 geopend.
Als iemand meer informatie heeft over de beheerservers van het RIPE Atlas-netwerk, verzoek ik om opheldering over deze kwestie.
Sensor
De RIPE Atlas-sensor is een klein apparaat (TP-Link 3020) dat via USB van stroom wordt voorzien en met een netwerkkabel wordt aangesloten op de Ethernet-poort van de router. Afhankelijk van het model kan de sensor een Atheros AR9331-chipset hebben, 400 MHz, 4 MB flash en 32 MB RAM of een MediaNek MT7628NN-chipset, 575 MHz, 8 MB flash en 64 MB RAM.
Anker
Een Anker is een geavanceerde sensor met veel hogere prestaties en meetcapaciteit. Het is een apparaat in een standaard 19-inch uitvoering op het APU2C2 of APU2E2 hardwareplatform met een quad-core processor van 1 GHz, 2 GB RAM, 3 Gigabit Ethernet-poorten en een 250 GB SSD-schijf. .
Installatie en beheer van de sensor
Zoals eerder vermeld, worden de sensoren gratis verspreid met als doel ze in uw infrastructuur te installeren. Bij het aanvragen van een sensor moet het land, de stad en het autonome systeemnummer worden opgegeven waar het zich zal bevinden. In antwoord op mijn aanvraag stuurde RIPE NCC het volgende bericht.
Helaas voldoet uw aanvraag momenteel niet aan onze criteria voor het ontvangen van een hardware sensor. Hoewel ons doel is om de RIPE Atlas-sensoren zo breed mogelijk te verspreiden, lijkt het erop dat er al voldoende apparaten zijn aangesloten, hetzij binnen uw opgegeven ASN, hetzij op het netwerk waarvoor u een aanvraag heeft ingediend, of in het land waarvoor u een aanvraag heeft gedaan.
Geen probleem. In dat geval kan een software sensor worden geïnstalleerd, bijvoorbeeld op een virtuele machine, een thuisserver of een router – er zijn geen beperkingen voor de locatie en het autonome systeem. CentOS, Debian, Raspbian en Turris OS worden ondersteund. Voor implementatie moet de passende software worden gedownload en geïnstalleerd, bijvoorbeeld vanuit .
De installatie van de software sensor is vrij eenvoudig. Bijvoorbeeld, om deze op CentOS 8 te installeren, moeten de volgende commando's worden uitgevoerd:
curl -O 'https://ftp.ripe.net/ripe/atlas/software-probe/centos8/noarch/ripe-atlas-repo-1-2.el8.noarch.rpm'yum install ripe-atlas-repo-1-2.el8.noarch.rpm en registreer de sensor, waarbij u de SSH-sleutel moet opgeven die zich bevindt in /var/atlas-probe/etc/probe_key.pub, en ook het autonome systeemnummer en uw stad moet opgeven. In de e-mail werd herinnerd aan de noodzaak om de locatie van de sensor correct aan te geven.
Het beheer van de sensor beperkt zich tot het kunnen delen van meetresources met andere gebruikers, het instellen van meldingen voor uitval, evenals de standaard netwerkinstellingen (adres, standaard gateway, enz.).
Metingen
We zijn eindelijk aangekomen bij het uitvoeren van metingen. De configuratie van taken voor metingen vindt plaats vanuit het persoonlijke dashboard. Daar kunt u ook de resultaten bekijken.
Het opstellen van een meetopdracht bestaat uit drie stappen: het kiezen van het type meting, het kiezen van de sensor en het kiezen van de meetperiode.
Metingen kunnen van de volgende typen zijn: ping, traceroute, DNS, SSL, HTTP, NTP. Gedetailleerde instellingen voor een specifiek type meting, behalve die specifiek voor een bepaald protocol of hulpmiddel, omvatten: het doeladres, het netwerkniveau protocol, het aantal pakketten in de meting en de tijd tussen metingen, de pakketgrootte en de tijd tussen pakketten, en de graad van willekeurige tijdsverschuiving bij het starten van het verzenden van pakketten.
Sensors kunnen worden geselecteerd op basis van hun identificatie of het land van plaatsing, de regio, het autonome systeem, de tag, enz.
De periode voor het uitvoeren van metingen wordt ingesteld met een begin- en eindtijd.
De resultaten van de metingen zijn beschikbaar op de website in uw persoonlijke account, die ook in json-formaat kunnen worden verkregen. Over het algemeen zijn de meetresultaten kwantitatieve indicatoren die de beschikbaarheid van een bepaalde node of service karakteriseren.
Voor de gebruiker worden de mogelijkheden van metingen gepresenteerd in een breed, maar zeer beperkt spectrum. Het is echter duidelijk dat de mogelijkheden van het systeem het genereren van pakketten met vrijwel elke configuratie mogelijk maken, wat veel bredere mogelijkheden voor het meten van de toestand van het internet opent.
Hieronder staat een voorbeeld van onbewerkte resultaten van eenmalige metingen met de standaardinstellingen. Bij de metingen van het type ping, traceroute en SSL was als doel het IP-adres habr.com gekozen, voor DNS was het het IP-adres van de DNS-server Google, en voor NTP het IP-adres van de NTP-server ntp1.stratum2.ru. In alle metingen werd één sensor gebruikt, gelegen in Vladivostok.
Ping
[{"fw":4790,"lts":18,"dst_name":"178.248.237.68","af":4,"dst_addr":"178.248.237.68","src_addr":"192.168.0.10","proto":"ICMP","ttl":55,"size":48,"result":[{"rtt":122.062873},{"rtt":121.775641},{"rtt":121.807897}],"dup":0,"rcvd":3,"sent":3,"min":121.775641,"max":122.062873,"avg":121.882137,"msm_id":26273241,"prb_id":4428,"timestamp":1594622562,"msm_name":"Ping","from":"5.100.99.178","type":"ping","group_id":26273241,"step":null,"stored_timestamp":1594622562}]Traceroute
[{"fw":4790,"lts":19,"endtime":1594622643,"dst_name":"178.248.237.68","dst_addr":"178.248.237.68","src_addr":"192.168.0.10","proto":"ICMP","af":4,"size":48,"paris_id":1,"result":[{"hop":1,"result":[{"from":"192.168.0.1","ttl":64,"size":76,"rtt":7.49},{"from":"192.168.0.1","ttl":64,"size":76,"rtt":1.216},{"from":"192.168.0.1","ttl":64,"size":76,"rtt":1.169}]},{"hop":2,"result":[{"from":"5.100.98.1","ttl":254,"size":28,"rtt":1.719},{"from":"5.100.98.1","ttl":254,"size":28,"rtt":1.507},{"from":"5.100.98.1","ttl":254,"size":28,"rtt":1.48}]},---DATA OMITED---,{"hop":10,"result":[{"from":"178.248.237.68","ttl":55,"size":48,"rtt":121.891},{"from":"178.248.237.68","ttl":55,"size":48,"rtt":121.873},{"from":"178.248.237.68","ttl":55,"size":48,"rtt":121.923}]}],"msm_id":26273246,"prb_id":4428,"timestamp":1594622637,"msm_name":"Traceroute","from":"5.100.99.178","type":"traceroute","group_id":26273246,"stored_timestamp":1594622649}]DNS
[{"fw":4790,"lts":146,"dst_addr":"8.8.8.8","af":4,"src_addr":"192.168.0.10","proto":"UDP","result":{"rt":174.552,"size":42,"abuf":"5BGAgAABAAEAAAAABGhhYnIDY29tAAABAAHADAABAAEAAAcmAASy+O1E","ID":58385,"ANCOUNT":1,"QDCOUNT":1,"NSCOUNT":0,"ARCOUNT":0},"msm_id":26289620,"prb_id":4428,"timestamp":1594747880,"msm_name":"Tdig","from":"5.100.99.178","type":"dns","group_id":26289620,"stored_timestamp":1594747883}]SSL
[{"fw":4790,"lts":63,"dst_name":"178.248.237.68","dst_port":"443","method":"TLS","ver":"1.2","dst_addr":"178.248.237.68","af":4,"src_addr":"192.168.0.10","ttc":106.920213,"rt":219.948332,"cert":["-----BEGIN CERTIFICATE-----nMIIGJzCCBQ+gAwIBAg ---DATA OMITED--- yd\/teRCBaho1+Vn-----END CERTIFICATE-----"],"msm_id":26289611,"prb_id":4428,"timestamp":1594747349,"msm_name":"SSLCert","from":"5.100.99.178","type":"sslcert","group_id":26289611,"stored_timestamp":1594747352}]NTP
[{"fw":4790,"lts":72,"dst_name":"88.147.254.230","dst_addr":"88.147.254.230","src_addr":"192.168.0.10","proto":"UDP","af":4,"li":"no","version":4,"mode":"server","stratum":2,"poll":8,"precision":0.0000076294,"root-delay":0.000518799,"root-dispersion":0.0203094,"ref-id":"5893fee5","ref-ts":3803732581.5476198196,"result":[{"origin-ts":3803733082.3982748985,"receive-ts":3803733082.6698465347,"transmit-ts":3803733082.6698560715,"final-ts":3803733082.5099263191,"rtt":0.111643,"offset":-0.21575},{"origin-ts":3803733082.5133042336,"receive-ts":3803733082.7847337723,"transmit-ts":3803733082.7847442627,"final-ts":3803733082.6246700287,"rtt":0.111355,"offset":-0.215752},{"origin-ts":3803733082.6279149055,"receive-ts":3803733082.899283886,"transmit-ts":3803733082.8992962837,"final-ts":3803733082.7392635345,"rtt":0.111337,"offset":-0.2157}],"msm_id":26289266,"prb_id":4428,"timestamp":1594744282,"msm_name":"Ntp","from":"5.100.99.178","type":"ntp","group_id":26289266,"stored_timestamp":1594744289}]Conclusie
Het RIPE Atlas-netwerk is een handige tool die het mogelijk maakt om in bijna real-time de beschikbaarheid van objecten en diensten op het internet te volgen.
De gegevens verkregen via het RIPE Atlas-netwerk kunnen nuttig zijn voor netwerkoperators, onderzoekers, de technische gemeenschap en iedereen die geïnteresseerd is in de gezonde werking van het internet en meer wil weten over de basis netwerkstructuren en datastromen die de werking van het internet op wereldschaal ondersteunen.
P.S. RIPE Atlas is niet uniek, er zijn ook vergelijkbare tools, zoals .
Bron: habr.com
