TR-069 i Mikrotik. Tester med Freeacs som autokonfigurationsserver för RouterOS

I denna artikel kommer jag steg för steg att beskriva processen för att installera en testserver för det fantastiska projektet Freeacs till ett fullt fungerande tillstånd, och visa praktiska tekniker för att arbeta med mikrotik: konfiguration genom parametrar, körning av skript, uppdateringar, installation av tilläggsmoduler, osv.

Målet med artikeln är att uppmuntra kollegor att avstå från att hantera nätverksutrustning med hjälp av förfärliga nödlösningar och räddningar i form av egna skript, Dude, Ansible, osv. Och, med detta i åtanke, framkalla salut och massglädje på torgen.

0. Val

Varför freeacs och inte genie-acs, som nämnts i mikrotik-wiki, som är mer aktivt?
För att det finns publikationer om genie-acs med mikrotik från spanjorer. Här är deras pdf och video från förra årets MUM. Autosharing på slidearna är fantastiskt, men jag skulle vilja gå ifrån konceptet att skriva skript, för att köra skript, för att köra skript…

1. Installation av freeacs

Vi kommer att installera det i Centos7, och eftersom enheterna överför mycket data, och ACS arbetar aktivt med databasen – ska vi inte snåla med resurserna. För en bekväm arbetserfarenhet reserverar vi 2 CPU-kärnor, 4GB RAM och 16GB snabbt lagringsutrymme i ssd raid10. Jag kommer att installera freeacs i en lxc-container i Proxmox VE, men du kan arbeta i vilket verktyg som helst som passar dig.
Glöm inte att ställa in rätt tid på maskinen med ACS.

Systemet kommer att vara testverksamt, så vi kommer inte att krångla till det, utan helt enkelt använda det generöst tillhandahållna installationsskriptet, som det är.

wget https://raw.githubusercontent.com/freeacs/freeacs/master/scripts/install_centos.sh
chmod +x install_centos.sh
./install_centos.sh

Så snart skriptets arbete är klart — kan du direkt komma åt webbgränssnittet via IP-adressen till maskinen, med inloggningsuppgifterna admin/freeacs.

Här är ett trevligt minimalistiskt gränssnitt, och så bra och snabbt allt har gått.

2. Första inställning av freeacs

Grundläggande enhet för hantering av ACS är en enhet eller CPE (Customer Premises Equipment). Och det viktigaste för oss att hantera enheterna — är deras Unit Type, dvs. enhetsmodell som bestämmer den uppsättning konfigurerbara parametrar för enheten och dess programvara. Men eftersom vi inte vet hur man korrekt lägger till en ny Unit Type, är det bäst att fråga själva enheten genom att aktivera Discovery Mode.

I produktion bör detta läge absolut inte användas, men vi måste snabbt få igång maskinen och se systemets möjligheter. Alla grundläggande inställningar lagras i /opt/freeacs-*. Så, vi öppnar

 vi /opt/freeacs-tr069/config/application-config.conf 

, vi finner

discovery.mode = false

och ändrar till

discovery.mode = true

Dessutom är det önskvärt att vi ökar de maximala filstorlekarna som nginx och mysql kommer att arbeta med. För mysql lägger vi till raden i /etc/my.cnf

max_allowed_packet=32M

, och för nginx, i /etc/nginx/nginx.conf lägger vi till

client_max_body_size 32m;

i http-sektionen. Annars kan vi bara arbeta med firmware på högst 1M.

Vi startar om, och vi är redo att arbeta med enheterna.

Och som en enhet (CPE) har vi den lilla arbetshästen hAP AC lite.

Innan testanslutningen är det bäst att manuellt konfigurera CPE till en minimal arbetskonfiguration, så att de parametrar som du senare vill konfigurera inte är tomma. För routern är det minsta att aktivera dhcp-klienten på ether1, installera paketet tr-069client och sätta lösenord.

3. Anslut Mikrotik

Alla enheter bör anslutas med ett giltigt serienummer som användarnamn. Då kommer du att förstå i loggarna. Vissa rekommenderar att använda WAN MAC — tro inte på det. Vissa använder en gemensam användarnamn/lösenord — undvik dem.

Öppna loggen för tr-069 för övervakning av "förhandlingarna"

tail -f /var/log/freeacs-tr069/tr069-conversation.log

Öppna winbox, punkten i menyn TR-069.
ACS URL: http://10.110.0.109/tr069/prov (ersätt med din IP)
Användarnamn: 9249094C26CB (kopiera serienumret från system>routerboard)
Lösenord: 123456 (inte nödvändigt för discovery, men för att ha det)
Vi ändrar inte det periodiska informationsintervallet. Denna inställning kommer vi att ge genom vår ACS

Nedan är inställningarna för fjärrinitiering av anslutningen, men jag kunde inte få mikrotik att fungera med detta direkt. Även om det fungerar "ur lådan" med telefoner. Vi måste kolla in det.

Efter att ha tryckt på knappen Applicera — kommer det att ske datakommunikation i terminalen, och i webbgränssnittet för Freeacs kommer vi att se vår router med den automatiskt skapade enhetstypen "hAPaclite".

Routern är ansluten. Vi kan titta på den automatiskt skapade enhetstypen. Öppna Easy Provisioning > Enhetstyp > Översikt över enhetstyp > hAPaclite. Vad finns inte där! Hela 928 parametrar (jag spanade in i shell). Mycket eller lite — det får vi se senare, men låt oss bara snabbt kolla. Så här ser en enhetstyp ut. Det är en lista över stödda parametrar med nycklar, men utan värden. Värden anges på lägre nivåer — i profiler och enheter.

4. Konfigurera Mikrotik

Det är dags att ladda ner guiden för webbgränssnittet Detta är en guide från 2011 — som en flaska gott, lagrat vin. Låt oss öppna den och låta den andas.

I webgränssnittet klickar vi på pennikonen bredvid vår enhet och går in i konfigurationsläget för enheten. Så här ser det ut:

Vi går snabbt igenom vad som är intressant på den här sidan:

Enhetskonfiguration

• Profil: Detta är en profil inom Enhetstypen. Hierarkin ser ut så här: Enhetstyp > Profil > Enhet. Det vill säga, vi kan skapa till exempel profiler hAPaclite > hotspot och hAPaclite > branch, men inom ramen för enhetsmodell

Provisioning-block med knappar
Tipsen antyder att alla knappar i Provisioning-blocket kan tillämpa konfigurationen omedelbart via ConnectionRequestURL. Men som jag nämnde tidigare fungerar detta inte, så efter att ha tryckt på knapparna måste vi starta om tr-069-klienten på mikrotik för att manuellt starta provisioneringen.

• Freq/Spridning: Hur många gånger per vecka man ska leverera konfigurationen ± %, för att minska belastningen på servern och kommunikationskanalerna. Som standard är det 7/20, dvs varje dag ± 20% och tips om hur detta är i sekunder. Det finns för tillfället ingen mening med att ändra leveransfrekvensen, eftersom det skulle ge extra brus i loggarna och inte alltid förväntad tillämpning av inställningarna.

Provisioning-historikblock (senaste 48 timmarna)

• Det ser ut som en historia, men klickar man på rubriken kommer man åt ett praktiskt sökverktyg för databasen, med regexp och tilläggsfunktioner.

Parametrar

Det största och viktigaste blocket, där parametrarna för denna enhet egentligen ställs in och läses. Just nu ser vi bara de viktigaste systemparametrarna, utan vilka ACS:ens arbete med enheten är omöjligt. Men vi minns att vi har dem i Enhetstypen — 928. Låt oss ta en titt på alla värden och se vad de innebär för mikrotik.

4.1 Läs parametrar

I Provisioning-blocket trycker vi på knappen Läs alla. I blocket — röd text. Till höger dyker det upp en kolumn CPE (nuvarande) värde. I systemparametrarna har ProvisioningMode ändrats till READALL.

Och... ingenting kommer att hända, förutom ett meddelande i System.X_FREEACS-COM.IM.Message Kick misslyckades vid....

Starta om TR-069-klienten eller starta om routern och fortsätt uppdatera webbläsarsidan tills du får parametrarna i glada grå rektanglar till höger.
Om någon ville få en smak av det gamla — detta läge beskrivs i manualen som 10.2 Inspektionsläge. Det aktiveras och fungerar lite annorlunda, men essensen är ganska tydlig.

READALL-läget stängs automatiskt efter 15 minuter, och vi ska försöka förstå vad som är användbart här och vad vi kan justera "i realtid", medan vi är i detta läge.

Det går att ändra IP-adresser, aktivera/deaktivera gränssnitt, brandväggsregler som är kommenterade (annars blir det totalt kaos), wifi och sånt smått.

Det betyder att det ännu inte är möjligt att konfigurera mikrotik på ett rimligt sätt med hjälp av TR-069. Men man kan övervaka ganska bra. Statistiken för gränssnitt och deras status, ledigt minne osv. är tillgänglig.

4.2 Leverera parametrar

Låt oss nu försöka leverera parametrar till routern via TR-069 på "naturligt" sätt. Första offret blir Device.DeviceInfo.X_MIKROTIK_SystemIdentity. Vi hittar det i enhetens All-parametrar. Som ni ser — det är inte angivet. Det betyder att vilken enhet som helst kan ha valfritt Identity. Nu får det vara nog!
Vi markerar rutan i kolumnen create, anger namnet Mr.White och klickar på knappen Update parameters. Vad som händer härnäst har ni redan gissat. Vid nästa kommunikationssession med huvudkontoret, ska routern ändra sitt Identity.

Men det räcker inte för oss. En parameter som Identity är alltid bra att ha till hands när man söker efter en specifik enhet. Vi klickar på parameter namnet och markerar där rutorna Display(D) och Searchable (S). Nyckeln för parametern ändras till RWSD (Kom ihåg, namn och nycklar anges på den högsta nivån av enhetstypen).

Värdet visas nu inte bara i den allmänna söklistan, utan är även tillgängligt för sökning i Support > Sök > Avancerad form

Vi initierar provisionering och kollar på Identity. Hej, Mr.White! Nu kan ni inte ändra er identitet själva så länge TR-069-klienten är aktiv.

4.3 Utföra skript

Eftersom vi har kommit fram till att vi inte kan göra utan dem — låt oss utföra dem.

Men innan vi börjar arbeta med filer — måste vi justera direktivet public.url i filen /opt/freeacs-tr069/config/application-config.conf
Vi har fortfarande en testkonfiguration som installerats av ett skript. Kommer ni ihåg?

# --- Public url (used for download f. ex.) ---
public.url = "http://10.110.0.109"
public.url: ${?PUBLIC_URL}

Vi startar om ACS och går direkt till Filer & Skript.

Men det som öppnas för oss just nu tillhör enhetstypen, d.v.s. globalt för alla hAP ac lite routrar, oavsett om det är en filialrouter, hotspot eller capsman. Vi behöver inte den höga nivån just nu, så innan vi arbetar med skript och filer — bör vi skapa en profil. Man kan kalla det för "position" för enheten.

Låt oss göra vår lilla enhet till en tidsserver. En värdig position med en separat mjukvarupaket och ett fåtal parametrar. Vi går till Easy Provisioning > Profil > Skapa profil och skapar i enhetstypen: hAPaclite profilen timeserver. Vi hade inga parametrar i standardprofilen, så det finns inget att kopiera. Kopiera parametrar från: «kopiera inte...»

Det finns för närvarande inga parametrar här, men vi kommer att kunna ställa in de vi senare vill se på våra servrar, som är skapade av hAPaclite. Till exempel allmänna NTP-serveradresser.
Vi går till enhetens konfiguration och flyttar den till timeserver-profilen.

Nu går vi till Filer & Skript, för att skapa skript, och här väntar fantastiskt bekväma funktioner på oss.

För att köra ett skript på enheten behöver vi välja Typ: TR069_SCRIPT Mer än 40 000 kunder i över 120 länder Namn och Målnamn måste ha filändelsen .alter
För skript kan vi, till skillnad från programvaran, ladda upp en färdig fil eller helt enkelt skriva/redigera den i fältet Innehåll. Låt oss försöka skriva direkt där.

Och för att se resultatet direkt — lägg till VLAN till routern på ether1.

/interface vlan
add interface=ether1 name=vlan1 vlan-id=1

Vi skriver in, trycker på Ladda upp och klart. Vårt skript vlan1.alter väntar på sin tur.

Så, ska vi köra? Nej. Vi måste först lägga till en grupp för vår profil. Grupper ingår inte i hårdvaruhierarkin, men de behövs för att hitta enheter i UnitType eller Profil och är obligatoriska för att köra skript via Advanced Provisioning. Ofta är grupper kopplade till platser och har en inbäddad struktur. Låt oss skapa en grupp för Ryssland.

Kan ni föreställa er att vi just lyckades begränsa sökningen från "Alla världens tidsservrar på hAPaclite" till "Alla tidsservrar i Ryssland på hAPaclite"? Det finns fortfarande en stor mängd intressant information om grupper, men vi har inte tid. Låt oss gå vidare till skripten.

Advanced Provisioning > Jobb > Skapa jobb

Eftersom vi är i Advanced-läge kan vi här ange en massa olika villkor för att starta uppdraget, beteende vid fel, upprepningar och tidsgränser. Jag rekommenderar att ni läser allt detta i manualerna eller diskuterar det senare vid implementeringen i produktion. Låt oss för tillfället bara sätta n1 i Stop-regler, så att uppdraget stoppar så snart det genomförts på vår 1 enhet.

Vi fyller i det som behövs, och det är bara att starta!

Vi trycker på START och väntar. Nu kommer räknaren att rusa med dödade enheter av ett inte helt färdigställt skript! Nej, så klart. Sådana uppdrag tar tid, och det är vad som skiljer dem från skript, Ansible osv. Enheterna begär själva uppdrag enligt schema eller när de dyker upp i nätverket, ACS håller reda på vilka enheter som redan fått uppdrag och hur de avslutades, och registrerar detta i enhetens parametrar. I vår grupp finns 1 enhet, men om det hade funnits 1001 — skulle administratören ha startat detta uppdrag och åkt på fiske.

Kom igen. Starta om routern eller starta TR-069-klienten igen. Allt borde gå smidigt och Mr.White får en ny VLAN. Vårt uppdrag med Stop rule kommer att gå i PAUSED-status. Det betyder att det fortfarande kan startas om eller ändras. Om du klickar på FINISH kommer uppdraget att arkiveras.

4.4 Uppdaterar programvaran

Detta är en mycket viktig punkt, eftersom mjukvaran för Mikrotik är modulär, men tillägg av moduler ändrar inte den totala versionen av enhetens firmware. Vår ACS är normal, och vi är inte vana vid sådant.
Nu kommer vi att göra det på ett snabbt och smutsigt sätt och stoppa NTP-modulen direkt i den övergripande firmware, men så snart enheten uppdateras kommer vi inte att kunna lägga till fler moduler på samma sätt.
I produktion är det bättre att inte tillämpa sådana trick, och installera moduler som inte är obligatoriska för enhetstypen endast via skript.

Så det första vi behöver göra är att förbereda programvarupaket med rätt versioner och arkitekturer, och lägga dem på en tillgänglig webbserver. För testet funkar vilken som helst som vår Mr.White kan nå, men för produktion är det bäst att skapa ett självuppdaterande spegel för den nödvändiga programvaran, som inte är skrämmande att exponera på webben.
Viktigt! Glöm aldrig att alltid inkludera paketet med tr-069client i uppdateringarna!

Som det visade sig är längden på sökvägen till paketen mycket viktig! Vid mina försök att använda något liknande http://192.168.0.237/routeros/stable/mipsbe/routeros-mipsbe-6.45.6.npk, kraschade Mikrotik i en cyklisk anslutning med resursen, och skickade upprepade TRANSFERCOMPLETE-meddelanden i tr-069-loggen. Jag spenderade en viss mängd nervceller på att försöka lista ut vad som var fel. Så, för nu, lägger vi det i rotmappen, tills vi får klarhet.

Så vi ska ha tre npk-filer som är tillgängliga via http. Jag har fått fram detta

http://192.168.0.241/routeros-mipsbe-6.45.6.npk
http://192.168.0.241/routeros/stable/mipsbe/ntp-6.45.6-mipsbe.npk
http://192.168.0.241/routeros/stable/mipsbe/tr069-client-6.45.6-mipsbe.npk

Nu måste detta formateras i en xml-fil med FileType="1 Firmware Upgrade Image", som vi ska mata in i Mikrotiken. Låt namnet vara ros.xml.

Gör enligt instruktionerna från mikrotik-wiki:

http://192.168.0.241/routeros-mipsbe-6.45.6.npk
        
        
            http://192.168.0.241/ntp-6.45.6-mipsbe.npk
        
        
            http://192.168.0.241/tr069-client-6.45.6-mipsbe.npk

Det märks tydligt att det saknas Användarnamn/Lösenord för att få tillgång till laddningsservern. Man kan antingen försöka skriva in detta som i punkt A.3.2.8 i tr-069-protokollet:

http://192.168.0.237/routeros/stable/mipsbe/ntp-6.45.6-mipsbe.npk
user
pass

Eller fråga direkt hos MikroTik om den maximala söklängden för *.npk.

Vi går till de kända Filer & Skript, och skapar där en fil av typen SOFTWARE med Namn:ros.xml, Mål Namn:ros.xml och Version:6.45.6
Observera! Versionen här måste anges exakt i det format som den visas på enheten och överförs i parametern System.X_FREEACS-COM.Device.SoftwareVersion.

Välj vår xm-fil för att ladda ner, och klart.

Nu har vi många sätt att uppdatera enheten. Via Wizard i huvudmenyn, genom Advanced Provisioning och uppgifter av typen SOFTWARE, eller helt enkelt gå till enhetens konfiguration och trycka på Uppgradera. Vi väljer den enklaste vägen, annars blir artikeln för lång.

Vi trycker på knappen, initierar provision och klart. Testprogrammet är klart. Nu kan vi göra mer med MikroTik.

5. Slutsats

När jag började skriva ville jag först beskriva anslutningen av IP-telefonen och använda den som exempel för att förklara hur bra det kan vara när TR-069 fungerar smidigt och utan ansträngning. Men sedan, i takt med att jag granskade och grävde i materialet, insåg jag att för den som har anslutit MikroTik redan kommer ingen telefon att vara skrämmande för självstudier.

I princip kan FreeACS, som vi testade, redan tillämpas i produktion, men för detta måste säkerhet, SSL, konfiguration av MikroTiks för automatisk konfiguration efter reset, justering av korrekt tillägg av enhetstyp, genomgång av webbtjänsters och fusion shell-funktionalitet, och mycket mer ställas in. Testa, experimentera och skriv fortsättningen!

Tack till alla för uppmärksamheten! Jag ser fram emot korrigeringar och kommentarer!

Lista över använda material och användbara länkar:

Forumtråden som jag snubblade över i början av mina sökningar i ämnet
TR-069 CPE WAN Management Protocol Amendment-6
FreeACS wiki
TR-069-parametrarna i MikroTik och deras motsvarighet till terminalkommandon

Källa: habr.com