Iz outsourcinga u razvoj (Dio 1)

Pozdrav svima, ja sam Sergej Jemeljančik. Ja sam voditelj tvrtke Audit-Telecom, glavni programer i autor sustava Veliam. Odlučio sam napisati članak o tome kako smo moj prijatelj i ja osnovali outsource firmu, razvili softver za sebe i kasnije počeli distribuirati sve zainteresirane kroz SaaS sustav. O tome kako sam kategorički sumnjao da je to moguće. U članku će biti ne samo priča, već i tehnički detalji kako je proizvod Veliam razvijen. Uključujući neke dijelove izvornog koda. Pričat ću o greškama koje smo pravili i kako smo ih kasnije ispravili. Bilo je sumnji, objaviti takav članak ili ne. No, pomislio sam da je bolje to učiniti, dobiti povratne informacije i ispraviti se nego ne objaviti članak i razmišljati što bi bilo da je…

Povijest

Radio sam u jednoj tvrtki kao IT zaposlenik. Tvrtka je bila prilično velika s razgranatom mrežnom strukturom. Neću se zadržavati na svojim dužnostima, reći ću samo da u njih sigurno nije ulazila izrada bilo čega.

Imali smo monitoring, ali iz akademskog interesa želio sam pokušati napisati svoj jednostavni. Ideja je bila ovakva: htjeli smo da to bude na webu, da se bez instalacije bilo kakvih klijenata lako prijaviti i pogledati što se događa s mrežom s bilo kojeg uređaja, uključujući mobilni uređaj putem Wi-Fi-a, a također smo željeli brzo razumjeti u kojoj se prostoriji nalazi oprema koja je “zatajila”, jer su postojali vrlo strogi zahtjevi za vrijeme odziva na takve probleme. Na kraju se u mojoj glavi rodila ideja da napišem jednostavnu web stranicu, na kojoj bi pozadina bila jpeg s shemom mreže, rezati na toj slici same uređaje s njihovim IP adresama, a iznad slike u potrebnim koordinatama prikazivati već dinamički sadržaj u obliku zelenog ili trepćućeg crvenog IP adresa. Zadatak je postavljen, krećemo.

Ranije sam se bavio programiranjem u Delphiju, PHP-u, JS-u i vrlo površno C++. Prilično dobro poznajem rad mreža. VLAN, usmjeravanje (OSPF, EIGRP, BGP), NAT. To je bilo dovoljno da samostalno napišem prototip primitivnog monitoringa.

Napisao sam ono što sam zamislio u PHP-u. Server Apache i PHP su bili na Windowsu jer mi je Linux u to vrijeme bio nešto nejasno i vrlo komplicirano. Kako se kasnije ispostavilo, puno sam griješio, i u mnogim aspektima je Linux jednostavniji od Windowsa, ali to je druga tema i svi znamo koliko ima rasprava o tome. Windows task scheduler je svaki put, s malim intervalom (točno se ne sjećam, ali otprilike svaki tri sekunde), pokretao PHP skriptu koja je provjeravala sve objekte jednostavnim pingom i spremala stanje u datoteku.

system("ping -n 3 -w 100 {$ip_address}"); 

Da, rad s bazama podataka u to vrijeme mi također nije bio poznat. Nisam znao da se procesi mogu paralelizirati, a prolazak kroz sve čvorove mreže trajao je dugo vremena, jer se odvijao u jednom toku. Osobito su se problemi javljali kada su neki čvorovi bili nedostupni, jer je svaki od njih zadržavao skriptu na 300 ms. Na strani klijenta bila je jednostavna petlja koja je s intervalom od nekoliko sekundi preuzimala ažurirane informacije sa servera putem Ajax zahtjeva i ažurirala sučelje. Ako je nakon tri neuspješna pinga zaredom bila otvorena web stranica s nadzorom, puštala se vesela melodija.

Kada je sve uspelo, bio sam veoma inspirisan rezultatom i mislio sam da mogu dodati još nešto (s obzirom na svoje znanje i mogućnosti). Uvek su mi se sviđale jednostavne sisteme, bez milion grafikona, za koje sam tada smatrao, i i dalje smatram, da su većinom nepotrebni. Hteo sam da dodajem samo ono što bi mi zaista pomoglo u radu. Ova ideja je i dalje osnova pri razvoju Veliam-a. Zatim sam shvatio da bi bilo odlično kada ne bih morao da držim otvoren monitoring da bih znao za probleme, već da mogu gledati gde se točno nalazi problem kada se dogodi i šta dalje učiniti s njim. U to vreme nisam čitao elektronsku poštu, jednostavno je nisam koristio. Na internetu sam naišao na SMS gateway-e, na koje se može poslati GET ili POST zahtev, i oni će mi poslati SMS na mobilni telefon s tekstom koji napišem. Odmah sam shvatio da to želim. Počeo sam da proučavam dokumentaciju. Nakon nekog vremena, uspeo sam, i sada sam primao SMS o problemima na mreži na mobilni sa nazivom „pao objekat“. Iako je sistem bio primitivan, bio je pisan od mene samog, a najvažnije, što me tada motivisalo za njegov razvoj, bila je to da je to aplikacija koja mi zaista pomaže u radu.

I došao je dan kada je jedan od internet kanala pao na poslu, a moj monitoring nije mi na to ukazao. Googleovi DNS su se i dalje odlično pingali. Došlo je vreme da razmislim o tome kako mogu da pratim da li je kanal komunikacije živ. Postojale su različite ideje o tome kako to učiniti. Nemam pristup svemu svom opremi. Morao sam da smislim kako da razumem koji od kanala je živ, ali bez mogućnosti da bilo kako to proverim na samom mrežnom uređaju. Tada je kolega predložio ideju da bi ruta do javnih servera mogla biti drugačija u zavisnosti od kanala komunikacije preko kojeg se vrši izlaz na internet. Proverio sam, i tako je bilo. Postojale su različite rute pri praćenju.

system(“tracert -d -w 500 8.8.8.8”);

Tako je nastao još jedan skript, a točnije, praćenje je iz nekog razloga dodano na kraj istog skripta koji je pingao sve uređaje u mreži. To je bio još jedan dug proces koji se odvijao u istom toku i usporavao rad cijelog skripta. Ipak, tada to nije bilo tako očito. No, bez obzira na to, skript je odrađivao svoj posao, a u kodu je bilo strogo definirano kakvo je praćenje trebala imati svaka od povezanih linija. Tako je počeo raditi sustav koji je već nadgledao (recimo naravno, jer nije bilo prikupljanja nikakvih metrika, već samo pinganje) mrežne uređaje (usmjerivače, preklopnike, wi-fi itd.) i komunikacijske kanale s vanjskim svijetom. Redovno su stizale SMS poruke i na dijagramu je uvijek bilo jasno vidljivo gdje je problem.

Nakon toga, u svakodnevnom radu često sam se bavio preklapanjem. I svaki put ulaziti na Cisco preklopnike kako bih provjerio koji su priključci potrebni postalo je naporno. Kako bi bilo sjajno kliknuti na nadzoru objekta i vidjeti popis njegovih priključaka s opisima. To bi mi uštedjelo vrijeme. Pritom u ovom sustavu ne bi bilo potrebno pokretati Putty ili SecureCRT, unositi korisničke podatke i komande. Jednostavno bih kliknuo na nadzoru, vidio što je potrebno, i nastavio raditi. Počeo sam tražiti načine interakcije s preklopnicima. Na brzinu su bila dostupna dva načina: SNMP ili ulazak na preklopnik putem SSH, unositi potrebne komande i parsirati rezultate. SNMP sam odbacio zbog složenosti implementacije, nisam imao strpljenja čekati rezultate. S SNMP-om trebalo bi dugo kopati kroz MIB, na temelju tih podataka oblikovati informacije o priključcima. Postoji jedna sjajna komanda u CISCO-u.

show interface status

Pokazuje upravo to što mi treba za preklapanja. Zašto se mučiti sa SNMP-om kada jednostavno želim vidjeti izlaz ove komande, pomislio sam. Nakon nekog vremena, implementirao sam tu mogućnost. Kliknuo sam na objekt na web stranici. Aktivirao se događaj koji je putem AJAX-a kontaktirao poslužitelj, a taj se povezivao putem SSH-a na meni potrebni prekidač (akreditivi su bili zapečaćeni u kodu, nisam imao želju uljepšavati, praviti neke odvojene izbornike gdje bi se mogli mijenjati akreditivi iz sučelja; trebao sam rezultat i to brzo) unio sam prethodno navedenu komandu i vratio ju u preglednik. Tako sam počeo vidjeti informacije o sučeljima jednim klikom miša. To je bilo izuzetno praktično, osobito kada sam morao gledati te informacije na različitim prekidačima odjednom.

Pratnja kanala na temelju traganja na kraju se pokazala ne najboljom idejom, jer su ponekad izvođeni radovi na mreži, i traganje se moglo mijenjati, a praćenje je počelo uzvikivati da postoje problemi s kanalom. No, potrošivši puno vremena na analizu, shvatio sam da svi kanali rade, a moje praćenje me obmanjuje. Na kraju, zamolio sam kolege koji su upravljali kanaloformirajućim prekidačima da mi šalju jednostavno syslog kada se stanje vidljivosti susjeda (neighbor) promijenilo. Stoga je to bilo daleko jednostavnije, brže i istinitije od traganja. Došlo je do događaja tipa neighbor lost, i odmah šaljem obavijest o padu kanala.

Nakon toga, pojavili su se izlazi po kliku na objekt s nekoliko drugih komandi, kao i SNMP za prikupljanje nekih metrike, i to je uglavnom bilo to. Sustav se nije dalje razvijao. Radio je sve što mi je bilo potrebno, bio je to dobar alat. Mnogi čitatelji možda će mi reći da već postoji hrpa softvera na internetu za rješavanje ovih zadataka. No, u stvarnosti, nisam našao takve besplatne proizvode tada, a jako sam želio razvijati svoje programerske vještine, a što može bolje potaknuti na to od stvarnog praktičnog zadatka. Na tome je završena prva verzija praćenja i više nije modificirana.

Osnivanje kompanije Audit-Telekom

S vremenom sam počeo raditi paralelno u drugim kompanijama, srećom, radna me je satnica na to omogućavala. Kada radite u različitim kompanijama, brzo se usavršavate u različitim oblastima i vaš pogled na svet se širi. Postoje kompanije u kojima ste, kako se to obično kaže, i krojač, i berač, i svirač. S jedne strane, to je izazovno, ali s druge strane, ako ne lenčarite, postajete stručnjak širokog profila, što vam omogućava brže i efikasnije rešavanje problema jer znate kako funkcioniše povezana oblast.

Moj prijatelj Pavel (takođe IT stručnjak) neprekidno je pokušavao da me podstakne na svoj biznis. Bilo je bezbroj ideja sa raznim verzijama vlastitog posla. To se raspravljalo ne jednu godinu. I na kraju nijedna od tih ideja nije dovela do nečega, jer sam skeptik, a Pavel je sanjar. Svaki put kad je predložio neku ideju, nikada nisam verovao u to i odbijao sam učestvovati. Ali vrlo smo želeli otvoriti svoj biznis.

Na kraju smo uspeli da pronađemo rešenje koje je odgovaralo obojici i da se posvetimo onome što znamo raditi. Godine 2016. odlučili smo da osnujemo IT kompaniju koja će pomagati poslovanju u rešavanju IT zadataka. To uključuje implementaciju IT sistema (1C, terminalski server, poštanski server itd.), njihovo održavanje, klasičnu HelpDesk podršku za korisnike i administraciju mreže.

Iskreno govoreći, kada smo osnovali firmu, nisam joj verovao otprilike 99,9%. Ali nekim čudom, Pavel me je nagnao da probam, i unapred mogu reći da je imao pravo. Pavel i ja smo uložili po 300.000 rubalja, registrovali novo društvo sa ograničenom odgovornošću "Audit-Telecom", iznajmili mali kancelarijski prostor, napravili super vizitke, i, kao što to obično biva sa početnicima, krenuli u potragu za klijentima. Potraga za klijentima je posebno poglavlje. Možda ćemo napisati poseban članak na našem korporativnom blogu, ako nekoga to zanima. Hladni pozivi, letci i slične stvari nisu davali nikakve rezultate. Kao što sada često čitam u različitim poslovnim pričama, mnogo toga zavisi od sreće. Imali smo sreće. I bukvalno nekoliko nedelja nakon osnivanja firme, obratio nam se moj brat Vladimir koji je doveo našeg prvog klijenta. Neću vas zamarati detaljima rada sa klijentima, članak nije o tome, samo ću reći da smo krenuli na reviziju, identifikovali kritična mesta i ta mesta su se pokvarila dok se odlučivalo da li da s nama sarađuju na stalnoj osnovi kao outsourceri. Nakon toga je odmah donesena pozitivna odluka.

Zatim, većinom preko usmene predaje, pojavljivale su se i druge kompanije koje su birale naše usluge. Helpdesk je bio u jednom sistemu. Povezivanje na mrežnu opremu i servere u drugom, a tačnije – zavisilo je od svakog pojedinca. Neki su čuvali prečice, neki su koristili RDP adresare. Monitoring je još jedan poseban sistem. Raditi sa timom u raštrkanim sistemima je veoma nezgodno. Važne informacije se gube iz vida. Na primer, klijentov terminalni server postane nedostupan. Odmah stignu zahtevi od korisnika tog klijenta. Specijalista tehničke podrške otvara zahtev (koji je stigao telefonom). Da su incidenti i zahtevi registrovani u jednom sistemu, stručnjak za podršku bi odmah video u čemu je problem korisnika i obavestio ga o tome, istovremeno se povezivajući na potrebni objekat da reši situaciju. Svi su u toku taktičke situacije i rade usklađeno. Nismo našli takav sistem gde je sve ovo objedinjeno. Postalo je jasno da je vreme da kreiramo svoj proizvod.

Nastavak rada na vlastitom sistemu za monitoring.

Bilo je jasno da sustav koji je prethodno napisan jednostavno ne odgovara trenutnim zadacima. Ni po pitanju funkcionalnosti ni kvalitete. Donijeta je odluka da se sustav napiše ispočetka. Grafički, trebao je izgledati potpuno drugačije. Trebala je to biti hijerarhijska struktura koja bi omogućila brzo i jednostavno otvaranje potrebnog objekta za određenog klijenta. Shema iz prve verzije u ovom slučaju nije bila opravdana, s obzirom da su klijenti različiti i nije imalo nikakvog značaja u kojim prostorijama se nalazi oprema. To je već bilo prebačeno na dokumentaciju.

Dakle, zadaci:

  1. Hijerarhijska struktura;
  2. Neka vrsta serverske komponente koju se može postaviti kod klijenta u obliku virtualne mašine za prikupljanje potrebnih metrika i slanje na centralni poslužitelj koji će sve to objediniti i prikazati nam;
  3. Obavijesti. Takve koje ne možemo propustiti, budući da u tom trenutku nije bilo mogućnosti da netko sjedi i samo gleda u monitor;
  4. Sustav zahtjeva. Počeli su se javljati klijenti koji su imali ne samo serversku i mrežnu opremu, već i radne stanice;
  5. Mogućnost brze veze sa serverima i opremom iz sustava;

Zadaci su postavljeni, počinjemo pisati. Paralelno obrađujemo zahtjeve od klijenata. U tom trenutku nas je već bilo četiri. Počeli smo pisati odmah obje komponente, i centralni server, i server za instalaciju kod klijenata. U tom trenutku Linux nam je bio poznat i donesena je odluka da će virtualne mašine kod klijenata biti na Debi nu. Neće biti nikakvih instalatora, jednostavno ćemo projektirati serversku komponentu na jednom određenom virtualnom stroju, a zatim ćemo je jednostavno klonirati klijentu. To je bila još jedna greška. Kasnije je postalo jasno da u takvoj shemi apsolutno nije razrađen mehanizam ažuriranja. Naime, dodali smo neku novu funkcionalnost, a potom je nastala čitava problematika s njenim širenjem na sve servere klijenata, no o tome ćemo se vratiti kasnije, sve u svoje vrijeme.

Napravili smo prvi prototip. Mogao je pingati potrebne mrežne uređaje klijenata i servere te slati te podatke našoj centralnoj serveru. A on je, zauzvrat, ažurirao te podatke u ukupnoj bazi na centralnom serveru. Ovdje ću pisati ne samo o priči o tome kako i što se postiglo, nego i o tome kakve smo amaterske greške napravili i kako smo na kraju za to plaćali vremenom. Tako je, cijelo stablo objekata pohranjeno je u jednom jedinom datoteci u obliku serializiranog objekta. Dok smo povezali nekoliko klijenata sa sustavom, sve je bilo više-manje u redu, iako su se ponekad pojavljivali neki artefakti koji su bili potpuno nejasni. No, kada smo povezali desetak servera, počeli su se događati čuda. Ponekad, iz nepoznatog razloga, svi objekti u sustavu jednostavno bi nestajali. Važno je napomenuti da su serveri koji su bili kod klijenata slali podatke na centralni server svakih nekoliko sekundi putem POST zahtjeva. Pažljivi čitatelj i iskusni programer već je shvatio da je postojala problem višestrukog pristupa toj istoj datoteci u kojoj je bio pohranjen serializirani objekt iz različitih niti istovremeno. I upravo kada je to događalo, ispoljavala su se čuda s nestajanjem objekata. Datoteka je jednostavno postajala prazna. No, to je sve otkriveno ne odmah, nego tek tijekom korištenja s više servera. Tijekom tog vremena dodana je funkcionalnost za skeniranje portova (serveri su slali na centralni ne samo informacije o dostupnosti uređaja, već i o otvorenim portovima na njima). To je učinjeno putem poziva naredbe:

$connection = @fsockopen($ip, $port, $errno, $errstr, 0.5);

rezultati su često bili pogrešni i skeniranje je trajalo jako dugo. Sasvim sam zaboravio na ping, izvršavao se putem fping-a:

system("fping -r 3 -t 100 {$this->ip}");

Sve ovo također nije bilo paralelizirano i stoga je proces bio vrlo dug. Kasnije je u fping već bio proslijeđen cijeli popis potrebnih IP adresa za provjeru, a natrag smo dobili gotov popis onih koji su odgovorili. Za razliku od nas, fping je znao paralelizirati procese.

Još jedan čest rutinski zadatak bio je postavljanje raznih usluga putem WEB-a. Na primjer, ECP iz MS Exchange-a. U suštini, to je samo link. Odlučili smo da treba omogućiti dodavanje takvih linkova direktno u sustav, kako ne bismo tražili u dokumentaciji ili negdje drugdje u oznakama kako pristupiti ECP-u konkretnog klijenta. Tako je nastala ideja o resursnim linkovima za sustav, a njihova funkcionalnost dostupna je i danas i nije doživjela promjene, pa skoro.

Rad resursnih linkova u Veliam
Iz outsourcinga u razvoj (Dio 1)

Udaljene veze

Tako to izgleda u praksi u trenutnoj verziji Veliam
Iz outsourcinga u razvoj (Dio 1)

Jedan od zadataka bio je brzo i jednostavno povezivanje s poslužiteljima, kojih je već puno (više od jedne stotine) i pretraživanje miliona unaprijed spremljenih RDP prečaca bilo je izuzetno nezgodno. Trebao nam je alat. Postoji softver na internetu koji predstavlja nešto poput adresara za takva RDP povezivanja, ali nisu integrirani sa sustavom nadzora, i računi se ne mogu sačuvati. Svaki put unositi račune za različite klijente je pravi pakao, kada se u jednom danu povežete više od desetak puta na različite poslužitelje. Sa SSH-om je situacija malo bolja, postoji mnogo dobrog softvera koji omogućava organiziranje takvih veza po mapama i pamćenje računa za njih. No postoje 2 problema. Prvi — nismo pronašli jedinstveni program za RDP i SSH veze. Drugi — ako u nekom trenutku nisam za svojim računalom i trebam se brzo povezati, ili jednostavno ponovo instaliram sustav, morat ću pregledavati dokumentaciju da bih vidio račun od tog klijenta. To je nelagodno i gubitak vremena.

Potrebna nam je hijerarhijska struktura prema poslužiteljima klijenata već bila prisutna u našem internom proizvodu. Trebalo je samo smisliti kako tamo dodati brze veze na potrebnu opremu. Za početak, barem unutar vlastite mreže.

S obzirom na to da je klijent u našem sustavu bio preglednik koji nema pristup lokalnim resursima računala, kako bi jednostavno pokrenuo potrebnu aplikaciju, osmišljen je način kako to ostvariti kroz "Windows custom url scheme". Tako je nastao svojevrsni "plugin" za naš sustav, koji je u svoj sastav uključivao Putty i Remote Desktop Plus i prilikom instalacije jednostavno registrirao URI shemu u Windowsu. Sada, kada smo željeli povezati se s objektom putem RDP-a ili SSH-a, jednostavno smo pokretali tu akciju u našem sustavu i aktivirala bi se Custom URI. Pokretao bi se standardni mstsc.exe ugrađen u Windows ili putty, koji je dolazio kao dio "plugina". Stavljam riječ plugin u navodnike, jer to nije klasičan browser plugin.

To je već bilo nešto. Praktična adresna knjiga. A što se tiče Putty-a, sve je bilo savršeno, kao ulazne parametre moglo se unijeti i IP adresa za povezivanje, kao i korisničko ime i lozinka. Dakle, na Linux poslužitelje u našoj mreži povezivali smo se jednim klikom bez unosa lozinki. No, s RDP-om situacija nije bila tako jednostavna. U standardnom mstsc-u nije bilo moguće unijeti korisničke podatke kao parametre. U pomoć je došao Remote Desktop Plus. On je omogućio to. Sada se već snalazimo bez njega, ali dugo je bio pouzdan pomoćnik u našem sustavu. S HTTP(S) web stranicama sve je jednostavno, takvi objekti jednostavno su se otvarali u pregledniku i to je to. Praktično i korisno. No, to je bila sreća samo unutar interne mreže.

Budući da smo većinu problema rješavali udaljeno iz ureda, najjednostavnije je bilo postaviti VPN-ove do klijenata. Tada smo se iz našeg sustava mogli povezivati i s njima. No, i dalje je bilo pomalo nezgodno. Za svakog klijenta trebalo je na svakom računalu imati gomilu spremljenih VPN veza i prije povezivanja na bilo koju od njih, trebalo je uključiti odgovarajući VPN. Ovu smo opciju koristili dovoljno dugo. No, broj klijenata se povećavao, broj VPN-ova također, i sve to počelo je postajati problematično, a nešto se moralo poduzeti. Osobito su suze bile u očima nakon ponovne instalacije sustava, kada je trebalo ponovo unositi desetke VPN veza u novom profilu Windowsa. Dosta je toga, rekoh i počeh razmišljati što se s tim može učiniti.

Postalo je uobičajeno da su svi klijenti koristili uređaje poznate marke Mikrotik kao rutere. Oni su vrlo funkcionalni i praktični za gotovo bilo koju vrstu zadatka. Od nedostataka — lako ih je "ukrasti". Ovaj problem smo jednostavno riješili tako što smo zatvorili sve vanjske pristupe. No, trebalo je pronaći način da im pristupimo bez dolaska kod klijenta, jer to traje dugo. Jednostavno smo svaki takav Mikrotik povezali putem tunela i odvojili ih u poseban pool, bez ikakve rutiranja, kako ne bismo spojili našu mrežu s mrežama klijenata i međusobno između njihovih mreža.

Pojavila se ideja da se, kada kliknem na potrebni objekt u sustavu, središnji monitoring server, znajući korisničke naloge za SSH svih klijentskih Mikrotika, spoji na potreban uređaj, stvoriti pravilo preusmjeravanja do odgovarajućeg hosta s potrebnim portom. Ovdje odmah imamo nekoliko aspekata. Rješenje nije univerzalno — radit će samo za Mikrotik, budući da je sintaksa naredbi različita za sve rutere. Također, takva preusmjeravanja kasnije je trebalo na neki način ukloniti, a serverska komponenta našeg sustava u suštini nije mogla pratiti jesam li završio svoju RDP sesiju. A takvo preusmjeravanje predstavlja sigurnosni propust za klijenta. I nismo se ni trudili za univerzalnost, budući da se proizvod koristio isključivo unutar naše tvrtke i nikada nismo razmišljali o njegovom izlaganju javnosti.

Svaki od problema je riješen na svoj način. Kada se pravilo stvorilo, to je preusmjeravanje bilo dostupno samo za jednu određenu vanjsku IP adresu (s koje je bilo inicirano povezivanje). Tako smo uspjeli izbjeći sigurnosne rupe. No, pri svakom takvom povezivanju, dodavalo se pravilo na Mikrotik u stranicu NAT-a i nije se brisalo. Već je opće poznato da što je više pravila, to više opterećuje procesor rutera. Također, nisam mogao prihvatiti da ću jednom ući na neki Mikrotik, a tamo naći stotine mrtvih, nikome potrebnih pravila.

Budući da naš server ne može pratiti status veze, neka mikrotik prati sam. I napisao sam skriptu koja neprekidno prati sva pravila prosljeđivanja s određenim opisom (description) i provjerava postoji li TCP veza koja odgovara tom pravilu. Ako nije bilo takve veze već neko vrijeme, vjerojatno je veza već prekinuta i to pravilo se može ukloniti. Sve je ispalo, skripta je dobro radila.

Usput, evo je:

global atmonrulecounter {"dontDelete"="dontDelete"}
:foreach i in=[/ip firewall nat find comment~"atmon_script_main"] do={ 
	local dstport [/ip firewall nat get value-name="dst-port" $i]
	local dstaddress [/ip firewall nat get value-name="dst-address" $i]
	local dstaddrport "$dstaddress:$dstport"
	#log warning message=$dstaddrport
	local thereIsCon [/ip firewall connection find dst-address~"$dstaddrport"]
	if ($thereIsCon = "") do={
		set ($atmonrulecounter->dstport) ($atmonrulecounter->dstport + 1)
		#:log warning message=($atmonrulecounter->dstport)
		if (($atmonrulecounter->dstport) > 5) do={
			#log warning message="Uklanjanje nat pravila dodanih automatski od atmon_script"
			/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_main_$dstport"]
			/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_sub_$dstport"]
			set ($atmonrulecounter->dstport) 0
		}
	} else {
		set ($atmonrulecounter->dstport) 0
	}
}

Sigurno ga je bilo moguće napraviti ljepšim, bržim itd., ali je radio, nije opterećivao mikrotike i odlično je funkcionirao. Napokon smo se mogli povezati sa serverima i mrežnom opremom klijenata jednostavno jednim klikom miša. Bez podizanja VPN-a i unošenja lozinki. Razvijanje sistema postalo je jako praktično. Vrijeme za održavanje se skratilo, a svi smo trošili vrijeme na rad, a ne na povezivanje s potrebnim objektima.

Backup Mikrotik

Imali smo podešen backup svih mikrotika na FTP. I generalno, sve je bilo u redu. No kada je trebalo doći do backup-a, morali smo otvoriti taj FTP i tražiti ga tamo. Imamo sistem gdje su svi ruteri evidentirani, znamo komunicirati s uređajima preko SSH-a. Zašto ne bismo napravili da sistem automatski svakodnevno povlači backup-e sa svih mikrotika, pomislio sam. I počeo sam realizirati. Povezali smo se, napravili backup i preuzeli ga u skladište.

PHP skript za preuzimanje backupa s mikrotika:

<?php

	$IP = '0.0.0.0';
	$LOGIN = 'admin';
	$PASSWORD = '';
	$BACKUP_NAME = 'test';

    $connection = ssh2_connect($IP, 22);

    if (!ssh2_auth_password($connection, $LOGIN, $PASSWORD)) exit;

    ssh2_exec($connection, '\/system backup save name="atmon" password="atmon"');
    stream_get_contents($connection);
    ssh2_exec($connection, '\/export file="atmon.rsc"');
    stream_get_contents($connection);
    sleep(40); \/\/ Waiting bakup makes

    $sftp = ssh2_sftp($connection);

    \/\/ Download backup file
    $size = filesize("ssh2.sftp:\/$sftp\/atmon.backup");
    $stream = fopen("ssh2.sftp:\/$sftp\/atmon.backup", 'r');
    $contents = '';
    $read = 0;
    $len = $size;
    while ($read < $len && ($buf = fread($stream, $len - $read))) {
        $read += strlen($buf);
        $contents .= $buf;
    }
    file_put_contents ($BACKUP_NAME . ‘.backup’,$contents);
    @fclose($stream);

    sleep(3);
    \/\/ Download RSC file
    $size = filesize("ssh2.sftp:\/$sftp\/atmon.rsc");
    $stream = fopen("ssh2.sftp:\/$sftp\/atmon.rsc", 'r');
    $contents = '';
    $read = 0;
    $len = $size;
    while ($read

Backup se snima u dva oblika — binarna datoteka i tekstualna konfiguracija. Binarna datoteka omogućava brzo vraćanje potrebne konfiguracije, dok tekstualna pomaže razumjeti što trebate učiniti ako dođe do nužne zamjene opreme i binarno ne možete prenijeti. Na kraju smo dobili još jednu korisnu funkcionalnost u sustavu. Štoviše, prilikom dodavanja novih mikrotika nije bilo potrebno ništa postavljati, jednostavno je dodan objekt u sustav i dodijeljeni su mu SSH podaci. Sustav se zatim sam brinuo o snimanju sigurnosnih kopija. U trenutnoj verziji SaaS Veliam, ova funkcionalnost još nije dostupna, ali ćemo je uskoro prenijeti.

Ekran slike kako je to izgledalo u unutarnjem sustavu
Iz outsourcinga u razvoj (Dio 1)

Prijelaz na pravilan pohranu u bazi podataka

Već sam spomenuo kako su se pojavili artefakti. Ponekad je jednostavno nestao cijeli popis objekata u sustavu, a ponekad prilikom uređivanja objekta, informacije se nisu spremale i morali smo tri puta preimenovati objekt. To je strašno iritiralo sve. Nestajanje objekata događalo se rijetko i lako se obnavljalo vraćanjem tog istog datoteke, ali je kvar prilikom uređivanja objekata bio učestao. Vjerojatno nisam to izvorno napravio preko Baze podataka jer mi nije bilo jasno kako držati drvo sa svim vezama u ravnoj tablici. Ona je ravna, a drvo je hijerarhijsko. No, dobro rješenje za višestruki pristup, a kasnije (uz složenije sustave) i transakcijski — to su baze podataka. Sigurno nisam prvi koji se suočava s ovim problemom. Počeo sam tražiti na Googleu. Ispostavilo se da je već sve izumljeno prije mene i postoje nekoliko algoritama koji grade drvo iz ravne tablice. Pogledavši svaki od njih, implementirao sam jedan. No, to je već bila nova verzija sustava, jer je zapravo zbog toga bilo potrebno prepisati vrlo mnogo. Rezultat je bio očit, problemi nasumičnog ponašanja sustava su nestali. Netko bi mogao reći da su greške prilično amaterske (jednoprocessni skripti, pohrana informacija za koje je bio višestruki simultani pristup iz različitih tokova u datoteci itd.) u području razvoja softvera. Možda i jesu, ali moj glavni posao bio je administracija, a programiranje je bilo sporedno za dušu, i jednostavno nisam imao iskustva u radu u timu programera, gdje bi mi takve osnovne stvari odmah naglasili stariji kolege. Stoga, sve te pogreške sam učinio sam, ali jako dobro sam savladao gradivo. A osim toga, moje poslovanje uključuje i susrete s klijentima, i aktivnosti usmjerene na pokušaje promocije firme, i hrpu administrativnih pitanja unutar kompanije i mnogo, mnogo drugih stvari. No, kako god, to što je već bilo — bilo je traženo. Momci i ja smo sami koristili proizvod u svakodnevnom radu. Bilo je i otvoreno neuspješnih ideja, i rješenja na koja je potrošeno vrijeme, a na kraju se pokazalo da je to neupotrebljiv alat i nitko ga nije koristio i nije ušao u Veliam.

Služba podrške — HelpDesk

Nije naodmet spomenuti kako se formirao HelpDesk. To je zapravo posebna priča, jer je u Veliamu to već treća potpuno nova verzija, koja se razlikuje od svih prethodnih. Sada je to jednostavan sustav, intuitivan bez suvišnih detalja i finih dodataka, s mogućnošću integracije s domenom, kao i pristupom istom korisničkom profilu s bilo kojeg mjesta putem poveznice iz e-maila. I što je najvažnije, postoji mogućnost da se iz bilo koje točke (bilo da sam kod kuće ili u uredu) povežem s podnositeljem zahtjeva putem VNC izravno iz zahtjeva, bez VPN-a ili prosljeđivanja portova. Ispričat ću vam kako smo došli do toga, što je bilo prije i koja su strašna rješenja postojala.

Povezivali smo se s korisnicima preko svima poznatog TeamViewera. Na svim računalima korisnika koje opslužujemo je instaliran TV. Prvo što smo učinili krivo i što smo kasnije uklonili - vezivanje svakog klijenta na hardver. Kako je korisnik ulazio u HD sustav da bi ostavio zahtjev? Na svim računalima, osim TV-a, bila je instalirana posebna utilitarna aplikacija napisana u Lazarusu (mnogi će se čuditi, a možda i početi googlati što je to, no najbolje što sam znao među kompajlabilnim jezicima bio je Delphi, a Lazarus je skoro isto, samo besplatno). Uglavnom, korisnik je pokretao svoju posebnu skriptu koja je pokretala ovu aplikaciju, a ona je s druge strane očitala HWID sustava i nakon toga bi se pokrenuo preglednik i došlo bi do autorizacije. Zašto je to bilo učinjeno? U nekim tvrtkama, broj korisnika koji se opslužuju broji se pojedinačno, a cijena usluge za svaki mjesec formira se prema broju korisnika. To je jasno, reći ćete, ali zašto vezivanje na hardver? Vrlo jednostavno, neki pojedinci su dolazili kući i slali zahtjev s kućnog laptopa u stilu "uradite mi ovdje sve lijepo". Osim očitavanja HWID sustava, aplikacija je također izvlačila trenutni ID TeamViewer-a iz registra i također ga prenosila nama. TeamViewer ima API za integraciju, a mi smo napravili tu integraciju. No, postojala je jedna zamka. Kroz taj API nije moguće povezati se s računalom korisnika kada on jasno ne inicira tu sesiju i nakon pokušaja povezivanja, mora još pritisnuti "potvrdi". U to vrijeme nam se činilo logičnim da bez pitanja korisnika nitko ne bi trebao biti povezan, a s obzirom na to da osoba sjedi za računalom, ona također inicira sesiju i afirmativno odgovara na zahtjev za daljinsko povezivanje. Ipak, sve je ispalo drugačije. Podnositelji zahtjeva su zaboravljali pritisnuti inicijaciju sesije i morali smo im to govoriti u telefonskom razgovoru. To je trošilo vrijeme i nerviralo obje strane procesa. Štoviše, nije rijetkost da osoba ostavi zahtjev, ali dopušta povezivanje tek kada ode na ručak. Budući da problem nije kritičan, ne želi da mu se radni proces prekida. Stoga neće pritisnuti nikakve gumbe za dopuštanje povezivanja. Tako se pojavio dodatni funkcionalnost tijekom autorizacije u HelpDesk-u - očitavanje ID-a TeamViewer-a. Znali smo stalnu lozinku koja se koristi tijekom instalacije TeamViewer-a. Točnije, to je znala samo sustav, jer je bila ugrađena u instalacijski paket, kao i u naš sustav. Prema tome, postojala je gumb za povezivanje iz zahtjeva, koji je, kada se pritisne, odmah otvorio TeamViewer i uspostavio vezu. Na kraju, razvila su se dva tipa mogućih povezivanja. Kroz službeni TeamViewer API i naš homemade. Na moje iznenađenje, prvi su skoro odmah prestali koristiti, iako je bilo upute koristiti ga samo u posebnim slučajevima i kada korisnik sam to odobri. Ipak, sigurnost se danas mora garantirati. No, ispada da podnositeljima zahtjeva to nije potrebno. Oni su sasvim u redu s tim da im se povezuju bez gumba za potvrdu. I tako, daljnji funkcionalnost povezivanja kroz API je ukinut zbog nepotrebnosti.

Prijelaz na višenitnost u Linuxu

Već odavno se postavlja pitanje ubrzanja prolaska mrežnog skeneru u smislu otvorenosti unaprijed određenog popisa portova i jednostavno pingiranje mrežnih objekata. Prvo rješenje koje pada na pamet je višenitnost. Budući da većina vremena koju troši pingač čeka na povratak paketa, a sljedeći ping ne može početi dok se prethodni paket ne vrati, u kompanijama s više od 20 poslužitelja plus mrežne opreme, to je već radilo prilično sporo. Suština je u tome što jedan paket može i nestati, ne biste odmah trebali obavijestiti sistemskog administratora. On brzo prestaje obraćati pažnju na takav spam. To znači da je potrebno pingati svaki objekt nekoliko puta prije nego što se zaključi o njegovoj nedostupnosti. Ako ne ulazimo previše u detalje, potrebno je paralelizirati, jer ako to ne učinite, najvjerojatnije će sistemski administrator saznati o problemu od klijenta, a ne od sustava nadzora.

PHP sam po sebi ne podržava višenitnost iz kutije. Podržava višenitnost, možete forkati. No, već sam imao napisan mehanizam za anketiranje i želio sam učiniti da jedanput pročitam sve potrebne čvorove iz baze podataka, pingam sve odmah, čekam odgovor od svakog i tek nakon toga odmah bilježim podatke. To štedi na broju zahtjeva za čitanje. U ovu ideju savršeno se uklapala višenitnost. Za PHP postoji PThreads modul, koji omogućava pravu višenitnost, iako je trebalo puno rada kako bi se to postavilo na PHP 7.2, ali posao je obavljen. Skeniranje portova i ping postali su brzi. Umjesto, primjerice, 15 sekundi za krug ranije, sada je na ovaj proces odlazilo 2 sekunde. To je bio dobar rezultat.

Brza revizija novih kompanija

Kako je nastala funkcionalnost za prikupljanje različitih metrika i karakteristika hardvera? Sve je jednostavno. Ponekad naručujemo samo audit trenutne IT infrastrukture. Također je potrebno isto to za ubrzanje provođenja audita novog klijenta. Trebalo je nešto što će omogućiti brz ulazak u srednju ili veliku kompaniju i brzo orijentisanje u onome što uopće imaju. Ping u unutarnjoj mreži blokiraju, po mom mišljenju, samo oni koji sebi žele otežati život, i takvih po našem iskustvu ima malo. No, i takvi se sreću. U skladu s tim, možemo brzo skenirati mreže radi pronalaženja uređaja jednostavnim pingom. Zatim ih možemo dodati i skenirati u potrazi za otvorenim portovima koji nas zanimaju. U suštini, ova funkcionalnost već je postojala, samo je bilo potrebno dodati komandu s centralnog servera na podređeni, kako bi taj skenirao zadane mreže i dodao u listu sve što pronađe. Zaboravio sam spomenuti, predviđeno je da već imamo gotov imidž s postavljenim sistemom (podređeni server za nadzor) koji smo mogli jednostavno postaviti klijentu prilikom audita i priključiti ga našem oblaku.

No rezultat auditorija obično uključuje puno različitih informacija, a jedna od njih je — koja su to uređaji na mreži. Prvo su nas zanimali Windows serveri i radne stanice Windows unutar domene. U srednjim i velikim kompanijama odsustvo domene je vjerojatno iznimka od pravila. Da bismo govorili istim jezikom, prosječna, u mom poimanju, to je 100+ ljudi. Trebalo je pronaći način kako prikupiti podatke sa svih Windows strojeva i servera, znajući njihove IP adrese i račun domenskog administratora, ali bez instaliranja nekog softvera na svaki od njih. Tu na pomoć dolazi WMI sučelje. Windows Management Instrumentation (WMI) doslovno se prevodi kao alati za upravljanje Windowsom. WMI je jedna od osnovnih tehnologija za centralizirano upravljanje i praćenje rada različitih dijelova računalne infrastrukture koja se upravlja putem Windows platforme. Učeno iz wikipedije. Nakon toga, opet je trebalo malo vremena da se prikupi wmic (to je WMI klijent) za Debian. Nakon što je sve bilo spremno preostalo je samo ispitivati potrebne čvorove putem wmica za potrebne informacije. Putem WMI-a može se dobiti gotovo svaka informacija s Windows računala, a još više, kroz njega se može i upravljati računalom, na primjer, poslati ga na ponovno pokretanje. Tako se počelo prikupljati informacije o Windows stanicama i serverima u našoj sustavu. Uz to su dolazile i trenutne informacije o trenutnim pokazateljima opterećenja sustava. Njih tražimo češće, a informacije o hardveru rjeđe. Nakon toga je provođenje auditorija postalo malo ugodnije.

Odluka o distribuciji softvera

Sami svakodnevno koristimo sustav, i uvijek je otvoren za svakog tehničkog zaposlenika. Pomislili smo da bismo mogli podijeliti s drugima ono što već imamo. Sustav još nije bio spreman za distribuciju. Trebalo je preraditi mnogo toga, kako bi lokalna verzija postala SaaS. To su promjene u različitim tehničkim aspektima rada sustava (udaljene veze, služba podrške), analiza modula u vezi s licenciranjem, shardiranje baza podataka klijenata, skaliranje svake od usluga, i razvoj sustava za automatska ažuriranja za sve dijelove. No o tome će biti drugi dio članka.

Ažurirajte

Drugi dio

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster