Tere kĂ”igile, minu nimi on Sergei EmeljanÄik. Olen ettevĂ”tte Audit-Telecom juht, peaarendaja ja sĂŒsteemi Veliam autor. Otsustasin kirjutada artikli sellest, kuidas me sĂ”braga loomineoutsourcing ettevĂ”te, kirjutasime tarkvara enda tarbeks ja hiljem hakkasime seda kĂ”igile soovijatele jagama SaaS sĂŒsteemi kaudu. Kuidas ma absoluutelt ei uskunud, et see on vĂ”imalik. Artiklis ei ole ainult lugu, vaid ka tehnilised detailid, kuidas Veliam toode loodi. Sealhulgas mĂ”ned algse koodi lĂ”igud. RÀÀgin, milliseid vigu me tegime ja kuidas me neid hiljem parandama pidime. Oli kahtlusi, kas sellist artiklit avaldada. Kuid mĂ”tlesin, et on parem seda teha, saada tagasisidet ja parandada end, kui mitte avaldada artiklit ja mĂ”elda, kuidas oleks olnud, kuiâŠ
Eellugu
Töötasin ĂŒhes ettevĂ”ttes IT töötajana. EttevĂ”te oli ĂŒsna suur ja keerulise vĂ”rgustruktuuriga. Ma ei kavatse peatuda oma ametikohtades, ĂŒtlen vaid, et need ei sisaldanud kindlasti millegi arendamist.
Meil oli jĂ€lgimine, kuid puhtast akadeemilisest huvist tahtsin proovida kirjutada oma lihtsaimat versiooni. Idee oli selline: soovisin, et see oleks veebis, et saaksin lihtsalt ilma kliendi installimiseks sisse logida ja vaadata, mis toimub vĂ”rgus igalt seadmelt, sealhulgas mobiilsetelt seadmetelt Wi-Fi kaudu, ning vĂ€ga soovisin kiiresti mĂ”ista, millises ruumis asub seade, mis "haigestus", kuna meil olid vĂ€ga ranged nĂ”uded reageerimise ajale sellistele probleemidele. LĂ”puks tekkis mul peas plaan kirjutada lihtne veebileht, mille taustaks oli JPEG, kus oli vĂ”rguskeem, lĂ”igata selle pildilt vĂ€lja seadmed koos nende IP aadressidega ja kuvada pildi peal Ă”igetes koordinaatides dĂŒnaamilist sisu rohelise vĂ”i vilkuva punase IP aadressina. Ălesanne on pĂŒstitatud, alustame.
Varem olin tegelenud programmeerimisega Delphi, PHP, JS ja vĂ€ga pinnapealselt C++. Tunnen ĂŒsna hĂ€sti vĂ”rkude tööd. VLAN, marsruutimine (OSPF, EIGRP, BGP), NAT. Seda oli piisavalt, et kirjutada primitiivse jĂ€lgimise prototĂŒĂŒp iseseisvalt.
Kirjutasin mĂ”eldud PHP-s. Apache server ja PHP olid Windowsis, kuna Linux oli mulle tol hetkel midagi arusaamatut ja vĂ€ga keerulist. Nagu selgus hiljem, eksisin ma tugevalt ja paljudes kohtades on Linux palju lihtsam kui Windows, aga see on eraldi teema ja me kĂ”ik teame, kui palju vaidlusi sellel teemal on. Windowsi ĂŒlesannete ajastaja kutsus vĂ€ikse intervalli jĂ€rel (tĂ€pselt ei mĂ€leta, aga midagi umbes ĂŒhte korda kolme sekundi jooksul) PHP skripti, mis kĂŒsis kĂ”ikidelt objektidelt banaalse pingi ja salvestas oleku faili.
system(âping -n 3 -w 100 {$ip_address}â);
Jah, andmebaasidega töötamine oli tol hetkel mulle ka veel tundmatu. Ma ei teadnud, et protsesse saab paralleelseks muuta ning lĂ€bitav aeg, et kĂŒlastada kĂ”iki vĂ”rgu sĂ”lmi, oli pikk, kuna see toimus ĂŒhes voos. Erinevad probleemid tekkisid siis, kui mitu sĂ”lme ei olnud saadaval, kuna igaĂŒhega viibis skript 300 ms. Klientpooles oli lihtne tsĂŒkliline funktsioon, mis paarisekundiliste intervallidega laadis uuendatud teavet serverist Ajax pĂ€ringuga ja uuendas liidest. Kui pĂ€rast kolme jĂ€rjestikust ebaĂ”nnestunud pingi katset, kui arvutis oli avatud veebileht jĂ€lgimiseks, mĂ€ngis tore meloodia.
Kui kĂ”ik Ă”nnestus, inspireeris mind tulemus vĂ€ga ning arvasin, et vĂ”iksin sinna veel lisada (oma teadmiste ja vĂ”imaluste tĂ”ttu). Kuid mulle ei ole kunagi meeldinud sĂŒsteemid, kus on miljon graafikut, mis, nagu ma siis arvasin, ja arvan siiani, on enamikul juhtudel tarbetud. Soovisin lisada ainult seda, mis minule töökorralduses tĂ”eliselt abiks oleks. See pĂ”himĂ”te kehtib siiani Veliam'i arendamise aluseks. SeejĂ€rel mĂ”istsin, et oleks vĂ€ga tore, kui ei peaks pidevalt vaatama seiret ja teadma probleemidest, vaid avaks lehe vaid siis, kui mingi probleem ilmneb, et vaadata, kus see probleemne vĂ”rgusĂ”lm asub ja mis edasi teha. Tol ajal ei lugenud ma e-kirju, ei kasutanud neid lihtsalt. JĂ”udsin internetis infoni, et on SMS-vĂ€ravad, kuhu saab saata GET vĂ”i POST pĂ€ringu, ja need saadavad mulle minu mobiiltelefonile SMS-i tekstiga, mille ma kirjutan. MĂ”istsin kohe, et seda ma soovin. Alustasin dokumentatsiooni uurimist. MĂ”ne aja pĂ€rast Ă”nnestus mul see, ja nĂŒĂŒd sain SMS-e vĂ”rgu probleemide kohta mobiltelefonile âkukkunud objektiâ nimega. Kuigi sĂŒsteem oli primitiivne, oli see minu poolt kirjutatud ja mis kĂ”ige tĂ€htsam, mis mind siis selle arendama motiveeris â see oli rakendusprogramm, mis aitas mind tĂ”eliselt töös.
Ja siis saabus pĂ€ev, mil töö juures kukkus ĂŒks internetiĂŒhendustest, kuid minu seire ei andnud mulle sellest mingeid teadmisi. Kuna Google'i DNS-id olid endiselt suurepĂ€raselt pingitavad. Aeg oli mĂ”elda, kuidas jĂ€lgida, et suhtluskanal töötab. Olin erinevaid ideid, kuidas seda teha. Mitte kĂ”ikidele seadmetele ei olnud mul ligipÀÀsu. Pidin vĂ€lja mĂ”tlema, kuidas mĂ”ista, milline kanal töötab, kuid samas ei olnud vĂ”imalik seda kuidagi vaadata reaalsetes vĂ”rguseadmetes. Siis pakkus kolleeg mĂ”tte, et vĂ”ib-olla vĂ”ib avalike serverite jĂ€lgimise jĂ€lgimine varieeruda selle jĂ€rgi, millise suhtluskanali kaudu praegu internetti sisenetakse. Kontrollisin, ja nii oligi. JĂ€lgimise korral olid erinevad marsruudid.
system(âtracert -d -w 500 8.8.8.8â);
Nii tekkis veel ĂŒks skript, tĂ€psemalt oli jĂ€lgimine mingil pĂ”hjusel lisatud selle sama skripti lĂ”ppu, mis pingis kĂ”iki seadmeid vĂ”rgus. See oli veel ĂŒks pikk protsess, mis toimus samas kĂ€igus ja pidurdas kogu skripti tööd. Kuid tol ajal ei olnud see nii ilmne. Nii vĂ”i naa, ta tegi oma tööd, koodis oli kindlalt mÀÀratud, milline jĂ€lgimine iga kanalil olema pidi. Nii hakkas tööle sĂŒsteem, mis jĂ€lgis (ĂŒlevaatus on tugev sĂ”na, kuna mingite mÔÔdikute kogumist ei olnud, lihtsalt ping) vĂ”rguseadmeid (ruuterid, lĂŒlitid, wi-fi jne) ja sidekanaleid vĂ€lismaailmaga. SMS-id saabusid regulaarselt ja skeemilt oli alati hĂ€sti nĂ€ha, kus oli probleem.
Edasi, igapĂ€evases töös tuli tegeleda ristmikega. Iga kord lĂŒlititelt Cisco seadmetele siseneda, et nĂ€ha, millist liidest kasutada, hakkas tĂŒĂŒtama. Kui tore oleks see, kui saaks monitorimisel objektile klikata ja nĂ€ha tema liideste nimekirja koos kirjeldustega. See sÀÀstaks mulle aega. Samuti ei oleks selle skeemi jĂ€rgi vaja kĂ€ivitada Putty vĂ”i SecureCRT, sisestada kasutajanimesid ja kĂ€ske. Lihtsalt klikiks monitorimisel, nĂ€eks, mis on vajalik, ja lĂ€heks enda tööd tegema. Hakkasin otsima, kuidas lĂŒlititega suhelda. Esmalt tuli kohe kaks varianti: SNMP vĂ”i siseneda lĂŒlitisse SSH kaudu, sisestada vajalikud kĂ€sud ja töödelda tulemust. SNMP jĂ€tsin kĂ”rvale teostuskeerukuse tĂ”ttu, mul oli tulemuse saamisega kiire. SNMP puhul peaksin pikka aega MIB-is kaevama, selle pĂ”hjal andmeid liideste kohta genereerima. Cisco-s on suurepĂ€rane kĂ€sk,
show interface statusSee, that's exactly what I need for cross-referencing. Why suffer with SNMP when I just want to see the output of this command, I thought. After a while, I implemented this feature. I clicked on the object on the web page. An event triggered that made the client send an AJAX request to the server, which then connected via SSH to the required switch (the credentials were hardcoded, I didnât want to bother beautifying it, creating some separate menus where I could change credentials from the interface; I just needed the result quickly) entered the aforementioned command there and sent it back to the browser. This way, I started to see interface information with a single mouse click. It was extremely convenient, especially when I had to check this information on different switches at the same time.
Monitoring channels based on tracing turned out to be not the best idea, as sometimes work was being done on the network, and the tracing could change, causing the monitoring to scream at me that there were problems with the channel. But after spending a lot of time analyzing, I realized that all channels were working, and my monitoring was misleading me. In the end, I asked colleagues who managed the channel-forming switches to just send me syslog when the visibility status of neighbors changed. Accordingly, this was much simpler, faster, and more truthful than tracing. When an event like 'neighbor lost' occurred, I would immediately trigger an alert about the channel drop.
Next, outputs for clicking on the object appeared with several more commands, and SNMP was added for collecting some metrics, and that was essentially it. The system did not evolve further. It did everything I needed; it was a good tool. Many readers might say that thereâs a ton of software online for these tasks already. But in reality, I couldn't find any free products back then, and I was eager to develop my programming skills, and what could be better for that than a real practical task? So, the first version of the monitoring was completed and was no longer modified.
Establishing the company Audit-Telecom
Aeg lĂ€ks edasi ja ma hakkasin teiste ettevĂ”tetes kĂ”rvaltegevusi tegema, kuna minu töögraafik vĂ”imaldas seda. Erinevates ettevĂ”tetes töötades kasvavad oskused kiiresti ja silmaring areneb hĂ€sti. On olemas ettevĂ”tteid, kus, nagu öeldakse, oled sa kĂ”ikehĂ”lmav spetsialist. Ăhelt poolt on see keeruline, teisalt, kui mitte laisk olla, saad laia profiiliga spetsialistiks ja see vĂ”imaldab kiiremini ja tĂ”husamalt ĂŒlesandeid lahendada, sest tead, kuidas kĂŒlgne ala töötab.
Minu sĂ”ber Pavel (ka IT-ettevĂ”tja) ĂŒritas pidevalt mind oma Ă€ri looma innustada. Olid hulgaliselt ideid erinevate Ă€ri variantide kohta. Seda arutati mitmeid aastaid. LĂ”ppkokkuvĂ”ttes ei viinud see kuhugi, kuna olin skeptik ja Pavel unistaja. Iga kord, kui ta mĂ”ne idee pakkus, ei uskunud ma sellesse kunagi ja keeldusin osalemast. Kuid vĂ€ga tahtsime oma Ă€ri avada.
LĂ”puks suutsime leida mĂ”lemaid rahuldava variandi ja hakata tegema seda, milles oleme head. 2016. aastal otsustasime luua IT-ettevĂ”tte, mis aitaks Ă€ri IT-ĂŒlesannete lahendamisel. See hĂ”lmab IT-sĂŒsteemide (1C, terminaliserver, meiliserver jms) juurutamist, nende tuge, klassikalist kasutajatoe teenust ja vĂ”rgu haldamist.
Austatud öeldes, kui ettevĂ”te loodi, ei uskunud ma sellesse umbes 99,9%. Kuid mingil moel suutis Pavel mind proovima panna, ja tagasi vaadates, tal oli Ă”igus. Me panime Pavliga kokku 300 000 rubla, registreerisime uue OĂ "Audit-Telecom", rentisime pisikese kontori, tegime Ă€gedaid visiitkaarte, no, ĂŒldiselt nagu enamus kogenematuid, alustavaid ettevĂ”tjaid, ja hakkasime kliente otsima. Klientide otsimine on tĂ€iesti eraldi lugu. VĂ”ib-olla kirjutame me selle kohta eraldi artikli meie ettevĂ”tte blogis, kui kellelegi huvi pakub. KĂŒlmkĂ”ned, flaierid ja muu. See ei andnud mingeid tulemusi. Nagu ma nĂŒĂŒd loen, sĂ”ltub paljuski kohati vedamisest. Meil vedas. Ja vaid paar nĂ€dalat pĂ€rast ettevĂ”tte loomist pöördus meie poole minu vend Vladimir, kes tĂ”i meile esimese kliendi. Ei taha teid tĂŒĂŒdata detailidega töö tegemisest klientidega, artikkel ei ole sellest, ĂŒtleksin vaid, et kĂ€isime auditis, tuvastasime kriitilised kohad ja need kohad purunesid, kui tehti otsust, kas teha meiega pidevat koostööd allhanke kaudu. PĂ€rast seda tehti kohe positiivne otsus.
SeejĂ€rel, peamiselt kuulujuttude kaudu tuttavate kaudu, hakkasid ilmuma ka teised teenindatavad ettevĂ”tted. Helpdesk oli ĂŒhes sĂŒsteemis. Ăhendused vĂ”rgu- ja serveriseadmestiku juurde olid teises, vĂ”i Ă”igemini, kes kuidas. Keegi salvestas otseteed, keegi kasutas RDP aadressiraamatuid. JĂ€lgimine oli veel ĂŒks eraldi sĂŒsteem. Meeskonnal töötada killustunud sĂŒsteemides on vĂ€ga ebamugav. Oluline teave kaob silmist. NĂ€iteks, kui kliendi terminserver hakkas kĂ€ttesaamatuks muutuma. Koheselt tulevad taotlused selle kliendi kasutajatelt. Toetuste spetsialist avab taotluse (see received telefonitsi). Kui juhtumid ja taotlused registreeritaks ĂŒhes sĂŒsteemis, siis saaks tugimĂŒĂŒja kohe nĂ€ha, mis probleem kasutajal on ja rÀÀgiks sellest, samal ajal juba ĂŒhendudes vajaliku objektiga olukorra lahendamiseks. KĂ”ik on teadlikud taktikalistest olukordadest ja töötavad koordineeritult. Me ei leidnud sellist sĂŒsteemi, kus kĂ”ik see oleks ĂŒhendatud. Sai selgeks, et on aeg teha oma toode.
Töö jĂ€tkumine oma jĂ€lgimissĂŒsteemi kallal
Selge oli, et varasemalt kirjutatud sĂŒsteem ei sobinud praeguste ĂŒlesannete jaoks ei funktsionaalsuse ega kvaliteedi poolest. Seega otsustati kirjutada sĂŒsteem nullist. Visuaalselt pidi see vĂ€lja nĂ€gema tĂ€iesti erinev. See pidi olema hierarhiline sĂŒsteem, et saaks kiiresti ja mugavalt avada vajaliku objekti vajaliku kliendi juures. Esimese versiooni skeem ei olnud antud juhul ĂŒldse pĂ”hjendatud, kuna kliendid on erinevad ja ei olnud oluline, millistes ruumides seadmed asuvad. See oli juba dokumentatsiooni peale pandud.
Nii et ĂŒlesanded:
- Hierarhiline struktuur;
- Mingisugune serveriosamoodul, mille saab kliendi juures paigutada virtuaalmasina kujul, et koguda vajalikud mÔÔdikud ja saata need keskserverisse, mis kÔik kokku kogub ja meile nÀitab;
- Teavitused. Sellised, mida ei saa vahele jÀtta, kuna sel hetkel ei olnud kedagi, kes lihtsalt monitori jÀlgiks;
- KinnitusĂŒsteem. Alguses hakkasid ilmuma kliendid, kellele me hooldasime mitte ainult serveri- ja vĂ”r equipments, vaid ka tööjaamu;
- VĂ”ime kiiresti ĂŒhenduda serverite ja seadmetega sĂŒsteemist;
Ălesanded pĂŒstitatud, hakkame kirjutama. Samal ajal töötame klientide taotlustega. Sel hetkel olime juba 4 inimest. Alguses hakkasime kirjutama mĂ”lemat osa: keskserverit ja serverit klientide paigaldamiseks. Selleks ajaks ei olnud Linux meile enam vÔÔras ja oli otsustatud, et virtuaalmasinad, mis on klientide juures, saavad olema Debianil. Ei mingeid installereid, lihtsalt teeme serveri osa projekti ĂŒhe kindla virtuaalmasina peal ja siis kloonime selle lihtsalt vajalikule kliendile. See oli jĂ€rjekordne viga. Hiljem sai selgeks, et sellises skeemis ei olnud uuenduste mehhanism tĂ€ielikult lĂ€bimĂ”eldud. See tĂ€hendab, et me lisasime mĂ”ne uue funktsiooni, aga hiljem oli probleem selle levitamisega kĂ”ikidele kliendi serveritele, aga rÀÀkime sellest hiljem, kĂ”ik omas jĂ€rjekorras.
Tegime esimesed prototĂŒĂŒbid. See suutis pingida meie klientide vajalikke vĂ”rguseadmeid ja servereid ning saata need andmed meie keskserverisse. See omakorda uuendas neid andmeid keskserveris olevas ĂŒldmasinas. Siin kirjutan ma mitte ainult loo sellest, kuidas ja mis Ă”nnestus, vaid ka millised amatöörvead tehti ja kui palju aega selle eest hiljem maksta tuli. Nii et, kogu objektide puu hoiti ĂŒhes ainsas failis serialiseeritud objektina. Kui me sĂŒsteemi ĂŒhendame paar klienti, oli kĂ”ik enam-vĂ€hem normaalne, kuigi aeg-ajalt esines mĂ”ningaid artefakte, mis olid tĂ€iesti arusaamatud. Kuid kui me ĂŒhendame sĂŒsteemi tosin serverit, hakkasid toimuma imed. Vahel, arusaamatul pĂ”hjusel, kadusid kĂ”ik objektid sĂŒsteemist lihtsalt. Siinkohal on oluline mĂ€rkida, et serverid, mis olid klientidel, saatsid andmeid keskserverisse iga paari sekundi tagant POST-pĂ€ringu kaudu. Tark lugeja ja kogenud programmeerija on juba arvanud, et probleemi pĂ”hjustas juurdepÀÀsu konflikt sama failile, kus hoiti serialiseeritud objekti paralleelsete lĂ”imede poolt. Ja just sel hetkel, kui see juhtus, ilmusid imed objektide kadumisega. Fail muutus lihtsalt tĂŒhjaks. Kuid see avastati mitte kohe, vaid alles siis, kui kasutati mitme serveriga. Sel ajal lisati portide skaneerimise funktsionaalne (serverid saatsid keskserverile mitte ainult teavet seadmete kĂ€ttesaadavuse kohta, vaid ka avatud sadamate kohta). See tehti kĂ€su kutsumise teel:
$connection = @fsockopen($ip, $port, $errno, $errstr, 0.5);
tulemused olid sageli vale ja skaneerimine kestis vÀga kaua. TÀiesti unustasin pingimise, see toimus fpingu kaudu:
system("fping -r 3 -t 100 {$this->ip}");
Ka see ei olnud paralleelne ja seetÔttu oli protsess vÀga pikaajaline. Hiljem sai fpingusse kohe edasi anda kogu loetelu vajalikest IP-aadressidest, mida kontrollida, ja tagasi saime valmis nimekirja nendest, kes vastasid. Erinevalt meist suutis fping protsesse paraleliseerida.
Teine tavaline igapĂ€evane ĂŒlesanne oli seadistada erinevaid teenuseid veebis. NĂ€iteks MS Exchange'i ECP. Tegelikult on see vaid link. Otsustasime, et peame saama lisada selliseid linke otse sĂŒsteemi, et mitte otsida dokumentatsioonist vĂ”i kuskil jĂ€rjehoidjatest, kuidas pÀÀseda konkreetse kliendi ECP-le. Nii tekkis mĂ”isted ressursslinkidele sĂŒsteemis, nende funktsionaalsus on saadaval ja pole ajaga muutunud, no peaaegu.
Ressursslinkide toimimine Veliamis

KaugĂŒhendused
Nii see vÀlja nÀeb praeguses Veliami versioonis

Ăheks ĂŒlesandeks oli kiire ja mugav ĂŒhendamine serveritega, mida on juba palju (mitu sada), ja miljoneid eelnevalt salvestatud RDP otsettehti sirvida on ÀÀrmiselt ebamugav. Vajasime tööriista. Internetis on tarkvara, mis esindab midagi nagu RDP ĂŒhenduste adresseerimisraamat, kuid need pole integreeritud jĂ€lgimisse sĂŒsteemi ning kontosid ei saa salvestada. Iga kord erinevate klientide jaoks kontode sisestamine on tĂ”eline pĂ”rgu, kui pĂ€evas ĂŒhendate mitu korda erinevatele serveritele. SSH-ga on asjad veidi paremad, on palju head tarkvara, mis vĂ”imaldab selliseid ĂŒhendusi kaustades korraldada ja salvestada kontosid. Kuid on kaks probleemi. Esiteks â RDP ja SSH ĂŒhenduste jaoks ei leidnud me ĂŒhtset programmi. Teiseks â kui ma mingil hetkel ei viibi oma arvuti taga ja pean kiiresti ĂŒhenduma vĂ”i kui ma lihtsalt installisin sĂŒsteemi uuesti, pean ma vaatama dokumentatsioonist, et leida selle kliendi konto. See on ebamugav ja aja raiskamine.
Meie vajadustele vastav klientide serverite hierarhiline struktuur oli juba olemas meie siseproduktis. Oli vaja vaid mĂ”elda, kuidas luua kiireid ĂŒhendusi vajaliku varustusega. Alguses, vĂ€hemalt oma vĂ”rgu sees.
Arvestades, et meie sĂŒsteemis oli kliendiks brauser, mis ei pÀÀsenud kohalikele arvutiressurssidele, et lihtsalt mĂ”ne kĂ€suga vajalikku rakendust kĂ€ivitada, tuli vĂ€lja mĂ”elda, kuidas kĂ”ik teha Windowsi kohandatud URL-i skeemi kaudu. Nii tekkis mingi 'plugin' meie sĂŒsteemi, mis hĂ”lmas endas Puttyt ja Remote Desktop Plusi ning installimisel registreeris lihtsalt URI skeemid Windowsis. NĂŒĂŒd, kui soovisime RDP vĂ”i SSH kaudu objektiga ĂŒhendust luua, klĂ”psasime seda toimingut meie sĂŒsteemis ja kĂ€ivitati Kohandatud URI. KĂ€ivitati Windowsi integreeritud mstsc.exe vĂ”i putty, mis kuulus 'plugini' koostisosade hulka. Kasutan sĂ”na plugin kursi sees, sest see ei ole klassikalises mĂ”ttes brauseri plugin.
See oli juba vĂ€hemalt midagi. Mugav aadressiraamat. Eriti Putty puhul oli kĂ”ik vĂ€ga hea, kuna sellele vĂ”is sisse anda nii ĂŒhenduse IP-d, kasutajanime kui ka parooli. St, meie vĂ”rgu Linuxi serveritega saime nĂŒĂŒd juba ĂŒhe klikiga ĂŒhendust luua ilma paroolide sisestamiseta. Kuid RDP-ga ei olnud kĂ”ik nii lihtne. Tavalisse mstsc-sse ei saanud kasutajakontosid parameetritena anda. Appi tuli Remote Desktop Plus. See vĂ”imaldas seda teha. Praegu saame juba ilma selleta hakkama, kuid pikka aega oli see meie sĂŒsteemis usaldusvÀÀrne abimees. HTTP(S) saitide puhul oli kĂ”ik lihtne, sellised objektid avati lihtsalt brauseris ja kĂ”ik. Mugav ja praktiline. Kuid see oli Ă”nn vaid sisevĂ”rgus.
Kuna enamik probleeme lahendasime eemalt kontorist, oli kĂ”ige lihtsam teha VPN-e klientidele. Ja siis meie sĂŒsteemiga oli vĂ”imalik nendega ĂŒhendust luua. Kuid see oli ikkagi veidi ebamugav. Iga kliendi jaoks tuli igas arvutis hoida palju salvestatud VPN ĂŒhendusi ja enne millegagi ĂŒhenduse loomist tuli vastav VPN sisse lĂŒlitada. Sellist lahendust kasutasime ĂŒsna pikka aega. Kuid klientide arv kasvas, samuti VPN-ide arv ja see kĂ”ik hakkas tekitama pinget ning midagi tuli sellega ette vĂ”tta. Erakordselt tekitas pisarate voolu silmist pĂ€rast sĂŒsteemi uuesti installimist, kui tuli uuesti sisestada kĂŒmneid VPN-i ĂŒhendusi uude Windowsi profiili. Piisab kannatamisest, ĂŒtlesin ma ja hakkasin mĂ”tlema, mida sellega ette vĂ”tta.
On see nii, et kĂ”igil klientidel olid marsruuteriteks tuntud firma Mikrotiki seadmed. Need on ÀÀrmiselt funktsionaalsed ja mugavad enamikku ĂŒlesannete tĂ€itmiseks. Miinusteks on see, et neid âkaaperdatakseâ. Me lahendasime selle probleemi lihtsalt, sulgedes kĂ”ik vĂ€lised juurdepÀÀsud. Kuid oli vaja kuidagi neile ligipÀÀs saada, ilma et peaks kliendi juurde kohale minema, sest see kĂ€is liiga aeglaselt. Me tegime lihtsalt iga Mikrotiku juurde tunnelid ja eraldasime need eraldi puuli. Ilma igasuguse marsruutimiseta, et vĂ€ltida oma vĂ”rgu ja klientide vaheliste vĂ”rkude ĂŒhendamist.
KĂŒpses idee teha nii, et kui vajutan soovitud objekti sĂŒsteemis, keskserver, teades SSH kontosid kĂ”igi klientide Mikrotikide jaoks, ĂŒhenduks vajalikku seadmestiku, luues reegli portide suunamiseks soovitud hostile soovitud porti. Siit kerkib esile mitu punkti. Lahendus ei ole universaalne â see töötab ainult Mikrotikide puhul, kuna kĂ€susĂŒntaks on igal marsruuteril oma. Samuti tuli sellised suunamised hiljem kuidagi eemaldada, aga meie sĂŒsteemi serveripool ei saanud praktikas mingil viisil jĂ€lgida, kas lĂ”petasin RDP töö seansi. Ja selline suunamine on kliendi jaoks ohukoht. Me ei pĂŒĂŒdlenud universaalsuse poole, kuna toode kasutati ainult meie ettevĂ”ttes ja avalikku ei olnud plaanitud vĂ€lja viia.
Iga probleem lahendati omamoodi. Kui reegel loodi, oli see suunamine saadaval ainult ĂŒhe konkreetse vĂ€lise IP-aadressi jaoks (millelt ĂŒhendus algas). Nii Ă”nnestus vĂ€ltida turvaauke. Kuid iga sellise ĂŒhenduse korral lisati reegel Mikrotikule NAT lehele ning seda ei kustutatud. Ja kĂ”igile on teada, et mida rohkem on seal reegleid, seda rohkem koormab marsruuteri protsessorit. Ja laiemalt, ma ei suutnud aktsepteerida seda, et kunagi sisenen mĂ”nda Mikrotikusse ja seal on sadu surnud, kellelegi mittevajalikku reeglit.
Kuna meie server ei suuda ĂŒhenduse staatust jĂ€lgida, las Mikrotik jĂ€lgib neid ise. Kirjutasin skripti, mis pidevalt jĂ€lgis kĂ”iki edastamise reegleid kindla kirjeldusega (description) ja kontrollis, kas olemas on TCP ĂŒhendus sobiva reegli jaoks. Kui sellist ei olnud juba mĂ”nda aega, siis tĂ”enĂ€oliselt on ĂŒhendus lĂ”petatud ja edastus seda vĂ”ib eemaldada. KĂ”ik töötas hĂ€sti, skript töötas hĂ€sti.
Muide, siin see on:
global atmonrulecounter {"dontDelete"="dontDelete"}
:foreach i in=[/ip firewall nat find comment~"atmon_script_main"] do={
local dstport [/ip firewall nat get value-name="dst-port" $i]
local dstaddress [/ip firewall nat get value-name="dst-address" $i]
local dstaddrport "$dstaddress:$dstport"
#log warning message=$dstaddrport
local thereIsCon [/ip firewall connection find dst-address~"$dstaddrport"]
if ($thereIsCon = "") do={
set ($atmonrulecounter->$dstport) ($atmonrulecounter->$dstport + 1)
#:log warning message=($atmonrulecounter->$dstport)
if (($atmonrulecounter->$dstport) > 5) do={
#log warning message="Removing nat rules added automatically by atmon_script"
/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_main_$dstport"]
/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_sub_$dstport"]
set ($atmonrulecounter->$dstport) 0
}
} else {
set ($atmonrulecounter->$dstport) 0
}
}
Kindlasti oleks saanud selle ilusamaks, kiiremaks jne teha, kuid see töötas, ei koormanud Mikrotikke ja tĂ€itis ĂŒlesannet hĂ€sti. LĂ”puks saime serveritele ja klientide seadmetele ĂŒhendada lihtsalt ĂŒhe hiireklĂ”psuga. Ilma VPN-i tĂ”stmiseta vĂ”i salasĂ”nu sisestamata. SĂŒsteemiga oli tĂ”esti vĂ€ga mugav töötada. Aeg hooldamiseks vĂ€henes ja me kĂ”ik kulutasime aega tööle, mitte sellele, et vajalikesse objektidesse sisse logida.
Mikrotiki varukoopia
Meil oli seadistatud kĂ”igi Mikrotikute varukoopia FTP-sse. Ja ĂŒldiselt oli kĂ”ik hĂ€sti. Kuid kui varukoopia vĂ€lja vĂ”tta, pidi seda FTP-d avama ja seal otsima. SĂŒsteem, kuhu kĂ”ik ruuterid on registreeritud, on meil olemas, oleme seadmetega SSH kaudu suhtlemiseks osavad. Miks mitte teha nii, et sĂŒsteem kogub igapĂ€evaselt kĂ”igist Mikrotikest varukoopiaid, mĂ”tlesin ma. Ja asusin seda ellu viima. Ăhendasime, tegime varukoopia ja vĂ”tsime selle salvestusse.
PHP skripti kood Mikrotikust varukoopia tegemiseks:
<?php
$IP = '0.0.0.0';
$LOGIN = 'admin';
$PASSWORD = '';
$BACKUP_NAME = 'test';
$connection = ssh2_connect($IP, 22);
if (!ssh2_auth_password($connection, $LOGIN, $PASSWORD)) exit;
ssh2_exec($connection, '\/system backup save name="atmon" password="atmon"');
stream_get_contents($connection);
ssh2_exec($connection, '\/export file="atmon.rsc"');
stream_get_contents($connection);
sleep(40); \/\/ Waiting bakup makes
$sftp = ssh2_sftp($connection);
\/\/ Download backup file
$size = filesize("ssh2.sftp:\/$sftp\/atmon.backup");
$stream = fopen("ssh2.sftp:\/$sftp\/atmon.backup", 'r');
$contents = '';
$read = 0;
$len = $size;
while ($read < $len && ($buf = fread($stream, $len - $read))) {
$read += strlen($buf);
$contents .= $buf;
}
file_put_contents ($BACKUP_NAME . â.backupâ,$contents);
@fclose($stream);
sleep(3);
\/\/ Download RSC file
$size = filesize("ssh2.sftp:\/$sftp\/atmon.rsc");
$stream = fopen("ssh2.sftp:\/$sftp\/atmon.rsc", 'r');
$contents = '';
$read = 0;
$len = $size;
while ($read
Varundamine toimub kahes vormis â binaar ja tekstiline konfiguratsioon. Binaar aitab kiiresti vajalikku konfiguratsiooni taastada, samas kui tekstiline vĂ”imaldab mĂ”ista, mida teha, kui seadme kohustuslik vahetus toimub ja binaari sellele paigaldada ei saa. Tulemuseks saime sĂŒsteemis veel ĂŒhe mugava funktsionaalsuse. Samuti ei olnud uute mikrotikide lisamisel vaja midagi seadistada, lihtsalt lisasin objekti sĂŒsteemi ja mÀÀrasin SSH jaoks kasutaja. Edasi tegeles sĂŒsteem ise varundamise tegemisega. Praeguses SaaS Veliam versioonis seda funktsionaalsust veel ei ole, kuid pe soon portime selle.
Skrinshootid, kuidas see nĂ€gi vĂ€lja sise sĂŒsteemis

Ăleminek normaalsele andmebaasi hoidmisele
Olen juba kirjutanud, et ilmusid artefaktid. MĂ”nikord kadus lihtsalt kogu objektide nimekiri sĂŒsteemist, mĂ”nikord ei salvestatud objekti redigeerimisel teavet ja tuli objekti kolm korda ĂŒmber nimetada. See ajas kĂ”ik hulluks. Objektide kadumine toimus harva ja seda oli lihtne taastada selle faili taastamise teel, kuid objekti redigeerimise ebaĂ”nnestumisi juhtus tihti. TĂ”enĂ€oliselt, ma ei teinud seda algselt andmebaasi kaudu, sest ei suutnud mĂ”ista, kuidas hoida puu koos kĂ”igi suhetega tasapinnalises tabelis. See on ju tasapinnaline, aga puu on hierarhiline. Kuid hea lahendus mitme pÀÀsu jaoks ja hiljem (sĂŒsteemi keerulisemaks muutumisel) ka tehingute jaoks on andmebaas. Ma ei ole ilmselt esimene, kes selle probleemiga silmitsi seisab. LĂ€ksin Google'isse. Selgus, et kĂ”ik oli juba minu ees vĂ€lja mĂ”eldud ja mĂ”ned algoritmid, mis ehitavad puu tasapinnalisest tabelist, on juba olemas. Vaadates igaĂŒht, implementeerisin ĂŒhe neist. Kuid see oli juba sĂŒsteemi uus versioon, kuna pidin selle tĂ”ttu palju ĂŒmber kirjutama. Tulemus oli mÀÀratletud, sĂŒsteemi juhusliku kĂ€itumise probleemid kadusid. Keegi vĂ”ib öelda, et vead on ĂŒsna algelised (ĂŒhekiiruselised skriptid, teabe hoidmine, millele oli samal ajal mitme voolu kaudu juurdepÀÀs failis jne.) tarkvaraarenduse valdkonnas. VĂ”ib olla nii, aga minu peamine töö oli haldamine, ja programmeerimine oli hingele suunatud kĂ”rvaltegevus, ja mul polnud lihtsalt meeskonnas töötamise kogemust, kus sellised elementaarsed asjad oleks kohe vanemate kolleegide poolt vĂ€lja Ă”petatud. SeetĂ”ttu sain kĂ”ik need Ă”ppetunnid iseseisvalt, kuid Ă”ppisin materjali vĂ€ga hĂ€sti. Ja veel, minu töö on ka kohtumised klientidega, tegevused, mis on suunatud firma reklaamimisele, ja hulk haldusprobleeme ettevĂ”ttes ning palju muud. Kuid igal juhul oli see, mis oli, vĂ€ga nĂ”utud. Poiss ja mina kasutasime toodet igapĂ€evases töös. Oli ka ilmseid ebaĂ”nnestunud ideid, ja lahendusi, millele kulutati aega, kuid lĂ”puks selgus, et see on mittetöötav tööriist ja seda ei kasutatud ning see ei leidnud Veliamis kohta.
Klienditugi â HelpDesk
Ei oleks ĂŒleliigne mainida, kuidas HelpDesk loodi. See on tegelikult tĂ€iesti eraldi lugu, kuna Veliamis on see juba kolmas tĂ€iesti uus versioon, mis erineb kĂ”ikidest varasematest. Praegu on see lihtne sĂŒsteem, intuitiivselt arusaadav ilma liigsete funktsioonide ja kaunistusteta ning vĂ”imalusega integreeruda domeeniga ning pÀÀseda sellele samale kasutajaprofiilile igalt poolt lingi kaudu e-kirjast. Ja mis kĂ”ige olulisem, on vĂ”imalik igast kohast (kas kodust vĂ”i kontorist) ĂŒhendada taotlejat VNC kaudu otse taotlusest ilma VPN-i vĂ”i portide edasi suunamiseta. RÀÀgin, kuidas me selleni jĂ”udsime, mis enne seda oli ja millised kohutavad lahendused olid.
Me ĂŒhendusime kasutajatega tuntud TeamVieweri kaudu. KĂ”ikidel arvutitel, mida me haldasime, oli paigaldatud TV. Esimene vale samm, mille tegime ja hiljem kĂ”rvaldasime, oli iga kliendi sidumine riistvaraga. Kuidas kasutaja sisenes HD sĂŒsteemi, et teha taotlus? KĂ”ikidel arvutitel, lisaks TV-le, oli installitud spetsiaalne utiliit, mis oli kirjutatud Lazaruse keeles (paljud vĂ”ivad selle peale silmi pöörata ja vĂ”ib-olla isegi Google'st uurida, mis see on, kuid kĂ”igist kompileeritavatest keeltest tundsin ma kĂ”ige paremini Delphi't, ja Lazarus on peaaegu sama, lihtsalt tasuta). ĂhesĂ”naga, kasutaja kĂ€ivitas oma arvutis spetsiaalse skripti, mis kĂ€ivitas selle utiliidi, mis omakorda luges sĂŒsteemi HWID ja seejĂ€rel kĂ€ivitus brauser ja toimus autentimine. Miks see nii tehti? MĂ”nes ettevĂ”ttes loetakse hallatavaid kasutajaid individuaalselt ning teenuse hind kuus mÀÀratakse inimese arvu pĂ”hjal. See on arusaadav, ĂŒtlete teie, kuid miks sidumine riistvaraga? VĂ€ga lihtsalt, mĂ”ned isikud tulid koju ja tegid kodus olevast sĂŒlearvutist taotluse stiilis "tehke mulle siin kĂ”ik ilusaks". Lisaks sĂŒsteemi HWID lugemisele tĂ”i utiliit registrist vĂ€lja praeguse TeamVieweri ID ja edastas selle meile. TeamVieweril on API integratsiooni jaoks. Ja me tegime selle integratsiooni. Kuid oli ĂŒks konks. Nende API kaudu ei saanud kasutaja arvutisse ĂŒhendada, kui ta selgelt ei algata seanssi ja peale katset ĂŒhenduda pidi ta veel vajutama "kinnita". Sel hetkel tundus meile kĂŒsimiseks, et ilma kasutaja nĂ”usolekuta ei peaks keegi ĂŒhenduma, ja kuna inimene on arvuti taga, initsiatiivib ta seanssi ja vastab jaatavusega kauglaienduse palvele. KĂ”ik osutus aga teistsuguseks. Taotluse esitajad unustasid vajutada seansi initsiatsiooni nuppu, ja pidime neile telefoni teel rÀÀkima. See kulutas aega ja Ă€rritas mĂ”lemat osalist protsessis. Veelgi enam, ei olnud harv olukord, kui inimene jĂ€tab taotluse, kuid lubab ĂŒhendudes ainult siis, kui ta lĂ€heb lĂ”unale. Kuna probleem ei ole kriitiline, ei soovi ta oma tööprotsessi katkestada. SeetĂ”ttu ei vajuta ta mingeid nuppe, et lubada ĂŒhenduda. Nii ilmus lisafunktsioon autoriseerimisel HelpDeskis â TeamVieweri ID lugemine. Me teadsime pidevat parooli, mis kasutati TeamVieweri paigaldamisel. Tegelikult teadis seda ainult sĂŒsteem, kuna see oli sisse kirjutatud paigaldajasse ja meie sĂŒsteemi. SeetĂ”ttu oli taotluses ĂŒhenduse nupp, millele vajutades ei pidanud ootama, vaid TeamViewer avanes kohe ja toimus ĂŒhendus. LĂ”puks oli vĂ”imalik kahte tĂŒĂŒpi ĂŒhendusi. Ametliku TeamVieweri API kaudu ja meie omavalmistatud. Minu ĂŒllatuseks lĂ”petati esimese kasutamine peaaegu kohe, kuigi oli ette nĂ€htud, et seda kasutada ainult erilistel juhtudel ja siis, kui kasutaja ise selle heaks kiidab. LĂ”ppude lĂ”puks tahetakse nĂŒĂŒd alati turvalisust. Kuid osalejatele polnud see vajalik. Nad kĂ”ik olid tĂ€iesti rahul, et neid ĂŒhendatakse ilma kinnituse nupule vajutamata. Ja kui nii on, siis ka edaspidi viidati API kaudu ĂŒhenduse loomise funktsioonile, kuna see ei olnud enam vajalik.
Ăleminek mitme lĂ”imelisusele Linuxis
Juba mĂ”nda aega on olnud kĂŒsimus, kuidas kiirendada vĂ”rgu skanneri lĂ€bimist teatud sadamate avatud loendi ja lihtsa pingimise osas. Esimene lahendus, mis pĂ€he tuleb, on mitme lĂ”imelisus. Kuna peamine aeg, mis kulub pingile, on vastuse paketi ootamine, ning jĂ€rgmine ping ei saa alata enne, kui eelmine paket on tagasi tulnud, töötavad ettevĂ”tetes, kus on isegi 20+ serverit ja vĂ”rgu seadmeid, asjad juba ĂŒsna aeglaselt. TĂ€htis on see, et ĂŒks pakett vĂ”ib kaduda, kuid sĂŒsteemiadministraatorit sellest kohe teavitada ei saa. Ta lĂ”petab sellise rĂ€mpsposti vĂ€ga kiiresti kĂ€sitlemise. Seega tuleb iga objekti osas pingida veel mitu korda, enne kui teha jĂ€reldusi kĂ€ttesaamatuse kohta. Kui ei sĂŒĂŒbi tĂ€ielikult detailidesse, siis tuleb ĂŒhtlustada, sest kui seda ei tee, siis tĂ”enĂ€oliselt saab sĂŒsteemiadministraator probleemi kohta teada kliendilt, mitte jĂ€lgimisseatest.
PHP ei oska iseseisvalt mitme lĂ”imelisust. Ta oskab mitme protsessi tööde teostamise kaudu forkida. Kuid mul oli juba pĂ”himĂ”tteliselt olemas kĂŒsitlemise mehhanism ja soovisin, et ma loeksin kĂ”ik vajalikud sĂ”lmed andmebaasist ĂŒhe korra, pingiksin kĂ”ik kohe ja ootaksin vastust igaĂŒhelt ning alles seejĂ€rel kirjutaksin andmed. See sÀÀstab lugematut arvu lugemisĂ”igusi. Sellesse ideesse sobis suurepĂ€raselt mitme lĂ”imelisus. PHP jaoks on olemas PThreads moodul, mis vĂ”imaldab reaalse mitme lĂ”imelisuse loomist, kuid tuli pĂ€ris palju vaeva nĂ€ha, et seda PHP 7.2 peal seadistada, kuid asi sai tehtud. Sadamate skaneerimine ja pingimine muutusid kiireks. Ja nĂ€iteks kui varem kulus ringile 15 sekundit, siis nĂŒĂŒd kulub selle protsessi peale 2 sekundit. See oli hea tulemus.
Kiire uute ettevÔtete audit
Kuidas tekkis funktsioon erinevate meetrikate ja riistvara omaduste kogumiseks? KĂ”ik on lihtne. MĂ”nikord tellitakse meilt lihtsalt praeguse IT-infrastruktuuri audit. Sama on vajalik ka uue kliendi auditi kiirendamiseks. Vaja oli midagi, mis vĂ”imaldaks keskmistele vĂ”i suurtele ettevĂ”tetele kiiresti aru saada, mis neil ĂŒldse on. Pinget siseserveris blokeerivad minu arvates ainult need, kes tahavad endale elu keeruliseks teha, ja selliseid meie kogemusel on vĂ€he. Kuid ka neid kohtab. Vastavalt sellele saab kiiresti skaneerida vĂ”rku seadmete olemasolu suhtes lihtsa pingiga. Edasi saab need lisada ja skaneerida avatud portide osas, mis meid huvitavad. Sisuliselt oli see funktsioon juba olemas, tuli vaid lisada kĂ€sk kesksest serverist alluvatele, et nad skaneeriksid mÀÀratud vĂ”rgud ja lisaksid loendisse kĂ”ik, mis nad leiavad. Unustasin mainida, et eeldati, et meil on juba valmis pilt seadistatud sĂŒsteemiga (alluv jĂ€relevalveserver), mille saime lihtsalt kliendi juures auditi kĂ€igus rakendada ja siduda oma pilve.
Entusiastide auditiga kaasnevad tavaliselt mitmesugused andmed, millest ĂŒks on, millised seadmed vĂ”rgus on. Esiteks huvitavad meid Windows serverid ja Windows tööjaamad domeenis. Sest keskmistes ja suurtes ettevĂ”tetes on domeeni puudumine tĂ”enĂ€oliselt erand. Ăhtse keele rÀÀkimiseks on keskmine, mida mina silmas pean, rohkem kui 100 inimest. Pidi leidma viisi, kuidas koguda andmeid kĂ”igilt Windows masinatelt ja serveritelt, teades nende IP-aadressi ja domeeni administraatori kontot, kuid samas mitte installides neile mingit tarkvara. Siin tuleb appi WMI liides. Windowsi haldusteenused (WMI) on tĂ”lkes Windowsi haldusteenused. WMI on ĂŒks pĂ”hitehnoloogiaid Windowsi platvormi haldamise ja erinevate arvutinfrastruktuuri osade töö jĂ€lgimiseks. VĂ”etud on Wiki. Edasi pidi jĂ€lle natuke vaeva nĂ€gema, et koostada wmic (see on WMI klient) Debianile. PĂ€rast seda, kui kĂ”ik oli valmis, jĂ€i lihtsalt kĂŒsida wmic kaudu vajalike sĂ”lmede kohta vajalikku teavet. WMI kaudu saab Windowsi arvutist kĂ€tte peaaegu kogu informatsiooni ja lisaks sellele saab seda ka hallata, nĂ€iteks kĂ€ivitada restart. Nii sĂŒndis teabe kogumine Windowsi jaamadest ja serveritest meie sĂŒsteemis. Sellele lisandus ka jooksva sĂŒsteemi koormuse teave. Seda kĂŒsime sagedamini, materjalide teabe aga harvemini. PĂ€rast seda on auditi lĂ€biviimine muutunud veidi meeldivamaks.
Otsus tarkvara levitamise kohta
Me kĂ”ik kasutame sĂŒsteemi igapĂ€evaselt ning see on iga tehnilise töötaja jaoks alati avatud. Ja mĂ”tlesime, et vĂ”iksime jagada olemasolevat ka teistega. SĂŒsteem ei olnud veel tĂ€ielikult valmis levitamiseks. Oli vaja ĂŒmber töötada vĂ€ga paljusid aspekte, et kohalik versioon muutuks SaaS-iks. See hĂ”lmas erinevate tehniliste aspektide muutmist sĂŒsteemi tööprotsessis (kaugĂŒhendused, tugiteenused), moduldade litsentseerimise analĂŒĂŒsi, kliendibaaside shardimist, iga teenuse skaleerimist ja automaatse vĂ€rskendamise sĂŒsteemide vĂ€ljatöötamist kĂ”igis osades. Kuid sellest rÀÀgib artikli teine osa.
Uuenda
Allikas: habr.com
