No ārpakalpojuma uz izstrādi (1. daļa)

Sveiki visi, mani sauc Sergejs Īmeljančiks. Es esmu uzņēmuma Audit-Telekom vadītājs, galvenais izstrādātājs un sistēmas Veliam autors. Nolēmu uzrakstīt rakstu par to, kā mēs ar draugu izveidojām ārpakalpojumu uzņēmumu, izstrādājām programmatūru sev un galu galā sākām to izplatīt visiem interesentiem pēc SaaS principa. Par to, kā es kategoriski neticēju, ka tas ir iespējams. Rakstā būs ne tikai stāsts, bet arī tehniskie sīkumi par to, kā tika radīts produkts Veliam, ieskaitot dažus avota koda fragmentus. Pastāstīšu par kļūdām, ko pieļāvām, un kā mēs tās vēlāk labojām. Bija šaubas, vai publicēt šādu rakstu. Bet es domāju, ka labāk to izdarīt, saņemt atsauksmes un uzlaboties, nekā nepublicēt rakstu un domāt par to, kas būtu noticis, ja...

Iepriekšējā pieredze

Es strādāju vienā uzņēmumā kā IT darbinieks. Uzņēmums bija diezgan liels ar izplātītu tīkla struktūru. Neapstāšos pie savām amata pienākumu, teikšu tikai, ka tie noteikti neietverēja nekas saistībā ar izstrādi.

Mums bija monitorings, bet tīri akadēmiskā interešu dēļ vēlējāmies izmēģināt uzrakstīt savu vienkāršo variantu. Ideja bija šāda: vēlējāmies, lai tas būtu tīmeklī, lai varētu viegli, bez jebkādas klientu instalācijas, ieiet un apskatīties, kas notiek ar tīklu no jebkura ierīces, ieskaitot mobilās ierīces caur Wi-Fi, un vēlējās ātri saprast, kurā telpā atrodas aprīkojums, kas

Agrāk es nodarbojos ar programmēšanu Delphi, PHP, JS un ļoti virspusēji C++. Gana labi pārzinu tīklu darbības principus: VLAN, maršrutēšana (OSPF, EIGRP, BGP), NAT. Tā bija pietiekami, lai pēc saviem spēkiem uzrakstītu primitīva monitoringa prototipu.

Es uzrakstīju iecerēto PHP. Apache serveris un PHP bija uz Windows, jo Linux tajā laikā man šķita nesaprotams un ļoti sarežģīts. Kā izrādījās vēlāk, es kļūdījos un daudzos aspektos Linux ir vienkāršāks par Windows, bet tā ir cita tēma, un mēs visi zinām, cik strīdu par šo tēmu ir bijis. Windows uzdevumu plānotājs izsauca ar nelielu intervālu (precīzi neatceros, bet kaut kas apmēram reizi trīs sekundēs) PHP skriptu, kas aptaujāja visus objektus ar parastu ping un saglabāja stāvokli failā.

system("ping -n 3 -w 100 {$ip_address}"); 

Jā, jā, darbs ar DB tajā laikā man arī nebija apgūts. Es nezināju, ka var paralelizēt procesus, un pāreja cauri visiem mezgliem aizņēma ilgu laiku, jo tas notika vienā plūsmā. Īpaši problēmas radās tad, kad vairāki mezgli nebija pieejami, jo katrs no tiem aizturēja skriptu par 300 ms. Klienta pusē bija vienkārša bezgalīga funkcija, kas ar intervālu dažas sekundes lejupielādēja atjauninātu informāciju no servera, izmantojot Ajax pieprasījumu, un atjaunināja interfeisu. Un pēc tam, pēc trim neveiksmīgiem pingiem pēc kārtas, ja datorā bija atvērta tīmekļa lapa ar uzraudzību, skanēja jautra kompozīcija.

Kad viss izdevās, es biju ļoti iedvesmots no rezultāta un domāju, ka varētu pievienot vēl kaut ko (savas zināšanas un iespēju robežās). Taču man vienmēr nepatika sistēmas ar miljoniem grafiku, kuras, kā es to toreiz uzskatīju, un arī tagad uzskatu, lielākajā daļā gadījumu ir liekas. Gribēju pievienot tikai to, kas tiešām palīdzētu man darbā. Šis princips līdz šai dienai ir palicis par pamatīgu, izstrādājot Veliam. Turpinājumā es sapratu, ka būtu lieliski, ja nebūtu jāuztur atvērts uzraudzības logs un jāzina par problēmām, bet, kad tā notiek, tad atvērt lapu un paskatīties, kur atrodas šī problēma tīklā un ko ar to darīt. Elektronisko pastu es kaut kā neskatījos, jo neizmantoju to. Atradu internetā, ka ir SMS vārtejas, uz kurām var nosūtīt GET vai POST pieprasījumu, un tās nosūtīs man uz mobilo telefonu SMS ar tekstu, ko es uzrakstīšu. Es uzreiz sapratu, ka to ļoti vēlos. Sāku pētīt dokumentāciju. Pēc kāda laika man izdevās, un tagad es saņēmu SMS par problēmām tīklā uz mobilo ar

Un pienāca diena, kad darbā neizdevās viens no interneta kanāliem, bet mans uzraudzības rīks man par to nekādu signālu nesūtīja. Tā kā Google DNS joprojām lieliski pingojās. Bija laiks domāt, kā varētu uzraudzīt, vai sakaru kanāls ir dzīvotspējīgs. Bija dažādas idejas, kā to izdarīt. Man nebija piekļuves visām iekārtām. Nācās izdomāt, kā noteikt, kurš no kanāliem ir dzīvotspējīgs, bet tajā pašā laikā neizmantot iespēju paskatīties to uz paša tīkla aprīkojuma. Tad kolēģis ieteica ideju, ka varbūt maršruta tracējums uz publiskajiem serveriem var atšķirties atkarībā no tā, pa kuru sakaru kanālu dodos internetā. Izmēģināju, un izrādījās, ka tā arī ir. Bija atšķirīgi maršruti tracēšanai.

system(“tracert -d -w 500 8.8.8.8”);

Tā radās vēl viens skripts, precīzāk, izsekošana bez iemesla tika pievienota skripta beigām, kas pingojās visus tīkla ierīces. Tas bija vēl viens garš process, kas notika tajā pašā plūsmā un kavēja visas skripta darbību. Bet tad tas nebija tik acīmredzami. Taču tā vai citādi, tas darīja savu darbu, kodā stingri noteica, kādai jābūt izsekošanai katram no kanāliem. Tā sāka darboties sistēma, kas jau monitorēja (skaļi teikts, jo netika vākti nekādi rādītāji, tikai ping) tīkla ierīces (maršrutētāji, slēdži, wi-fi utt.) un sakarus ar ārējo pasauli. SMS pienāca regulāri, un shēmā vienmēr bija labi redzams, kur ir problēma.

Turpinot, ikdienas darbā nācās nodarboties ar krustojumiem. Un katru reizi iekāpjot Cisco slēdžos, lai redzētu, kuru saskarni izmantot, bija apnikuši. Cik lieliski būtu klikšķināt uz monitoringa objektam un redzēt sarakstu ar tā saskarnēm un aprakstiem. Tas ietaupītu man laiku. Turklāt šajā shēmā nebija nepieciešams palaist Putty vai SecureCRT, ievadīt kontus un komandas. Vienkārši uzspiedu uz monitoringa, redzēju, kas nepieciešams, un devos darīt savu darbu. Sāku meklēt, kā varētu mijiedarboties ar slēdžiem. Pirmajā pieejā tika atrasti divi varianti: SNMP vai iekļūt slēdzī pa SSH, ievadīt nepieciešamās komandas un analizēt rezultātu. SNMP atmetu sakarā ar īstenošanas sarežģītību, man negribējās gaidīt rezultātu. Ar SNMP būtu jārokas garumā MIB, uz šo datu bāzes jāveido dati par saskarnēm. Ir lieliska komanda CISCO.

show interface status

Tā parāda tieši to, kas man nepieciešams krustojumu pārvaldībai. Kāpēc mocīties ar SNMP, ja es vienkārši vēlos redzēt šīs komandas izvadi, nodomāju es. Pēc kāda laika es realizēju tādu iespēju. Spiedu uz objekta tīmekļa lapā. Notika notikums, pēc kura AJAX klients vērsās pie servera, kurš savukārt pieslēdzās pa SSH manam vajadzīgajam slēdzim (akreditīvi bija iekodēti kodā, nebija vēlēšanās to uzlabot, veidot kādas atsevišķas izvēlnes, kur varētu mainīt akreditīvus no interfeisa, vajadzēja rezultātu un ātrāk) ievadīju iepriekš minēto komandu un atgriezu to pārlūkā. Tā es sāku skatīt datus par interfeisiem ar vienu peles klikšķi. Tas bija ļoti ērti, īpaši, kad vajadzēja skatīt šo informāciju uz dažādiem slēdžiem vienlaikus.

Kanālu uzraudzība, balstoties uz trasēšanu, izrādījās ne vislabākā ideja, jo dažreiz tika veikti darbi tīklā, un trasēšana varēja mainīties, un uzraudzība sāka man kliegt, ka ir problēmas ar kanālu. Bet, tērējot daudz laika analīzei, sapratu, ka visi kanāli darbojas, bet mana uzraudzība mani maldina. Beigās lūdzu kolēģus, kuri vadīja kanālus veidojošos slēdžus, sūtīt man vienkārši syslog, kad mainījās kaimiņu redzamības stāvoklis (neighbor). Attiecīgi tas bija daudz vieglāk, ātrāk un patiesāk nekā trasēšana. Saņēmu notikumu veidā neighbor lost, un es uzreiz veicu paziņojumu par kanāla kritumu.

Tālāk parādījās izvadi ar klikšķi uz objekta vēl dažām komandām, un tika pievienots SNMP, lai vāktu dažas metrikas, un uz to arī viss bija. Sistēma tālāk nebija attīstīta. Tā darīja visu, kas man bija nepieciešams, tas bija labs rīks. Daudzi lasītāji, iespējams, man teiks, ka šādām uzdevumu risināšanai internetā ir daudz programmatūras. Bet patiesībā, bezmaksas šādu produktu es tajā laikā nevarēju atrast, un ļoti vēlējās attīstīt programmēšanas prasmes, un kas var labāk rosināt uz to, nekā reāls praktisks uzdevums. Uz to pirmā versija monitoringa tika pabeigta un vairs netika mainīta.

Uzņēmuma A Audit-Telekom izveide

Laiks gāja, un es sāku strādāt papildu darbus citās uzņēmumos, jo darba grafiks to ļāva. Strādājot dažādos uzņēmumos, ļoti ātri pieaug prasmes dažādās jomās, labi attīstās redzesloks. Ir uzņēmumi, kur, kā parasti saka, tu esi gan šuvējs, gan pļāvējs, gan spēlē augstākā līmenī. No vienas puses, tas ir sarežģīti, no otras puses, ja neesi slinks, tu kļūsti par plaša profila speciālistu, un tas ļauj ātrāk un efektīvāk risināt uzdevumus, jo tu zini, kā darbojas blakus joma.

Mans draugs Pāvels (arī IT speciālists) pastāvīgi mēģināja mani rosināt uz savu biznesu. Ideju bija bezskaitāmi daudz ar dažādiem variantiem. To apspriedām ne vienu gadu. Un beigās nekas nesanāca, jo es esmu skeptiķis, bet Pāvels ir fantazētājs. Katrai idejai, ko viņš piedāvāja, es vienmēr neticēju un atsakos piedalīties. Bet mēs ļoti gribējām atvērt savu biznesu.

Beidzot mēs spējam atrast variantu, kas apmierina mūs abus, un nodarboties ar to, ko mēs protam. 2016. gadā mēs nolēmām izveidot IT uzņēmumu, kas palīdzēs biznesam risināt IT uzdevumus. Tas ietver IT sistēmu uzstādīšanu (1C, termināļu serveris, e-pasta serveris u.c.), to atbalstu, klasisko HelpDesk lietotājiem un tīkla administrēšanu.

At the moment of starting the company, I honestly didn't believe in it about 99.9%. But somehow Pavel managed to make me give it a try, and looking back, he was right. Pavel and I each invested 300,000 rubles, registered a new LLC 'Audit-Telecom', rented a tiny office, created awesome business cards, just like most inexperienced, aspiring entrepreneurs, and started looking for clients. Finding clients is a whole different story. Perhaps we will write a separate article for the corporate blog if anyone is interested. Cold calls, flyers, and more. This yielded no results. As I read in many business stories now, a lot depends on luck. We were lucky. Literally a couple of weeks after starting the firm, my brother Vladimir reached out to us, bringing our first client. I won't bore you with the details of client work; this article isn't about that. I'll just say that we went for an audit, identified critical issues, and those issues broke down while the decision was being made on whether to work with us on a permanent basis as outsourcers. After that, a positive decision was made immediately.

Next, mainly through word of mouth, other companies began to come on board for servicing. The helpdesk was in one system. Connections to network equipment and servers were in another, depending on who was managing it. Some saved shortcuts, while others used RDP address books. Monitoring was another separate system. Working for the team in fragmented systems was very inconvenient. Important information got lost. For example, if a client's terminal server became unavailable, requests from that client's users came in immediately. The support specialist creates a ticket (received by phone). If incidents and requests were registered in one system, the support specialist would immediately see the user's issue and inform them, while already connecting to the necessary object to handle the situation. Everyone is aware of the tactical situation and works in unison. We did not find a system that combined all of this. It became clear that it was time to create our own product.

Continuing work on our monitoring system

Bija skaidrs, ka iepriekš izstrādātā sistēma pilnīgi nepiestāv aktuālajām prasībām. Ne funkcionalitātes, ne kvalitātes ziņā. Tādēļ tika pieņemts lēmums izstrādāt sistēmu no jauna. Grafiski tam vajadzēja izskatīties pavisam citādi. Tā bija jābūt hierarhiskai sistēmai, lai varētu ātri un ērti piekļūt vajadzīgajam objektam vajadzīgajam klientam. Shēma, kas tika izmantota pirmajā versijā, šajā gadījumā bija pilnīgi neattaisnota, jo klienti bija dažādi un nemaz nebija nozīmes, kurā telpā ir izvietota iekārta. Tas jau tika nodots dokumentācijai.

Tātad uzdevumi:

  1. Hierarhiska struktūra;
  2. Kāds servera risinājums, ko var ievietot klienta pusē kā virtuālo mašīnu, lai iegūtu nepieciešamās metrikas un nosūtītu tās uz centrālo serveri, kas to visu apkopos un parādīs;
  3. Brīdinājumi. Tādi, kurus nevar palaist garām, jo tajā brīdī nebija iespējams kādam tikai sēdēt un vērot monitoru;
  4. Pieteikumu sistēma. Sākām saņemt klientus, kuriem nodrošinājām ne tikai servera un tīkla iekārtas, bet arī darba stacijas;
  5. Iespēja ātri pieslēgties serveriem un iekārtām no sistēmas;

Uzdevumi ir izvirzīti, sākam rakstīt. Paralēli apstrādājot pieteikumus no klientiem. Tajā brīdī mūs jau bija četri cilvēki. Sākām rakstīt abus risinājumus – gan centrālo serveri, gan serveri, kas tiks uzstādīts pie klientiem. Līdz šim mirklim Linux mums jau bija pazīstams, un tika pieņemts lēmums, ka virtuālās mašīnas, kas atradīsies klientu pusē, darbosies uz Debian. Nebūs nekāda uzstādītāja, vienkārši izstrādāsim servera risinājumu vienā konkrētā virtuālajā mašīnā, un pēc tam to vienkārši klonēsim attiecīgajiem klientiem. Tas bija vēl viens kliedzošs pārpratums. Vēlāk kļuva skaidrs, ka šādā shēmā pilnīgi netika izstrādāts atjauninājumu mehānisms. T.i., kad mēs pievienojām kādu jaunu funkciju, tad radās liela problēma, kā to izplatīt visiem klientu serveriem, bet par to vēlāk – viss pa kārtai.

Tika pirmais prototips. Tas spēja pingot nepieciešamos klientu un serveru tīkla ierīces un nosūtīt datus mūsu centrālajam serverim. Savukārt, tas atjaunināja šos datus centrālā servera kopējā masīvā. Es šeit rakstīšu ne tikai stāstu par to, kā un kas tika paveikts, bet arī par to, kādas amatieru kļūdas tika pieļautas un kā pēc tam nācās maksāt ar laiku. Tātad, visi objektu koki tika glabāti vienīgā failā kā serializēts objekts. Kamēr mēs pieslēdzām sistēmai dažus klientus, viss bija vairāk vai mazāk normāli, kaut gan dažreiz parādījās kādi artefakti, kuri bija absolūti neskaidri. Bet, kad mēs pieslēdzām sistēmai desmit serverus, sākās brīnumi. Dažreiz, neizprotamu iemeslu dēļ, visi objekti sistēmā vienkārši izzuda. Šeit ir svarīgi atzīmēt, ka serveri, kas bija klientiem, sūtīja datus centrālajam serverim ik pēc dažām sekundēm, izmantojot POST pieprasījumu. Vērīgais lasītājs un pieredzējušais programmētājs jau ir sapratis, ka radās problēma ar vienlaicīgu piekļuvi tieši tam failam, kurā tika glabāts serializētais objekts no dažādiem pavedieniem vienlaicīgi. Un tieši tad, kad tas notika, parādījās brīnumi ar objektu izzušanu. Fails vienkārši kļuva tukšs. Bet tas viss tika atklāts ne uzreiz, bet tikai ekspluatācijas procesā ar vairākiem serveriem. Šajā laikā tika pievienota funkcionalitāte par portu skenēšanu (serveri sūtīja centrālajam ne tikai informāciju par ierīču pieejamību, bet arī par atvērtiem portiem uz tiem). Tas tika izdarīts, izsaucot komandu:

$connection = @fsockopen($ip, $port, $errno, $errstr, 0.5);

rezultāti bieži bija nepareizi un skenēšana ilga ļoti ilgi. Pilnīgi aizmirsu par pingu, tas tika veikts, izmantojot fping:

system("fping -r 3 -t 100 {$this->ip}");

Tas viss arī nebija paralelizēts, tādēļ process bija ļoti ilgs. Vēlāk fping jau uzreiz tika nodots viss nepieciešamo IP adresu saraksts pārbaudei un atpakaļ saņēma gatavu sarakstu ar tiem, kuri atbildēja. Atšķirībā no mums, fping spēja paralelizēt procesus.

Vēl viena bieži sastopama rutīnas darba daļa bija kādu pakalpojumu iestatīšana caur WEB. Piemēram, ECP no MS Exchange. Patiesībā tā ir tikai saite. Mēs nolēmām, ka vajadzētu sniegt iespēju pievienot šādas saites tieši sistēmā, lai nav jāmeklē dokumentācijā vai kur citur, kā piekļūt konkrētā klienta ECP. Tādējādi radās resursu saišu jēdziens sistēmā, un to funkcionalitāte ir pieejama joprojām un nav cietusi izmaiņas, nu, gandrīz.

Resursu saišu darbība Veliam
No ārpakalpojuma uz izstrādi (1. daļa)

Tālā piekļuve

Šeit ir, kā tas izskatās darbībā pašreizējā Veliam versijā
No ārpakalpojuma uz izstrādi (1. daļa)

Viens no uzdevumiem bija ātra un ērta piekļuve serveriem, kurus jau ir daudz (ne viena simta) un apstrādāt miljoniem iepriekš saglabātu RDP saīsņu bija ārkārtīgi neērti. Nepieciešams bija instruments. Internetā ir programmas, kas izskatās pēc adresātu saraksta šādām RDP piekļuvēm, bet tās nav integrētas ar monitoring sistēmu un neļauj saglabāt kontus. Katru reizi ievadīt kontus dažādiem klientiem ir īsta elle, kad dienā tu pieslēdzies ne vienai reizei dažādiem serveriem. Ar SSH lietām sokas nedaudz labāk, ir daudz labu programmu, kurās ir iespēja sakārtot šādas piekļuves mapēs un atcerēties no tām kontus. Bet ir 2 problēmas. Pirmā - mēs neatradām vienu programmu RDP un SSH piekļuvēm. Otrā - ja es kādā brīdī neesmu pie sava datora un man ātri jāizveido savienojums, vai es vienkārši pārinstalēju sistēmu, man jāiedziļinās dokumentācijā, lai noskaidrotu šī klienta kontu. Tas ir neērti un laika izšķiešana.

Nepieciešamā hierarhiskā struktūra klientu serveriem jau bija mūsu iekšējā produktā. Cik vienmēr, bija jāizdomā, kā pievienot ātras piekļuves nepieciešamajam aprīkojumam. Vismaz sākumā, iekšējā tīklā.

Ņemot vērā, ka klients mūsu sistēmā bija pārlūks, kuram nebija piekļuves datora lokālajiem resursiem, lai vienkārši uzsāktu nepieciešamo lietotni ar kādu komandu, tika izstrādāts risinājums, izmantojot "Windows custom url scheme". Tāpēc parādījās zināms "spraudnis" mūsu sistēmai, kas iekļāva Putty un Remote Desktop Plus, un instalācijas laikā reģistrēja URI shēmu Windows. Tagad, kad mēs vēlējāmies pieslēgties objektam pa RDP vai SSH, mēs veicām šo darbību mūsu sistēmā, un aktivizējās Custom URI. Tika palaists standarta mstsc.exe, kas ir iebūvēts Windows, vai putty, kas bija iekļauts "spraudnī". Es ņemu vārdu spraudnis pēdiņās, jo tas nav klasiskā išspraudņa veids pārlūkā.

Tas jau bija kaut kas. Ērta adresātu grāmata. Turklāt gadījumā ar Putty viss bija vispār labi, tam kā ievades parametrus varēja sniegt gan IP adresi, gan lietotājvārdu un paroli. T.i., mēs jau pieslēdzāmies savas tīkla Linux serveriem ar vienu klikšķi bez paroles ievadīšanas. Bet ar RDP viss nebija tik vienkārši. Standartajā mstsc nevarēja norādīt akreditācijas datus kā parametrus. Palīdzēja Remote Desktop Plus. Tas ļāva to izdarīt. Tagad mēs jau varam iztikt bez tā, bet ilgu laiku tas bija uzticams palīgs mūsu sistēmā. Ar HTTP(S) vietnēm viss ir vienkārši, šādi objekti vienkārši atvērās pārlūkā un viss. Ērti un praktiski. Bet tas bija laime tikai iekšējā tīklā.

Ņemot vērā, ka lielākā daļa problēmu mēs risinājām attālināti no biroja, visvieglāk bija izveidot VPN savienojumus ar klientiem. Un tad no mūsu sistēmas varēja pieslēgties arī viņiem. Bet tas joprojām bija nedaudz neērtīgi. Katram klientam katrā datorā bija jāuztur liels skaits iegaumētu VPN savienojumu un pirms pieslēgšanās kādam bija jāieslēdz attiecīgais VPN. Šādu risinājumu mēs izmantojām diezgan ilgu laiku. Bet klientu skaits palielinās, VPN savienojumu skaits arī, un viss tas sāk kļūt neērti un bija jāsāk domāt, ko ar to darīt. Īpaši asaras parādījās acīs pēc sistēmas pārinstalēšanas, kad vajadzēja atkārtoti ievadīt desmitiem VPN savienojumu jaunajā Windows profilā. Pietiek ar to paciest, es teicu, un sākšu domāt, ko ar to var izdarīt.

Ir bieži vien iznāk, ka visiem klientiem maršrutētāji ir no visiem zināmās firmas Mikrotik. Tie ir ļoti funkcionāli un ērti gandrīz jebkādu uzdevumu izpildei. No mīnusiem — tie bieži tiek "nolauzti". Mēs šo problēmu risinājām, slēdzot piekļuvi no ārpuses. Bet bija nepieciešams piekļūt tiem, nepārvietojoties pie klienta, jo tas prasa laiku. Mēs vienkārši izveidojām tuneļus uz katru Mikrotik un izdalījām tos atsevišķā pulkā, bez jebkādas maršrutēšanas, lai nepieļautu savas tīkla apvienošanas ar klientu tīklos un savstarpējiem klientu tīklos.

Radās ideja izveidot sistēmu, kurā, nospiežot nepieciešamo objektu, centrālais uzraudzības serveris, zinot SSH piekļuves datus visiem klientu Mikrotik, pieslēgtos vajadzīgajam, izveidotu apgrieztās palīdzības noteikumu uz attiecīgo hostu ar nepieciešamo portu. Šeit ir vairāki aspekti. Risina tas nav universāls — darbosies tikai Mikrotik, jo visiem maršrutētājiem ir savs komandu sintakse. Tāpat šos apgrieztās palīdzības noteikumus vēlāk vajadzēja kaut kā dzēst, bet mūsu sistēmas servera daļa būtībā nespēja izsekot, vai esmu pabeidzis savu RDP sesiju. Un šāda apgrieztā palīdzība — tas ir risks klientam. Mēs nemēģinājām panākt universālumu, jo produkts tika izmantots tikai mūsu uzņēmuma iekšienē un izvest to publiskajā telpā pat prātā nenāca.

Katru no problēmām risināja savādāk. Izveidojot noteikumu, šī apgrieztā palīdzība bija pieejama tikai no viena konkrēta ārējā IP adresa (no kura tika uzsākta pieslēgšanās). Tādējādi izdevās izvairīties no drošības šaubām. Bet ar katru šādu pieslēgšanos tika pievienots noteikums Mikrotik NAT lapā un netika dzēsts. Un visiem zināms, ka jo vairāk tur ir noteikumu, jo vairāk ir noslogots maršrutētāja procesors. Tāpat es nespēju pieņemt, ka es reizē ieeju kādā Mikrotik un tur ir simtiem mirušu, nevajadzīgu noteikumu.

Tā kā mūsu serveris nevar sekot līdzi savienojuma stāvoklim, ļaujiet MikroTik to uzraudzīt pašam. Un es uzrakstīju skriptu, kas pastāvīgi uzrauga visas pārsūtīšanas noteikumus ar konkrētu aprakstu (description) un pārbauda, vai ir TCP savienojums ar attiecīgo noteikumu. Ja tāda nav jau noteiktu laiku, tad, iespējams, savienojums jau ir pabeigts un šis pārsūtījums ir jāizdzēš. Viss izdevās, skripts darbojās labi.

Starp citu, šeit tas ir:

global atmonrulecounter {"dontDelete"="dontDelete"}
:foreach i in=[/ip firewall nat find comment~"atmon_script_main"] do={ 
	local dstport [/ip firewall nat get value-name="dst-port" $i]
	local dstaddress [/ip firewall nat get value-name="dst-address" $i]
	local dstaddrport "$dstaddress:$dstport"
	#log warning message=$dstaddrport
	local thereIsCon [/ip firewall connection find dst-address~"$dstaddrport"]
	if ($thereIsCon = "") do={
		set ($atmonrulecounter->dstport) ($atmonrulecounter->dstport + 1)
		#:log warning message=($atmonrulecounter->dstport)
		if (($atmonrulecounter->dstport) > 5) do={
			#log warning message="Removing nat rules added automatically by atmon_script"
			/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_main_$dstport"]
			/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_sub_$dstport"]
			set ($atmonrulecounter->dstport) 0
		}
	} else {
		set ($atmonrulecounter->dstport) 0
	}
}

Noteikti to varēja izdarīt skaistāk, ātrāk utt., bet tas darbojās, nenoslogoja MikroTik un lieliski tika galā. Mēs beidzot varējām pieslēgties serveriem un klientu tīkla iekārtām vienkārši ar peles klikšķi. Nepacelot VPN un neievadot paroles. Ar sistēmu patiešām kļuva ļoti ērti strādāt. Apkalpošanas laiks samazinājās, un mēs visi veltījām laiku darbam, nevis savienojuma izveidei ar nepieciešamajiem objektiem.

Mikrotik dublēšana

Mums bija iestatīta visu MikroTik dublēšana uz FTP. Un kopumā viss bija labi. Bet, kad bija nepieciešams iegūt dublējumu, bija jāpieslēdzas šim FTP un jāmeklē tas tur. Mums ir sistēma, kurā ir reģistrēti visi maršrutētāji, mēs zinām, kā sazināties ar ierīcēm pa SSH. Kāpēc mēs nevarētu to izdarīt tā, lai sistēma ik dienas pats būtu uztvērusi dublējumus no visiem MikroTik, nodomāju. Un ķēros pie realizēšanas. Pieslēdzāmies, izveidojām dublējumu un paņēmām to uz glabātuvi.

PHP skripta kods, lai uzņemtu dublējumu no MikroTik:

<?php

	$IP = '0.0.0.0';
	$LOGIN = 'admin';
	$PASSWORD = '';
	$BACKUP_NAME = 'test';

    $connection = ssh2_connect($IP, 22);

    if (!ssh2_auth_password($connection, $LOGIN, $PASSWORD)) exit;

    ssh2_exec($connection, '"/system backup save name="atmon" password="atmon"');
    stream_get_contents($connection);
    ssh2_exec($connection, '"/export file="atmon.rsc"');
    stream_get_contents($connection);
    sleep(40); // Waiting bakup makes

    $sftp = ssh2_sftp($connection);

    // Download backup file
    $size = filesize("ssh2.sftp://$sftp/atmon.backup");
    $stream = fopen("ssh2.sftp://$sftp/atmon.backup", 'r');
    $contents = '';
    $read = 0;
    $len = $size;
    while ($read < $len && ($buf = fread($stream, $len - $read))) {
        $read += strlen($buf);
        $contents .= $buf;
    }
    file_put_contents ($BACKUP_NAME . '.backup',$contents);
    @fclose($stream);

    sleep(3);
    // Download RSC file
    $size = filesize("ssh2.sftp://$sftp/atmon.rsc");
    $stream = fopen("ssh2.sftp://$sftp/atmon.rsc", 'r');
    $contents = '';
    $read = 0;
    $len = $size;
    while ($read

Dublēšana notiek divos veidos — binārā un teksta konfigurācija. Binārais fails palīdz ātri atjaunot nepieciešamo konfigurāciju, savukārt teksta fails ļauj saprast, ko darīt, ja nepieciešama izlīgstoša aparatūras nomaiņa un bināro uz tā uzlikt nevar. Tādējādi mēs ieguvām vēl vienu ērti lietojamu funkcionalitāti sistēmā. Turklāt, pievienojot jaunus MikroTik ierīces, nevajadzēja neko iestatīt, vienkārši pievienojām objektu sistēmā un piešķīrām tam SSH kontu. Tālāk sistēma pati parūpējās par dublējumu izveidi. Pašreizējā SaaS Veliam versijā šī funkcionalitāte pagaidām nav pieejama, bet drīz to pārsūtīsim.

Ekrānuzņēmumi, kā tas izskatījās iekšējā sistēmā
No ārpakalpojuma uz izstrādi (1. daļa)

Pāreja uz normālu glabāšanu datu bāzē

Iepriekš es jau rakstīju par to, ka parādījās artefakti. Dažreiz vienkārši pazuda viss objektu saraksts sistēmā, dažreiz, rediģējot objektu, informācija netika saglabāta, un nācās trīs reizes pārdēvēt objektu. Tas ļoti kaitināja visus. Objektu pazušana notika reti un viegli atjaunojās, atjaunojot šo pašu failu, bet tādi faili pie objektu rediģēšanas bija diezgan bieži. Iespējams, es sākotnēji to neizdarīju caur DB, jo man prātā neatnāca, kā var saglabāt koku ar visām attiecībām plaknē tabulā. Plakana tabula un koks ir hierarhisks. Bet laba risinājuma daudzu piekļuvi, bet vēlāk (sistematiski sarežģot) un transakciju — ir DBMS. Es noteikti neesmu pirmais, kurš saskārās ar šo problēmu. Sāku uzmeklēt internetā. Izrādījās, ka jau viss ir izdomāts, un ir vairāki algoritmi, kas veido koku no plaknas tabulas. Apskatot katru no tiem, es īstenoju vienu no tiem. Bet tā jau bija jaunā sistēmas versija, jo faktiski man bija jāpārveido daudz. Rezultāts bija likumsakarīgs, sistēmas nejauša uzvedība pazuda. Kāds varētu teikt, ka kļūdas ir diezgan amatieru (monotiskie skripti, informācijas glabāšana, kurai bija vienlaicīga piekļuve no dažādām straumēm, failā utt.) programmatūras izstrādē. Varbūt tā arī ir, bet mana galvenā darba joma bija administrēšana, un programmēšana bija blakus nodarbošanās, un man vienkārši nebija pieredzes darbā komandās ar programmētājiem, kur šādas elementāras lietas man uzreiz varētu ieteikt vecākie kolēģi. Tādēļ es visas šīs problēmas risināju pats, taču ļoti labi apguvu materiālu. Un vēl, mans darbs — tas ir arī tikšanās ar klientiem, un darbības, kas vērstas uz uzņēmuma popularizēšanu, un daudz administratīvu jautājumu uzņēmuma iekšienē un daudz daudz citas. Bet tā vai citādi, tas, kas bija, jau bija pieprasīts. Puiši un es pats izmantojām produktu ikdienas darbā. Bija arī acīmredzami neizdevušās idejas un risinājumi, kuriem tika iztērēts laiks, bet galu galā kļuva skaidrs, ka tas ir nederīgs instruments, ar kuru neviens nenodarbojās un kas nefiksējās Veliam.

Atbalsta dienests — HelpDesk

Nevajadzētu aizmirst pieminēt, kā tika veidots HelpDesk. Tā ir pavisam cita stāsta tēma, jo Veliam ir jau trešā pilnīgi jaunā versija, kas atšķiras no visām iepriekšējām. Tagad tas ir vienkārša sistēma, intuitīvi saprotama, bez liekām dekorācijām un iespējām integrēties ar domēnu, kā arī piekļuve tai pašai lietotāja profilam no jebkuras vietas, izmantojot saiti no e-pasta. Un kas ir pats svarīgākais, ir iespēja no jebkuras vietas (vai mājās, vai birojā) izveidot savienojumu ar pieteicēju caur VNC tieši no pieteikuma bez VPN vai portu pārsūtīšanas. Pastāstīšu, kā mēs nonācām pie šīs risinājuma, kas bija iepriekš un kādi briesmīgi risinājumi tika izmantoti.

Mēs pieslēdzāmies lietotājiem caur visiem zināmo TeamViewer. Visos datoros, kuru lietotājus mēs apkalpojam, ir uzstādīts TV. Pirmais, ko mēs izdarījām nepareizi, un pēc tam atteicāmies no tā, bija katra klienta HWD piesaiste pie dzelžiem. Kā lietotājs ievadīja sistēmu HWD, lai atstātu pieprasījumu? Visiem datoriem, papildus TV, bija uzstādīta speciāla utilīta, uzrakstīta Lazarus (daudzi no šiem noskatīsies un varbūt pat sāks google meklēt, kas tas ir, bet labākais no kompilējamiem valodām, ko es pazinu, bija Delphi, un Lazarus ir gandrīz tas pats, tikai bez maksas). Kopsavilkumā lietotājs palaida pie sevis speciālu batnika skriptu, kas palaida šo utilītu, kas savukārt izlasīja sistēmas HWID, un pēc tam tika palaists pārlūks un notika autorizācija. Kāpēc tas tika darīts? Dažās uzņēmumos apkalpoto lietotāju skaits tiek skaitīts pa vienam, un apkalpošanas cena katru mēnesi tiek noteikta, pamatojoties uz cilvēku skaitu. Tas ir saprotams, sakāt jūs, bet kāpēc tā piesaiste pie dzelžiem? Ļoti vienkārši, daži indivīdi nāca mājās un veica pieprasījumus no mājas klēpjdatora stilā "uztaisat man šeit visu skaisti". Papildus sistēmas HWID nolasīšanai, utilīta izvilka arī no reģistra pašreizējo TeamViewer ID un to arī nosūtīja mums. TeamViewer ir API integrācijai. Mēs veicām šo integrāciju. Bet bija viena nianse. Caura šiem API nevar pieslēgties lietotāja datoram, kad viņš skaidri neuzsāk šo sesiju, un pēc mēģinājuma pieslēgties jānospiež „apstiprināt”. Tajā brīdī mums šķita loģiski, ka bez lietotāja atļaujas neviens nedrīkst pieslēgties, un, ja cilvēks ir pie datora, tad viņš arī uzsāk sesiju un apstiprina pieprasījumu par attālinātu pieslēgšanos. Izrādījās, ka viss nav tik. Pieprasītāji aizmirst nospiest sesijas uzsākšanu, un bija jāstāsta viņiem par to telefoniski. Tas tērēja laiku un kaitināja abas procesa puses. Vairāk nekā tas, nebija retums tādi brīži, kad cilvēks atstāj pieprasījumu, bet pieslēgties atļauj tikai tad, kad dodas uz pusdienām. Jo problēma nav kritiska, un viņš nevēlas, lai viņa darba process tiktu pārtraukts. Līdz ar to viņš nespiestu nekādas pogas, lai atļautu pieslēgties. Tādā veidā tika ieviests papildu funkcionalitāte autorizācijas laikā HelpDesk — TeamViewer ID nolasīšana. Mums bija zināms pastāvīgais parole, kas tika izmantota, kad tika uzstādīts TeamViewer. Precīzāk, to zināja tikai sistēma, jo tas bija iebūvēts instalatorā un mūsu sistēmā. Līdz ar to bija poga pieslēgšanai no pieprasījuma, uzspiežot uz kuras nebija jāgaida, bet uzreiz tika atvērts TeamViewer un notika savienojums. Rezultātā bija divi savienojumu veidi. Caur oficiālo TeamViewer API un mūsu pašizstrādāto. Mani pārsteidza, ka pirmo gandrīz uzreiz pārtrauca lietot, lai gan bija norādīts izmantot to tikai īpašos gadījumos un kad lietotājs pats to apstiprina. Tomēr drošība tagad ir ļoti svarīga. Bet izrādījās, ka pieprasītājiem tas nav nepieciešams. Viņi vispār nav pret to, ka viņiem pieslēdzas bez apstiprinājuma pogas.

Pāreja uz daudzplūsmu Linux sistēmā

Jau sen radās jautājums par tīkla skanera ātruma palielināšanu, pārbaudot iepriekš noteiktu portu sarakstu un vienkārši pingojot tīkla objektus. Pirmais risinājums, kas nāk prātā, ir daudzplūsma. Tā kā galvenais laiks, kas tiek veltīts pingam, ir gaidīšana uz atpakaļnosūtīto paketi, un nākamais ping nevar sākties, kamēr neierodas iepriekšējā pakete, uzņēmumos, kur ir pat 20+ serveru plus tīkla aprīkojums, tas jau darbojās diezgan lēni. Jāņem vērā, ka viena pakete var tikt pazaudēta, un nevajadzētu nekavējoties paziņot sistēmas administratoram. Viņš vienkārši ļoti ātri pārstās uzskatīt to par spamu. Tas nozīmē, ka katru objektu jāpingo vēl ne vienu reizi, pirms izdarīt secinājumus par nepieejamību. Ja neiedziļināmies sīkumos, tad jāparalēlī, jo, ja to nesam, sistēmas administrators visticamāk uzzinās par problēmu no klienta, nevis no uzraudzības sistēmas.

PHP pati par sevi no kastes nepiedāvā daudzplūsmas funkcionalitāti. Tā atbalsta daudzprocesoru režīmu, var veidot forkus. Bet man jau būtībā bija izstrādāta aptaujas mehānisms, un vēlējās to izdarīt tā, lai vienu reizi nolasītu visus nepieciešamos mezglus no datu bāzes, visus pingotu uzreiz, uzgaidītu atbildes no katra un tikai pēc tam uzreiz rakstītu datus. Tas ietaupa lasīšanas pieprasījumu skaitu. Šajā idejā lieliski iederējās daudzplūsmība. PHP ir PThreads modulis, kas ļauj veikt reālu daudzplūsmas darbību; patiesībā man nācās ievērojami piestrādāt, lai to iestatītu uz PHP 7.2, taču darbs tika paveikts. Portu skanēšana un pingošana kļuva ātri. Un, piemēram, no 15 sekundēm, kas iepriekš bija vajadzīgas, uz šo procesu tagad aizgāja 2 sekundes. Tas bija labs rezultāts.

Ātrs jauno uzņēmumu audits

Kā radās funkcionalitāte dažādu metrikas un aparatūras raksturlielumu vākšanai? Viss ir vienkārši. Mums dažreiz pasūta tikai esošās IT infrastruktūras auditu. Un tas pats ir nepieciešams, lai paātrinātu jauna klienta audita veikšanu. Vajadzēja kaut ko, kas ļautu ātri iepazīties ar vidēju vai lielu uzņēmumu un saprast, kāds aprīkojums viņiem vispār ir. Pings iekšējā tīklā, manuprāt, bloķē tikai tie, kas paši vēlas apgrūtināt sev dzīvi, un, pēc mūsu pieredzes, tādu ir maz. Bet tādi gadījumi notiek. Tātad, ir iespējams ātri skenēt tīklus, lai atrastu ierīces ar vienkāršu ping. Pēc tam var tās pievienot un pārskatīt atvērtos portus, kas mūs interesē. Patiesībā šī funkcionalitāte jau pastāvēja, bija nepieciešams tikai pievienot komandu no centrālā servera uz pakļauto, lai tas skenētu noteiktos tīklus un pievienotu visus, ko atradīs sarakstā. Aizmirsa pieminēt, ka tika plānots, ka mums jau ir gatavs attēls ar iestatītu sistēmu (pakļautais monitoringa servers), kuru mēs varējām vienkārši ieviest pie klienta audita laikā un pievienot to savam mākoņiem.

Taču audita rezultāts parasti ietver daudzveidīgu informāciju, un viena no tām ir — kādi vispār ir ierīces tīklā. Vispirms mūs interesēja Windows serveri un Windows darba stacijas domēna sastāvā. Tā kā vidējās un lielās kompānijās domēna neesamība ir, iespējams, izņēmums no noteikumiem. Lai runātu vienā valodā, manā izpratnē vidējā kompānija ir 100+ cilvēku. Vajadzēja izdomāt veidu, kā savākt datus no visām Windows mašīnām un serveriem, zinot to IP un domēna administratora kontu, taču nesagatavojot katrā no tām kādu programmatūru. Palīdzēja WMI interfeiss. Windows Management Instrumentation (WMI) burtiskā tulkojumā — Windows pārvaldības instruments. WMI ir viena no pamattehnoloģijām centralizētai pārvaldībai un dažādu Windows platformas daļu darbības uzraudei. Ņemts no viki. Pēc tam nācās vēlreiz pacensties, lai savāktu wmic (tas ir WMI klients) Debian. Pēc tam, kad viss bija gatavs, atlika tikai uzrunāt caur wmic nepieciešamos mezglus attiecībā uz nepieciešamo informāciju. Caurs WMI var iegūt gandrīz jebkādu informāciju no Windows datora, un, vēl vairāk, caur to var arī pārvaldīt datoru, piemēram, uzdot tam pārstartēšanos. Tā radās informācijas vākšana par Windows stacijām un serveriem mūsu sistēmā. Papildus tam tika iegūta arī aktuāla informācija par sistēmas slodzes rādītājiem. To pieprasām biežāk, bet informāciju par aparatūru retāk. Pēc tam veikt auditu kļuva nedaudz patīkamāk.

Lēmums par programmatūras izplatīšanu

Mēs paši katru dienu lietojam sistēmu, un tā ir vienmēr atvērta katra tehniskā darbinieka priekšā. Un mēs padomājām, ka varam dalīties ar to, kas jau ir. Sistēma vēl nebija gatava izplatīšanai. Nepieciešams bija pārfaktorizēt ļoti daudz, lai lokālā versija pārvērstos par SaaS. Tas ietver dažādu tehnisko aspektu maiņu sistēmas darbībā (tālvadības pieslēgumi, atbalsta dienests), modulu analīzi attiecībā uz licencēšanu, klientu datu bāzu šardēšanu, katra pakalpojuma mērogošanu un autoupdate sistēmu izstrādi visām daļām. Bet par to būs otrajā raksta daļā.

Atjaunināt

Otrā daļa

Avots: habr.com

Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem 🔥 Iegādājieties uzticamu tīmekļa hostingu ar DDoS aizsardzību, VPS VDS serveriem | ProHoster