Hallo jiddereen, mäin Numm ass Sergey Emelyanchik. Ech sinn de Chef vun der Audit-Telecom Firma, den Haaptentwéckler an Auteur vum Veliam System. Ech hu beschloss en Artikel ze schreiwen iwwer wéi mäi Frënd an ech eng Outsourcingfirma erstallt hunn, Software fir eis selwer geschriwwen hunn an duerno ugefaang hunn et u jiddereen iwwer de SaaS System ze verdeelen. Iwwert wéi ech kategoresch net gegleeft hunn datt dëst méiglech wier. Den Artikel enthält net nëmmen eng Geschicht, awer och technesch Detailer wéi de Veliam Produkt erstallt gouf. Inklusiv e puer Stécker Quellcode. Ech soen Iech wéi eng Feeler mir gemaach hunn a wéi mir se spéider korrigéiert hunn. Et goufen Zweifel ob esou en Artikel ze publizéieren. Mee ech hu geduecht et wier besser et ze maachen, Feedback ze kréien an ze verbesseren, wéi den Artikel net ze publizéieren an nozedenken wat geschitt wier wann ...
Virgeschicht
Ech hunn an enger Firma als IT Mataarbechter geschafft. D'Firma war zimlech grouss mat enger extensiv Netzwierkstruktur. Ech wäert net op meng Aarbecht Verantwortung bleiwen, ech wäert nëmme soen datt se definitiv d'Entwécklung vun näischt enthalen hunn.
Mir haten Iwwerwaachung, awer reng aus akademeschen Interessi wollt ech probéieren meng eegen einfachst ze schreiwen. D'Iddi war dat: Ech wollt et um Internet sinn, sou datt ech einfach eragoen ouni Clienten z'installéieren a kucken wat mam Netz geschitt ass vun all Apparat, inklusiv engem mobilen Apparat iwwer Wi-Fi, an ech och wierklech wollt séier verstoen wat Et gëtt Ausrüstung am Raum déi "mopey" ginn ass well ... et waren ganz streng Viraussetzunge fir Äntwert Zäit op esou Problemer. Als Resultat ass e Plang a mengem Kapp gebuer fir eng einfach Websäit ze schreiwen, op där et e JPEG-Hannergrond mat engem Netzwierkdiagramm war, d'Apparater selwer mat hiren IP Adressen an dësem Bild ausschneiden an dynameschen Inhalt uewen op der Bild an den erfuerderlechen Koordinaten a Form vun enger grénger oder blénkeg rout IP Adress. D'Aufgab ass gesat, loosst eis ufänken.
Virdru war ech programméiere an Delphi, PHP, JS a ganz iwwerflächlech C++. Ech weess ganz gutt wéi Netzwierker funktionnéieren. VLAN, Routing (OSPF, EIGRP, BGP), NAT. Dëst war genuch fir mech selwer e primitive Iwwerwachungsprototyp ze schreiwen.
Ech geschriwwen wat ech am PHP geplangt. Den Apache a PHP Server war op Windows well ... Linux war fir mech dee Moment eppes onverständleches a ganz komplizéiert, wéi et spéider erausgestallt gouf, ech hu mech ganz falsch gemaach an op ville Plazen ass Linux vill méi einfach wéi Windows, awer dëst ass en separat Thema a mir wëssen all wéivill Holivaren et sinn dëst Thema. De Windows Task Scheduler huet mat engem klengen Intervall gezunn (ech erënnere mech net genau, awer eppes wéi eemol all dräi Sekonnen) e PHP Skript, deen all Objete mat engem banalen Ping gepollt huet an de Staat an eng Datei gespäichert huet.
system(“ping -n 3 -w 100 {$ip_address}“);
Jo, jo, mat enger Datebank schaffen dee Moment war fir mech och net beherrscht. Ech wousst net datt et méiglech war Prozesser ze paralleliséieren, an duerch all d'Netzknäppchen ze goen huet laang Zäit gedauert, well ... dëst ass an engem thread geschitt. Probleemer sinn virun allem entstanen wann e puer Wirbelen net verfügbar waren, well jidderee vun hinnen huet de Skript fir 300 ms verspéit. Op der Client Säit gouf et eng einfach Looping Funktioun, déi mat Intervalle vun e puer Sekonnen aktualiséiert Informatioun vum Server mat enger Ajax Ufro erofgelueden an d'Interface aktualiséiert. Gutt, dann, no 3 net erfollegräiche Pings hannereneen, wann eng Websäit mat Iwwerwachung um Computer op war, huet eng lëschteg Kompositioun gespillt.
Wéi alles geklappt huet, war ech ganz inspiréiert vum Resultat an hunn geduecht datt ech méi dozou kéint addéieren (wéinst mengem Wëssen a Fäegkeeten). Mee ech hunn ëmmer Systemer mat enger Millioun Charts net gär, déi ech deemools geduecht hunn, a bis haut denken, sinn an de meeschte Fäll onnéideg. Ech wollt nëmmen dohinner setzen wat mir wierklech a menger Aarbecht hëllefe géif. Dëse Prinzip bleift fundamental fir d'Entwécklung vu Veliam bis haut. Weider, hunn ech gemierkt datt et ganz cool wier wann ech net musse weider iwwerwaachen an iwwer Probleemer wëssen, a wann et geschitt ass, da maach d'Säit op a kuckt wou dëse problematesche Netzwierkknuet läit a wat et duerno maache soll . Iergendwéi hunn ech deemools keng E-Mail gelies, ech hunn se einfach net benotzt. Ech sinn um Internet begéint, datt et SMS-Gateways gëtt, op déi Dir eng GET- oder POST-Ufro schécke kënnt, a si schécken en SMS op mäin Handy mam Text, deen ech schreiwen. Ech hunn direkt gemierkt datt ech dat wierklech wollt. An ech hunn ugefaang d'Dokumentatioun ze studéieren. No enger Zäit hunn ech et fäerdeg bruecht, an elo krut ech eng SMS iwwer Probleemer am Netz op mengem Handy mam Numm vun engem "gefallene Objet". Och wann de System primitiv war, ass et vu mir selwer geschriwwen, an dat Wichtegst wat mech motivéiert huet fir et z'entwéckelen ass datt et en Applikatiounsprogramm war deen mir wierklech a menger Aarbecht gehollef huet.
An dunn ass den Dag komm, wéi ee vun den Internetkanäl op der Aarbecht erofgaang ass, a meng Iwwerwaachung huet mech net doriwwer gewuer. Zënter Google DNS huet nach ëmmer perfekt gepingt. Et ass Zäit fir nozedenken wéi Dir kënnt iwwerwaachen datt de Kommunikatiounskanal lieweg ass. Et waren verschidden Iddien wéi dëst ze maachen. Ech hat net Zougang zu all Equipement. Mir hu missen erausfannen, wéi ee vun de Kanäl lieweg ass, awer ouni et iergendwéi op der Netzwierkausrüstung selwer ze gesinn. Dunn ass e Kolleg op d'Iddi komm, datt et méiglech ass datt d'Streck Tracing op ëffentleche Serveren ënnerscheede kann jee no wéi engem Kommunikatiounskanal de Moment benotzt gëtt fir op den Internet ze kommen. Ech hunn iwwerpréift an et huet sech esou erausgestallt. Et waren verschidde Strecken beim Tracing.
system(“tracert -d -w 500 8.8.8.8”);
Also en anert Skript erschéngt, oder éischter, aus irgendege Grënn gouf d'Spuer um Enn vum selwechte Skript bäigefüügt, deen all Apparater am Netz gepingt huet. No allem ass dëst en anere laange Prozess deen am selwechte Fuedem ausgefouert gouf an d'Aarbecht vum ganze Skript verlangsamt huet. Awer dunn war et net sou evident. Awer op eng oder aner Manéier huet hien seng Aarbecht gemaach, de Code huet strikt definéiert wéi eng Tracing fir jidderee vun de Kanäl soll sinn. Dëst ass wéi de System ugefaang ze schaffen, dee scho iwwerwaacht (haut gesot, well et keng Sammlung vu Metriken war, awer just Ping) Netzwierkgeräter (Router, Schalter, Wi-Fi, etc.) a Kommunikatiounskanäl mat der Äussewelt . SMSen sinn reegelméisseg ukomm an d'Diagramm huet ëmmer kloer gewisen, wou de Problem war.
Weider, am alldeeglechen Aarbecht hunn ech Cross-crossing missen maachen. An ech sinn midd all Kéier op Cisco Schalter ze goen fir ze kucken wéi eng Interface ze benotzen. Wéi cool wier et op en Objet an der Iwwerwaachung ze klicken an eng Lëscht vu sengen Interfaces mat Beschreiwungen ze gesinn. Et géif mech Zäit spueren. Ausserdeem, an dësem Schema wier et net néideg Putty oder SecureCRT ze lafen fir Konten a Kommandoen anzeginn. Ech hunn just op d'Iwwerwaachung geklickt, gesinn wat gebraucht gouf a sinn meng Aarbecht gaang. Ech hunn ugefaang no Weeër ze sichen fir mat Schalter ze interagéieren. Ech sinn direkt op 2 Optiounen komm: SNMP oder aloggen an de Schalter iwwer SSH, gitt d'Befehle déi ech gebraucht hunn an d'Resultat parséieren. Ech hunn SNMP entlooss wéinst der Komplexitéit vu senger Ëmsetzung; Ech war ongedëlleg fir d'Resultat ze kréien. mat SNMP, Dir musst fir eng laang Zäit an der MIB Gruef an, baséiert op dës Donnéeën, Generéiere Daten iwwert d'Schnëttplazen. Et gëtt eng wonnerbar Equipe um CISCO
show interface statusEt weist genee wat ech fir Kräiz-Kräizungen brauch. Firwat mat SNMP beméien wann ech just d'Ausgab vun dësem Kommando wëlle gesinn, hunn ech geduecht. No enger Zäit hunn ech dës Geleeënheet realiséiert. Geklickt op en Objet op enger Websäit. En Event gouf ausgeléist, duerch deen den AJAX Client de Server kontaktéiert huet, an et, ofwiesselnd, iwwer SSH mam Schalter verbonnen deen ech gebraucht hunn (d'Umeldungsinformatioune goufen an de Code hardcoded, et war kee Wonsch et ze verfeineren, fir e puer separat Menue ze maachen wou et wier méiglech Konte vun der Interface z'änneren , Ech brauch d'Resultat a séier) Ech hunn de Kommando uewen aginn an et zréck an de Browser geschéckt. Also hunn ech ugefaang Informatioun iwwer Interfaces mat engem Mausklick ze gesinn. Dëst war extrem bequem, besonnesch wann Dir dës Informatioun op verschiddene Schalter gläichzäiteg musst gesinn.
Trace-baséiert Kanal Iwwerwachung war schlussendlech net déi bescht Iddi, well ... heiansdo gouf d'Aarbecht am Netz duerchgefouert, an d'Tracing konnt sech änneren an d'Iwwerwaachung huet ugefaang op mech ze kräischen datt et Probleemer mam Kanal waren. Awer nodeems ech vill Zäit op Analyse verbruecht hunn, hunn ech gemierkt datt all Channels funktionnéieren, a meng Iwwerwaachung huet mech täuscht. Als Resultat hunn ech meng Kollegen gefrot, déi Kanalbildungsschalter geréiert hunn, mir einfach Syslog ze schécken wann de Visibilitéitsstatus vun den Noperen geännert huet. Deementspriechend war et vill méi einfach, méi séier a méi genau wéi Tracing. En Event wéi Noper verluer ass ukomm, an ech ginn direkt eng Notifikatioun iwwer de Kanal erof.
Weider sinn e puer méi Kommandoen opgetaucht wann Dir op en Objet klickt, an SNMP gouf bäigefüügt fir e puer Metriken ze sammelen, an dat ass am Fong. De System huet sech ni weider entwéckelt. Et huet alles gemaach wat ech brauch, et war e gutt Tool. Vill Lieser wäerten mir wahrscheinlech soen datt et scho vill Software um Internet gëtt fir dës Problemer ze léisen. Awer tatsächlech hunn ech deemools net sou gratis Produkter gegoogle an ech wollt wierklech meng Programméierungsfäegkeeten entwéckelen, a wéi eng besser Manéier fir dëst ze drécken wéi e richtege Applikatiounsproblem. Zu dësem Zäitpunkt war déi éischt Versioun vun der Iwwerwaachung fäerdeg a gouf net méi geännert.
Schafung vun der Firma Audit-Telecom
Wéi d'Zäit vergaang ass, hunn ech ugefaang Deelzäit an anere Firmen ze schaffen, glécklecherweis huet mäin Aarbechtsplang mir dat erlaabt. Wann Dir a verschiddene Firmen schafft, wuessen Är Fäegkeeten a verschiddene Beräicher ganz séier, an Är Horizont entwéckelen sech gutt. Et gi Firmen an deenen, wéi se soen, Dir sidd e Schwede, e Reaper an en Trompettist. Engersäits ass et schwéier, op der anerer Säit, wann Dir net faul sidd, gëtt Dir e Generalist an dëst erlaabt Iech Problemer méi séier a méi effizient ze léisen, well Dir wësst wéi dat Zesummenhang Feld funktionnéiert.
Mäi Frënd Pavel (och en IT Spezialist) huet ëmmer probéiert mech ze encouragéieren säin eegent Geschäft ze grënnen. Et waren eng Onmass Iddien mat verschiddene Variatiounen vun deem wat se gemaach hunn. Dëst gëtt zënter Joeren diskutéiert. A schlussendlech sollt et net zu eppes kommen, well ech e Skeptiker sinn, an de Pavel en Dreem. All Kéier wann hien eng Iddi proposéiert huet, hunn ech ëmmer net dru gegleeft a refuséiert matzemaachen. Awer mir wollte wierklech eisen eegene Betrib opmaachen.
Schlussendlech konnte mir eng Optioun fannen déi eis zwee passt an ze maachen wat mir wësse wéi ze maachen. Am Joer 2016 hu mir décidéiert eng IT Firma ze kreéieren déi d'Entreprisen hëllefe géif IT Probleemer ze léisen. Dëst ass den Détachement vun IT Systemer (1C, Terminal Server, Mail Server, etc.), hiren Ënnerhalt, klassesch HelpDesk fir Benotzer an Reseau Administratioun.
Éierlech gesot, zum Zäitpunkt vun der Schafung vun der Firma, hunn ech net iwwer 99,9% gegleeft. Awer iergendwéi konnt de Pavel mech probéieren, an no vir ze kucken, huet hien sech richteg gewisen. De Pavel an ech hunn all 300 Rubel gechipt, en neien LLC "Audit-Telecom" registréiert, e klenge Büro gelount, cool Visittekaarte gemaach, gutt, am Allgemengen, wéi wahrscheinlech déi meescht onerfueren, Ufänger Geschäftsleit, an hunn ugefaang no Clienten ze sichen. Clienten ze fannen ass eng komplett aner Geschicht. Vläicht schreiwen mir en separaten Artikel als Deel vum Corporate Blog wann iergendeen interesséiert ass. Kale Appellen, Flyeren, etc. Dëst huet keng Resultater ginn. Wéi ech elo aus ville Geschichten iwwer d'Geschäft liesen, op eng oder aner Manéier, hänkt vill vum Gléck of. Mir waren Gléck. a wuertwiertlech e puer Wochen no der Schafung vun der Firma, koum mäi Brudder Vladimir eis, deen eis den éischte Client bruecht huet. Ech langweilen Iech net mat den Detailer vun der Aarbecht mat de Clienten, dat ass net ëm wat den Artikel geet, ech soen just datt mir fir en Audit gaang sinn, kritesch Beräicher identifizéiert an dës Beräicher sinn opgebrach wärend d'Decisioun geholl gouf ob et kooperéiere mat eis op enger kontinuéierlecher Basis als Outsourcer. Duerno gouf direkt eng positiv Decisioun geholl.
Dunn, haaptsächlech duerch Wuert vu Mond duerch Frënn, aner Déngschtleeschtungsfirmen ugefaang ze erschéngen. Helpdesk war an engem System. D'Verbindunge mat Netzwierkausrüstung a Server sinn ënnerschiddlech, oder éischter anescht. E puer Leit hunn Ofkiirzungen gespuert, anerer hunn RDP Adressbicher benotzt. Iwwerwaachung ass en anere separaten System. Et ass ganz onbequem fir en Team an ënnerschiddleche Systemer ze schaffen. Wichteg Informatioun ass aus den Ae verluer. Gutt, zum Beispill, den Terminal Server vum Client gouf net verfügbar. Uwendunge vu Benotzer vun dësem Client ginn direkt kritt. De Support Spezialist mécht eng Demande op (et gouf per Telefon kritt). Wann Tëschefäll an Ufroen an engem System registréiert goufen, da géif den Support Spezialist direkt gesinn wat de Problem vum Benotzer ass an him doriwwer soen, a gläichzäiteg mat dem erfuerderlechen Objet verbënnt fir d'Situatioun auszeschaffen. Jiddereen ass bewosst vun der taktesch Situatioun a schafft harmonesch. Mir hu kee System fonnt wou dat alles kombinéiert ass. Et gouf kloer datt et Zäit war fir eisen eegene Produkt ze maachen.
Weider Aarbecht op Ärem Iwwerwaachungssystem
Et war kloer datt de System, dee virdru geschriwwe gouf, fir déi aktuell Aufgaben komplett net gëeegent ass. Weder a punkto Funktionalitéit nach a punkto Qualitéit. An et gouf decidéiert de System vun Null ze schreiwen. Grafesch sollt et ganz anescht ausgesinn. Et huet missen en hierarchesche System sinn, sou datt et méiglech wier de richtegen Objet fir de richtege Client séier a bequem opzemaachen. De Schema wéi an der éischter Versioun war absolut net gerechtfäerdegt am aktuelle Fall, well D'Clientë sinn anescht an et war egal a wéi enger Raimlechkeeten d'Ausrüstung war. Dëst ass schonn op d'Dokumentatioun transferéiert ginn.
Also, d'Aufgaben:
- Hierarchesch Struktur;
- Eng Aart vu Serverdeel, deen op de Raimlechkeete vum Client an der Form vun enger virtueller Maschinn plazéiert ka ginn, fir d'Metriken ze sammelen, déi mir brauchen an et op den zentrale Server schécken, deen dat alles resüméiert a weist eis;
- Alarmer. Déi déi net verpassen, well... deemools war et net méiglech fir een ze sëtzen a just op de Monitor ze kucken;
- Applikatioun System. Clienten ugefaang ze erschéngen fir déi mir servéiert net nëmmen Server an Reseau Equipement, mä och Aarbechtsstatiounen;
- Fäegkeet fir séier mat Serveren an Ausrüstung vum System ze verbannen;
D'Aufgaben si gesat, mir fänken un ze schreiwen. Laanscht de Wee, Veraarbechtung vun Ufroe vu Clienten. Mir waren deemools schonn 4. Mir hunn ugefaang béid Deeler op eemol ze schreiwen: den zentrale Server an de Server fir d'Installatioun op Clienten. Zu dësem Zäitpunkt war Linux net méi e Frieme fir eis an et gouf decidéiert datt d'virtuelle Maschinnen déi Clienten hätten op Debian wieren. Et gi keng Installateuren, mir maachen just e Server-Deelprojet op enger spezifescher virtueller Maschinn, an da klone mir et just op de gewënschten Client. Dëst war en anere Feeler. Méi spéit gouf et kloer datt an esou engem Schema den Update-Mechanismus komplett onentwéckelt war. Déi. mir waren dobäi e puer nei Fonctiounen, an dann war et de ganze Problem vun engem verdeele et op all Client Serveren, mä mir wäert kommen zréck op dëst méi spéit, alles an Uerdnung.
Mir hunn den éischte Prototyp gemaach. Hie konnt d'Clientnetzgeräter a Serveren, déi mir gebraucht hunn, pingelen an dës Donnéeën un eisen zentrale Server schécken. An hien, ofwiesselnd, aktualiséiert dës Donnéeën am bulk um zentrale Server. Hei schreiwen ech net nëmmen eng Geschicht iwwer wéi a wat erfollegräich war, awer och wéi eng amateuristesch Feeler gemaach goufen a wéi spéider ech et mat der Zäit muss bezuelen. Also, de ganze Bam vun Objeten gouf an enger eenzeger Datei a Form vun engem serialiséierten Objet gespäichert. Iwwerdeems mir e puer Clienten un de System verbonne, alles war méi oder manner normal, obwuel heiansdo goufen et e puer artifacts déi komplett onverständlech waren. Awer wa mir eng Dosen Server mam System verbonnen hunn, hunn Wonner ugefaang ze geschéien. Heiansdo, aus engem onbekannte Grond, sinn all Objeten am System einfach verschwonnen. Et ass wichteg hei ze notéieren datt d'Serveren déi d'Clienten Daten op den zentrale Server all puer Sekonnen iwwer eng POST Ufro geschéckt hunn. En opmierksam Lieser an en erfuerene Programméierer hu scho virgeschloen datt et e Problem war mat multiplen Zougang zu der ganzer Datei, an där de serialiséierten Objet aus verschiddene Threads zur selwechter Zäit gespäichert gouf. A just wann dat geschitt ass, sinn Wonner geschitt mam Verschwannen vun Objeten. De Fichier gouf einfach eidel. Awer all dëst gouf net direkt entdeckt, awer nëmmen während der Operatioun mat verschiddene Serveren. Wärend dëser Zäit gouf Port Scanner Funktionalitéit bäigefüügt (d'Server, déi un d'Zentral geschéckt ginn, net nëmmen Informatioun iwwer d'Disponibilitéit vun Apparater, awer och iwwer d'Ports déi op si opmaachen). Dëst gouf gemaach andeems Dir de Kommando rufft:
$connection = @fsockopen($ip, $port, $errno, $errstr, 0.5);
d'Resultater waren dacks falsch an d'Scans hunn eng laang Zäit gedauert. Ech hunn de Ping komplett vergiess, et gouf iwwer fping gemaach:
system("fping -r 3 -t 100 {$this->ip}");
Dëst war och net paralleliséiert an dofir war de Prozess ganz laang. Méi spéit gouf déi ganz Lëscht vun den IP Adressen, déi fir d'Verifizéierung erfuerderlech sinn, op eemol op fping geschéckt, an zréck krute mir eng fäerdeg Lëscht vun deenen, déi geäntwert hunn. Am Géigesaz zu eis konnt fping Prozesser paralleliséieren.
Eng aner gemeinsam Routine Aarbecht war e puer Servicer iwwer WEB opzestellen. Gutt, zum Beispill, ECP vu MS Exchange. Am Fong ass et just e Link. A mir hunn décidéiert datt mir fäeg sinn esou Linken direkt an de System ze addéieren, fir net an der Dokumentatioun oder soss anzwousch an de Lieszeeche musse kucken wéi een op den ECP vun engem spezifesche Client kënnt. Dëst ass wéi d'Konzept vun Ressource Linken fir de System erschéngt, hir Funktionalitéit ass bis haut verfügbar an huet net geännert, gutt, bal.
Wéi Ressource Linken Aarbecht am Veliam
Fernverbindungen
Dëst ass wéi et an Aktioun an der aktueller Versioun vum Veliam ausgesäit
Eng vun den Aufgaben war séier a bequem mat Serveren ze verbannen, vun deenen et scho vill (méi wéi honnert) waren an d'Sortéierung duerch Millioune vu virgespuerte RDP Ofkierzungen war extrem onbequem. En Tool war gebraucht. Et gëtt Software um Internet déi eppes wéi en Adressbuch fir sou RDP Verbindungen ass, awer si sinn net mam Iwwerwaachungssystem integréiert, a Konten kënnen net gespäichert ginn. Konte fir verschidde Clienten all Kéier aginn ass reng Häll wann Dir Dosende Mol am Dag mat verschiddene Server verbënnt. Mat SSH sinn d'Saachen e bësse besser; et gëtt vill gutt Software déi Iech erlaabt esou Verbindungen an Ordner ze organiséieren an d'Konten vun hinnen z'erënneren. Mee et ginn 2 Problemer. Déi éischt ass datt mir keen eenzege Programm fir RDP an SSH Verbindunge fonnt hunn. Déi zweet ass datt wann ech iergendwann net bei mengem Computer sinn an ech muss séier verbannen, oder ech hunn de System just nei installéiert, da muss ech an d'Dokumentatioun goen fir de Kont vun dësem Client ze kucken. Et ass onbequem an eng Verschwendung vun Zäit.
Déi hierarchesch Struktur déi mir fir Client Serveren gebraucht hunn war schonn an eisem internen Produkt verfügbar. Ech hu just erauszefannen wéi séier Verbindungen un déi néideg Ausrüstung do befestegt. Fir Ufänger, op d'mannst an Ärem Netz.
Wann Dir d'Tatsaach berücksichtegt datt de Client an eisem System e Browser war deen keen Zougang zu de lokale Ressourcen vum Computer huet, fir einfach d'Applikatioun ze lancéieren déi mir mat e puer Kommando gebraucht hunn, gouf et erfonnt fir alles duerch de "Windows ze maachen Benotzerdefinéiert URL Schema". Dëst ass wéi e bestëmmte "Plugin" fir eise System erschéngt, deen einfach Putty a Remote Desktop Plus enthält an, während der Installatioun, einfach den URI Schema a Windows registréiert huet. Elo, wa mir mat engem Objet iwwer RDP oder SSH wollte verbannen, hu mir dës Aktioun op eisem System geklickt an de Custom URI huet geschafft. De Standard mstsc.exe a Windows oder Kitt gebaut, deen Deel vum "Plugin" war, gouf gestart. Ech setzen d'Wuert Plugin an Zitaten well dëst kee Browser Plugin am klassesche Sënn ass.
Op d'mannst war dat eppes. Praktesch Adressbuch. Ausserdeem, am Fall vu Putty, war alles allgemeng gutt; et konnt IP Verbindungen, Login a Passwuert als Inputparameter ginn. Déi. Mir hu scho mat engem Klick u Linux Serveren op eisem Netz verbonnen ouni Passwierder anzeginn. Awer mat RDP ass et net sou einfach. Standard mstsc kann net Umeldungsinformatiounen als Parameter liwweren. Remote Desktop Plus koum zur Rettung. Hien huet dat erlaabt. Elo kënne mir ouni et maachen, awer fir eng laang Zäit war et e treie Assistent an eisem System. Mat HTTP(S) Siten ass alles einfach, sou Objeten einfach am Browser opgemaach an dat ass et. Praktesch a praktesch. Awer dëst war Gléck nëmmen am internen Netzwierk.
Zënter datt mir déi grouss Majoritéit vu Probleemer op afstand vum Büro geléist hunn, war dat einfachst VPNs fir Clienten verfügbar ze maachen. An dann war et méiglech mat hinnen aus eisem System ze verbannen. Mee et war nach e bëssen onbequem. Fir all Client war et néideg eng Rëtsch erënnert VPN Verbindungen op all Computer ze halen, a ier Dir mat engem verbënnt, war et néideg de entspriechende VPN z'aktivéieren. Mir hunn dës Léisung fir eng zimlech laang Zäit benotzt. Awer d'Zuel vu Clienten geet erop, d'Zuel vun de VPNs geet och erop, an dat alles huet ugefaang eis ze belaaschten an eppes huet misse gemaach ginn. Tréinen koumen virun allem an den Ae no der Installatioun vum System, wéi ech Dosende vu VPN-Verbindungen an engem neie Windows-Profil erëm aginn hunn. Halt op mat dësem opzestellen, sot ech, an hunn ugefaang ze denken wat ech doriwwer maache kéint.
Et ass geschitt, datt all Clienten Apparater vun der bekannter Firma Mikrotik als Router haten. Si si ganz funktionell a praktesch fir bal all Aufgab auszeféieren. Den Nodeel ass datt se "gekaapt" sinn. Mir hunn dëse Problem einfach geléist andeems mir all Zougang vu baussen zougemaach hunn. Awer et war néideg iergendwéi Zougang zu hinnen ze hunn ouni op d'Plaz vum Client ze kommen, well ... et ass laang. Mir hunn einfach Tunnel fir all esou Mikrotik gemaach an se an eng separat Pool getrennt. ouni Routing, sou datt et keng Verbindung vun Ärem Netz mat den Netzwierker vu Clienten an hiren Netzwierker mateneen ass.
D'Iddi gouf gebuer fir sécherzestellen datt wann ech op den Objet klickt deen ech am System brauch, den zentrale Iwwerwaachungsserver, deen d'SSH Konte vun all Client Mikrotik kennt, verbënnt mat dem gewënschtenen, erstellt eng Forwarding Regel un de gewënschten Host mat der néideg port. Et gi verschidde Punkten hei. D'Léisung ass net universell - et funktionnéiert nëmme fir Mikrotik, well d'Kommandosyntax fir all Router anescht ass. Och esou Expeditioune missten dann iergendwéi geläscht ginn, an de Serverdeel vun eisem System konnt wesentlech net op iergendeng Manéier verfollegen ob ech meng RDP Sessioun ofgeschloss hunn. Gutt, esou Forwarding ass e Lach fir de Client. Awer mir hunn d'Universalitéit net verfollegt, well ... de Produit gouf nëmmen an eiser Firma benotzt an et waren keng Gedanken et un de Public ze verëffentlechen.
Jidderee vun de Problemer gouf op seng eege Manéier geléist. Wann d'Regel erstallt gouf, war dës Expeditioun nëmme fir eng spezifesch extern IP Adress verfügbar (aus där d'Verbindung initialiséiert gouf). Sou gouf e Sécherheetsloch evitéiert. Awer mat all esou Verbindung gouf eng Mikrotik Regel op d'NAT Säit bäigefüügt a gouf net geläscht. A jidderee weess datt wat méi Regelen et gëtt, wat méi de Prozessor vum Router gelueden ass. An am Allgemengen, Ech konnt net akzeptéieren, datt enges Daags ech op e puer Mikrotik goen géif, an et géif honnerte vun Doudegen, nëtzlos Regelen ginn.
Well eise Server de Verbindungsstatus net verfollege kann, loosst de Mikrotik se selwer verfollegen. An ech hunn e Skript geschriwwen, dee stänneg all Forwardingregele mat enger spezifescher Beschreiwung iwwerwaacht a kontrolléiert ob d'TCP Verbindung eng passend Regel huet. Wann et net eng Zäit laang war, dann ass d'Verbindung wahrscheinlech scho fäerdeg an dës Forwarding kann geläscht ginn. Alles huet geklappt, de Skript huet gutt geschafft.
Iwwregens, hei ass et:
global atmonrulecounter {"dontDelete"="dontDelete"}
:foreach i in=[/ip firewall nat find comment~"atmon_script_main"] do={
local dstport [/ip firewall nat get value-name="dst-port" $i]
local dstaddress [/ip firewall nat get value-name="dst-address" $i]
local dstaddrport "$dstaddress:$dstport"
#log warning message=$dstaddrport
local thereIsCon [/ip firewall connection find dst-address~"$dstaddrport"]
if ($thereIsCon = "") do={
set ($atmonrulecounter->$dstport) ($atmonrulecounter->$dstport + 1)
#:log warning message=($atmonrulecounter->$dstport)
if (($atmonrulecounter->$dstport) > 5) do={
#log warning message="Removing nat rules added automaticaly by atmon_script"
/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_main_$dstport"]
/ip firewall nat remove [/ip firewall nat find comment~"atmon_script_sub_$dstport"]
set ($atmonrulecounter->$dstport) 0
}
} else {
set ($atmonrulecounter->$dstport) 0
}
}
Et hätt ee sécherlech méi schéi, méi séier, etc. kënne maachen, awer et huet geschafft, de Mikrotik net gelueden an eng exzellent Aarbecht gemaach. Mir konnten endlech mat engem Klick un de Serveren vun de Clienten an Netzwierkausrüstung konnektéieren. Ouni e VPN opzemaachen oder Passwierder anzeginn. De System ass wierklech bequem ginn fir mat ze schaffen. Service Zäit gouf reduzéiert, a mir hunn all Zäit geschafft anstatt mat den néidegen Objeten ze verbannen.
Mikrotik Backup
Mir konfiguréiert Backupsatellit vun all Mikrotik zu FTP. An insgesamt war alles gutt. Awer wann Dir braucht e Backup ze kréien, musst Dir dës FTP opmaachen an do no sichen. Mir hunn e System wou all Router verbonne sinn; mir kënne mat Apparater iwwer SSH kommunizéieren. Firwat maache mir et net sou datt de System selwer Backupe vun all Mikrotik all Dag hëlt, hunn ech geduecht. An hien huet ugefaang et ëmzesetzen. Mir hunn ugeschloss, e Backup gemaach an et op d'Späichere geholl.
Skriptcode an PHP fir e Backup vu Mikrotik ze huelen:
<?php
$IP = '0.0.0.0';
$LOGIN = 'admin';
$PASSWORD = '';
$BACKUP_NAME = 'test';
$connection = ssh2_connect($IP, 22);
if (!ssh2_auth_password($connection, $LOGIN, $PASSWORD)) exit;
ssh2_exec($connection, '/system backup save name="atmon" password="atmon"');
stream_get_contents($connection);
ssh2_exec($connection, '/export file="atmon.rsc"');
stream_get_contents($connection);
sleep(40); // Waiting bakup makes
$sftp = ssh2_sftp($connection);
// Download backup file
$size = filesize("ssh2.sftp://$sftp/atmon.backup");
$stream = fopen("ssh2.sftp://$sftp/atmon.backup", 'r');
$contents = '';
$read = 0;
$len = $size;
while ($read < $len && ($buf = fread($stream, $len - $read))) {
$read += strlen($buf);
$contents .= $buf;
}
file_put_contents ($BACKUP_NAME . ‘.backup’,$contents);
@fclose($stream);
sleep(3);
// Download RSC file
$size = filesize("ssh2.sftp://$sftp/atmon.rsc");
$stream = fopen("ssh2.sftp://$sftp/atmon.rsc", 'r');
$contents = '';
$read = 0;
$len = $size;
while ($read < $len && ($buf = fread($stream, $len - $read))) {
$read += strlen($buf);
$contents .= $buf;
}
file_put_contents ($BACKUP_NAME . ‘.rsc’,$contents);
@fclose($stream);
ssh2_exec($connection, '/file remove atmon.backup');
ssh2_exec($connection, '/file remove atmon.rsc');
?>
De Backup gëtt an zwou Formen geholl - binär an Textkonfiguratioun. D'Binär hëlleft séier déi erfuerderlech Konfiguratioun ze restauréieren, an den Text erlaabt Iech ze verstoen wat Dir maache musst wann et e gezwongenen Ersatz vun Ausrüstung gëtt an de Binär kann net eropgeluede ginn. Als Resultat hu mir eng aner praktesch Funktionalitéit am System. Ausserdeem, wann Dir nei Mikrotik bäidréit, war et net néideg eppes ze konfiguréieren; Ech hunn den Objet einfach an de System bäigefüügt an e Kont fir et iwwer SSH gesat. Dunn huet de System selwer sech ëm d'Backups gekëmmert. Déi aktuell Versioun vu SaaS Veliam huet dës Funktionalitéit nach net, awer mir portéieren se geschwënn.
Screenshots vu wéi et am internen System ausgesäit
Iwwergank op normal Datebank Stockage
Ech hunn schonn uewen geschriwwen datt Artefakte erschéngen. Heiansdo ass déi ganz Lëscht vun den Objeten am System einfach verschwonnen, heiansdo beim Änneren vun engem Objet gouf d'Informatioun net gespäichert an den Objet huet dräimol missen ëmbenannt ginn. Dat huet jidderee schrecklech irritéiert. D'Verschwannen vun Objeten ass selten geschitt, a gouf einfach restauréiert andeems Dir dës ganz Datei restauréiert, awer Feeler beim Änneren vun Objeten sinn zimlech dacks geschitt. Wahrscheinlech hunn ech dat am Ufank net duerch d'Datebank gemaach, well et net a mengem Kapp gepasst huet wéi et méiglech war e Bam mat all de Verbindungen an engem flaach Dësch ze halen. Et ass flaach, awer de Bam ass hierarchesch. Awer eng gutt Léisung fir Multiple Zougang, an duerno (wéi de System méi komplex gëtt) transaktiounsfäeg ass en DBMS. Ech si wahrscheinlech net deen Éischten deen dëse Problem begéint. Ech hunn ugefaang ze googelen. Et huet sech erausgestallt datt alles scho viru mir erfonnt gouf an et gi verschidde Algorithmen déi e Bam aus engem flaach Dësch bauen. Nodeems ech all eenzel gekuckt hunn, hunn ech ee vun hinnen ëmgesat. Awer dëst war schonn eng nei Versioun vum System, well ... Tatsächlech hunn ech dowéinst zimlech vill missen ëmschreiwen. D'Resultat war natierlech, d'Problemer vum zoufällege Verhalen vum System sinn fortgaang. E puer kënne soen datt d'Feeler ganz amateuristesch sinn (Single-threaded Scripten, Informatioun späicheren, déi e puer Mol gläichzäiteg aus verschiddene Threads an enger Datei zougänglech ass, asw.) am Beräich vun der Softwareentwécklung. Vläicht ass dat richteg, mee meng Haaptaarbecht war d'Administratioun, an d'Programméiere war eng Säit-Hüst fir meng Séil, an ech hat einfach keng Erfahrung an engem Team vu Programméierer ze schaffen, wou sou grondsätzlech Saache mir direkt vu mengem Senior virgeschloen hätten Komeroden. Dofir hunn ech all dës Bumps eleng gefëllt, awer ech hunn d'Material ganz gutt geléiert. An och, meng Aarbecht beinhalt Reunioune mat Clienten, Aktiounen fir ze probéieren d'Firma ze promoten, eng ganz Rëtsch administrativ Themen an der Firma, a vill, vill méi. Mee op eng oder aner Manéier, wat schonn do war, war gefrot. D'Jongen an ech selwer hunn de Produit an eiser alldeeglecher Aarbecht benotzt. Et goufe éierlech ouni Erfolleg Iddien a Léisungen, op deenen d'Zäit verschwonnen ass, awer um Enn gouf kloer datt dëst keen Aarbechtsinstrument war a kee benotzt huet an et ass net zu Veliam opgehalen.
Helpdesk - HelpDesk
Et wier net falsch ze ernimmen wéi HelpDesk geformt gouf. Dëst ass eng ganz aner Geschicht, well ... zu Veliam ass dat schonn déi 3. komplett nei Versioun, déi anescht ass wéi all déi virdrun. Elo ass et en einfachen System, intuitiv ouni onnéideg Klacken a Pfeifen, mat der Fäegkeet fir mat engem Domain z'integréieren, wéi och d'Fäegkeet fir op dee selwechte Benotzerprofil iwwerall ze kommen mat engem Link vun enger E-Mail. An am wichtegsten ass et méiglech mat dem Bewerber iwwer VNC ze verbannen iwwerall (doheem oder am Büro) direkt vun der Applikatioun ouni VPN oder Port Forwarding. Ech soen Iech wéi mir dozou komm sinn, wat virdru geschitt ass a wéi eng schrecklech Entscheedunge getraff goufen.
Mir verbonne mat de Benotzer duerch de bekannte TeamViewer. All Computeren deenen hir Benotzer mir déngen hunn TV installéiert. Dat éischt wat mir falsch gemaach hunn, an duerno ewechgeholl hunn, war all HD Client un d'Hardware ze verbannen. Wéi huet de Benotzer sech an den HD System aloggen fir eng Ufro ze verloossen? Nieft dem Fernseh hat jidderee e speziellen Utility op hirem Computer installéiert, a Lazarus geschriwwen (vill Leit hei wäerten d'Aen rullen, a vläicht souguer op Google goen wat et ass, awer déi bescht kompiléiert Sprooch, déi ech wousst, war Delphi, a Lazarus ass bal déi selwecht Saach, nëmme gratis). Am Allgemengen huet de Benotzer eng speziell Batchdatei gestart, déi dësen Utility lancéiert huet, deen am Tour den HWID vum System gelies huet an duerno de Browser gestart gouf an d'Autorisatioun geschitt ass. Firwat gouf dat gemaach? A verschiddene Firmen gëtt d'Zuel vun de servéierte Benotzer individuell gezielt, an de Servicepräis fir all Mount baséiert op der Unzuel vun de Leit. Dëst ass verständlech, sot Dir, awer firwat ass et mat Hardware gebonnen? Ganz einfach sinn e puer Leit heem komm an hunn eng Demande vun hirem Heemlaptop gemaach am Stil vun "Maacht alles schéin fir mech hei." Zousätzlech fir de System HWID ze liesen, huet d'Utility déi aktuell Teamviewer ID aus der Registry gezunn an och un eis iwwerginn. Teamviewer huet eng API fir Integratioun. A mir hunn dës Integratioun gemaach. Mee et war ee Fang. Duerch dës APIen ass et onméiglech mat dem Benotzer säi Computer ze verbannen wann hien dës Sessioun net explizit initiéiert an nodeems hien probéiert huet ze verbannen, muss hien och op "Confirméieren" klickt. Zu där Zäit huet et eis logesch geschéngt datt kee sech ouni Ufro vum Benotzer konnektéiere sollt, a well d'Persoun um Computer ass, wäert hien d'Sessioun initiéieren an op d'Remote Connection Ufro affirméieren. Alles ass falsch erausgaang. D'Bewerber hu vergiess ze drécken d'Sessioun ze initiéieren, an hunn hinnen dat an engem Telefonsgespréich missen soen. Dëst huet Zäit verschwend a war frustréierend op béide Säiten vum Prozess. Ausserdeem ass et guer net ongewéinlech fir sou Momenter wann eng Persoun eng Demande hannerloosst, awer erlaabt nëmmen ze konnektéieren wann hien fir de Mëttegiessen fortgeet. Well de Problem ass net kritesch an hie wëll net datt säin Aarbechtsprozess ënnerbrach gëtt. Deementspriechend wäert hien keng Knäppercher drécken fir d'Verbindung z'erméiglechen. Dëst ass wéi zousätzlech Funktionalitéit erschéngt wann Dir Iech op HelpDesk aloggen - d'Teamviewer ID liesen. Mir woussten dat permanent Passwuert dat benotzt gouf beim Installéiere vun Teamviewer. Méi genee, nëmmen de System wousst et, well et am Installateur an an eisem System agebaut gouf. Deementspriechend gouf et e Verbindungsknäppchen vun der Applikatioun andeems Dir klickt op deen et net néideg war op eppes ze waarden, awer Teamviewer huet direkt opgemaach an eng Verbindung ass geschitt. Als Resultat goufen et zwou Zorte vu méigleche Verbindungen. Duerch déi offiziell Teamviewer API an eis selwer gemaachten. Zu menger Iwwerraschung hunn se bal direkt gestoppt deen éischten ze benotzen, obwuel et eng Instruktioun war fir se nëmmen a spezielle Fäll ze benotzen a wann de Benotzer selwer de Go-Ahead gëtt. Trotzdem, gitt mir elo Sécherheet. Awer et huet sech erausgestallt datt d'Bewerber dëst net brauchen. Si sinn all absolut gutt mat hinnen ouni Confirmatiounsknäppchen verbonne ginn.
Wiesselt op Multithreading am Linux
D'Fro fir de Passage vun engem Netzwierkscanner ze beschleunegen fir d'Ouverture vun enger virbestëmmter Lëscht vu Ports an einfache Pinging vun Netzwierkobjekter huet laang ugefaang ze entstoen. Hei ass natierlech déi éischt Léisung déi am Kapp kënnt ass Multithreading. Zënter datt d'Haaptzäit, déi um Ping verbruecht gëtt, op de Paket gewaart gëtt fir zréckzekommen, an den nächste Ping kann net ufänken bis de fréiere Paket zréckgeet, an Firmen déi souguer 20+ Server plus Netzwierkausrüstung haten, huet dëst scho ganz lues geschafft. De Punkt ass datt ee Package verschwannen kann, awer net direkt de Systemadministrator doriwwer informéieren. Hie wäert einfach ophalen esou Spam ganz séier ze akzeptéieren. Dëst bedeit datt Dir all Objet méi wéi eemol muss pingelen ier Dir eng Conclusioun iwwer Inaccessibilitéit maacht. Ouni ze vill Detailer ze goen, ass et néideg ze paralleliséieren, well wann dëst net gemaach gëtt, da wäert de Systemadministrator héchstwahrscheinlech iwwer de Problem vum Client léieren, an net vum Iwwerwaachungssystem.
PHP selwer ënnerstëtzt net Multithreading aus der Këscht. Kapabel vu Multiprocessing, Dir kënnt Gabel. Awer tatsächlech hat ech schonn e Pollingmechanismus geschriwwen an ech wollt et esou maachen datt ech eng Kéier all d'Noden zielen déi ech brauch aus der Datebank, alles op eemol pingelen, op eng Äntwert vun all waarden an eréischt duerno direkt schreiwen d'Donnéeën. Dëst spuert op d'Zuel vun de liesen Ufroen. Multithreading passt perfekt an dës Iddi. Fir PHP gëtt et e PThreads-Modul deen Iech erlaabt real Multithreading ze maachen, obwuel et e faire Betrag vun Tinker gedauert huet fir dëst op PHP 7.2 opzestellen, awer et gouf gemaach. Port Scannen a Ping sinn elo séier. An amplaz zum Beispill 15 Sekonnen pro Ronn virdrun, huet dëse Prozess ugefaang 2 Sekonnen ze huelen. Et war e gutt Resultat.
Quick Audit vun neie Firmen
Wéi ass d'Funktionalitéit fir verschidde Metriken an Hardwareeigenschaften ze sammelen entstanen? Et ass einfach. Heiansdo gi mir einfach bestallt fir déi aktuell IT-Infrastruktur ze kontrolléieren. Gutt, datselwecht ass néideg fir den Audit vun engem neie Client ze beschleunegen. Mir hunn eppes gebraucht, wat eis erlaabt, an eng mëttel oder grouss Firma ze kommen a séier erauszefannen, wat se hunn. Menger Meenung no ass de Ping am internen Netz nëmme blockéiert vun deenen, déi hiert eegent Liewen komplizéiere wëllen, an eiser Erfahrung sinn et wéineg vun hinnen. Mä et ginn och esou Leit. Deementspriechend kënnt Dir séier Netzwierker fir d'Präsenz vun Apparater mat engem einfachen Ping scannen. Da kënne mir se derbäisetzen a fir oppe Ports scannen déi eis interesséieren. Tatsächlech gouf dës Funktionalitéit scho existéiert; et war nëmmen néideg fir e Kommando vum zentrale Server un de Sklave ze addéieren, sou datt et déi spezifizéiert Netzwierker scannt an alles bäigefüügt wat et op d'Lëscht fonnt huet. Ech hu vergiess ze ernimmen, et gouf ugeholl datt mir schonn e fäerdege Bild mat engem konfiguréierte System (Sklave-Iwwerwaachungsserver) haten, dee mir einfach aus dem Client wärend engem Audit ausrollen an et mat eiser Wollek verbannen.
Awer d'Resultat vun engem Audit enthält normalerweis eng Rëtsch verschidden Informatioun, an ee vun hinnen ass wéi eng Apparater am Netz sinn. Éischt vun all, mir waren interesséiert Windows Serveren an Windows Aarbechtsstatiounen als Deel vun engem Domain. Well a mëttel- a grousse Firmen ass de Mangel vun engem Domain wahrscheinlech eng Ausnam zu der Regel. Fir eng Sprooch ze schwätzen, ass d'Moyenne, menger Meenung no, 100+ Leit. Et war néideg mat engem Wee ze kommen fir Daten vun all Windows Maschinnen a Serveren ze sammelen, hir IP an Domain Administrator Kont ze kennen, awer ouni Software op jiddereng vun hinnen z'installéieren. D'WMI Interface kënnt op d'Rettung. Windows Management Instrumentation (WMI) heescht wuertwiertlech Windows Management Tools. WMI ass eng vun de Basistechnologien fir zentraliséiert Gestioun an Iwwerwaachung vun der Operatioun vu verschiddenen Deeler vun der Computerinfrastruktur, déi op der Windows Plattform leeft. Vun der Wiki geholl. Als nächst hunn ech nach eng Kéier missen täuschen fir wmic (dëst ass e WMI Client) fir Debian ze kompiléieren. Nodeems alles fäerdeg war, bleift just nach fir déi néideg Noden duerch wmic fir déi néideg Informatioun einfach ze pollen. Duerch WMI kënnt Dir bal all Informatioun vun engem Windows Computer kréien, an desweideren, Dir kënnt och de Computer duerch et kontrolléieren, zum Beispill, schéckt se fir nei ze starten. Dëst ass wéi d'Sammlung vun Informatioun iwwer Windows Statiounen a Serveren an eisem System erschéngt. Zousätzlech zu dësem gouf et aktuell Informatioun iwwer aktuell Systembelaaschtungsindikatoren. Mir froen se méi dacks, an Informatioun iwwer Hardware manner dacks. Duerno gouf den Audit e bësse méi agreabel.
Software Verdeelung Decisioun
Mir selwer benotzen de System all Dag, an et ass ëmmer op fir all technesch Mataarbechter. A mir hu geduecht datt mir mat aneren deelen wat mir schonn hunn. De System war nach net prett fir ze verdeelen. Vill huet missen ëmgeschafft ginn, fir datt déi lokal Versioun an SaaS géif ginn. Dozou gehéieren Ännerungen an verschiddenen techneschen Aspekter vum System (Fernverbindungen, Ënnerstëtzungsservice), Analyse vu Moduler fir d'Lizenz, d'Sharding vun de Clientsdatenbanken, d'Skaléierung vun all Service, an d'Entwécklung vun Auto-Aktualiséierungssystemer fir all Deeler. Awer dëst wäert den zweeten Deel vum Artikel sinn.
Aktualiséierung
Source: will.com