Iz outsourcinga u razvoj (Dio 2)

U prošlom članku, pričao sam o povijesti stvaranja Veliam-a i o rješenju njegova širenja putem SaaS sustava. U ovom članku, pričat ću o tome što je bilo potrebno učiniti da proizvod postane javni, a ne lokalni. O tome kako smo počeli s distribucijom i s kojim smo se problemima suočili.

Planiranje

Trenutačna serverska infrastruktura za korisnike bila je na Linuxu. Gotovo svaka organizacija ima Windows servere, što se ne može reći za Linux. Glavna snaga Veliam-a je udaljene veze s serverima i mrežnom opremom iza NAT-a. No, ta funkcionalnost bila je jako vezana uz to da router mora biti nužno MikroTik. I to bi očito mnogima bilo nezadovoljavajuće. Prvo sam počeo razmišljati o dodavanju podrške za routere najpoznatijih proizvođača. No shvatio sam da je to beskonačna utrka s proširenjem popisa podržanih marki. Štoviše, čak i one koje su već podržane, mogle bi se od modela do modela razlikovati u setu naredbi za promjenu NAT pravila. Jedini izlaz iz situacije vidio sam u VPN-u.

Budući da smo odlučili distribuirati proizvod, ali ne kao open source, nismo mogli uključiti razne biblioteke s otvorenim licencama poput GPL-a. To je ujedno i posebna tema, jer smo nakon odluke o prodaji proizvoda morali pregledati polovicu biblioteka zbog toga što su bile GPL. Kada smo to radili za sebe, to je bilo u redu. No, za distribuciju to nije bilo prikladno. Prvi VPN koji mi pada na pamet je OpenVPN. Ali on je GPL. Postojao je i izbor korištenja japanskog SoftEther VPN-a. Njegova licenca dopuštala je uključivanje u naš proizvod. Nakon nekoliko dana raznih testova kako integrirati na način da korisnik ne treba ništa postavljati niti znati o SoftEther VPN-u — dobili smo prototip. Sve je bilo kako treba. No, iz nekog razloga ta shema nas je još uvijek zbunjivala, pa smo je na kraju odbacili. Naravno, odbacili smo je kad smo smislili drugi izbor. Na kraju smo sve realizirali na običnim TCP vezama. Dio veza radi preko koordinatora, a dio izravno putem tehnologije Nat Hole Punching (NHP), koja se također implementirala na Free Pascalu. Trebam napomenuti da o NHP-u ranije nisam ni čuo. Nikada mi nije palo na pamet da je moguće povezati dva mrežna uređaja, oba izbehind NAT-a, izravno. Pročitao sam temu, shvatio princip rada i krenuo s pisanjem. Ono što je zamišljeno je ostvareno, korisnik se jednim klikom povezuje na željeni uređaj iza NAT-a putem RDP-a, SSH-a ili Winbox-a bez unosanja lozinki i postavljanja VPN-a. Većina tih veza ide mimo našeg koordinatora, što pozitivno utječe na ping i troškove održavanja tih veza.

Prevod serverške komponente s Linuxa na Windows

Bilo je nekoliko problema prilikom prelaska na Windows. Prvi je — ugrađeni wmic u Windows ne omogućava izvođenje WQL upita. A u našem sustavu već je sve bilo izgrađeno na njima. Bilo je još nečega, ali sada ne mogu točno saznati zašto smo konačno odustali od njegove upotrebe. Možda zbog razlika između verzija Windowsa. I drugi problem — višedretvenost. Ne pronalazeći dobru vanjsku alatku pod 'prihvatljivom' licencom za nas, ponovo sam pokrenuo IDE Lazarus i napisao potrebnu alatku. Na ulazu se daje potreban popis objekata i koje točno upite treba izvršiti, a kao odgovor dobivam podatke. I sve to u višedretvenom načinu. Odlično.

Nakon što sam postavio pthreads za PHP na Windows, mislio sam da će sve odmah proraditi, ali nije bilo tako. Nakon nekog vremena ispravljanja grešaka, shvatio sam da pthreads izgleda radi, ali u našem sustavu nije funkcionirao. Postalo je jasno da postoji neka posebnost rada s pthreads na Windowsu. Tako je i bilo. Pročitao sam dokumentaciju i tamo je pisalo da je broj niti ograničen, uz to, koliko se sjećam, ne izravno. To je postalo problem. Jer, kada sam počeo smanjivati broj niti pri kojima je aplikacija radila, posao je bio vrlo spor. Ponovo sam otvorio IDE i toj istoj aplikaciji dodan je funkcionalnost za višekratno pinganje objekata. I, naravno, dodano je i skeniranje portova. U suštini, nakon toga, potreba za pthreads za PHP nestala je i više se ne koristi. U ovu aplikaciju dodano je još nekoliko funkcionalnosti i ona radi do danas. Nakon toga, napravljen je instalacijski program za Windows koji je uključivao Apache, PHP, MariaDB, samu PHP aplikaciju i skup alata za interakciju sa sustavom, napisanih na Free Pascal. Što se tiče instalacijskog programa, mislio sam da ću brzo riješiti taj problem, budući da je to izuzetno rasprostranjen i potreban skoro svemu softveru. Bilo da nisam dovoljno dobro tražio, ili nešto drugo, stalno sam nalazio proizvode koji su ili nedovoljno fleksibilni, ili skupi, a opet i dalje neprilagodljivi. Ipak, pronašao sam besplatni instalacijski program, u kojem se mogu predvidjeti sve želje. To je InnoSetup. O tome pišem ovdje, jer sam morao malo potražiti, možda ću nekome uštedjeti vrijeme.

Odustajanje od dodatka u korist vlastitog klijenta

Prije sam spomenuo da je klijentska komponenta bio preglednik s "pluginom". Bilo je to doba kada se, kad god bi se Chrome ažurirao, dizajn malo iskrivio, ili bi se Windows ažurirao i custom uri sheme bi se izgubile. Stvarno nisam htio imati takve vrste iznenađenja u javnoj verziji proizvoda. Također, custom uri su počeli nestajati nakon svake nadogradnje Windowsa. Microsoft bi jednostavno brisao sve osim svojih grana u relevantnom odjeljku. Osim toga, Google Chrome sada ne dozvoljava zapamćivanje izbora da li otvoriti aplikaciju iz custom uri, postavljajući to pitanje pri svakom kliku na objekt praćenja. U cjelini, potrebno je bilo normalno pristupati lokalnom sustavu korisnika, što preglednik ne omogućava. Najjednostavnija opcija u takvoj shemi čini se da je napraviti vlastiti preglednik, kao što mnogi sada rade putem Electrona. No, mnoge stvari su već bile napisane na Free Pascalu, uključujući i serverski dio, pa smo odlučili i klijenta napraviti na istom jeziku, a ne stvarati zoo. Tako je napisan klijent s Chromiumom u pozadini. Nakon toga, počeo je dobivati razne dodatne funkcionalnosti.

Izdanje

Na kraju smo odabrali naziv za sustav. Neprestano smo razmatrali različite opcije dok je trajao proces preuređenja iz lokalne verzije u SaaS. Kako smo prvotno planirali izlazak ne samo na domaće tržište, glavni kriterij za odabir naziva bila je dostupnost slobodnog, ili ne baš skupog domene u zoni “.com”. Neke funkcije/moduli još nisu bili preneseni iz lokalne verzije u Veliam, ali smo odlučili da ćemo objaviti s trenutnom funkcionalnošću, dok ćemo ostalo završiti kasnije u obliku ažuriranja. U prvoj verziji nije bilo HelpDeska, Veliam Connectora, nije bilo mogućnosti promjene pragova aktiviranja obavijesti i mnogo drugih stvari. Kupili smo Code Sign Certificate, potpisali klijentske i serverske dijelove. Napravili smo web stranicu za proizvod, započeli postupke registracije softvera, robnih marki itd. Uglavnom, spremni smo za početak. Blaga euforija zbog obavljenog posla i činjenice da bi netko mogao koristiti naš proizvod, iako u to nismo sumnjali. A onda - stop. Partner je rekao da se na tržište ne može izaći bez obavijesti u messengerima. Moguće je bez mnogo drugih stvari, ali ne i bez ovoga. Nakon kratkih rasprava, dodana je integracija s Telegramom, koja nam je odgovarala. Od svih trenutnih messengera, to je jedini koji daje pristup svom API-ju besplatno i bez nekih složenih postupaka odobravanja. WhatsApp nudi da se obrati provajderima koji naplaćuju pristojne iznose za korištenje njihovih usluga, a svi zahtjevi za pristup bez posrednika su ignorirani. Pa, Viber... Ne znam tko ga sada koristi, jer spam i reklama su na ekstremnoj razini. Krajem prosinca, nakon niza internih testiranja i testiranja među prijateljima, otvorili smo registraciju za sve i objavili softver za preuzimanje.

Početak distribucije

Od samog početka shvatili smo da nam je potreban manji broj korisnika sustava kako bi već u stvarnom radu testirali proizvod i dali neku prvu povratnu informaciju. Nekoliko kupljenih postova na VK-u donijelo je rezultate. Počele su prve registracije.

Ovde treba reći da je teško ući na tržište kada vaša kompanija nema poznato ime, a pritom nuditi funkcionalnosti agenta za praćenje u koje je potrebno uneti naloge sa svojih servera i radnih stanica. Mnogi ljudi se toga plaše. Od početka smo shvatili da će biti problema sa tim i bili smo spremni kako tehnički, tako i psihički. Sva daljinska povezivanja, iako se RDP i SSH prema zadanim postavkama kriptuju, dodatno se kriptuju našim softverom prema standardu AES. Svi podaci iz lokalnih servera prenose se u oblak putem HTTPS-a. Nalozi se čuvaju u šifrovanom obliku. Ključevi šifriranja za sve pod sisteme su individualni za sve klijente. Za daljinska povezivanja koriste se sesijski ključevi šifriranja.

Sve što možemo učiniti u ovoj situaciji da bi se ljudima olakšalo je da budemo što otvoreniji, radimo na sigurnosti i ne umaramo se da odgovaramo ljudima na pitanja koja ih muče.

Za mnoge ljude, praktičnost i funkcionalnost softvera prevazilaze strah, te se registruju. Neki pojedinci su u objavljenim postovima na VK pisali da se ovaj softver ne može koristiti jer je to sakupljač njihovih lozinki i da je uopšte bezimenna kompanija. Treba reći da to mišljenje nije imalo jednog vlasnika. Mnogi jednostavno ne razumeju da kada instaliraju drugi proprijetarni softver na server, koji radi kao usluga, takođe ima pune privilegije u sistemu i ne trebaju im nalozi da bi uradili nešto nelegalno (jasno je da se može promeniti korisnik pod kojim se pokreće usluga, ali i ovde, može se uneti bilo koji nalog). U stvari, strahovi ljudi su razumljivi. Instalacija softvera na server je uobičajena stvar, ali unos naloga je već malo zastrašujuće i intimno, jer dobra polovica ljudi ima jednu lozinku za sve usluge, a stvaranje posebnog naloga čak i za testiranje im je lenjo. No trenutno postoji ogroman broj servisa kojima ljudi veruju svoje pristupne podatke i ne samo to. A mi težimo da postanemo jedni od njih.

Mnogi su komentari bili takvog tipa da smo to negdje ukrali. To nas je malo iznenadilo. Pa dobro, mišljenje jedne osobe, ali takvi su komentari dolazili iz raznih publikacija od različitih ljudi. Isprva nismo znali kako reagirati. Da li tugovati zbog toga što neki ljudi misle da u Rusiji nitko ne može ništa napraviti sam, već samo ukrasti, ili se radovati što smatraju da se takvo nešto može samo ukrasti.

Sada smo završili postupak dobivanja EV Code Sign certifikata. Da bismo ga dobili, potrebno je proći niz provjera i poslati hrpu dokumenata o tvrtki, od kojih neki moraju biti ovjereni od strane odvjetnika. Dobivanje EV Code Sign certifikata u uvjetima pandemije – to je zapravo posebna tema za članak. Postupak je trajao mjesec dana. I to nije bio mjesec čekanja, već stalnih zahtjeva za dodatnim dokumentima. Možda pandemija ovdje nije vezana, i svima je postupak trajao tako dugo? Podijelite.

Neki kažu da neće koristiti jer nemamo FSTEK certifikat. Moramo objasniti da ga ne možemo dobiti i nećemo jer za dobivanje tog certifikata – enkripcija mora biti po GOST-u, a mi planiramo distribuciju softvera ne samo u Rusiji i koristimo AES.

Svi ti komentari budili su određenu nesigurnost u pogledu mogućnosti - promovirati proizvod koji zahtijeva unos korisničkih računa, a da pritom nismo na radaru. Čak i uzimajući u obzir da smo znali da će biti onih koji su vrlo negativno raspoloženi prema tome. Nakon što je broj registracija prešao tisuću, prestali smo razmišljati o tome. Osobito nakon što su osim negativnog mišljenja onih koji nisu ni probali proizvod, počeli dolaziti i vrlo pozitivni komentari. Treba reći da su ti pozitivni komentari – najveći motivator za razvoj proizvoda.

Dodavanje funkcionalnosti udaljenog pristupa za zaposlenike

Jedan od čestih zahteva klijenata je „omogućite Vani pristup njegovom računaru iz kuće“. Postavili smo VPN na Mikrotik i napravili naloge za korisnike. No, to je stvarno problem. Korisnici nisu u stanju da pročitaju uputstvo i da ga prate korak po korak kako bi se povezali putem VPN-a. Različite verzije Windowsa. Na jednom Windowsu se sve dobro povezuje, na drugom je potreban drugačiji protokol. I to je uvek bilo povezano s ponovnim podešavanjem mrežne opreme koja je delovala kao VPN server, a ne svi zaposleni imaju pristup tome, što je bilo nepraktično.

No, već imamo daljinske veze s poslužiteljima i mrežnom opremom. Zašto ne bismo iskoristili gotov prijenos i napravili malu samostalnu aplikaciju koju bismo jednostavno dali korisniku za povezivanje? Samo smo željeli da korisnik ništa ne unosi. Samo jedan gumb "poveži se". No, kako će ta aplikacija znati kamo se povezati, kada ima samo jedan gumb? Postojala je ideja o online sastavljanju potrebne aplikacije na našim poslužiteljima. Sustavni administrator pritisne gumb "preuzmi prečac", a nama u oblak stiže naredba za sastavljanje individualnog binarnog datoteke s integriranim informacijama za vezu s potrebnim poslužiteljem / računalom putem RDP-a. U načelu, to se moglo napraviti. No, to bi trajalo dugo, administrator bi prvo morao čekati da se binarna datoteka kompajlira, a zatim i da se preuzme. Moglo bi se naravno dodati jednostavno još jedna datoteka s konfiguracijom, ali to su već 2 datoteke, a za jednostavnost korisniku je potrebna jedna. Jedna datoteka, jedan gumb i bez instalatera. Nakon što sam malo istraživao po internetu, došao sam do zaključka da, ako se na kraj kompajliranog “.exe” doda neka informacija, on se ne pokvari (pa skoro). Tamo se može dodati čak i Rat i mir, i on će raditi kao i prije. Grijeh je ne iskoristiti to. Sada se jednostavno može u samom klijentu raspakirati aplikacija, koja se zove Veliam Connector, i jednostavno dodati potrebne informacije za vezu na kraj. A sama aplikacija zna što s tim napraviti. Zašto sam malo prije u zagradi napisao "pa skoro"? Zato što za tu pogodnost moramo platiti time što aplikacija gubi svoj digitalni potpis. No, mi u ovoj fazi smatramo da je to mala cijena za takvu pogodnost.

Licence trećih strana

Već sam spomenuo da je, nakon odluke da se proizvod učini javnim, umesto samo za vlastitu upotrebu, bilo potrebno puno truda i potrage za alternativama za određene module koji nisu dozvoljavali uključivanje u naš proizvod. No, nakon objavljivanja, slučajno je otkrivena jedna prilično neprijatna stvar. U okviru Veliam Server-a, koji je bio na strani klijenta, nalazila se baza podataka MariaDB. I ona je pod GPL licencom. GPL licenca podrazumeva da softver mora biti otvorenog koda, i ako naš proizvod uključuje MariaDB koja ima ovu licencu, onda i naš proizvod mora biti pod ovom licencom. No srećom, svrha ove licence je otvoreni izvor, a ne kažnjavanje na sudu onih koji su slučajno pogrešili. Ako se vlasnik prava žali, onda pismenim putem obaveštava prekršioca koji mora u roku od 30 dana da otkloni povredu. Svoju grešku smo uočili sami i nismo primili nikakva pisma, odmah smo počeli da razmatramo opcije za rešenje problema. Rešenje se pokazalo očiglednim — prelaz na SQLite. Ova baza podataka nema nikakva ograničenja u vezi sa licenciranjem. Većina modernih pretraživača koristi SQLite, kao i gomila drugih programa. Na internetu sam pronašao informaciju da se SQLite smatra najrasprostranjenijom bazom podataka u svetu, upravo zbog pretraživača, ali nisam tražio dokaze, pa je to netačna informacija. Počeo sam da proučavam šta donosi prelazak na SQLite.

To postaje već nikako trivijalan zadatak kada postoji nekoliko stotina instaliranih servera kod klijenata sa MariaDB i podacima u njoj. Neke karakteristike MariaDB nisu dostupne u SQLite. Na primer, u kodu su korišćeni zahtevi tipa

Select * FROM `table` WHERE `id`>1000 FOR UPDATE

Ova konstrukcija ne samo da vrši izbor iz tabele, već i zaključava te podatke. Takođe, nekoliko drugih konstrukcija je takođe moralo da se prepisuje. No osim toga što je bilo potrebno prepisati mnogo zahteva, takođe je bilo potrebno osmisliti mehanizam koji će prilikom ažuriranja Veliam Server-a kod klijenta prebaciti sve podatke u novu bazu podataka i obrisati staru. Takođe, transakcije u SQLite nisu radile i to je bio pravi problem. No, nakon što sam pretražio svetsku mrežu, bez problema sam pronašao da se transakcije u SQLite mogu uključiti slanjem jednostavne komande prilikom povezivanja

PRAGMA journal_mode=WAL;

Na kraju je zadatak ispunjen i sada server dio na klijentima radi na SQLite-u. Nismo primijetili nikakve promjene u radu sustava.

Nova HelpDesk

Bilo je potrebno portirati HelpDesk sustav iz unutarnje verzije u SaaS verziju, ali uz neka poboljšanja. Prvo što smo željeli učiniti jest integracija s domenom klijenta u dijelu transparentne autorizacije korisnika u sustavu. Sada korisnik, kako bi ušao u HelpDesk i ostavio zahtjev u sustavu, jednostavno klikne na prečac na radnoj površini i otvara se preglednik. Korisnik ne unosi nikakve vjerodajnice. Modul za Apache SSPI, koji je dio Veliam Servera, automatski autorizira korisnika putem domena. Da bi ostavio zahtjev u sustavu kada se nalazi izvan korporativne mreže, korisnik pritisne gumb i na njegovu e-poštu dolazi poveznica putem koje se bez lozinki autorizira u sustavu HelpDesk. Ako se korisnik isključi ili obriše u domeni, tada će i njegov račun u HelpDesku prestati raditi. Tako, sistemski administrator ne treba sam pratiti račune i u domeni i u HelpDesku. Ako zaposlenik ode, samo isključi račun u domeni i to je to, ne može ući u sustav ni iz korporativne mreže ni putem poveznice. Za rad ove integracije, sistemski administrator treba napraviti jedan GPO koji dodaje unutarnju stranicu u intranet zonu i raspodijeli prečac svim korisnicima na radnoj površini.

Drugo što smatramo krajnje potrebnim za HelpDesk sustave, barem za nas same — to je povezivanje s korisnikom iz zahtjeva jednim klikom. Štoviše, povezivanja trebaju biti moguća čak i ako je sistemski administrator na drugoj mreži. Za outsourcing je to obavezno, a često je potrebno i za interne sistemske administratore. Već postoje nekoliko proizvoda koji se odlično nose s zadatkom udaljenog povezivanja. Odlučili smo napraviti integracije za njih. Trenutno imamo integraciju za VNC, a u budućnosti planiramo dodati Radmin i TeamViewer. Koristeći naš mrežni transport za udaljena povezuća s infrastrukturom, omogućili smo da se VNC povezuje na udaljene radne stanice iza NAT-a. Isto će biti i s Radminom. Sada, da biste se povezali s korisnikom, jednostavno trebate pritisnuti gumb “poveži se s korisnikom” unutar zahtjeva. Otvara se VNC klijent i povezuje se s korisnikom bez obzira na to jeste li na istoj mreži s njim ili sjedite kod kuće u papučama. Prije toga, sistemski administrator treba instalirati VNC Server na sve radne stanice putem GPO-a.

Sada sami prelazimo na novi HelpDesk i koristimo integraciju s domenom i VNC-om. To nam je vrlo praktično. Sada ne moramo plaćati za TeamViewer, kojeg smo koristili više od tri godine za rad naše korisničke podrške.

Što planiramo raditi dalje

Kada smo lansirali proizvod, nismo imali nikakve plaćene tarife, nego smo jednostavno ograničili besplatnu tarifu na 50 objekata praćenja. Pet desetaka mrežnih uređaja i servera trebalo bi biti dovoljno svima, pomislili smo. I tada su počeli pristizati zahtevi za povećanjem limita. Reći da smo bili malo u šoku – ne bih rekao ništa. Da li su naš softver zaista zainteresovale kompanije koje imaju toliki broj servera? Besplatno smo proširivali limit onima koji su slali takve zahteve. Pitali smo neke od njih, u odgovoru na njihov zahtev, zašto im je potrebno toliko – imaju li zaista toliki broj servera i mrežne opreme? I ispostavilo se da su sistemski administratori počeli koristiti sistem na način na koji nismo uopšte planirali. Svi smo shvatili – našim softverom su počeli pratiti ne samo servere, već i radne stanice. Odavde i mnogo zahteva za proširenje limita. Sada smo već uveli plaćene tarife i limit se može proširiti samostalno.

Serveri gotovo uvek rade ili s SAN-om ili s lokalnim diskovima u RAID nizu. I izvorno smo proizvod napravili za njih. Praćenje SMART-a nije bilo zanimljivo za ovu svrhu. Međutim, s obzirom na to da su ljudi prilagodili softver za praćenje radnih stanica, pojavili su se zahtevi za implementaciju praćenja SMART-a. Uskoro ćemo to implementirati.

S pojavom Veliam Connector-a, nije više potrebno postavljati VPN server u korporativnoj mreži, praviti RDGW ili jednostavno propuštati portove do potrebnih mašina za RDP povezivanje. Mnogi koriste naš sistem samo za ova udaljena povezivanja. Veliam Connector je dostupan samo za Windows, a neki korisnici kompanija se povezuju sa svojih kućnih laptopova na MacOS sa radnim stanicama ili terminalima u korporativnoj mreži. I tako ispada da se sistemski administrator mora zbog nekoliko korisnika ponovo baviti pitanjem propuštanja portova ili VPN-a. Zbog toga trenutno završavamo verziju Veliam Connector-a za MacOS. Korisnici svoje omiljene Apple opreme će takođe dobiti mogućnost povezivanja s korporativnom infrastrukturom jednim klikom.

Jako mi se sviđa što imamo veliki broj korisnika sustava i ne moramo razbijati glavu što je ljudima potrebno i što bi im bilo lakše. Oni sami pišu svoje želje, tako da imamo puno planova za razvoj u bliskoj budućnosti.

Paralelno, planiramo započeti s prevođenjem sustava na engleski jezik i njegovim širenjem u inozemstvo. Još uvijek ne znamo kako ćemo distribuirati proizvod izvan naše zemlje, tražimo opcije. Možda će o tome kasnije biti poseban članak. Možda netko od onih koji su pročitali ovaj članak može sugerirati odgovarajući smjer ili zna kako to učiniti i ponudi svoje usluge. Bit ćemo zahvalni na pomoći.

Izvor: habr.com

Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere 🔥 Kupite pouzdan hosting za web stranice s DDoS zaštitom, VPS VDS servere | ProHoster