Par uzraudzÄ«bas sistÄmas izveidi domÄjÄm produktu komandu veidoÅ”anas stadijÄ. Kļuva skaidrs, ka mÅ«su bizness ā ekspluatÄcija ā Å”ajÄs komandÄs neietilpst. KÄpÄc ir tÄ, ka?
Fakts ir tÄds, ka visas mÅ«su komandas ir veidotas ap atseviŔķÄm informÄcijas sistÄmÄm, mikropakalpojumiem un frontÄm, tÄpÄc komandas neredz visas sistÄmas vispÄrÄjo stÄvokli kopumÄ. PiemÄram, viÅi var nezinÄt, kÄ kÄda neliela dziÄ¼Ä aizmugursistÄmas daļa ietekmÄ priekÅ”Äjo galu. ViÅu intereÅ”u loks ir ierobežots ar sistÄmÄm, ar kurÄm viÅu sistÄma ir integrÄta. Ja komandai un tÄs dienestam A nav gandrÄ«z nekÄdas saistÄ«bas ar servisu B, tad komandai Å”Äds serviss ir gandrÄ«z neredzams.
MÅ«su komanda savukÄrt strÄdÄ ar sistÄmÄm, kas ir ļoti cieÅ”i integrÄtas savÄ starpÄ: starp tÄm ir daudz savienojumu, Ŕī ir ļoti liela infrastruktÅ«ra. Un interneta veikala darbÄ«ba ir atkarÄ«ga no visÄm Ŕīm sistÄmÄm (kuru mums, starp citu, ir milzÄ«gs skaits).
TÄ nu sanÄk, ka mÅ«su nodaļa nepieder nevienai komandai, bet atrodas nedaudz malÄ. VisÄ Å”ajÄ stÄstÄ mÅ«su uzdevums ir vispusÄ«gi izprast, kÄ darbojas informÄcijas sistÄmas, to funkcionalitÄte, integrÄcijas, programmatÅ«ra, tÄ«kls, aparatÅ«ra un kÄ tas viss ir savstarpÄji saistÄ«ts.
Platforma, kurÄ darbojas mÅ«su tieÅ”saistes veikali, izskatÄs Å”Ädi:
- priekÅ”Äjais
- vidÄjais birojs
- back office
Lai kÄ mÄs vÄlÄtos, nenotiek tÄ, ka visas sistÄmas darbojas nevainojami un nevainojami. Lieta atkal ir sistÄmu un integrÄciju skaits ā ar kaut ko lÄ«dzÄ«gu mÅ«sÄjam daži incidenti ir neizbÄgami, neskatoties uz testÄÅ”anas kvalitÄti. TurklÄt gan atseviŔķas sistÄmas ietvaros, gan to integrÄcijas ziÅÄ. Un jums ir visaptveroÅ”i jÄuzrauga visas platformas stÄvoklis, nevis tikai atseviŔķa tÄs daļa.
IdeÄlÄ gadÄ«jumÄ veselÄ«bas uzraudzÄ«bai visÄ platformÄ jÄbÅ«t automatizÄtai. Un mÄs nonÄcÄm pie monitoringa kÄ Å”Ä« procesa neizbÄgamÄs daļas. SÄkotnÄji tas tika bÅ«vÄts tikai priekÅ”ÄjÄs lÄ«nijas daļai, savukÄrt tÄ«kla speciÄlistiem, programmatÅ«ras un aparatÅ«ras administratoriem bija un joprojÄm ir savas slÄÅu uzraudzÄ«bas sistÄmas. Visi Å”ie cilvÄki sekoja monitoringam tikai savÄ lÄ«menÄ«, arÄ« nevienam nebija visaptveroÅ”as izpratnes.
PiemÄram, ja virtuÄlÄ maŔīna avarÄ, vairumÄ gadÄ«jumu par to zina tikai par aparatÅ«ru un virtuÄlo maŔīnu atbildÄ«gais administrators. Å Ädos gadÄ«jumos frontes komanda redzÄja paÅ”u lietojumprogrammas avÄrijas faktu, taÄu tai nebija datu par virtuÄlÄs maŔīnas avÄriju. Un administrators var zinÄt, kas ir klients, un aptuvenu priekÅ”statu par to, kas paÅ”laik darbojas Å”ajÄ virtuÄlajÄ maŔīnÄ, ja tas ir kÄds liels projekts. ViÅÅ”, visticamÄk, nezina par mazajiem. JebkurÄ gadÄ«jumÄ administratoram ir jÄiet pie Ä«paÅ”nieka un jÄpajautÄ, kas bija uz Ŕīs maŔīnas, kas ir jÄatjauno un kas jÄmaina. Un, ja kaut kas patieÅ”Äm nopietns sabojÄjÄs, viÅi sÄka skriet pa apli ā jo neviens neredzÄja sistÄmu kopumÄ.
Galu galÄ Å”Ädi atŔķirÄ«gi stÄsti ietekmÄ visu frontend, lietotÄjus un mÅ«su galveno biznesa funkciju - pÄrdoÅ”anu tieÅ”saistÄ. TÄ kÄ mÄs neesam daļa no komandas, bet esam iesaistÄ«ti visu e-komercijas lietojumprogrammu darbÄ«bÄ tieÅ”saistes veikala ietvaros, mÄs uzÅÄmÄmies uzdevumu izveidot visaptveroÅ”u uzraudzÄ«bas sistÄmu e-komercijas platformai.
SistÄmas struktÅ«ra un kaudze
MÄs sÄkÄm, identificÄjot vairÄkus mÅ«su sistÄmu uzraudzÄ«bas slÄÅus, kuros mums bÅ«tu jÄapkopo metrika. Un tas viss bija jÄapvieno, ko mÄs darÄ«jÄm pirmajÄ posmÄ. Tagad Å”ajÄ posmÄ mÄs pabeidzam augstÄkÄs kvalitÄtes metrikas kolekciju visos mÅ«su slÄÅos, lai izveidotu korelÄciju un saprastu, kÄ sistÄmas ietekmÄ viena otru.
VisaptveroÅ”as uzraudzÄ«bas trÅ«kums lietojumprogrammas palaiÅ”anas sÄkumposmÄ (kopÅ” mÄs sÄkÄm to veidot, kad lielÄkÄ daļa sistÄmu bija ražoÅ”anÄ) noveda pie tÄ, ka mums bija ievÄrojams tehnisks parÄds, lai izveidotu visas platformas uzraudzÄ«bu. MÄs nevarÄjÄm atļauties koncentrÄties uz vienas IS monitoringa izveidi un detalizÄtu tÄs monitoringu, jo pÄrÄjÄs sistÄmas kÄdu laiku paliktu bez uzraudzÄ«bas. Lai atrisinÄtu Å”o problÄmu, mÄs identificÄjÄm nepiecieÅ”amo metriku sarakstu informÄcijas sistÄmas stÄvokļa novÄrtÄÅ”anai pa slÄÅiem un sÄkÄm to ieviest.
TÄpÄc viÅi nolÄma ziloni Äst pa daļÄm.
MÅ«su sistÄma sastÄv no:
- aparatūra;
- operÄtÄjsistÄma;
- programmatūra;
- UI daļas uzraudzÄ«bas lietojumprogrammÄ;
- biznesa rÄdÄ«tÄji;
- integrÄcijas lietojumprogrammas;
- informÄcijas droŔība;
- tīkli;
- satiksmes lÄ«dzsvarotÄjs.
Å Ä«s sistÄmas centrÄ ir paÅ”as uzraudzÄ«ba. Lai vispÄrÄ«gi izprastu visas sistÄmas stÄvokli, jums jÄzina, kas notiek ar lietojumprogrammÄm visos Å”ajos slÄÅos un visÄ lietojumprogrammu komplektÄ.
TÄtad, par kaudzi.
MÄs izmantojam atvÄrtÄ pirmkoda programmatÅ«ru. CentrÄ mums ir Zabbix, ko galvenokÄrt izmantojam kÄ brÄ«dinÄÅ”anas sistÄmu. Ikviens zina, ka tas ir ideÄli piemÄrots infrastruktÅ«ras uzraudzÄ«bai. Ko tas nozÄ«mÄ? TieÅ”i tie zemÄ lÄ«meÅa rÄdÄ«tÄji, kÄdi ir katram uzÅÄmumam, kas uztur savu datu centru (un Sportmaster ir savi datu centri) - servera temperatÅ«ra, atmiÅas statuss, reids, tÄ«kla ierÄ«Äu metrika.
Esam integrÄjuÅ”i Zabbix ar Telegram Messenger un Microsoft Teams, kuras aktÄ«vi izmanto komandÄs. Zabbix aptver faktiskÄ tÄ«kla slÄni, aparatÅ«ru un dažas programmatÅ«ras, taÄu tÄ nav panaceja. MÄs bagÄtinÄm Å”os datus no dažiem citiem pakalpojumiem. PiemÄram, aparatÅ«ras lÄ«menÄ« mÄs, izmantojot API, tieÅ”i izveidojam savienojumu ar mÅ«su virtualizÄcijas sistÄmu un apkopojam datus.
Kas vÄl. Papildus Zabbix mÄs izmantojam Prometheus, kas ļauj pÄrraudzÄ«t metriku dinamiskas vides lietojumprogrammÄ. Tas nozÄ«mÄ, ka mÄs varam saÅemt lietojumprogrammu metriku, izmantojot HTTP galapunktu, un neuztraucamies par to, kuras metrikas tajÄ jÄielÄdÄ un kuras nÄ. Pamatojoties uz Å”iem datiem, var izstrÄdÄt analÄ«tiskos vaicÄjumus.
Datu avoti citiem slÄÅiem, piemÄram, biznesa metrika, ir sadalÄ«ti trÄ«s komponentos.
PirmkÄrt, tÄs ir ÄrÄjÄs biznesa sistÄmas, Google Analytics, mÄs apkopojam metriku no žurnÄliem. No tiem mÄs iegÅ«stam datus par aktÄ«vajiem lietotÄjiem, reklÄmguvumiem un visu pÄrÄjo, kas saistÄ«ts ar biznesu. OtrkÄrt, Ŕī ir lietotÄja interfeisa uzraudzÄ«bas sistÄma. Tas bÅ«tu jÄapraksta sÄ«kÄk.
KÄdreiz mÄs sÄkÄm ar manuÄlo testÄÅ”anu, un tÄ pÄrauga automÄtiskÄs funkcionalitÄtes un integrÄcijas testos. No tÄ mÄs veicÄm uzraudzÄ«bu, atstÄjot tikai galveno funkcionalitÄti, un paļÄvÄmies uz marÄ·ieriem, kas ir pÄc iespÄjas stabilÄki un laika gaitÄ bieži nemainÄs.
JaunÄ komandas struktÅ«ra nozÄ«mÄ, ka visas lietojumprogrammu darbÄ«bas attiecas tikai uz produktu komandÄm, tÄpÄc mÄs pÄrtraucÄm veikt tikai testÄÅ”anu. TÄ vietÄ mÄs izveidojÄm lietotÄja interfeisa uzraudzÄ«bu no testiem, kas rakstÄ«ti Java, Selenium un Jenkins valodÄ (izmantota kÄ sistÄma atskaiÅ”u palaiÅ”anai un Ä£enerÄÅ”anai).
Mums bija daudz testu, bet beigÄs nolÄmÄm doties uz galveno ceļu, augstÄkÄ lÄ«meÅa metriku. Un, ja mums ir daudz Ä«paÅ”u testu, bÅ«s grÅ«ti atjauninÄt datus. Katrs nÄkamais laidiens bÅ«tiski sabojÄs visu sistÄmu, un viss, ko mÄs darÄ«sim, ir to salabot. TÄpÄc mÄs koncentrÄjÄmies uz ļoti fundamentÄlÄm lietÄm, kas reti mainÄs, un tikai uzraugÄm tÄs.
Visbeidzot, treÅ”kÄrt, datu avots ir centralizÄta reÄ£istrÄÅ”anas sistÄma. MÄs izmantojam Elastic Stack žurnÄliem, un pÄc tam mÄs varam ievilkt Å”os datus mÅ«su uzraudzÄ«bas sistÄmÄ biznesa metrikai. Papildus tam mums ir savs pÄrraudzÄ«bas API pakalpojums, kas rakstÄ«ts Python, kas vaicÄ jebkuru pakalpojumu, izmantojot API, un apkopo datus no tiem Zabbix.
VÄl viens neaizstÄjams monitoringa atribÅ«ts ir vizualizÄcija. MÅ«su pamatÄ ir Grafana. Tas izceļas citu vizualizÄcijas sistÄmu vidÅ« ar to, ka ļauj informÄcijas panelÄ« vizualizÄt dažÄdu datu avotu metriku. MÄs varam apkopot augstÄkÄ lÄ«meÅa metriku tieÅ”saistes veikalam, piemÄram, pasÅ«tÄ«jumu skaitu, kas veikti pÄdÄjÄ stundÄ no DBVS, veiktspÄjas metriku operÄtÄjsistÄmai, kurÄ darbojas Å”is tieÅ”saistes veikals no Zabbix, un metriku par Ŕīs lietojumprogrammas gadÄ«jumiem. no Prometeja. Un tas viss bÅ«s vienÄ informÄcijas panelÄ«. Skaidrs un pieejams.
AtļauÅ”os atzÄ«mÄt par droŔību ā Å”obrÄ«d tiek pabeigta sistÄmas izveide, kuru vÄlÄk integrÄsim ar globÄlo uzraudzÄ«bas sistÄmu. ManuprÄt, galvenÄs problÄmas, ar kurÄm saskaras e-komercija informÄcijas droŔības jomÄ, ir saistÄ«tas ar botiem, parsÄtÄjiem un brutÄlu spÄku. Mums tas ir jÄseko lÄ«dzi, jo tas viss var kritiski ietekmÄt gan mÅ«su lietojumprogrammu darbÄ«bu, gan mÅ«su reputÄciju no biznesa viedokļa. Un ar izvÄlÄto kaudzi mÄs veiksmÄ«gi risinÄm Å”os uzdevumus.
VÄl viens svarÄ«gs punkts ir tas, ka uzklÄÅ”anas slÄni montÄ Prometheus. ViÅÅ” pats arÄ« ir integrÄts ar Zabbix. Un mums ir arÄ« vietnes Ätrums, pakalpojums, kas ļauj skatÄ«t tÄdus parametrus kÄ mÅ«su lapas ielÄdes Ätrums, vÄjÄs vietas, lapas renderÄÅ”ana, skriptu ielÄde utt., tas ir arÄ« integrÄts API. TÄtad mÅ«su rÄdÄ«tÄji tiek apkopoti Zabbix, un attiecÄ«gi mÄs arÄ« brÄ«dinÄm no turienes. Visi brÄ«dinÄjumi paÅ”laik tiek sÅ«tÄ«ti uz galvenajÄm sÅ«tÄ«Å”anas metodÄm (pagaidÄm tas ir e-pasts un telegramma, nesen ir pievienota arÄ« MS Teams). Ir plÄnots jauninÄt brÄ«dinÄjumus lÄ«dz tÄdam stÄvoklim, ka viedie robotprogrammatÅ«ra darbojas kÄ pakalpojums un nodroÅ”ina uzraudzÄ«bas informÄciju visÄm ieinteresÄtajÄm produktu komandÄm.
Mums metrika ir svarÄ«ga ne tikai atseviŔķÄm informÄcijas sistÄmÄm, bet arÄ« vispÄrÄ«ga metrika visai infrastruktÅ«rai, ko izmanto lietojumprogrammas: fizisko serveru kopas, uz kurÄm darbojas virtuÄlÄs maŔīnas, trafika balansÄtÄji, tÄ«kla slodzes balansÄtÄji, pats tÄ«kls, sakaru kanÄlu izmantoÅ”ana. . Plus metrika mÅ«su paÅ”u datu centriem (mums ir vairÄki, un infrastruktÅ«ra ir diezgan liela).
MÅ«su uzraudzÄ«bas sistÄmas priekÅ”rocÄ«bas ir tÄdas, ka ar tÄs palÄ«dzÄ«bu mÄs redzam visu sistÄmu veselÄ«bas stÄvokli un varam novÄrtÄt to ietekmi viena uz otru un uz kopÄjiem resursiem. Un galu galÄ tas ļauj mums iesaistÄ«ties resursu plÄnoÅ”anÄ, kas arÄ« ir mÅ«su atbildÄ«ba. PÄrvaldÄm serveru resursus - e-komercijas baseinu, nododam un noÅemam jaunas iekÄrtas, iegÄdÄjamies papildus jaunas iekÄrtas, veicam resursu izmantoÅ”anas auditu u.c. Katru gadu komandas plÄno jaunus projektus, izstrÄdÄ savas sistÄmas, un mums ir svarÄ«gi nodroÅ”inÄt tÄs ar resursiem.
Un ar metrikas palÄ«dzÄ«bu mÄs redzam mÅ«su informÄcijas sistÄmu resursu patÄriÅa tendenci. Un, pamatojoties uz tiem, mÄs varam kaut ko plÄnot. VirtualizÄcijas lÄ«menÄ« mÄs apkopojam datus un redzam informÄciju par pieejamo resursu apjomu pa datu centriem. Un jau datu centrÄ varat redzÄt resursu pÄrstrÄdi, faktisko sadali un patÄriÅu. TurklÄt gan ar atseviŔķiem serveriem, gan virtuÄlajÄm maŔīnÄm un fizisko serveru kopÄm, kurÄs visas Ŕīs virtuÄlÄs maŔīnas enerÄ£iski griežas.
Perspektīvas
Tagad mums ir gatavs sistÄmas kodols kopumÄ, taÄu vÄl ir daudz lietu, pie kurÄm vÄl jÄpiestrÄdÄ. Tas ir vismaz informÄcijas droŔības slÄnis, taÄu ir svarÄ«gi arÄ« sasniegt tÄ«klu, izstrÄdÄt brÄ«dinÄjumus un atrisinÄt korelÄcijas problÄmu. Mums ir daudz slÄÅu un sistÄmu, un katrÄ slÄnÄ« ir daudz vairÄk metrikas. IzrÄdÄs, ka tÄ ir matrjoÅ”ka lÄ«dz matrjoÅ”kai.
MÅ«su uzdevums ir sniegt pareizos brÄ«dinÄjumus. PiemÄram, ja radÄs problÄma ar aparatÅ«ru, atkal ar virtuÄlo maŔīnu un bija svarÄ«ga lietojumprogramma, un pakalpojums netika dublÄts nekÄdÄ veidÄ. MÄs uzzinÄm, ka virtuÄlÄ maŔīna ir mirusi. Tad biznesa metrika jÅ«s brÄ«dinÄs: lietotÄji ir kaut kur pazuduÅ”i, konvertÄÅ”ana nenotiek, interfeisa lietotÄja interfeiss nav pieejams, programmatÅ«ra un pakalpojumi arÄ« ir miruÅ”i.
Å ÄdÄ situÄcijÄ mÄs saÅemsim surogÄtpastu no brÄ«dinÄjumiem, un tas vairs neatbilst pareizas uzraudzÄ«bas sistÄmas formÄtam. Rodas korelÄcijas jautÄjums. TÄpÄc ideÄlÄ gadÄ«jumÄ mÅ«su uzraudzÄ«bas sistÄmai vajadzÄtu teikt: āPuiÅ”i, jÅ«su fiziskÄ maŔīna ir nomira un lÄ«dz ar to arÄ« Ŕī lietojumprogramma un Å”ie rÄdÄ«tÄji,ā ar viena brÄ«dinÄjuma palÄ«dzÄ«bu, tÄ vietÄ, lai nikni bombardÄtu mÅ«s ar simts brÄ«dinÄjumiem. Tam vajadzÄtu ziÅot par galveno - cÄloni, kas palÄ«dz Ätri novÄrst problÄmu tÄs lokalizÄcijas dÄļ.
MÅ«su paziÅojumu sistÄma un brÄ«dinÄjumu apstrÄde ir balstÄ«ta uz diennakts palÄ«dzÄ«bas tÄlruÅa pakalpojumu. Tur tiek nosÅ«tÄ«ti visi brÄ«dinÄjumi, kas tiek uzskatÄ«ti par obligÄtiem un ir iekļauti kontrolsarakstÄ. Katram brÄ«dinÄjumam ir jÄbÅ«t aprakstam: kas noticis, ko tas patiesÄ«bÄ nozÄ«mÄ, ko tas ietekmÄ. Un arÄ« saite uz informÄcijas paneli un instrukcijas, kÄ rÄ«koties Å”ajÄ gadÄ«jumÄ.
Tas viss attiecas uz brÄ«dinÄjuma izveides prasÄ«bÄm. Tad situÄcija var attÄ«stÄ«ties divos virzienos ā vai nu ir problÄma un tÄ ir jÄrisina, vai arÄ« notikusi kļūme monitoringa sistÄmÄ. Bet jebkurÄ gadÄ«jumÄ jums ir jÄiet un jÄizdomÄ.
VidÄji tagad mÄs saÅemam aptuveni simts brÄ«dinÄjumu dienÄ, Åemot vÄrÄ to, ka brÄ«dinÄjumu korelÄcija vÄl nav pareizi konfigurÄta. Un, ja mums ir nepiecieÅ”ams veikt tehniskos darbus, un mÄs kaut ko piespiedu kÄrtÄ izslÄdzam, to skaits ievÄrojami palielinÄs.
Papildus mÅ«su darbinÄmo sistÄmu uzraudzÄ«bai un metriku apkopoÅ”anai, kas tiek uzskatÄ«ta par svarÄ«gu no mÅ«su puses, uzraudzÄ«bas sistÄma ļauj mums vÄkt datus produktu komandÄm. Tie var ietekmÄt metriku sastÄvu mÅ«su uzraugÄmajÄs informÄcijas sistÄmÄs.
MÅ«su kolÄÄ£is var atnÄkt un lÅ«gt pievienot kÄdu metriku, kas noderÄs gan mums, gan komandai. Vai, piemÄram, komandai var nebÅ«t pietiekami daudz pamata metrikas, kas mums ir; viÅiem ir jÄizseko daži konkrÄti rÄdÄ«tÄji. ProgrammÄ Grafana mÄs izveidojam vietu katrai komandai un pieŔķiram administratora tiesÄ«bas. TÄpat, ja komandai ir nepiecieÅ”ami informÄcijas paneļi, bet viÅi paÅ”i nevar/nezina, kÄ to izdarÄ«t, mÄs palÄ«dzam.
TÄ kÄ mÄs esam Ärpus komandas vÄrtÄ«bas radÄ«Å”anas, to izlaiÅ”anas un plÄnoÅ”anas plÅ«smas, mÄs pakÄpeniski nonÄkam pie secinÄjuma, ka visu sistÄmu laidieni ir nevainojami un tos var izlaist katru dienu bez saskaÅoÅ”anas ar mums. Un mums ir svarÄ«gi uzraudzÄ«t Å”os laidienus, jo tie var ietekmÄt lietojumprogrammas darbÄ«bu un kaut ko sabojÄt, un tas ir ļoti svarÄ«gi. Lai pÄrvaldÄ«tu izlaidumus, mÄs izmantojam Bamboo, no kurienes mÄs saÅemam datus caur API un varam redzÄt, kuri laidieni kÄdÄs informÄcijas sistÄmÄs ir izlaisti un to statuss. Un pats galvenais, kurÄ laikÄ. MÄs uzliekam izlaiÅ”anas marÄ·ierus galvenajÄm kritiskajÄm metrikÄm, kas ir vizuÄli ļoti indikatÄ«vs problÄmu gadÄ«jumÄ.
TÄdÄ veidÄ mÄs varam redzÄt korelÄciju starp jauniem izdevumiem un jaunÄm problÄmÄm. GalvenÄ ideja ir saprast, kÄ sistÄma darbojas visos slÄÅos, Ätri lokalizÄt problÄmu un tikpat Ätri to novÄrst. Galu galÄ bieži gadÄs, ka visvairÄk laika aizÅem nevis problÄmas risinÄÅ”ana, bet gan cÄloÅa meklÄÅ”ana.
Un Å”ajÄ jomÄ nÄkotnÄ mÄs vÄlamies koncentrÄties uz proaktivitÄti. IdeÄlÄ gadÄ«jumÄ es vÄlÄtos uzzinÄt par problÄmas tuvoÅ”anos iepriekÅ”, nevis pÄc fakta, lai varÄtu to novÄrst, nevis atrisinÄt. DažkÄrt rodas viltus trauksmes no pÄrraudzÄ«bas sistÄmas gan cilvÄcisku kļūdu, gan lietojumprogrammas izmaiÅu dÄļ. MÄs pie tÄ strÄdÄjam, atkļūdojam un cenÅ”amies brÄ«dinÄt lietotÄjus, kuri to izmanto kopÄ ar mums, pirms jebkÄdÄm manipulÄcijÄm ar uzraudzÄ«bas sistÄmu. , vai veikt Ŕīs darbÄ«bas tehniskajÄ logÄ.
TÄtad sistÄma ir iedarbinÄta un veiksmÄ«gi darbojas kopÅ” pavasara sÄkuma... un rÄda ļoti reÄlu peļÅu. Protams, Ŕī nav tÄ galÄ«gÄ versija; mÄs ieviesÄ«sim vÄl daudzas noderÄ«gas funkcijas. TaÄu Å”obrÄ«d, kad ir tik daudz integrÄciju un lietojumprogrammu, uzraudzÄ«bas automatizÄcija patieÅ”Äm ir neizbÄgama.
Ja arÄ« uzraugÄt lielus projektus ar ievÄrojamu skaitu integrÄciju, rakstiet komentÄros, kÄdu sudraba lodi tam atradÄt.
Avots: www.habr.com