Magna estne mortua? - Vivat magna

Cum 2008, societas nostra praesertim in infrastructura administratione et circum-horologio technica subsidii inceptis interretialibus versatus est: plus quam 400 clientes habemus, quod circiter 15% e-commercium Russorum est. Itaque architectura valde diversa sustentatur. Si aliquid cadit, tenemur illud intra XV minuta reficere. Sed intelligere accidens incidit, opus est ut monitor incepto et respondeat incidentibus. Quomodo hoc?

Quaestionem esse credo in magna ratione propria ordinandi. Si nihil negotii esset, oratio mea ex una thesi consisteret: "Prometheum + Grafana et plugins inaugurare quaeso 1, 2, 3." Infeliciter, hoc modo amplius non operatur. Et principale problema est quod omnes credunt aliquid quod fuit in 2008, secundum programmatum programmatum.

Quoad ordinationem systematis vigilantiae, ausim dicere ... incepta cum competenti vigilantia non exsistere. Ita se res habet mala ut si quid inciderit, periculum est ne lateat - tamen, omnes certum est "omnia monitoria".
Forsitan omnia monitoria sunt. Sed quomodo?

Omnes invenimus fabulam sicut haec: quidam devops, quidam admin laborat, ad eos venit manipulus evolutionis et dicit - "liberi sumus, nunc monitor". Monitor quid? Quomodo facitur?

OK. Prisce nos monentes iter. Et iam mutatur, et evenit ut ministerium monitoris A, quod servicium B factus est, quod cum servitio C. Intercedit. Sed turma progressionis narrat tibi: "Instrue programmata, debet monitor omnia".

Quid igitur mutavit? - Omnes mutatis!

2008 Omnia est bonum

Sunt duo tincidunt, unum servo, unum datorum ministrator. Hinc recedit. Quaedam indicia habemus, instituimus zabbix, Nagios, cacti. Tum clarissimas in CPU, in disci operatione, et in orbis tractus ponimus. Nos etiam duos emissiones manuales facimus ut situs respondeat et ordines in datorum perveniant. Id est - plus minusve muniti sumus.

Si comparemus quantitatem operis quam administrator tunc dedit vigilantiam praebere, tunc 98% ipsius latae sunt: ​​homo qui vigilantiam facit intellegere debet quomodo Zabbix instituat, quomodo configurare et summis configurare. Et 2% - pro exterioribus compescit: quod situs respondet ac rogatu datorum, novos ordines pervenerunt.

2010 Onus crescente

Incipimus telam conscendere, machinam inquisitionis addere. Facere volumus ut catalogus producti omnes fructus contineat. Et productum inquisitionis opera. Quod database laborat, quod ordines fiunt, quod situs extrinsecus respondet et respondet a duobus servientibus et usor non est de loco proiciendi, dum alteri servo rebalancenda est, etc. Plura sunt entia.

Praeterea res coniuncta cum infrastructura adhuc maxima manet in capite procuratoris. Exstat idea in capite meo quod homo vigilanter faciens est homo qui zabbix instituet et illud configurare poterit.

Eodem autem tempore opus apparet in sistendis externis faciendis, cum indicendi inquisitionis scriptorum copia creando, scriptorum copia inspicienda est ut investigationis mutationes in processu indicente, copia scriptorum quae inspiciant bona transferantur. traditio muneris, etc. et sic porro.

Nota: Scripsi "statuto scriptorum" 3 temporibus. Hoc est, auctor vigilantiae ille non iam est qui zabbix simpliciter inaugurat. Hic est qui incipit coding. Sed nihil adhuc in animis manipulorum mutavit.

Sed mundus mutatur magis et magis multiplex. Proportionis virtualisatio et plura nova systemata adduntur. Inter se penitus incipiunt. Quis dixit: "Olet microservices?" Quisque sed varius lorem, sed varius lorem. Ad eam convertere possumus ac intellegere quod necessarias notitias et opera per se ipsa praebet. Et si administrator es assidue implicatus in incepto quod per 5-7-10 annos elaboratum est, haec cognitio accumulat: novus gradus apparet - intellexistis, alius gradus apparet - intellexistis...

Sed raro aliquis consilium comitatur per X annos.

Aliquam scriptor monitoringman

Puta venisses ad novum satus quod statim conduxit 20 tincidunt, scripsit 15 microservices, et tu es admin qui dixit: "Aedifica CI/CD. Quaeso." CI/CD aedificasti et subito audis: "Difficile est nobis productione in "cubi" laborare, sine intellectu quomodo applicatio in eo laborabit. Fac nobis sandbox in eodem "cubo".
Sandbox in hoc cubo facis. Dicunt tibi statim: "Volumus theatrum scaenicorum, quod quotidie a productione renovatur, ut intelligamus illud in datorum esse operari, sed simul database productionem non corrumpere".

Hoc in omnibus vivis. 2 septimanae ante remissionem relictae sunt, dicunt tibi: "Iam monitor omnia haec sunt..." Id est. Monitor botri infrastructurae, monitor architecturae microserviae, monitor operis cum officiis externis...

Et collegae mei consilium consuetum de capitibus sumunt et dicunt: “Ergo hic omnia plana sunt! Programma inaugurare quod haec omnia monitorem faciet." Etiam, est: Prometheus + Grafana + plugins.
Et addunt: "Habes duas septimanas, fac securum omnia".

In inceptis multum quod videmus, una persona est pro vigilantia partita. Finge nos velle conducere hominem ad vigilantiam faciendam per 2 septimanas, et scribimus aliquam pro eo. Quas artes hic habere debet, omnia diximus hactenus data?

• Substructurae ferreae operationis magnae et specificae intelligere debet.
• Intelligere debet specialia vigilantiae Kubernetes (et quisque vult ad "cubum" ire, quia potes ab omnibus abstrahere, celare, quia admin de reliquis aget) - ipsam, eius infrastructuram, et quomodo applicationes monitores intelligas. intus.
• Intelligere debet officia speciali modo inter se communicare, ac cognoscere specialia officia quomodo inter se mutuo se cohaereant. Fieri potest, ut res aliqua officia ubi synchrone communicent, quia alius modus non est. Exempli gratia, posteriori per REQUIEM accedit, per gRPC ad catalogum ministerium, index productorum accipit et ad eum revertitur. Hic manere non potes. Et cum aliis officiis asynchronously operatur. Transferre ordinem ad traditionis officium, litteras mittere, etc.
  Tu probabiliter iam natas ex his omnibus? Et admin, qui hoc monitori indiget, etiam magis confusior factus est.
• Ipse potest recte disponere et disponere - sicut opus magis ac magis fit.
• Debet ergo creare consilium a servitio creato ad cognoscendum quam specialiter monitor eam. Intellectus architecturae documenti eget eiusque progressui + intelligentia technologiarum quae in evolutione adhibitae sunt.

Meminerimus casum normalem absolute: quaedam officia in PHP, quaedam officia in Go, quaedam officia in JS. Modo inter se operari. Inde est quod vocabulum "microservice" inde provenit: tot sunt singulae systemata quae non possunt intellegere consilium totum. Una pars quadrigis scribit officia in JS, qui opera sua et nesciunt reliqua opera systematis. Altera pars scribit Pythonis officia, et non impedit quomodo alia officia laborant, separatim in suo loco sunt. Tertia est officia in PHP vel aliquid aliud.
Omnes hi XX homines in 20 servitia dividuntur, et admin unus est qui haec omnia intelligere debet. Prohibere! modo systema in 15 microservias dividemus quia 15 homines totum systema intelligere non possunt.

Cras adipiscing sed enim eget aliquam.

Quid rei est? Quam ob rem unus est homo qui ascendit cum omnibus quae tota turma tincidunt intelligere non potest, et simul debet etiam scire et facere quod supra significavimus - hardware infrastructure, Kubernetes infrastructure, etc.

Quid dicam ... Houston, habemus difficultates.

Monitorium hodiernus inceptio software est in seipso projectus

Ex falsa opinione quae vigilantia est utaris, fidem miraculorum enucleamus. Sed miracula, proh dolor, non fiunt. Zabbix installare non potes et omnia ad operandum exspectare. Nihil punctum in Grafana insertis et sperans omnia bene agenda erunt. Frequentius impendetur in sistendis ordinandis operandi officia et commercium inter se, quomodo systemata externa operantur. Re vera, 90% temporis non in scriptis scribendis impendetur, sed in programmate enucleando. Lorem ipsum tractatos sit et, ut labore voluptua intellegat.
Si in hoc casu unus homo in vigilantiam mittetur, tunc calamitas fiet. Quod ubique fit.

Exempli gratia, sunt plura officia quae per Kafka inter se communicant. Ordo venit, nuntium de ordine ad Kafka misimus. Ministerium est quod informationes audit de ordine et navibus bonis. Ministerium est quod informationes de ordine audit et litteras ad utentis mittit. Tum fasciculum plura officia apparent, et confundi incipimus.

Quod si hoc etiam admin ac tincidunt in scaena dabis, cum breve tempus ante emissionem relictum est, opus erit hoc totum protocollum intelligere. Illae. Proiectum huius scalae notabile temporis spatium accipit, quod in evolutione systematis fieri debet.
Sed saepissime, praesertim in startups, vigilantia in serius differri videmus. "Nunc Conceptus probationem facimus, cum eo deducemus, cadat - parati sumus ad sacrificandum". Et tunc omnes monentes erimus. Cum consilium (vel si) pecuniam facere incipit, negotium plura addere vult - quia opus incepit, ut ulterius evolvi necesse est! Tu autem in eo loco es, ubi prius omnia priora monitorem debes, quae non 1% temporis, sed multo magis. Atque obiter, magna tincidunt opus erit, et facilius in novis notis laborandum est. Quam ob rem novae notae scriptae sunt, omnia datura sunt, et es in fine deadlock.

Quomodo igitur consilium monitorem ab initio incipias, et quid agas, si consilium capias quod monitori indiget, sed ubi inire nescis?

Primo, consilium debes.

Digressio lyrica: saepissime ab infrastructura vigilantia incipiunt. Exempli gratia, Kubernetes habemus. Incipiamus inserendo Prometheum cum Grafana, plugins insertis ad vigilantiam "cubum". Non solum tincidunt, sed etiam administratores infaustum usum habent: "Hoc plugin instituemus, sed plugin probabiliter facere scit". Homines cum simplicibus et simplicibus potius quam cum magnis actionibus committitur. Ac infrastructure vigilantia facilis est.

Primum constitue quid et quomodo monitor vis, deinde instrumentum elige, quod alii pro te cogitare non possunt. Et debent? Alii homines sibi de systemate universali cogitaverunt vel omnino non putaverunt cum hoc plugin scriberetur. Et ideo quia hoc plugin habet V milia utentium, non significat quod ullius utilitatis est. Fortasse 5st simpliciter fies quia iam quinque milia hominum ibi fuerunt.

Si magna infrastructura incipiunt et applicationis tergum cessat respondere, omnes utentes nexum cum applicatione mobili perdent. Error apparebit. Venient ad te et dicent "Applicatio non laborat, quid hic agis?" - "Nos sumus vigilantia." — "Quomodo monitor, si non videris applicationem non operari?"

1. Credo te vigilantiam prorsus ab ingressu usoris incipere debes. Si usor non videt applicationem laborare, id est, defectio est. Et de hoc primo vigilantia ratio debet monere.
2. Et tunc demum infrastructuram monitor possumus. Facere parallelo an. Facilius cum infrastructura est - hic tandem modo zabbix instituere possumus.
3. Nunc opus est ad radices applicationis intelligere ubi res non laborant.

Praecipua idea est quod vigilantia eat in parallela cum processu evolutionis. Si turmam vigilantiam distrahes ad alia opera (CI/CD, sandboxing, infrastructuram reorganizationis creando), vigilantia pigri incipiet et numquam progressionem adsequi potest (vel serius vel citius eam prohibere debebis).

Omnia per gradus

Ita video rationem ordinationem vigilantiae.

I) application gradu:

• vigilantia applicationis negotii logicae;
• vigilantia salutis metri officia;
• magna integratio.

2) Infrastructure:

• orchestration level magna;
• systema programmatum vigilantia;
• ferrea magna.

3) Iterum applicatio campestris, - sed ut machinalis productio;

• colligendis et vigilantia lignis applicandis;
• APM;
• repetens.

4) Alerting:

• ordo admonitionis ratio;
• ordo debiti ratio;
• organizationem "basis cognitionis" et workflow ad processus incidentes.

maximusintenti sumus non post, sed statim. Non opus est vigilantia mittere et figurare "quomodo postea" ex quis summis accipiet. Ceterum vigilantia quid opus sit: intelligere ubi in ratione aliquid operatur iniuriam, et ut iure cognoscat. Si hoc usque ad finem exeatis, ius intelleget aliquid errare, nisi cum "nihil nobis operatur".

Applicationem Layer - Negotia Logic Cras

Hic loquimur de reprimendo ipso facto applicationis opera utentis.

Hoc planum faciendum est in evolutione paschali. Exempli gratia, Prometheus conditionalem habemus: it ad servo qui compescit, terminum trahit, et terminus API accedit ac coercet.

Cum saepe rogatum est ut paginam domesticam monitorem fac ut situs laborat, programmatores manubrium dant, qui omni tempore trahi potest, ut opus fac ut API laborat. Et programmatores hoc tempore adhuc capere et scribere /api/test/helloworld"
Uno modo omnia opera fac! - Minime!

• Tales compescit creando per se munus tincidunt. Unitas probationes scribentur ab programmatibus qui codicem scribunt. Quia si admin "Dude, hic index API protocolla omnium 25 functionum est, omnia monitor placet!" — nihil elaborare.
• Si figuras "salve mundi", nemo unquam sciet API opus esse ac facere. Omnis API mutatio debet ad mutationem in checks.
• Si iam habes talem quaestionem, tincidunt lineamenta collocare et collocare qui haec sistens scribet, aut damna accipe, nihil inhiberi ac deficiet.

Apicibus Technical:

• Vide ut servo externo ordinare ad compescendos ordinandos - certo debes habere consilium tuum extra mundum pervium esse.
• Organize coercet per totum API protocollum, non solum terminos singulares.
• Prometheum-extremum creare cum proventuum test.

Applicationem layer - sanitas metrics vigilantia

Nunc de externa sanitatis metri officiis loquimur.

Statuimus ut omnes "manculas" admovent applicationis utendi repressiones externas, quas ab externa systemate vigilantia vocamus. Sed haec sunt "tractationes" quas user "videt". Volumus autem, ut nostra officia ipsis operibus rata esse cupiamus. Melior fabula hic est: K8s compescit sanitatem, ut saltem "cubus" ipsum officium operari possit convinci. Dimidium autem checks quas vidi idem sunt print “salve mundi”. Illae. Itaque semel instruere se trahit, respondit omnia bene esse - omnia sunt. Ministerium autem, si suum API praebet, ingentem numerum punctorum habet ad ipsum API, qui etiam monitoriis indiget, quia opera scire volumus. Ac vigilantia iam intus sumus.

Quomodo hoc recte technice efficiatur: unumquodque officium suum finem de currenti effectu exponit, et in graphis Grafanae (vel quavis alia applicatione) statum omnium officiorum videmus.

• Omnis API mutatio debet ad mutationem in checks.
• Novam operam fac ilicet cum sanitate metrica.
• Admin ad tincidunt venire potest et interrogare "mihi duas lineamenta addere ut omnia intelligam et informationes de hac re ad vigilantiam meam addas." Sed tincidunt soleant respondere, "Nos duas hebdomades ante dimissionem aliquid adiciemus."
  Sciant procuratores progressionem damna talia fore, administratio evolutionis etiam procuratores cognoscat. Quia, cum omnia cadunt, aliquis adhuc vocabit et postulabit ut "servitium cadens assidue" (c)
• Obiter collocant tincidunt scribendorum plugins pro Grafana - hoc bonum auxilium erit pro admins.

Applicationem Layer - Integration Cras

Integratio vigilantia communicationum socialium inter systemata negotia critica vigilantia intendit.

Verbi gratia, 15 sunt officia quae inter se communicant. Hae non sunt sites separatae. Illae. ministerium suum trahere non possumus, hello mundum capere et servitium currit intelligere. Quia ministerium interretialem ordinatio informationes mittere debet de ordine bus - bus, servitium horreum hoc nuntio accipere debet et cum eo amplius operari. Et inscriptio distributionis ministerium hoc aliquo modo ulterius procedere debet, etc.

Itaque intellegere non possumus, singula opera singula iactare, omnia opera facere. quia quaedam habemus bus, per quae omnia communicant et correspondent.
Ideo hic scaena notare debet condiciones probationis officia pro commercio cum aliis officiis. Impossibile est communicationem vigilantiam componere nuntium sectorem sedulitate. Si officium est quod notitia exit et servitium quod recipit, cum magna sectorem videbimus tantum notitia quae ex parte ad latus fugit. Etiamsi aliquo modo ad monitorem commercium huius notitiae interius curavimus - quod quidam productor nuntiat, qui legit, hic fluxus pergit ad Kafka - hoc tamen nobis non indicabit si unum munus nuntium misit in una versione. sed altera religio hanc versionem non exspectavit ac praetermisit. Hoc nos nescimus, cum officia nobis omnia operando indicabunt.

Quod tibi commendo, facis;

• Communicatio pro synchrono: finis petit officia cognata. Illae. hoc punctum accipimus, scripturam intra servitium trahere, quod ad omnia puncta vadit, et dicit "Ibi trahere possum et illuc trahere, illuc trahere possum..."
• Pro asynchrono communicatio: nuntii ineuntes - terminus refrenat bus pro test nuntiis ac processui status ostendit.
• Pro asynchrono communicatio: addare - terminus test nuntios mittit ad bus.

Ut fieri solet: servitium habemus, quod notitia bus iacit. Ad hoc officium accedimus et te rogamus ut nobis de integra sua valetudine dicas. Et si officium nuntium alicubi producere indiget (WebApp), tunc nuntium hunc testem proferet. Et si munus in Ordine Processing currimus, primum stipes quid independens potest, et si aliquae res dependentes sunt, legit mandata test ex bus, intellegit eas procedere posse, id renuntiare et. si opus est, abde longius, et de hoc dicit - omnia bene sunt, ego vivo.

Saepissime audimus quaestionem "quomodo probare possumus hanc in pugna data?" Exempli gratia loquimur de eadem ordinatione servitii. Ordo nuntios mittit in horreis ubi bona scripta sunt: ​​hoc in certamine probare non possumus, quia "bona mea scribentur". Solutio: Planum hoc totum experimentum in initio. Habes etiam unitatem probationes quae irrident faciunt. Sic age altius, ubi canalem communicationis habes, qui operationi negotiorum non nocet.

Infrastructure level

Cras magna infrastructura aliquid est quod vigilantia ipsa iamdudum pensata est.

• Cras magna infrastructura tamquam processus separatus deduci potest et debet.
• Cras interdum sollicitudin ante, etiam si vere vis, non debes. Hic dolor est omnium devotorum. "Primo botrum monitorem, infrastructuram monitor ero" – i.e. Primum, id quod inferius est, admonebit, sed in applicatione non ingredietur. Quia applicatio est rei incomprehensibilis ad devops. Quae facta est ei, et quomodo operatur non intellegit. Et infrastructuram intelligit et incipit ab ea. Sed nulla - semper eget applicatione prima monitor.
• Noli excidere numero summis. Considerans multiplicitatem systematum modernorum, erecti constanter volantes, et aliquo modo vivere debes cum hoc erectorum fasciculo. Persona autem vocata, centum proximarum summis inspectis, "nolo cogitare de ea." Tantum de rebus criticis certiorem facere debet.

Applicationem gradu negotium unitas

Cardinis:

• ELK. Haec est industriae regula. Si aliqua de causa non ligna congreges, id statim incipias.
• APM. APMs externae ut via ad magna vigilantia cito claudat (NewRelic, BlackFire, Datadog). Hanc rem ad tempus instituere potes ut saltem aliquo modo intellegas quid tecum agatur.
• TYPIS. In justo microserviorum, omnia investigare debes, quia petitio sua non amplius vivit. Difficillimum est postea addere, ut melius sit statim schedula in evolutione vestiganda - hoc opus et utilitas tincidunt. Si nondum impletum est, efficiendum est! Vide Jaeger/Zipkin

Alerting

• Organizatio notificationis systematis: in conditionibus vigilantiae fasciculum rerum, ratio unica habeatur notificationes mittendas. Potes in Grafana. In Occidente quisque PagerDuty utitur. Alerts patefacere debet (exempli gratia unde venerunt...). Et placuit ut notificationes omnino recipiantur
• Organizationis ratio debiti: summis non omnibus mittendae sunt (aut quisque in turba aget aut nemo agere potest). Tincidunt etiam onvocare opus esse: certa responsabilitatis definire, instructiones claras facere et in ea scribere, qui exacte die Lunae et Mercurii vocant, quique die Martis et Veneris (alioquin neminem etiam in eventus magni quaestionis - timebunt te excitare vel perturbare: homines plerumque alios homines, noctu praesertim, vocare et excitare non volunt). Et explica quod auxilium petens incompetentiae non est ("auxilium peto, quod modo malus sum operarius"), petitiones adiuvandi robora.
• Organizatio "scientiæ basis" et cursus operandi ad processus incidentes: ad singulas res graves, post-mortem, disponi debent, et pro mensura temporaria, actiones quae incidentes solvendas notentur. Et facite eam praxim quae iteratae summae peccatum est; opus infrastructure vel codice infixi indigent.

Technology acervus

Fingamus hunc nostrum acervum hoc modo:

• data collection - Prometheus + Grafana;
• analysis log - ELK;
• pro APM vel Tracing - Jaeger (Zipkin).

Electio optionum critica non est. Quia si in principio intelligeres rationem monitoris et rationem inscripsisti, tunc incipis instrumenta eligere ad requisita tua congruentia. Quaeritur quid in primis monitorem velles. Quia fortasse instrumentum, quem ab initio elegeris, minime congruet postulatis tuis.

Pauca puncta technica quae nuper ubique video:

Prometheus Kubernetes intus impulit - quis cum hoc ascendit? Si inruerit botrus tuus, quid facies? Si racemum complexum intus habebis, quaedam magna ratio debet esse intra botrum, et quaedam extra, quae notitias intra botrum colliget.

In botro ligna colligimus et omnia alia. Sed sit amet elit magna. Saepius in botro ubi Promtheus interius installatus est, etiam systemata externa compescit quae operationis situs exercent. Quid si nexus tui ad extra mundum deciderunt et applicatio non operatur? Omnia intus bene evenit, sed omnia faciliora usoribus non facit.

Inventiones

• Cras evolutionis utilitas non institutionem, sed productio programmatis programmatis est. 98% hodiernae vigilantia coding est. Coding in servitiis, coding exteriora compescit, officia externa reprehendo, omniaque sunt.
• Noli tincidunt tempus perdis in vigilantia: ad 30% operis sui capere potest, sed pretium est.
• Devoves, noli sollicitare te aliquid monitori non potes, quia quaedam sunt omnino alia ratio cogitandi. programmator non eras, et vigilantia labor prorsus eorum officium est.
• Si consilium iam currit et non monitored (et procurator es), facultates vigilantia collocant.
• Si productio iam in productione est, et tu es devops qui dicebatur "vigilas erigere" - exponere conaris administrationi quod haec omnia scripsi.

Haec versio protracta relationis in colloquio Sancti Highload ++ est.

Si interest in ideis et cogitationibus meis in ea et in thema cognata, hic potes legere alveum suum 🙂

Source: www.habr.com