Industriae progressionis systematum programmatum magnam attentionem exigit culpae tolerantiae producti finalis, necnon celeri responsionis defectibus et defectibus, si accidunt. Cras, cursus, defectibus et defectis efficacius et cito respondere adiuvat, sed non sufficit. Primo, difficillimum est vestigia magna ministrantium servare - magnus numerus hominum necessarius est. Secundo, debes habere bonam intelligentiam, quomodo applicatur ad praedictum statum suum. Multum ergo opus est hominibus, qui ad bonam intelligentiam systematum elaborandam sumus, eorum opera et lineamenta. Demus quod etsi satis inveneris qui hoc facere voluerint, multum tamen temporis exercendi sunt.
Quid facere? Inde est, ubi artificiosa intelligentia subvenit. Articulus erit loqui (Praedictiva sustentatio). Ac- ceptio popularis captandi. Articuli magni scripti sunt, in iis Habré. Magnae societates hac accessu plene utuntur ad servientium observantiam tuendam. Multis articulis inspectis, accessum experiri decrevimus. Quid inde?
introduction
Systema programmatum elaboratum citius aut serius in operationem pergit. Gravis est utentis ratio sine defectis operatur. Si casus intervenit, minima mora resolvi debet.
Ad simpliciorem technicam sustentationem systematis programmatis, praesertim si multi servientes sunt, programmata vigilantia adhiberi solent, qui metrice ex systemate programmate currit, efficiunt ut eius condicionem et auxilium egritudo determinet quidnam prorsus defectum effecit. Hic processus systema programmatis vigilantia appellatur.
Figure 1. Grafana magna interface
Metrica varia sunt indices systematis programmatis, consecutio ambitus, vel computatorium physicum sub quo ratio currit cum indicatione temporis quo metrici recepti sunt. In analysi stabili, hae metricae series temporis dicuntur. Ad monitorem statum systematis programmatis, metrici in graphs exhibentur: tempus est in X axe, et valores secundum axem Y (Figura 1). Plura milia metricorum ex systemate programmate currit (ab unaquaque nodi) sumi possunt. Spatium metri formant (series multidimensionalis temporis).
Cum numerus metricorum in systematibus programmatibus complexis collectus sit, manualis vigilantia difficilis fit labor. Ad redigendum moles notitiarum ab administratore resolvitur, magna instrumenta instrumenta continent ad quaestiones possibilis automatice cognoscendas. Exempli gratia, felis ad ignem configurare potes, cum liberum orbis tractus infra certum limen cadit. Etiam automatice egritudinem servo shutdown vel criticam retardationem in celeritatis ministerio potes. In praxi, magna instrumenta opera bona detegendis defectibus quae iam facta sunt vel signa simplicia de futuris defectibus cognoscendis, generatim autem praedicens possibilis defectio remanet duris nucis ad resiliendum illis. Praedictio per analysin manualem metri poscit implicationem specialium qualitatum. Fructus humilis est. Defectis maxime potentialibus latuit.
Nuper, sic dicta conservatio predictive systematis programmatum in dies magis popularis inter magnas IT societates programmatis progressionis facta est. Essentia huius accessionis est invenire problemata degradationis systematis in primis temporibus, antequam deficiat, utens intellegentia artificialis. Hic aditus manuali vigilantia systematis non omnino excludit. Auxiliaris est ad totum processum vigilantem.
Praecipuum instrumentum ad conservationem predictive exsequendam munus est inquisitionis anomaliae in tempore seriei, quoniam quando anomalia occurs in notitia est magna probabilitas post aliquod tempus erit defectum vel defectum. Anomalia quaedam est declinatio in systemate programmatis exercendo, ut degradationem identificandi in executione celeritatis unius generis petitionis vel decrementi in mediocris numerus petitionum officiorum in constanti gradu sessionum clientium.
Munus quaerendi anomalias pro systematibus programmatis proprias habet speciales. In theoria, pro singulis systematis programmatibus exsistentibus methodis evolvendis vel excolendis necessarium est, cum investigatio anomaliae valde pendeat a notitia in qua conficitur, et notitia rationum programmatum multum pendet secundum instrumenta ad systema implendum. ad id eu lectus cursus.
Methodi quaerendi anomalias cum defectibus systematis programmatis praenuntiant
Imprimis valet dicere ideam defectionis praedicendi ab articulo inspiratam esse . Ad probandam efficaciam accessus latis inquisitionis anomaliae, ratio programmatis interretialis-consolidationis electa est, quae una ex inceptis societatis Krista NPO est. Antea, magna vigilantia manualis peractum est pro eo fundatum in metri receptaculo. Cum systema satis complexum sit, numerus metri pro eo sumuntur: JVM indices (coenum publicanus onere), indices OS sub quibus Codex exercetur (memoria virtualis, % OS CPU onus), indices retis (onus network. ) , ipsum server ( CPU onus , memoria ) metrics silvestris et propria applicatio metrica in omnibus subsystematibus criticis.
Omnia metrica sumuntur ex graphite systematis utendi. Initio, susurri datorum solutionis grafana pro norma adhibita est, sed cum basis clientis cresceret, graphita diutius obire non potuit, exhausta capacitate subsystem orbis DC. Postea efficaciorem solutionem invenire placuit. Electio in gratiam facta est quae effecit ut sarcinam in disco subsystem ordine magnitudinis reducere et spatium orbis occupatum per quinquies ad sexies reducere effecit. Infra schema est mechanismi colligendi metricos utentes graphite+clickhouse (Figura II).
Figure 2. Schema colligendis metrics
Tabula ex documentis internis sumitur. Indicat communicationem inter grafana ( vigilantia UI utimur ) et graphita . Remota metrica ab applicatione fiunt a programmate separato - . Mauris in graphite.
Textus systematis Consolidationis plures lineas habet, quae difficultates creant ad delicta praedicenda:
- Flecte saepe mutatur. Variae versiones ad hoc systema programmatum praesto sunt. Uterque earum mutationes ad partem programmatis systematis affert. Quocirca hoc modo, tincidunt directe metri alicuius systematis inflectunt ac inclinatio mutationem causare possunt;
- ad exsequendam notam, necnon ad fines pro quibus clientes hoc systema utuntur, saepe depravationes faciunt sine degradatione praecedente;
- recipis anomalia relativa ad totius notitiae copiae parva (< 5%);
- Possunt hiatus in accipiendis indicibus ex systemate. In nonnullis brevibus temporis intervallis, magna ratio metrica non obtinet. Ut si servo cumulatur. Hoc criticum est ad institutionem retis neuralis. Lacunas explere opus est synthetice;
- Causae cum anomaliis saepe tantum ad certum diem / mensem / tempus (tempus temporis). Haec ratio normas apertas ab utentibus utentes habet. Proinde metri tantum ad certum tempus pertinent. Ratio constanter adhiberi non potest, sed in aliquibus mensibus: selective secundum annum. condiciones oriuntur cum in uno casu metri agendi ratio potest ad defectum systematis programmatis ducere, non autem in alio.
Primum, methodi detegendi anomalias in vigilantia notitia systematum programmatum enucleata sunt. In articulis de hoc argumento, cum anomalia recipis ad reliquas notitias parvas respicientia, saepissime proponitur retiacula neural adhibenda.
Logica fundamentalis ad quaerendas anomalias per retis neuralis datas in Figura 3 ostenditur.
Figura 3. Searching anomaliae usus neural network
Fundatur ex eventu praesagio vel restauratione fenestrae currentis metri curriculi, cuius declinatio ab eo recepto e systemate programmate currenti computatur. Si multum interest inter metricos e systematis programmatis et retis neurali acceptis, concludere possumus segmentum hodiernum anomalum esse. Sequens series quaestionum oritur ad retiacula neuralis usus:
- ad recte in modum effusis, notitia ad formationem retis neuralis exemplorum solum notitias "normales" comprehendere debet;
- necesse est ut exemplar ad rectam deprehensionem habeantur. Mutationes et opportunas in metricis inclinationes magnum numerum positivorum falsorum in exemplari causare possunt. Ad illud renovandum, necesse est clare statuere tempus quo exemplar exstinguitur. Si exemplar postea vel antea renovabis, tunc, verisimile, magnus numerus positivorum falsorum sequetur.
Etiam oblivisci debemus de inquisitione et praecavenda frequentia falsorum positivorum. Assumenda ut saepe eveniet in necessitatibus rerum. Sed possunt etiam esse consequens errorem retis neuralis propter sufficientem institutionem. Necessarium est exemplar positivorum falsorum numerum minuere. Alioquin falsa praedictiones multum temporis intenti systematis administratoris teri erunt. Serius vel serius administrator simpliciter cessabit rationi vigilantiae respondere "paranoid".
Recurrentes neural network
Ad anomalias temporis series deprehendere, uti potes apud LSTM memoria. Sola quaestio est quod solum adhiberi potest ad seriem temporis praenuntiatam. In nobis, non omnes metri praevidere possunt. Conatum applicare RNN LSTM ad seriem temporis, ostenditur in Figura IV.
Figura 4. Exemplum recurrentis retis neuralis cum LSTM cellulis memoriae
Ut e Figura 4, RNN LSTM obire potest investigationem anomaliae hoc tempore temporis obire potuit. Ubi eventum habet magnum praedictionis errorem (medium erroris), anomalia in indicibus acciderunt. Uno RNN LSTM adhibito plane non satis erit, cum ad paucitatem metri pertineat. Adhiberi potest ut methodus auxiliaris ad anomalias quaerendas.
Autoencoder propter defectum praedictio
– per se artificialis retis neuralis. Input accumsan encoder est, accumsan sit amet elit. Incommodum omnium huiusmodi reticulorum neuralis est quod anomalias bene localiter non constituunt. Architectura synchrona autoencoder electa est.
Figure 5. Exemplum de autoencoder operandi
Autoencoderi in notitiis normalibus exercentur et tunc inveniunt aliquid anomala in notitiis nutrientibus ad exemplar. Id quod opus est. Reliquum est eligat quod autoencoder ad hoc munus aptum est. Forma architecturae simplicissima autoencoder est retis neuralis deinceps, retis non-reddens, quae simillima est. (multilayer perceptron, MLP), cum input iacuit, stratum output, et unum vel plura stratis illis connectentibus.
Differentiae tamen inter autoencoders et MLPs sunt quae in autoencoder, output iacuit totidem nodos quot iacuit initus habet, et loco instructus ad praedicendum valorem scopum Y ab input X datum, autoencoder instituitur. ad suam Xs reficiendam. Itaque autoencoders exempla studiorum insculpuntur.
Negotium autoencoder est invenire tempora indices r0 ... rn elementis anomalois in input vectoris X respondentibus. Hic effectus consequitur errorem duplicatum quaerendo.
Figura 6. Synchroni autoencoder
Nam autoencoder delectus . Commoda eius: facultas ad modum processus profusis utendi et relative pauciores parametri retis neuralis cum aliis architecturis comparati.
Mechanica falsa positivis obscuratis
Ob quod variae abnormes condiciones oriuntur, et possibilis condicio sufficiens institutionis retis neuralis, ad detectionis exemplar anomalia crescentis, placuit necessarium esse mechanismum evolvere ad falsas positivas obscurandas. Haec mechanismus in basi templates innititur quae ab administratore classificata est.
(DTW algorithmus, e dynamico Anglico tempore inflexionis) permittit te invenire meliorem correspondentiam inter sequentia temporis. Primus usus est in cognitione sermonis: usus est ad constituendum quomodo duo signa sermonis eandem locutionem exprimant. Postmodum in aliis locis applicatio reperta est.
Principium principale positivi falsis obscuratis colligendis datorum signis ope operantis qui suspectos casus indicat utentes retiacula neuralis deprehensa. Deinde indicatur vexillum comparatur cum casu quod ratio deprehenditur, et concluditur circa utrum falsum sit an ducens ad defectum. DTW algorithmus praecise adhibetur ad duas series temporis comparandas. Praecipuum minimization instrumentum classificationis adhuc est. Optandum est ut, collectis permultis casuum relativis, systema operantis minus ex similitudine plurium et eventuum similium quaerere incipiet.
Quam ob rem, rationibus retis neuralis descriptis, progressio experimentalis aedificata est ad praedicta vitia systematis "Web-Consolidationis". Propositum huius programmatis fuit, utens archivum vigilantiae notitiarum et informationum de defectibus praecedentibus exsistentibus, competentiam huius accessus pro ratiociniis programmatis nostris aestimare. Consilium programmatis infra in Figura VII exhibetur.
Figure 7. Insufficientia praedictionis ratio metrica secundum spatium analysis
In schemate duo principales caudices distingui possunt: quaesitio anomala temporis momenta in magna notitia fluminis (metrica) et mechanismum ad falsa positiva obscuranda. Nota: Ad usus experimentales, notitia per nexum JDBC obtinetur ex datorum in quod graphitum servabit.
Talis est machinatio systematis vigilantiae consecutum ut effectus evolutionis (Figura 8).
Figure 8. Interface experimentalis magna ratio
Interfacius ostendit recipis anomalia in metri recepta ratione. In casu nostro, acceptio simulata est. Iam aliquot hebdomades omnes notitias habemus et eam gradatim ad reprimendam anomaliae casum ducens ad defectum oneramus. Status inferior talea ostendit altiore quotus quisque notitiarum anomaliae dato tempore, quod autoencoder utens determinatur. Recipis etiam separatus ostenditur pro metrico praedicto, quod per RNN LSTM computatur.
Exemplum detectionis anomaliae innixum in CPU retis neuralis RNN LSTM adhibitis (Figura 9).
Figure 9. RNN LSTM inventionis
Casus satis simplex, essentialiter outer ordinarius, sed defectum systematis ducens, RNN LSTM feliciter computavit. Denotat anomalia hoc temporis spatio 85-95%, omnia supra 80% (limen experimentaliter determinatum) anomalia censetur.
Exemplum deprehensionis anomaliae cum ratio tabernus post renovationem nequivit. Haec condicio ab autoencoder deprehenditur (Figura 10).
Figure 10. Exemplum de autoencoder deprehensio
Ut videre potes ex figura, PermGen in uno gradu adhaesit. Autoencoder mirum hoc inuenit quod numquam antea quicquam simile viderat. Hic anomalia 100% manet donec systema ad statum laborantem redit. Anomalia omnibus metricis exhibetur. Ut ante dictum est, autoencoder anomalias localiter non potest. Auctor in his adiunctis munus explendum vocatur.
conclusio,
PC "Web-Consolidatio" aliquot annos in evolutione fuit. Ratio satis stabilis est, et numerus rerum memorabilium parvus est. Potuit tamen invenire anomalia ducentes ad defectum 5 - 10 minuta antequam defectio facta est. In quibusdam casibus, notificatio defectus in antecessum adiuvaret nisi tempus horarium quod est datum ad opus "reparationis" perficiendum.
Ex experimentis quae fiebant, immaturum est ut conclusiones finales eligant. Hactenus eventus inter se pugnant. Ex altera parte patet algorithmos in reticulis neuralis fundatos posse anomalias "utiles" invenire. Ex altera parte, restat magna recipis positivorum falsorum, et non omnes anomaliae detectae a speciali qualificato in retis neuralis deprehendi possunt. Incommoda hoc comprehendunt, quod nunc reticulum neurale cum magistro ad normalem operationem requirit.
Ad ulteriora explicanda ratio defectus praedictionis et ad statum satisfacientem perducendum, pluribus modis pervideri potest. Haec accuratior analysis casuum cum anomaliarum quae ad defectionem ducunt, ob hanc additionem ad electronicarum metrorum magni ponderis, quae statum systematis magnopere commovent, et abiectio supervacaneorum quae eum non tangunt. Etiam, si in hanc partem movemur, conari possumus algorithmos speciales specializare pro casibus nostris cum anomaliis quae ad defectionem ducunt. Alter est modus. Haec emendatio in architecturae retis neuralis est et inde detectio accuratio augetur cum reductione in disciplina temporis.
Gratiam meam exprimo collegis meis qui me adiuverunt scribere ac momentum huius articuli conservare; et Sergei Finogenov.
Source: www.habr.com