Sealladh farsaing air siostam sgrùdaidh hybrid Okerr

Dà bhliadhna air ais rinn mi post mu thràth Fàilligeadh sìmplidh airson làrach-lìn mu dheidhinn ocair. A-nis tha beagan leasachaidh air a 'phròiseact, agus dh'fhoillsich mi cuideachd Còd stòr taobh frithealaiche okerr fo na cead fosgailte, is ann air sgàth sin a chuir mi romham an lèirmheas goirid seo a sgrìobhadh air Habr.

Sealladh farsaing air siostam sgrùdaidh hybrid Okerr
[ làn mheud ]

Cò dha a dh’ fhaodadh ùidh a bhith aige

Is dòcha gum bi seo inntinneach dhut ma tha thu ag obair ann an sgioba bheag no leat fhèin. Chan eil sgrùdadh agad agus chan eil thu cinnteach a bheil feum agad air. An dàrna cuid dh’ fheuch thu ri sgrùdadh mòr mòr-chòrdte “airson na balaich mòra”, ach dòigh air choireigin “cha do dh’ fhalbh e dhut, no tha e ag obair ann an rèiteachadh cha mhòr àbhaisteach agus cha do dh’ atharraich e do bheatha mòran. Agus cuideachd - mura h-eil thu gu cinnteach an dùil neach-obrach iomlan (no eadhon roinn) a riarachadh gus sùil a chumail air an deas-bhòrd sgrùdaidh co-dhiù uair no dhà san latha no a rèiteachadh.

Carson a tha okerr neo-àbhaisteach

An uairsin seallaidh mi feartan inntinneach den okerra a tha ga eadar-dhealachadh bho shiostaman sgrùdaidh eile.

Tha Okerr na sgrùdadh tar-chinealach

Rè sgrùdadh taobh a-staigh, tha “àidseant” a ’ruith air na h-innealan sgrùdaichte, a bhios a’ sgaoileadh dàta chun t-seirbheisiche sgrùdaidh (mar eisimpleir, àite diosc an-asgaidh). Nuair a bhios e a-muigh, bidh am frithealaiche a’ dèanamh sgrùdaidhean thairis air an lìonra (mar eisimpleir, ping no cothrom air làrach-lìn). Tha a chuingealachaidhean aig gach dòigh-obrach. Cleachdaidh Okerr an dà roghainn. Bithear a’ dèanamh sgrùdaidhean taobh a-staigh frithealaichean le àidseant gu math aotrom (30Kb) no na sgriobtaichean agus na tagraidhean agad fhèin, agus thèid sgrùdaidhean lìonra a dhèanamh tro luchd-mothachaidh okerr ann an diofar dhùthchannan.

Chan e dìreach bathar-bog a th’ ann an okerr, ach cuideachd seirbheis

Tha pàirt an fhrithealaiche de sgrùdadh sam bith mòr agus iom-fhillte, tha e duilich a stàladh agus a rèiteachadh, agus tha feum air goireasan. Le okerr faodaidh tu an frithealaiche sgrùdaidh agad fhèin a chuir a-steach (tha e an-asgaidh agus opensource), no faodaidh tu dìreach am pàirt teachdaiche a chleachdadh agus seirbheis an t-seirbheisiche againn a chleachdadh. Cuideachd an-asgaidh.

Ma tha sgrùdadh a 'toirt cothrom dhut dìoladh a dhèanamh agus a bhith a' còmhdach an dìth earbsa ann an luchd-frithealaidh agus tagraidhean, bidh ceist feallsanachail ag èirigh - cò an geàrd? Ciamar a dh’ innseas sgrùdadh dhuinn mu dhuilgheadas ma tha e fhèin “air bàsachadh” airson adhbhar air choireigin, leotha fhèin no còmhla ris na goireasan eile agad (mar eisimpleir, thuit an sianal chun ionad dàta)? Nuair a bhios tu a’ cleachdadh an okerr seirbheis taobh a-muigh - tha an duilgheadas seo air fhuasgladh - gheibh thu rabhadh eadhon ged a tha an ionad dàta gu lèir leis na frithealaichean agad gun chumhachd no ma bheir zombies ionnsaigh air.

Gu dearbh, tha cunnart ann nach bi am frithealaiche okerr fhèin ri fhaighinn, tha seo fìor (mar a tha fios agad, gheibhear 90% de earbsachd an-còmhnaidh gu sìmplidh agus “an-asgaidh”, 99% le oidhirp as lugha, agus tha gach naoi às deidh sin. gu h-iongantach nas duilghe). Ach, an toiseach, tha na cothroman gun tachair seo nas ìsle, agus san dàrna àite, is dòcha nach tèid an duilgheadas a mhothachadh ach ma tha e aig an aon àm ri duilgheadasan ar frithealaichean. Ma tha earbsachd 99.9% againn, agus gu bheil 99.9% agad (chan eil àireamhan ro àrd), is e an cothrom air fàilligeadh neo-aithnichte 0.1% de 0.1% = 0.0001%. Tha e fìor mhath a bhith a’ cur trì nines ris an earbsachd agad cha mhòr gun oidhirp agus gun chosgais!

Is e buannachd eile de sgrùdadh mar sheirbheis gum faod solaraiche aoigheachd no stiùidio lìn frithealaiche okerr a chuir a-steach agus cothrom a thoirt do luchd-dèiligidh mar sheirbheis pàighte no an-asgaidh. Tha dìreach aoigheachd agus làraich-lìn aig na farpaisich agad, ach tha aoigheachd earbsach agad le sgrùdadh.

Tha Okerr mu dheidhinn comharran

Is e “bolg solais” a th’ anns a’ chomharra. Tha dà phrìomh stàit aice - uaine (OK) no dearg (ERR). Tha mòran chomharran cruinnichte (mar eisimpleir, a rèir frithealaiche) sa phròiseact. Air prìomh dhuilleag a 'phròiseict, chì thu sa bhad gu bheil a h-uile dad uaine (agus faodaidh tu a dhùnadh), no gu bheil rudeigin air a lasadh dearg agus feumar a cheartachadh. Nuair a ghluaiseas tu eadar na stàitean sin, thèid rabhadh a chuir. Aon uair san latha fhad ‘s a tha thu ga stèidheachadh, thèid geàrr-chunntas den phròiseact a chuir.

Sealladh farsaing air siostam sgrùdaidh hybrid Okerr

Tha suidheachaidhean a-staigh aig gach comharra okerr leis am bi e ag atharrachadh staid (ann an Zabbix canar inneal-brosnachaidh ris an seo). Mar eisimpleir, cha bu chòir cuibheasachd luchdan a bhith nas fhaide na 2 (gu dearbh, tha seo comasach a rèiteachadh). Agus airson gach sgrùdadh a-staigh (cuibheasach luchdan, gun diosc, ...) tha buidheann faire ann. Mura faigh sinn airson adhbhar air choireigin dearbhadh soirbheachail aig an àm ainmichte, thèid mearachd a chlàradh agus thèid rabhadh a chuir.

Is e am pàtran obrach àbhaisteach againn sùil a thoirt air puist-d sa mhadainn, agus coimhead air a’ gheàrr-chunntas am measg litrichean eile (bidh sinn ga chlàradh aig toiseach na h-obrach). Ma tha a h-uile càil ceart gu leòr ann, bidh sinn a’ dèanamh rudan cudromach eile (ach airson a bhith sàbhailte, is urrainn dhuinn coimhead gu sgiobalta air deas-bhòrd okerra agus dèanamh cinnteach gu bheil a h-uile càil uaine aig an àm seo). Ma thig rabhadh, freagraidh sinn.

Gu dearbh, tha e comasach dìreach comharran “fiosrachaidh” a chumail (gus dealbh an lìonra fhaicinn bho sgrùdadh), ach tha a h-uile càil air a dhèanamh gus comharran a chruthachadh gu sìmplidh, gu furasta agus gu sgiobalta gu sònraichte airson sgrùdadh fèin-ghluasadach agus fiosan a chuir.

Tha an adhbhar airson a bheil thu a’ stèidheachadh okerr ann an rabhaidhean, gus an urrainn dhut taisbeanair a chruthachadh ann am mionaid, dh’ fhaodadh e “cadal” airson bliadhna, dìreach gabhail ri ùrachaidhean, agus nuair a bhriseas rudeigin bliadhna às deidh sin, bidh e a ’lasadh suas agus a’ cur air falbh rabhadh. Phàigh a’ mhionaid a chuir thu seachad a’ cruthachadh comharra dheth; dh’ ionnsaich thu mun duilgheadas sa bhad, ro dhuine sam bith eile. Tha e comasach gun do shuidhich iad e mus do mhothaich duine sam bith. Chan eilear den bheachd gu bheil rudeigin a thèid a thogail gu sgiobalta air tuiteam!

Tèarainteachd

Bhiodh e tàmailteach nan stèidhich thu sgrùdadh air sgàth barrachd earbsachd, ach mar thoradh air an sin, thèid ionnsaigh a thoirt ort thairis air an lìonra troimhe, agus tha tòrr so-leòntachd lìonra ann an diofar innealan sgrùdaidh (Zabbix, Nagios).

Àidseant (okerrmod bhon phacaid ùrachadh) a’ ruith air an t-siostam chan e frithealaiche lìonra a th’ ann, ach neach-dèiligidh. Mar sin, chan eil puirt fosgailte a bharrachd air an t-seirbheisiche sgrùdaichte, bidh an neach-dèiligidh ag obair gu furasta air cùl balla-teine ​​​​no NAT agus tha e gu math duilich (chanainn “do-dhèanta”) a dhol thairis air an lìonra, oir ann am prionnsapal chan eil e ag èisteachd ris an lìonra socaid.

Còmhdach sgrùdaidh iomlan

A-nis is e an riaghailt againn gum bi sinn ag ionnsachadh mu na duilgheadasan teicnigeach uile bho okerr. Ma thèid an riaghailt a bhriseadh gu h-obann (cha tug Okerr rabhadh mun tachartas a tha ri thighinn (ma tha seo comasach) no gu bheil e air tachairt mar-thà) - cuiridh sinn seicichean ris an okerr.

Sgrùdaidhean taobh a-muigh

Sreath gu math àbhaisteach:

  • ping
  • http inbhe
  • a’ sgrùdadh èifeachd agus ùrachadh an teisteanais SSL (bheir e rabhadh ma tha e gu bhith a’ tighinn gu crìch)
  • fosgail port TCP agus bratach air
  • http grep (chan fhaod teacsa sònraichte a bhith air an duilleag)
  • sha1 hash gus atharraichean duilleag a ghlacadh.
  • DNS (feumaidh luach sònraichte a bhith aig clàr DNS)
  • WHOIS (rabhadh ma tha an àrainn gu bhith a’ dol dona)
  • Antispam DNSBL (seic aoigheachd an aghaidh 50+ liostaichean dubha antispam aig an aon àm)

Sgrùdaidhean taobh a-staigh

Cuideachd, seata meadhanach àbhaisteach (ach furasta a leudachadh).

  • df (àite diosc an-asgaidh)
  • cuibheasachd luchdan
  • opentcp (socaidean èisteachd TCP fosgailte - bheir e fios ma thòisich rudeigin no ma thuit e)
  • uptime - dìreach uptime air an fhrithealaiche. Cuiridh e fios ma tha e air atharrachadh sìos (ie tha am frithealaiche air cus a luchdachadh)
  • cliant_ip
  • dirsize - bidh sinn ga chleachdadh gus lorg nuair a tha na freumhan inneal brìgheil againn nas àirde na a’ mheud ceadaichte, gun a bhith a ’toirt a-steach cuingealachaidhean teann, agus meud clàran dachaigh luchd-cleachdaidh
  • falamh agus nonempty - sùil a chumail air faidhlichean a bu chòir a bhith falamh (no nach eil falamh). Mar eisimpleir, bu chòir log mearachd an fhrithealaiche okerr fhèin a bhith falamh, agus ma tha eadhon loidhne ann, gheibh mi fios agus bheir mi sùil air. Ach CHAN EIL mail.log air frithealaiche a’ phuist a bhith falamh (N mionaidean às deidh cuairteachadh). Agus uaireannan bha e falamh dhuinn às deidh ùrachadh siostam, nuair nach b’ urrainn dha logrotate rsyslog ath-thòiseachadh gu ceart.
  • linecount - àireamh de loidhnichean san fhaidhle (mar wc -l). Bidh sinn ga chleachdadh mar àite nas buige airson falamh, nuair a dh’ fhaodas an loga mearachd fàs fhathast, ach dìreach gu slaodach (mar eisimpleir, bidh Googlebot a’ bualadh air duilleagan dùinte). Tha crìoch de 2 loidhne ann an 20 mionaid. Ma tha e nas àirde, bidh rabhadh ann

Sgrùdaidhean inntinneach a-staigh

Ma tha thu air a bhith a’ leughadh “trasnainn” suas chun na h-ìre seo, a-nis bidh e nas inntinniche leughadh nas faiceallach.

cùl-taic

A’ cumail sùil air cùl-taic san eòlaire. Tha ainmean mar “ServerName-20200530.tar.gz” air na faidhlichean cùl-taic againn. Airson gach frithealaiche ann an okerr, tha an comharra ServerName-DATE.tar.gz air a chruthachadh (tha an dearbh cheann-latha ag atharrachadh air an loidhne “DATE”). Thathas cuideachd a’ cumail sùil air làthaireachd cùl-taic ùr agus a mheud (mar eisimpleir, chan urrainn dha a bhith nas lugha na 90% den chùl-taic roimhe).

Dè a dh’ fheumar a dhèanamh airson cùl-taic ùr a thòiseachadh às deidh dhuinn tòiseachadh air a chruthachadh agus a chuir san eòlaire seo? Chan eil dad! Is e dòigh-obrach gu math goireasach a tha seo nuair a dh’ fheumas tu “rud sam bith” a dhèanamh oir:

  • Tha a bhith a’ dèanamh “dad” gu math sgiobalta, sàbhalaidh e ùine
  • Tha e doirbh dìochuimhneachadh “rud sam bith” a dhèanamh
  • Tha e duilich “rud sam bith” ceàrr a dhèanamh, le mearachd. Chan eil dad mar an dòigh as earbsaiche

Ma sguireas faidhlichean cùl-taic ùra gu h-obann a’ nochdadh, bidh rabhadh ann. Ma tha, mar eisimpleir, air aon de na frithealaichean a chiorramachadh, agus nach bu chòir barrachd cùl-taic a bhith ann, feumaidh tu an comharra a dhubhadh às (tron eadar-aghaidh lìn no bhon t-slige tron ​​​​API).

maxfilesz

A’ cumail sùil air meud nam faidhlichean as motha (mar as trice: /var/log/*). Leigidh seo leat duilgheadasan nach gabh a thuigsinn a ghlacadh, mar eisimpleir, faclan-faire feachd brùideil no a’ cur spama tron ​​​​fhrithealaiche.

runstatus/runline

Is iad seo dà mhodal progsaidh cudromach airson prògraman eile a ruith air an fhrithealaiche. Bidh Runstatus ag aithris còd fàgail a’ phrògraim chun chomharra. Mar eisimpleir, chan eil (feumaidh) okerr modal gus dèanamh cinnteach gu bheil seirbheisean systemd a’ ruith. Tha seo air a dhèanamh tro runstatus (faic gu h-ìosal). Runline - ag aithris don fhrithealaiche an loidhne a tha am prògram a 'dèanamh. Mar eisimpleir, temp_RUN="cat /sys/class/thermal/thermal_zone0/temp" anns an Runline config air an t-seirbheisiche againn a’ cruthachadh ainm frithealaiche comharra: temp le teòthachd a’ phròiseasar.

sql

A’ cur an gnìomh ceist àireamhach gu MySQL agus ag aithris an toraidh don chomharra. Ann an cùis shìmplidh, faodaidh tu a dhèanamh, mar eisimpleir, "SELECT 1" - nì seo cinnteach gu bheil an DBMS gu h-iomlan ag obair.

Ach tha iarrtas mòran nas inntinniche, mar eisimpleir, a 'cumail sùil air an àireamh de òrdughan ann an stòr air-loidhne. Ma tha fios agad gu bheil 100 òrdugh no barrachd agad san uair, faodaidh tu an ìre as ìsle a shuidheachadh gu 100 no 80. An uairsin ma thig na reic agad gu h-obann, gheibh thu rabhadh agus faodaidh tu obrachadh a-mach.

Thoir an aire nach eil e gu diofar dè an adhbhar neo-fhaicsinneach a thachair seo:

  • Tha am frithealaiche dìreach nach eil ri fhaighinn (dì-lùth no às aonais lìonra), agus thàinig an rabhadh bhon fhìrinn gu robh an comharra “grodadh”.
  • Tha cus stuth air an fhrithealaiche, bidh e ag obair gu slaodach no thèid pacaidean a chall, tha e mì-ghoireasach dha luchd-cleachdaidh agus bidh iad a’ falbh gun a bhith a’ ceannach
  • Tha am frithealaiche air a ghabhail a-steach anns na liostaichean spama agus cha ghabhar ri post bhuaithe, chan urrainn do luchd-cleachdaidh clàradh
  • Tha buidseat na h-iomairt sanasachd air ruith a-mach, chan eil na brataichean a’ snìomh.

Faodaidh grunn adhbharan a bhith ann, agus chan urrainnear a h-uile gin dhiubh fhaicinn ro-làimh, agus tha e duilich a lorg gu teicnigeach. Ach faodaidh tu gu goireasach sùil a chumail air a’ pharamadair mu dheireadh (òrdughan) agus dearbhadh bhuapa gu bheil an suidheachadh amharasach agus gu bheil e airidh air dèiligeadh ris.

Comharran loidsigeach

A’ ceadachadh abairtean Boolean (co-chòrdadh Python) a chleachdadh tro mhodal dearbhadh(artaigil air Habré). Tha dàta bhon phròiseact agus na comharran aige rim faighinn airson a chuir an cèill. Mar eisimpleir, anns a 'chaibideil mu sgrùdadh SQL gu h-àrd, is dòcha gu bheil thu air mothachadh a dhèanamh air puing lag - tron ​​​​latha faodaidh sinn reic 100 a bhith againn san uair, ach air an oidhche - 20, agus tha seo cumanta, chan e duilgheadas. Dè bu chòir dhomh a dhèanamh? Bidh an comharradh an-còmhnaidh a’ clisgeadh air an oidhche.

Faodaidh tu dà thaisbeanair a chruthachadh, latha is oidhche. Dèan an dà chuid “sàmhach” (cha chuir iad rabhaidhean). Agus cruthaich comharradh loidsigeach a dh 'fheumas gum bi an comharra latha ceart gu leòr ro 20:00, agus an dèidh 20:00 tha e gu leòr airson a' chomharra oidhche a bhith ceart gu leòr.

Is e eisimpleir eile de bhith a’ cleachdadh comharradh loidsigeach àrdachadh. Mar eisimpleir, bidh manaidsear pròiseict a’ dì-chlàradh bho rabhaidhean (chan fheum e seo a dhèanamh, bu chòir do rianairean freagairt a thoirt do dhuilgheadasan àbhaisteach), ach fo-sgrìobhadh do chomharradh loidsigeach a thionndaidheas dearg mura tèid comharra sam bith sa phròiseact a cheartachadh taobh a-staigh na h-ùine ainmichte.

Cuideachd, tha e comasach an ùine ceadaichte airson obair a shuidheachadh, mar eisimpleir, bho 3 gu 5 am. Chan eil dragh sam bith againn ma thuiteas frithealaichean is làraich san ùine seo. Ach aig 5:00 feumaidh iad a bhith ag obair. Mura h-eil iad ag obair aig àm sam bith eile - rabhadh. Tha an comharra loidsigeach cuideachd a 'toirt cothrom dhut aire a thoirt do dhìth luchd-frithealaidh. Ma tha 5 frithealaichean lìn agad, faodaidh luchd-rianachd 1-2 frithealaiche a chuir dheth aig àm sam bith. Ach ma tha nas lugha na 3 a-mach à 5 frithealaichean sa bhlàr, bidh rabhadh ann.

Chan e gnìomhan oker a th’ anns na h-eisimpleirean gu h-àrd, chan e cuid de fheartan a dh’ fheumar a chuir an gnìomh agus a rèiteachadh. Chan eil na gnìomhan sin uile aig Okerra, ach tha modal loidsigeach ann a leigeas leat an gnìomh seo a chuir an gnìomh (Mu thimcheall mar ann an cànan prògramadh - ma tha gnìomhaichean àireamhachd againn, chan fheum sinn gnìomh sònraichte airson 20% VAT a thomhas. bhon chànan, faodaidh tu an-còmhnaidh a dhèanamh thu fhèin ga dhèanamh a rèir do fheumalachdan).

Is dòcha gur e Comharra Logic aon den bheagan chuspairean a tha gu math toinnte ann an okerr, ach is e an deagh naidheachd nach fheum thu a mhaighstir gus am feum thu. Ach aig an aon àm, tha iad gu mòr a 'leudachadh na comasan, agus a' cumail an t-siostam fhèin gu math sìmplidh.

A’ cur na seicichean agad fhèin ris

Bu mhath leam a bhith a 'toirt seachad a' bheachd nach e seata de mhìltean de sgrùdaidhean deiseil a th 'ann an okerr airson a h-uile turas, ach air an làimh eile - an toiseach - einnsean sìmplidh le comas sìmplidh na sgrùdaidhean agad fhèin a chruthachadh. Chan e obair a th’ ann a bhith a’ cruthachadh do sgrùdaidhean fhèin ann an okerr airson hackers, co-leasaichean siostaim, no co-dhiù luchd-cleachdaidh adhartach okerr, ach gnìomh so-dhèanta dha rianaire sam bith a chuir Linux a-steach airson a’ chiad uair o chionn mìos.

Bithear a’ cumail sùil air tuarastal as ìsle tron ​​mhodal inbhe ruith:

Tha an loidhne seo anns an config inbhe ruith bheir e fios dhut mura tòisich / bin/true gu h-obann no mura till e rudeigin a bharrachd air 0.

true_OK=/bin/true

Dìreach aon loidhne - agus seo sinn mar-thà beagan leudachadh okerr gnìomh.

Tha luach aig eadhon seic mar seo mu thràth: ma thuiteas an frithealaiche agad gu h-obann, cha tèid an comharra co-fhreagarrach air an fhrithealaiche okerr ùrachadh ann an deagh àm, agus às deidh don ùine a dhol seachad, nochdaidh rabhadh.

Cuiridh an t-seic seo fios gu bheil am frithealaiche apache2 air tuiteam (uill, chan eil fios agad a-riamh ...):

apache_OK="systemctl is-active --quiet apache2"

Mar sin, ma tha cànan prògramadh sam bith agad, agus co-dhiù is urrainn dhut sgriobtaichean slige a sgrìobhadh, faodaidh tu na sgrùdaidhean agad fhèin a chuir ris mu thràth.

Nas duilghe - faodaidh tu am modal agad fhèin a sgrìobhadh airson okerrmod (ann an cànan sam bith). Anns a 'chùis as sìmplidh tha e a' coimhead mar seo:

#!/usr/bin/python3

print("STATUS: OK")

Nach eil e uabhasach duilich? Feumaidh am modal an sgrùdadh fhèin a dhèanamh agus na toraidhean a chuir a-mach gu STDOUT. Bheir modal nas iom-fhillte, mar eisimpleir, seo:

$ okerrmod --dump df
NAME: pi:df-/
TAGS: df
METHOD: numerical|maxlim=90
DETAILS: 49.52%, 13.9G/28.2G used, 13.0G free
STATUS: 49.52

NAME: pi:df-/boot
TAGS: df
METHOD: numerical|maxlim=90
DETAILS: 84.32%, 53.1M/62.9M used, 9.9M free
STATUS: 84.32

Bidh e ag ùrachadh grunn chomharran aig an aon àm (air an sgaradh le loidhne falamh), gan cruthachadh ma tha sin riatanach, a ’nochdadh mion-fhiosrachadh dearbhaidh agus tag leis a bheil e furasta na comharran riatanach a lorg anns an deas-bhòrd.

teileagram

Tha bot Telegram ann @OkerrBot. Cha leig thu leas am fòn agad a bearradh le tagraidhean air leth (cha toil leam sin airson Pyaterochka feumaidh tu aon iarrtas le mapa, airson Lenta eile, airson MTS an treas cuid, agus mar sin air adhart airson a h-uile duine, uile, uile). Tha aon teileagram gu leòr. Tro thelegram gheibh thu rabhaidhean sa bhad, thoir sùil air inbhe a’ phròiseict agus thoir òrdugh dhut ath-sgrùdadh a dhèanamh air a h-uile comharra trioblaideach. Dh ’fhàg sinn an taigh-cluiche / plèana, cha do chùm sinn ar meur air a’ chuisle airson dà uair a thìde, thionndaidh sinn air a ’fòn, bhrùth sinn aon phutan anns a’ chatbot, agus rinn sinn cinnteach gu robh a h-uile dad gu math.

Duilleagan Inbhe

An-diugh, tha duilleagan inbhe cha mhòr riatanach airson gnìomhachas sam bith aig a bheil IT, sealladh cunntachail a thaobh earbsachd agus a tha a’ toirt spèis don luchd-dèiligidh / luchd-cleachdaidh aca.

Smaoinich air suidheachadh - tha neach-cleachdaidh ag iarraidh rudeigin a dhèanamh, fiosrachadh fhaicinn no òrdugh a chuir, agus chan eil rudeigin ag obair. Chan eil fios aige dè a tha a’ dol, cò leis a tha an duilgheadas agus cuin a thèid a rèiteach. Is dòcha gu bheil dìreach làrach-lìn neo-ghnìomhach aig a’ chompanaidh agad? No an do bhris e sia mìosan air ais agus bidh e stèidhichte ann an dà bhliadhna? Ach feumaidh tu inneal-fuarachaidh a cheannach a-nis, tha e sa chairt mu thràth ... Agus tha e na chùis gu tur eadar-dhealaichte nuair a chì duine gu bheil rudeigin ceàrr ort (co-dhiù tha e soilleir nach eil an duilgheadas air a thaobh), gu bheil an chaidh duilgheadas a lorg, gu bheil thu mu thràth ag obair air, agus is dòcha eadhon sgrìobh sìos an ùine tuairmseach airson ceartachadh. Faodaidh an neach-cleachdaidh fo-sgrìobhadh agus fios post-d fhaighinn nuair a bhios an duilgheadas air a rèiteachadh agus faodaidh e na bha e ag iarraidh a dhèanamh (ceannaich fuaradair).

Sealladh farsaing air siostam sgrùdaidh hybrid Okerr

Bidh duilgheadasan agus ùine downt a’ tachairt don h-uile duine. Ach tha barrachd earbsa aig luchd-cleachdaidh agus com-pàirtichean anns an fheadhainn a tha nas soilleire agus nas cunntachaile nan dòigh-obrach a thaobh seo.

an seo lèirmheas air 10 pròiseactan eile a leigeas leat duilleagan inbhe a chruthachadh. Seo eisimpleirean de choltas nan duilleagan pròiseict seo Python и Dropbox. duilleag inbhe okerr.

Failover

Gus nach dèan mi an artaigil seo eadhon nas fhaide, bheir mi iomradh a-rithist air an artaigil a bh ’agam roimhe - Fàilligeadh sìmplidh airson làrach-lìn . Mas urrainn dhut frithealaiche dùblaichte a dhèanamh, an uairsin a’ cleachdadh failover, gu bunaiteach cha bhith ùine downt fada agad - cho luath ‘s a lorgar duilgheadas, thèid luchd-cleachdaidh ath-stiùireadh gu fèin-ghluasadach gu frithealaiche cùl-taic obrach. Agus tha e coltach riumsa gur e feart fìor inntinneach, soilleir a tha seo nach fhaighear ach ainneamh an àite sam bith.

Riatanasan siostam ìosal

Airson frithealaichean okerr, bidh sinn a’ cleachdadh innealan le RAM bho 2Gb. Airson mothachairean lìonra, tha eadhon 512Mb gu leòr. Tha am pàirt teachdaiche cha mhòr neoni. (Baga plastaig ùrachadh cuideam 26 Kb, ach tha feum air Python3 agus leabharlannan àbhaisteach). Bidh an neach-dèiligidh a’ ruith bho sgriobt cron, agus mar sin chan eil caitheamh cuimhne leantainneach aige. Am measg nan innealan air an do rinn sinn sgrùdadh, tha mothachairean againn (VPS fìor-saor le 512Mb RAM) agus Raspberry Pi. Tha e comasach eadhon às aonais pàirt an neach-dèiligidh cuir ùrachaidhean tro curl! (faic gu h-ìosal)

A’ toirt aire do seo - okerr, is dòcha as motha an-asgaidh siostam sgrùdaidh bhon fheadhainn a tha rim faighinn, oir eadhon gus siostam stòr fosgailte an-asgaidh eile a chleachdadh mar Zabbix no Nagios, feumaidh tu goireasan (frithealaiche) a riarachadh dha, agus is e airgead a tha seo mu thràth. A bharrachd air an sin, tha feum air beagan cumail suas frithealaiche fhathast. Le okerr, faodar am pàirt seo a thoirt air falbh. No cha leig thu leas a thoirt air falbh agus an t-seirbheisiche agad fhèin a chleachdadh, a rèir dè as fheàrr leat.

API agus amalachadh a-steach do bhathar-bog seilbh

Ailtireachd sìmplidh agus fosgailte. tha fear gu math sìmplidh aig okerr API, a tha furasta obrachadh leis. Feum air 1000 comharran a chruthachadh? Nì aon sgriobt shligean de loidhnichean 3-4 seo. A bheil feum agad air 1000 comharran ath-dhealbhadh? Tha e gu math furasta cuideachd. Mar eisimpleir, tha sinn airson sùil dhùbailte a thoirt air na teisteanasan HTTPS againn uile bho sensor Ruiseanach:

#!/bin/sh

for indicator in `okerrclient --api-filter sslcert`
do
    echo set location for $indicator
    okerrclient --api-set location=ru retest=1 --name $indicator
done

Faodaidh tu an comharra ùrachadh le bhith a’ cleachdadh ar modal teachdaiche, eadhon às aonais, dìreach tro curl.

# short and nice (using okerrupdate and config file)
$ okerrupdate MyIndicator OK

# only curl is enough!
$ curl -d 'textid=MyProject&name=MyIndicator&secret=MySecret&status=OK' https://bravo.okerr.com/

Faodaidh tu comharran ùrachadh gu dìreach bhon phrògram agad. Mar eisimpleir, a’ cur comharran buille-cridhe gus am bi fios aig okerr gu bheil e a’ ruith agus a’ togail inneal-rabhaidh ma thuiteas e no ma reothaicheas e. Air an t-slighe, bidh co-phàirtean okerr a 'dèanamh dìreach sin - bidh okerr a' cumail sùil air fhèin, agus lorgar duilgheadasan ann an cha mhòr modal sam bith agus cruthaichidh iad rabhadh mun duilgheadas. (Agus air eagal ‘s gum bi seo“ cha mhòr ”- tha iad air an tar-sgrùdadh bho fhrithealaiche eile)

Seo an còd (sìmplidh) anns a’ bot teileagram againn:

from okerrupdate import OkerrProject, OkerrExc

op = OkerrProject()
uptimei = op.indicator("{}:telebot_uptime".format(hostname))
...
uptimei.update('OK', 'pid: {} Uptime: {} cmds: {}'.format(
        os.getpid(), dhms(uptime), commands_cnt))

Tha leabharlann ann airson comharran bho phrògraman Python ùrachadh ùrachadh, airson cànanan sam bith eile chan eil leabharlannan ann, ach faodaidh tu an dàrna cuid fios a chuir gu sgriobt okerrupdate no iarrtas HTTP a dhèanamh chun an fhrithealaiche okerr.

Mar a bhios okerr gar cuideachadh

Dh’ atharraich Okerr ar beatha. Gu dearbh. Is dòcha gum faodadh siostam sgrùdaidh eile an aon rud a dhèanamh, ach tha e furasta agus sìmplidh a bhith ag obair le okerr dhuinn agus tha a h-uile gnìomh a bha a dhìth oirnn (chuir sinn ris na rudan nach robh aige). Air an t-slighe, ma tha cuid de fheartan a dhìth, faighnich agus cuiridh mi iad (chan eil mi a 'gealltainn, ach tha mi airson gum bi okerr mar an siostam sgrùdaidh as fheàrr airson pròiseactan beaga-mheadhanach). No nas fheàrr fhathast, cuir thu fhèin e - tha e furasta.

Chaidh againn air a bhith beò leis a’ phrionnsapal “ionnsaich mu na duilgheadasan uile bhon kerra.” Ma thig duilgheadas gu h-obann nach do dh'ionnsaich sinn mu dheidhinn bho okerr, cuiridh sinn seic ri okerr. (anns a’ chùis seo, le “sinn” tha mi a’ ciallachadh sinne mar luchd-cleachdaidh an t-siostaim, chan e co-leasaichean). An toiseach bha seo cumanta, ach a-nis tha e air fàs gu math tearc.

Sgrùdadh

Tro okerr bidh sinn a’ cumail sùil air meudan nan logaichean air gach frithealaiche. Tha e do-dhèanta, gu dearbh, a h-uile loidhne den log a leughadh le do shùilean, ach tha dìreach sùil a chumail air an ìre fàis mar-thà a 'toirt mòran. Tro seo, lorg sinn post-d spama agus rannsachaidhean facal-faire brùideil, agus nuair a bhios cuid de na h-aplacaidean “a’ dol craicte, ”chan eil rudeigin ag obair a-mach dhaibh agus bidh iad ag ath-aithris a-rithist is a-rithist (gach uair a’ cur loidhne no dhà ris a’ log ).

Teisteanasan SSL. Cha mhòr sa bhad às deidh a chuir air bhog LetsEncrypt thòisich an neach-ceannach againn a’ toirt seachad teisteanasan SSL an-asgaidh don luchd-dèiligidh aca (timcheall air mìle dhiubh). Agus thionndaidh e a-mach gur e dìreach ifrinn a bh’ ann airson rianachd! Is e an fhìrinn gu bheil làraich “beò”, bidh teachdaichean bho àm gu àm ag iarraidh orra rudeigin a dhèanamh, bidh prògramadairean ga dhèanamh. Faodaidh iad an làrach a ghluasad gu tur gu DocumentRoot eile, mar eisimpleir. No cuir ath-sgrìobhadh gun chumhachan ris an rèiteachadh virtualhost. Gu nàdarra, às deidh seo, bidh ùrachadh teisteanasan fèin-ghluasadach a ’briseadh sìos. A-nis tha a h-uile neach-aoigheachd SSL againn air a chuir ri okerr gu fèin-ghluasadach tro fhear eile de na goireasan feumail againn bhon phacaid a2 conf. Leig leinn dìreach a chuir air bhog a2okerr.py - agus ma nochdas grunn làraich ùra air an fhrithealaiche, nochdaidh iad gu fèin-ghluasadach ann an okerr. Mura tèid an teisteanas ùrachadh gu h-obann airson adhbhar air choireigin, trì seachdainean mus tig an teisteanas gu crìch, tha fios againn, agus obraichidh sinn a-mach carson nach eil e air ùrachadh, leithid cù. a2certbot.py bhon aon phacaid - bidh e a 'cuideachadh mòran le seo (bidh e a' sgrùdadh nan duilgheadasan as coltaiche - agus a 'sgrìobhadh na chaidh a sgrùdadh gu math, agus far a bheil duilgheadas nas coltaiche).

Bidh sinn a’ cumail sùil air ceann-latha crìochnachaidh ar raointean uile. Agus tha na frithealaichean puist againn uile a chuireas post cuideachd air an sgrùdadh mu choinneamh 50+ liostaichean dubha eadar-dhealaichte. (Agus uaireannan bidh iad a 'tuiteam a-steach annta). Co-dhiù, an robh fios agad gu bheil frithealaichean puist Google cuideachd air an liosta dhubh? Dìreach airson fèin-dheuchainn, chuir sinn mail-wr1-f54.google.com ris na frithealaichean sgrùdaichte, agus tha e fhathast air liosta dhubh SORBS! (Tha seo mu dheidhinn luach “anti-spammers”)

Cùl-taic - sgrìobh mi gu h-àrd mu thràth cho furasta ‘s a tha e sùil a chumail orra le okerr. Ach bidh sinn a’ cumail sùil air gach cuid na cùl-taic as ùire air an t-seirbheisiche againn agus (a’ cleachdadh goireas air leth a chleachdas okerr) na cùl-taic a bhios sinn a’ luchdachadh suas gu Eigh-shruth Amazon. Agus, tha, bidh duilgheadasan a’ tachairt bho àm gu àm. Chan iongnadh gu robh iad a 'coimhead.

Bidh sinn a’ cleachdadh an comharra àrdachaidh. Tha e a’ sealltainn mura deach duilgheadas air choreigin a rèiteach airson ùine mhòr. Agus mi fhìn, nuair a bhios mi a 'fuasgladh cuid de dhuilgheadasan, uaireannan is urrainn dhomh dìochuimhneachadh mun deidhinn. Tha àrdachadh na chuimhneachan math, eadhon ged a tha thu a’ cumail sùil ort fhèin.

Uile gu lèir, tha mi a’ creidsinn gu bheil càileachd ar n-obair air a dhol suas le òrdugh meudachd. Cha mhòr nach eil ùine downt ann (no chan eil ùine aig an neach-dèiligidh mothachadh a thoirt air. Dìreach shh!), fhad ‘s a tha an obair air fàs nas lugha agus na suidheachaidhean obrach air fàs nas socraiche. Tha sinn air gluasad bho obair èiginneach le bhith a’ gleusadh tuill le teip gu obair ciùin is tomhaiste, nuair a thathar a’ ro-innse mòran dhuilgheadasan ro-làimh agus tha ùine ann airson casg a chuir orra. Tha eadhon duilgheadasan a thachair cuideachd air fàs nas fhasa a cheartachadh: an toiseach, bidh sinn a’ faighinn a-mach mun deidhinn mus bi luchd-ceannach a ’clisgeadh, agus san dàrna àite, bidh e tric a’ tachairt gu bheil an duilgheadas co-cheangailte ri obair o chionn ghoirid (fhad ‘s a bha mi a’ dèanamh aon rud, bhris mi fear eile) - mar sin tha e teth Tha e nas fhasa lorgan dèiligeadh ris.

Ach bha cùis eile ann...

An robh fios agad gu bheil pasgan cho mòr-chòrdte ri phpmyadmin anns an Debian 9 (Stretch) mòr-chòrdte fhathast (airson grunn mhìosan!) (CVE-2019-6798). Nuair a nochd an so-leòntachd, chòmhdaich sinn gu sgiobalta e ann an diofar dhòighean. Ach stèidhich mi sgrùdadh air an duilleag rianadair tèarainteachd ann an okerr gus faighinn a-mach cuin a thig fuasgladh “bòidheach” a-mach (tro shuim SHA1 den t-susbaint). Thionndaidh an comharra mi grunn thursan, dh’ atharraich an duilleag, ach mar a chì thu, chan eil e fhathast (bhon Fhaoilleach 2019!) A’ nochdadh gun deach an duilgheadas fhuasgladh. Is dòcha, leis an t-slighe, gu bheil fios aig cuideigin dè an duilgheadas a th’ ann gu bheil pasgan cho cudromach fhathast so-leònte airson còrr air bliadhna?

Uair eile ann an suidheachadh coltach ris: às deidh so-leòntachd ann an SSH, bha e riatanach na frithealaichean uile ùrachadh. Agus nuair a shuidhicheas tu gnìomh, feumaidh tu smachd a chumail air coileanadh. (Tha fo-roinnean buailteach a bhith mì-thuigsinn, a’ dìochuimhneachadh, a’ faighinn troimhe-chèile, agus a’ dèanamh mhearachdan). Mar sin, an toiseach chuir sinn seic dreach SSH ri okerr air a h-uile frithealaiche, agus tro okerr rinn sinn cinnteach gun deach ùrachaidhean a sgaoileadh a-mach air a h-uile frithealaiche. (Goireasach! Thagh mi an seòrsa comharra seo, agus chì thu sa bhad dè am frithealaiche aig a bheil an dreach). Nuair a bha sinn cinnteach gun deach an obair a chrìochnachadh air a h-uile seirbheisiche, thug sinn air falbh na comharran.

Uair no dhà bha suidheachadh ann far am biodh duilgheadas sònraichte ag èirigh, agus an uairsin a ’falbh leis fhèin. (is dòcha eòlach air a h-uile duine?). Mun àm a mhothaicheas tu, ron àm a nì thu sgrùdadh - agus chan eil dad ri sgrùdadh - tha a h-uile dad ag obair gu math mu thràth. Ach an uairsin bidh e a 'briseadh a-rithist. Bha seo air tachairt, mar eisimpleir, le toraidhean a chuir sinn suas gu Amazon Marketplace (MWS). Aig àm air choreigin, bha an clàr luchdaichte ceàrr (meudan bathair ceàrr agus prìsean ceàrr). Fhuair sinn a-mach e. Ach gus faighinn a-mach e, bha e cudromach faighinn a-mach mun duilgheadas sa bhad. Gu mì-fhortanach, tha MWS, mar a h-uile seirbheis Amazon, beagan slaodach, agus mar sin bha dàil ann an-còmhnaidh, ach fhathast, bha e comasach dhuinn co-dhiù tuigse fhaighinn air a’ cheangal eadar an duilgheadas agus na sgriobtaichean a tha ga adhbharachadh (rinn sinn seic, steigte. chun an okerr, agus thug e sùil air sa bhad a’ faighinn rabhadh).

Chaidh cùis inntinneach a chuir ris a ’chruinneachadh o chionn ghoirid le neach-aoigheachd mòr agus daor Eòrpach, a bhios ar teachdaiche a’ cleachdadh. Gu h-obann, chaidh A H-UILE de na frithealaichean againn à sealladh bhon radar! An toiseach, mhothaich an neach-ceannach fhèin (nas luaithe na okerra!) Nach robh an làrach leis an robh e ag obair a’ fosgladh agus rinn e tiogaid mu dheidhinn. Ach chan e dìreach aon làrach a chaidh sìos, ach iad uile! (Natasha, leig sinn sìos a h-uile càil!). An seo thòisich Okerr a ’cur pasgain coise fada leis na comharran gu lèir a bha a’ lasadh air a shon. Panic, clisgeadh, bidh sinn a’ ruith ann an cearcallan (dè eile as urrainn dhuinn a dhèanamh?). An uairsin dh'èirich a h-uile càil. Tha e a ’tionndadh a-mach gun robh cumail suas àbhaisteach anns an ionad dàta (aon uair gach iomadh bliadhna) agus, gu dearbh, bu chòir dhuinn a bhith air rabhadh a thoirt. Ach thachair trioblaid air choireigin dhaibh agus cha tug iad rabhadh dhuinn. Uill, barrachd ionnsaighean cridhe, nas lugha de ionnsaighean cridhe. Ach às deidh a h-uile càil ath-nuadhachadh, feumaidh tu sgrùdadh dùbailte a dhèanamh air a h-uile dad! Chan urrainn dhomh smaoineachadh ciamar a dhèanadh mi e le mo làmhan. Rinn Okerr deuchainn air a h-uile càil ann am beagan mhionaidean. Thionndaidh e a-mach nach robh a ’mhòr-chuid de na frithealaichean rim faighinn airson ùine, ach dh’ obraich iad. Bha cuid air an luchdachadh cus, ach sheas iad cuideachd mar bu chòir. A-mach às a h-uile call, chaill sinn dà chùl-taic, a bu chòir a bhith air a chruthachadh agus air a luchdachadh fhad ‘s a bha am banana làn seo a’ dol air adhart. Cha do chuir mi eadhon dragh orm gan cruthachadh, dìreach latha às deidh sin thàinig rabhaidhean gu robh a h-uile dad ceart gu leòr, bha cùl-taic air nochdadh. Is toil leam an eisimpleir seo gu mòr oir bha okerr gu math feumail ann an suidheachadh nach robh sinn eadhon air smaoineachadh ro-làimh, ach is e sin adhbhar sgrùdaidh - gus seasamh an aghaidh an rud nach gabh a thuigsinn.

Airson luchd-mothachaidh Okerr, bidh sinn a 'cleachdadh an aoigheachd as saoire (far nach eil càileachd agus earbsachd cudromach, bidh iad a' toirt àrachas dha chèile). Mar sin, o chionn ghoirid lorg sinn aoigheachd fìor mhath agus super saor, tha na slatan-tomhais uamhasach. Ach ... uaireannan bidh e a’ tionndadh a-mach gu bheil ceanglaichean a-mach bhon inneal brìgheil air an dèanamh bho IP eile (ri thaobh). Miorbhuilean. Modal client_ip le https://diagnostic.opendns.com/myip a’ faighinn an IP ceàrr. Agus bho logaichean frithealaiche a’ chomharra tha e soilleir gun tàinig an t-ùrachadh bhon IP nàbaidh seo cuideachd. Leig leinn dèiligeadh ris an taic a-nis. Tha e math gun do mhothaich sinn seo aig àm sìthe. Ach, mar eisimpleir, bidh e tric a 'tachairt gu bheil ruigsinneachd air a chlàradh a rèir liosta geal IP - agus ma bhios am frithealaiche uaireannan a' frasadh mar seo airson ùine ghoirid - faodaidh tu feuchainn ris an duilgheadas seo a ghlacadh airson ùine mhòr.

Uill, aon rud eile - leis gu bheil sinn a ’bruidhinn mu dheidhinn aoigheachd VPS - bidh sinn an-còmhnaidh a’ cleachdadh feadhainn saor (hetzner, ovh, scaleway). Is fìor thoil leam e an dà chuid a thaobh slatan-tomhais agus seasmhachd. Bidh sinn cuideachd a’ cleachdadh an Amazon EC2 tòrr nas daoire airson pròiseactan eile. Mar sin, taing dha okerr, tha ar beachd fiosraichte fhèin againn. Bidh iad le chèile a 'tuiteam. Agus cha bhithinn ag ràdh, thar ùine fhada ar beachdan, gun robh aoigheachd saor mar hetzner gu math nas seasmhaiche na EC2. Mar sin, mura h-eil thu ceangailte ri feartan Amazon eile, carson a phàigheas tu barrachd? 🙂

Dè a-nis?

Mura h-eil mi aig an ìre seo air eagal a chuir ort bho Okerr fhathast, feuch e! Faodaidh tu a dhol dìreach chun cheangal seo cunntas demo okerr (Cliog a-nis!) Ach cumaibh cuimhne nach eil ann ach aon chunntas demo airson a h-uile duine, mar sin ma nì thu rudeigin, faodaidh cuideigin eile san aon chunntas bacadh a chuir ort aig an aon àm. No (nas fheàrr) clàraich tron ​​​​cheangal gu okerr far-làraich - tha a h-uile dad sìmplidh, às aonais SMS. Mura h-eil thu airson am fìor phost-d agad a chleachdadh, faodaidh tu fear cuidhteasach a chleachdadh, leithid mailinator (tha mi a’ moladh faighnada.com). Faodar na cunntasan sin a dhubhadh às thar ùine, ach bidh iad ceart gu leòr airson deuchainn.

Às deidh clàradh, thèid iarraidh ort a dhol tro thrèanadh (grunn ghnìomhan trèanaidh nach eil gu math duilich a dhèanamh). Tha na crìochan tùsail glè bheag, ach airson trèanadh no aon fhrithealaiche tha iad gu leòr. Às deidh an trèanadh a chrìochnachadh, thèid na crìochan (mar eisimpleir, an àireamh as motha de chomharran) àrdachadh.

Bho na sgrìobhainnean - an toiseach WIKI air taobh an fhrithealaiche agus air an neach-dèiligidh (cuir fios gu wiki). Ach ma tha rudeigin neo-shoilleir, sgrìobh gu taic (aig) okerr.com no fàg tiogaid - feuchaidh sinn ri fuasgladh fhaighinn air a h-uile dad gu sgiobalta.

Ma chleachdas tu e gu dona agus nach eil na crìochan àrdaichte sin gu leòr, sgrìobh gu taic agus àrdaichidh sinn e (an-asgaidh).

Am bu toil leat am frithealaiche okerr a stàladh air an fhrithealaiche agad? Seo ionad-tasgaidh okerr-dev. Tha sinn a’ moladh gun cuir thu a-steach air inneal brìgheil glan, an uairsin faodaidh tu dìreach a dhèanamh le sgriobt stàlaidh. Air an inneal brìgheil agad - gun chuingealachaidhean :-). Uill, a-rithist, ma thachras dad, feuchaidh sinn an-còmhnaidh ri cuideachadh.

Tha sinn airson gun toir am pròiseact seo dheth, gus am fàs an saoghal nas earbsaiche le taing dhuinn. Taing do bhathar-bog is seirbheisean an-asgaidh, tha an saoghal air fàs nas càirdeile agus a’ fàs nas fiùghantach. Faodar na stòran a stòradh anns an github an-asgaidh, agus airson post faodaidh tu an gmail an-asgaidh a chleachdadh. Bidh sinn a 'cleachdadh an-asgaidh fìor-uisge airson taic. Airson gin de seo, cha leig thu leas pàigheadh ​​​​airson frithealaichean, chan fheum thu luchdachadh sìos agus rèiteachadh, agus chan fheum thu diofar dhuilgheadasan obrachaidh fhuasgladh. Bidh post, stòran agus CRM aig a h-uile pròiseact ùr, sa bhad. Agus tha seo uile de chàileachd àrd agus an-asgaidh agus sa bhad. Tha sinn airson gum bi e mar an ceudna airson sgrùdadh - dh’ fhaodadh companaidhean beaga agus pròiseactan okerr a chleachdadh an-asgaidh agus eadhon aig ìre breith is fàis a bhith earbsach ann am fìor phròiseactan inbheach.

Source: www.habr.com