Tha uallach air an ionad dìon saidhbear againn airson tèarainteachd bun-structair lìn an neach-dèiligidh agus bidh e a’ cuir air ais ionnsaighean air làraich teachdaichean. Gus dìon an aghaidh ionnsaighean, bidh sinn a’ cleachdadh FortiWeb Web Applicationwalls Firewalls (WAFs). Ach chan eil eadhon an WAF as fhuaire na panacea agus chan eil e a’ dìon “a-mach às a’ bhogsa ”bho ionnsaighean cuimsichte.
Mar sin, a bharrachd air WAF, bidh sinn a 'cleachdadh . Bidh e a 'cuideachadh le bhith a' cruinneachadh a h-uile tachartas ann an aon àite, a 'cruinneachadh staitistig, ga fhaicinn agus a' leigeil leinn ionnsaigh cuimsichte fhaicinn ann an ùine.
An-diugh innsidh mi dhut ann am barrachd mionaideachd mar a chaidh sinn thairis air craobh na Nollaige le WAF agus dè a thàinig às.
Sgeulachd aon ionnsaigh: mar a dh'obraich a h-uile càil mus do thionndaidh e gu ELK
Anns an sgòth againn, tha an neach-ceannach air an tagradh a chuir air cùl ar WAF. Bho 10 gu 000 neach-cleachdaidh ceangailte ris an làrach gach latha, ràinig an àireamh de cheanglaichean 100 millean gach latha. Dhiubh sin, bha luchd-cleachdaidh 000-20 nan luchd-ionnsaigh agus dh’ fheuch iad ris an làrach a sheacadh.
Chaidh am feachd brùideil àbhaisteach bho aon sheòladh IP a bhacadh le FortiWeb gu math furasta. Bha an àireamh de bhuillean chun làraich gach mionaid nas àirde na an àireamh de luchd-cleachdaidh dligheach. Tha sinn dìreach air stairsnich gnìomhachd a stèidheachadh bho aon sheòladh agus chuir sinn às don ionnsaigh.
Tha e tòrr nas duilghe dèiligeadh ri “ionnsaighean slaodach”, nuair a bhios luchd-ionnsaigh ag obair gu slaodach agus gan falach mar luchd-dèiligidh àbhaisteach. Bidh iad a’ cleachdadh mòran sheòlaidhean IP sònraichte. Cha robh an leithid de ghnìomhachd coltach ri feachd brùideil mòr do WAF, bha e na bu duilghe a lorg gu fèin-ghluasadach. Agus bha cunnart ann cuideachd casg a chuir air luchd-cleachdaidh àbhaisteach. Choimhead sinn airson comharran ionnsaigh eile agus stèidhich sinn poileasaidh airson casg a chuir air seòlaidhean IP gu fèin-ghluasadach stèidhichte air an t-soidhne seo. Mar eisimpleir, bha raointean cumanta aig mòran sheiseanan dìolain anns na cinn iarrtas http. Gu tric bha agad ri raointean mar sin a choimhead le làimh ann an logaichean tachartais FortiWeb.
Dh'fhàs e fada agus mì-chofhurtail. Ann an gnìomhachd àbhaisteach FortiWeb, tha tachartasan air an clàradh ann an teacsa ann an 3 logaichean eadar-dhealaichte: ionnsaighean a lorgar, fiosrachadh mu iarrtasan, agus teachdaireachdan siostam mu obrachadh WAF. Faodaidh dusanan no eadhon ceudan de thachartasan ionnsaigh tighinn ann am mionaid.
Chan eil uimhir, ach feumaidh tu streap le làimh tro ghrunn logaichean agus ath-aithris thairis air iomadh loidhne:
Anns an log ionnsaigh, chì sinn seòlaidhean luchd-cleachdaidh agus nàdar na gnìomhachd.
Chan eil e gu leòr dìreach an clàr log a sganadh. Gus an fheadhainn as inntinniche agus as fheumaile a lorg mu nàdar an ionnsaigh, feumaidh tu coimhead taobh a-staigh tachartas sònraichte:
Bidh raointean comharraichte a’ cuideachadh le bhith a’ lorg “ionnsaigh slaodach”. Stòr: glacadh-sgrìn bho .
Uill, is e am prìomh dhuilgheadas nach urrainn ach eòlaiche FortiWeb obrachadh a-mach. Nam b’ urrainn dhuinn fhathast tro uairean gnìomhachais sùil a chumail air gnìomhachd amharasach ann an àm fìor, dh ’fhaodadh dàil a chuir air sgrùdadh tachartasan oidhche. Nuair nach do dh’ obraich poileasaidhean FortiWeb airson adhbhar air choireigin, cha b’ urrainn dha na h-innleadairean shift oidhche a bha air dleasdanas measadh a dhèanamh air an t-suidheachadh gun cothrom air an WAF agus dhùisg iad an eòlaiche FortiWeb. Choimhead sinn tro na logaichean airson grunn uairean a thìde agus lorg sinn àm an ionnsaigh.
Le leithid de dh'fhiosrachadh, tha e doirbh sùil gheur a thoirt air an dealbh mhòr agus a bhith for-ghnìomhach. An uairsin chuir sinn romhainn dàta a chruinneachadh ann an aon àite gus a h-uile dad a sgrùdadh ann an cruth lèirsinneach, lorg toiseach an ionnsaigh, comharrachadh a stiùir agus an dòigh air casg.
Dè a chaidh a thaghadh
An toiseach, thug sinn sùil air fuasglaidhean a tha air an cleachdadh mar-thà, gus nach bi sinn ag iomadachadh aonadan gun fheum.
B 'e aon de na ciad roghainnean Nagiosa bhios sinn a’ cleachdadh airson sùil a chumail , , rabhaidhean èiginneach. Bidh na geàrdan tèarainteachd cuideachd ga chleachdadh gus fios a chuir chun luchd-frithealaidh ma tha trafaic amharasach ann, ach chan eil fios aca ciamar a chruinnicheas iad logaichean sgapte agus mar sin falbhaidh iad.
Bha roghainn ann a h-uile càil a chruinneachadh MySQL agus PostgreSQL no stòr-dàta dàimh eile. Ach gus an dàta a tharraing a-mach, bha e riatanach an tagradh agad a shnaigheadh.
Mar neach-cruinneachaidh logaichean sa chompanaidh againn bidh iad cuideachd a’ cleachdadh Daingnichear bho Fortinet. Ach anns a 'chùis seo, cha robh e cuideachd a' freagairt. An toiseach, tha e nas gèire a bhith ag obair le balla-teine Daingnich. San dàrna h-àite, bha mòran shuidheachaidhean a dhìth, agus dh'fheumadh eadar-obrachadh leis eòlas fìor mhath air ceistean SQL. Agus san treas àite, bhiodh a chleachdadh ag àrdachadh cosgais na seirbheis don neach-ceannach.
Seo mar a thàinig sinn gu stòr fosgailte san aghaidh ELK:.
Carson a thaghas tu ELK
Tha ELK na sheata de phrògraman stòr fosgailte:
- Elasticsearch - stòr-dàta de shreath ùine, a chaidh a chruthachadh dìreach gus obrachadh le meudan mòra de theacsa;
- Logstash - inneal cruinneachadh dàta as urrainn logaichean a thionndadh chun chruth a tha thu ag iarraidh;
- Kibana - deagh fhradharc, a bharrachd air eadar-aghaidh gu math càirdeil airson Elasticsearch a riaghladh. Faodaidh tu a chleachdadh gus clàran-ama a thogail a dh'fhaodas innleadairean dleastanais sùil a chumail air an oidhche.
Tha an ìre inntrigidh airson ELK ìosal. Tha na feartan bunaiteach uile an-asgaidh. Dè eile a tha a dhìth airson toileachas.
Ciamar a chuir thu a h-uile càil ri chèile ann an aon shiostam?
Cruthaich clàran-amais agus cha do dh’ fhàg ach am fiosrachadh riatanach. Luchdaich sinn na trì logaichean FortiWEB a-steach do ELK - b ’e clàran-amais an toradh. Is iad sin faidhlichean leis a h-uile log cruinnichte airson ùine, mar eisimpleir, latha. Nam faiceadh sinn iad anns a’ bhad, chan fhaiceadh sinn ach daineamaigs nan ionnsaighean. Airson mion-fhiosrachadh, feumaidh tu “tuiteam troimhe” a-steach do gach ionnsaigh agus coimhead air raointean sònraichte.
Thuig sinn gum feum sinn an toiseach parsadh fiosrachaidh neo-structaraichte a stèidheachadh. Ghabh sinn raointean fada mar shreathan, leithid “Teachdaireachd” agus “URL”, agus rinn sinn parsadh orra gus barrachd fiosrachaidh fhaighinn airson co-dhùnaidhean.
Mar eisimpleir, a 'cleachdadh parsadh, thug sinn a-mach àite an neach-cleachdaidh air leth. Chuidich seo sa bhad le bhith a’ soilleireachadh ionnsaighean bho thall thairis air làraich airson luchd-cleachdaidh Ruiseanach. Le bhith a’ bacadh a h-uile ceangal bho dhùthchannan eile, lughdaich sinn an àireamh de dh’ionnsaighean 2 uair agus b’ urrainn dhuinn dèiligeadh gu furasta ri ionnsaighean taobh a-staigh na Ruis.
An dèidh parsadh, thòisich iad a 'coimhead airson dè am fiosrachadh a stòradh agus fhaicinn. Cha robh e iomchaidh a bhith a 'fàgail a h-uile càil sa log: bha meud aon chlàr-amais mòr - 7 GB. Thug ELK ùine mhòr airson am faidhle a phròiseasadh. Ach, cha robh a h-uile fiosrachadh feumail. Chaidh rudeigin a dhùblachadh agus ghabh e àite a bharrachd - bha e riatanach a mheudachadh.
An toiseach, choimhead sinn tron chlàr-amais agus thug sinn air falbh tachartasan neo-riatanach. Thionndaidh seo a-mach gu bhith eadhon nas mì-ghoireasach agus nas fhaide na bhith ag obair le logaichean air FortiWeb fhèin. Is e an aon bhuannachd bhon “chraobh Nollaige” aig an ìre seo gun robh e comasach dhuinn ùine mhòr fhaicinn air aon scrion.
Cha do rinn sinn eu-dòchas, chùm sinn oirnn ag ithe an cactus agus a’ sgrùdadh ELK agus bha sinn den bheachd gum biodh e comasach dhuinn am fiosrachadh riatanach a thoirt a-mach. Às deidh dhuinn na clàran-amais a ghlanadh, thòisich sinn a’ faicinn dè a th’ ann. Mar sin thàinig sinn gu clàran mòra. Phòg sinn widgets - gu fradharcach agus gu grinn, fìor ЁLKa!
Luchdaich a-nuas àm an ionnsaigh. A-nis bha e riatanach tuigsinn mar a tha toiseach an ionnsaigh a 'coimhead air a' chairt. Gus a lorg, thug sinn sùil air freagairtean an fhrithealaiche don neach-cleachdaidh (còdan tilleadh). Bha ùidh againn ann am freagairtean an fhrithealaiche le còdan mar seo (rc):
Còd (rc)
Tiotal
Tuairisgeul
0
DROPACH
Tha an t-iarrtas chun an fhrithealaiche air a bhacadh
200
Ok
Iarrtas air a phròiseasadh gu soirbheachail
400
Iarrtas dona
Droch iarrtas
403
Toirmisgte
Cead air a dhiùltadh
500
Mearachd an Fhrithealaiche a-staigh
Chan eil seirbheis ri fhaighinn
Ma thòisich cuideigin air ionnsaigh a thoirt air an làrach, dh'atharraich co-mheas nan còdan:
- Nam biodh barrachd iarrtasan mearachdach ann le còd 400, agus an aon àireamh de dh'iarrtasan àbhaisteach le còd 200, an uairsin bha cuideigin a 'feuchainn ris an làrach a leagadh.
- Ma dh’ fhàs, aig an aon àm, iarrtasan le còd 0, an uairsin bha luchd-poilitigs FortiWeb cuideachd “a’ faicinn ”an ionnsaigh agus a’ cur blocaichean ris.
- Ma chaidh an àireamh de theachdaireachdan le còd 500 àrdachadh, chan eil an làrach ri fhaighinn airson na seòlaidhean IP sin - cuideachd seòrsa de bhacadh.
Ron treas mìos, bha sinn air deas-bhòrd a stèidheachadh gus sùil a chumail air a’ ghnìomhachd seo.
Gus nach dèan sinn sùil air a h-uile càil le làimh, stèidhich sinn amalachadh le Nagios, a rinn sgrùdadh air ELK aig amannan sònraichte. Ma chlàraich e coileanadh luachan stairsnich le còdan, chuir e fios gu na h-oifigearan dleastanais mu ghnìomhachd amharasach.
Còmhlan 4 clàran san t-siostam sgrùdaidh. A-nis bha e cudromach faicinn air na grafaichean an t-àm nuair nach eil an ionnsaigh air a bhacadh agus gu bheil feum air eadar-theachd innleadair. Air 4 grafaichean eadar-dhealaichte, bha ar sùil doilleir. Mar sin, chuir sinn còmhla na clàran agus thòisich sinn a 'coimhead air a h-uile càil air aon sgrion.
A thaobh sgrùdadh, choimhead sinn mar a tha grafaichean de dhiofar dhathan ag atharrachadh. Chomharraich spreadhadh dearg gun robh an ionnsaigh air tòiseachadh, agus sheall na grafaichean orains is gorm freagairt FortiWeb:
Tha a h-uile dad gu math an seo: bha àrdachadh ann an gnìomhachd “dearg”, ach dhèilig FortiWeb agus thàinig clàr an ionnsaigh gu neoni.
Tharraing sinn cuideachd dhuinn fhìn eisimpleir de ghraf a dh’ fheumas eadar-theachd:
An seo chì sinn gu bheil FortiWeb air gnìomhachd àrdachadh, ach chan eil an graf ionnsaigh dearg air a dhol sìos. Feumaidh tu na roghainnean WAF atharrachadh.
Tha e nas fhasa cuideachd tachartasan oidhche a sgrùdadh. Tha an graf a’ sealltainn sa bhad an t-àm nuair a tha an t-àm ann tighinn gu dìon na làraich.
Sin a thachras uaireannan air an oidhche. Graf dearg - tha an ionnsaigh air tòiseachadh. Gorm - gnìomhachd FortiWeb. Cha deach an ionnsaigh a bhacadh gu tur, bha againn ri eadar-theachd a dhèanamh.
Càit a bheil sinn a' dol
A-nis tha sinn a’ trèanadh luchd-rianachd dleastanais gus obrachadh le ELK. Bidh an luchd-frithealaidh ag ionnsachadh measadh a dhèanamh air an t-suidheachadh air an deas-bhòrd agus co-dhùnadh a dhèanamh: tha an t-àm ann àrdachadh gu eòlaiche FortiWeb, no bidh na poileasaidhean air an WAF gu leòr gus an ionnsaigh a chuir air ais gu fèin-ghluasadach. Mar sin bidh sinn a’ lughdachadh an luchd air innleadairean tèarainteachd fiosrachaidh air an oidhche agus a’ roinn nan dreuchdan taic aig ìre an t-siostaim. Chan eil ruigsinneachd air FortiWeb a’ fuireach ach leis an ionad dìon saidhbear, agus is ann dìreach a nì iad atharrachaidhean air suidheachaidhean WAF nuair a tha feum èiginneach orra.
Tha sinn cuideachd ag obair air aithris airson luchd-ceannach. Tha sinn an dùil gum bi dàta air daineamaigs obair WAF ri fhaighinn ann an cunntas pearsanta an neach-dèiligidh. Nì ELK an suidheachadh nas soilleire gun fheum air iomradh a thoirt air an WAF fhèin.
Ma tha an neach-ceannach airson sùil a chumail air an dìon aca fhèin ann an àm fìor, bidh ELK cuideachd feumail. Chan urrainn dhuinn cothrom a thoirt seachad air WAF, oir dh’ fhaodadh buaidh a thoirt air a’ chòrr de eadar-theachd an neach-ceannach san obair. Ach faodaidh tu ELK air leth a thogail agus a thoirt dha “cluich mun cuairt”.
Is iad sin na suidheachaidhean airson a bhith a’ cleachdadh na craoibhe Nollaige a tha sinn air cruinneachadh o chionn ghoirid. Roinn do bheachdan air seo agus na dìochuimhnich gus aoidion stòr-dàta a sheachnadh.
Source: www.habr.com