Tha logaichean nam pàirt chudromach den t-siostam, a 'toirt cothrom dhut tuigsinn gu bheil e ag obair (no nach eil ag obair) mar a bhiodh dùil. Fo chumhachan ailtireachd microservice, bidh obrachadh le logaichean gu bhith na smachd air leth den Olympiad Sònraichte. Tha grunn chùisean ann ris am feumar dèiligeadh:
- mar a sgrìobhas tu logaichean bhon tagradh;
- far an sgrìobh thu clàran;
- mar a lìbhrigeas tu logaichean airson stòradh agus giullachd;
- mar a làimhsicheas agus a stòradh logaichean.
Tha cleachdadh theicneòlasan containerization mòr-chòrdte an-dràsta a’ cur gainmheach air mullach an ràcan ann an raon roghainnean fuasgladh cheistean.
Dìreach mu dheidhinn seo tha an tar-sgrìobhadh den aithisg le Yuri Bushmelev "Mapa de ràcan ann an raon cruinneachadh agus lìbhrigeadh logaichean"
Cò leis a tha cùram, mas e do thoil e fon chat.
Is e m ’ainm Yuri Bushmelev. Tha mi ag obair dha Lazada. An-diugh bruidhnidh mi mu mar a rinn sinn na logaichean againn, mar a chruinnich sinn iad, agus na bhios sinn a’ sgrìobhadh an sin.
Cò às a tha sinn? Cò sinn? Is e Lazada an neach-reic air-loidhne #1 ann an sia dùthchannan ann an ear-dheas Àisia. Tha na dùthchannan sin uile air an sgaoileadh am measg ionadan dàta. Tha 4 ionadan dàta ann uile gu lèir a-nis Carson a tha seo cudromach? Leis gu robh cuid de cho-dhùnaidhean air sgàth 's gu bheil ceangal gu math lag eadar na h-ionadan. Tha ailtireachd microservice againn. Chuir e iongnadh orm faighinn a-mach gu bheil 80 microservices againn mu thràth. Nuair a thòisich mi air an obair le logaichean, cha robh ann ach 20 dhiubh. A bharrachd air an sin, tha pìos mòr de dhìleab PHP ann, a dh'fheumas mi a bhith a' fuireach leis agus a' cur suas leis. Tha seo uile a’ gineadh dhuinn an-dràsta còrr air 6 millean teachdaireachd gach mionaid airson an t-siostam gu h-iomlan. Nas fhaide seallaidh mi mar a tha sinn a’ feuchainn ri bhith beò le seo, agus carson a tha seo fìor.
Feumaidh tu a bhith beò leis na 6 millean teachdaireachdan sin dòigh air choireigin. Dè bu chòir dhuinn a dhèanamh leotha? 6 millean teachdaireachd a dhìth:
- cuir air falbh bhon app
- gabhail ris airson lìbhrigeadh
- lìbhrigeadh airson mion-sgrùdadh agus stòradh.
- a mhion-sgrùdadh
- stòradh dòigh air choireigin.
Nuair a bha trì millean teachdaireachd ann, bha timcheall air an aon shealladh agam. Oir thòisich sinn le beagan sgillinn. Tha e soilleir gu bheil logaichean tagraidh sgrìobhte an sin. Mar eisimpleir, cha b’ urrainn dhuinn ceangal ris an stòr-dàta, b’ urrainn dhuinn ceangal ris an stòr-dàta, ach cha b’ urrainn dhuinn rudeigin a leughadh. Ach a bharrachd air an seo, bidh gach aon de na microservices againn cuideachd a’ sgrìobhadh log ruigsinneachd. Bidh gach iarrtas a ruigeas am microservice a 'tuiteam a-steach don log. Carson a tha sinn a’ dèanamh seo? Tha luchd-leasachaidh ag iarraidh a bhith comasach air lorg. Anns gach log ruigsinneachd tha an raon traceid, a rèir am bi eadar-aghaidh sònraichte an uairsin a ’leigeil a-mach an t-sreath gu lèir agus a’ taisbeanadh an lorg gu breagha. Tha an lorg a’ sealltainn mar a chaidh an t-iarrtas, agus tha seo a’ cuideachadh ar luchd-leasachaidh dèiligeadh ri sgudal neo-aithnichte sam bith nas luaithe.
Ciamar a bhith beò leis? A-nis bheir mi cunntas goirid air an raon roghainnean - mar a tha an duilgheadas seo air fhuasgladh san fharsaingeachd. Mar a gheibh thu fuasgladh air an duilgheadas a thaobh cruinneachadh, gluasad agus stòradh logaichean.
Ciamar a sgrìobhas tu bhon tagradh? Tha e soilleir gu bheil diofar dhòighean ann. Gu sònraichte, tha cleachdaidhean as fheàrr ann, mar a tha companaich fhasanta ag innse dhuinn. Tha dà sheòrsa de sheann sgoil ann, mar a thuirt seanairean. Tha dòighean eile ann.
Leis a’ chruinneachadh de logaichean, tha an suidheachadh timcheall air an aon rud. Chan eil uimhir de roghainnean ann airson a’ phàirt shònraichte seo fhuasgladh. Tha barrachd dhiubh ann, ach chan eil uimhir ann fhathast.
Ach le lìbhrigeadh agus mion-sgrùdadh às deidh sin, tha an àireamh de dh ’atharrachaidhean a’ tòiseachadh a ’spreadhadh. Cha toir mi cunntas air gach roghainn a-nis. Tha mi a 'smaoineachadh gu bheil na prìomh roghainnean eòlach air a h-uile duine aig an robh ùidh anns a' chuspair.
Seallaidh mi dhut mar a rinn sinn e aig Lazada agus mar a thòisich e uile.
O chionn bliadhna, thàinig mi gu Lazada agus chaidh mo chuir chun phròiseact log. Bha e mar seo an sin. Chaidh an loga bhon tagradh a sgrìobhadh gu stdout agus stderr. Chaidh a h-uile càil a dhèanamh ann an dòigh fhasanta. Ach an uairsin thilg an luchd-leasachaidh a-mach às na sruthan àbhaisteach, agus an uairsin nì eòlaichean bun-structair a-mach dòigh air choireigin. Eadar eòlaichean bun-structair agus luchd-leasachaidh, tha luchd-sgaoilidh ann cuideachd a thuirt: “uh ... uill, leig dhuinn dìreach am pasgadh ann am faidhle le slige, agus sin agad e.” Agus leis gu bheil seo uile ann an soitheach, phaisg iad e dìreach anns a’ ghobhar fhèin, mhapadh iad an eòlaire a-staigh agus chuir iad ann e. Tha mi a’ smaoineachadh gu bheil e gu math follaiseach don h-uile duine dè thachair.
Nach coimhead sinn beagan nas fhaide. Mar a lìbhrig sinn na clàran sin. Thagh cuideigin td-agent, a tha dha-rìribh fileanta ach nach eil buileach fileanta. Chan eil mi fhathast a 'tuigsinn dàimh an dà phròiseact seo, ach tha e coltach gu bheil iad mun aon rud. Agus leugh an fileanta seo, a chaidh a sgrìobhadh ann an Ruby, faidhlichean log, gan parsadh gu JSON a’ cleachdadh abairtean cunbhalach. An uairsin chaidh an cur gu Kafka. A bharrachd air an sin, ann an Kafka, bha 4 cuspairean eadar-dhealaichte againn airson gach API. Carson 4? A chionn gu bheil beò, tha stèideachadh ann, agus a chionn gu bheil stdout agus stderr ann. Bidh luchd-leasachaidh gan dèanamh, agus feumaidh luchd-obrach bun-structair an cruthachadh ann an Kafka. A bharrachd air an sin, bha Kafka fo smachd roinn eile. Mar sin, bha e riatanach tiogaid a chruthachadh gus an cruthaich iad 4 cuspairean an sin airson gach api. Dhìochuimhnich a h-uile duine mu dheidhinn. San fharsaingeachd, b 'e sgudal agus sgudal a bh' ann.
Dè an ath rud a rinn sinn leis? Chuir sinn gu kafka e. Nas fhaide bho Kafka, chaidh leth de na logaichean gu Logstash. Chaidh an leth eile de na clàran a roinn. Chaidh cuid gu aon Graylog, cuid gu Graylog eile. Mar thoradh air an sin, chaidh seo uile a-steach do aon bhuidheann Elasticsearch. Is e sin, thuit a h-uile càil seo mu dheireadh thall an sin. Chan fheum thu sin a dhèanamh!
Seo mar a tha e coltach nuair a choimheadas tu gu h-àrd. Chan fheum thu sin a dhèanamh! An seo, tha na raointean duilgheadas air an comharrachadh sa bhad le àireamhan. Tha barrachd dhiubh ann dha-rìribh, ach tha 6 gu math duilich, leis am feumar rudeigin a dhèanamh. Innsidh mi mun deidhinn fa leth a-nis.
An seo (1,2,3) bidh sinn a’ sgrìobhadh fhaidhlichean agus, a rèir sin, tha trì ràcan an seo aig an aon àm.
Is e a’ chiad (1) gum feum sinn an sgrìobhadh an àiteigin. Chan eil e an-còmhnaidh ion-mhiannaichte comas a thoirt do API sgrìobhadh gu dìreach gu faidhle. Tha e ion-mhiannaichte an API a bhith air a sgaradh ann an soitheach, agus eadhon nas fheàrr, gum bi e ri leughadh a-mhàin. Tha mi nam rianadair siostam, agus mar sin tha sealladh beagan eile agam air na rudan sin.
Is e an dàrna puing (2,3) gu bheil tòrr iarrtasan againn a’ tighinn chun API. Bidh an API a’ sgrìobhadh tòrr dàta gu faidhle. Tha na faidhlichean a 'fàs. Feumaidh sinn an cuairteachadh. Air neo cha bhith e comasach dhut diosc sam bith a shàbhaladh an sin. Tha e dona an cuairteachadh oir tha iad air an ath-stiùireadh tron t-slige gu eòlaire. Chan eil dòigh sam bith as urrainn dhuinn a thionndadh. Chan urrainn dhut innse don aplacaid na làmhan ath-fhosgladh. Leis gum bi an luchd-leasachaidh a’ coimhead ort mar amadan: “Dè na tuairisgeulan? Mar as trice bidh sinn a’ sgrìobhadh gu stdout. Rinn na frèamaichean copytruncate a-steach gu logrotate, a tha dìreach a 'dèanamh leth-bhreac den fhaidhle agus a' trusadh an tè tùsail. Mar sin, eadar na pròiseasan copaidh sin, mar as trice bidh àite diosc a’ ruith a-mach.
(4) Bha diofar chruthan againn ann an diofar APIan. Bha iad beagan eadar-dhealaichte, ach dh'fheumadh regexp a bhith air a sgrìobhadh ann an dòigh eadar-dhealaichte. Leis gu robh e uile air a riaghladh le Puppet, bha grunn chlasaichean ann le na cockroaches aca fhèin. A bharrachd air an sin, b ’urrainn don àidseant td a’ mhòr-chuid den ùine cuimhne ithe, a bhith gòrach, b ’urrainn dha a bhith a’ leigeil a-mach gu robh e ag obair agus gun dad a dhèanamh. Taobh a-muigh, bha e eu-comasach a thuigsinn nach robh e a 'dèanamh dad. Aig a 'char as fheàrr, tuitidh e, agus togaidh cuideigin e nas fhaide air adhart. Nas mionaidiche, thèid rabhadh a-steach, agus thèid cuideigin ga thogail le an làmhan.
(6) Agus an sgudal agus an sgudal as motha - b 'e elasticsearch a bh' ann. Leis gur e seann dreach a bh’ ann. Leis nach robh maighstirean sònraichte againn aig an àm sin. Bha logaichean ioma-ghnèitheach againn agus dh’ fhaodadh na h-achaidhean aca a dhol thairis air. Dh’ fhaodadh diofar logaichean de dhiofar thagraidhean a bhith air an sgrìobhadh leis na h-aon ainmean achaidh, ach aig an aon àm dh’ fhaodadh dàta eadar-dhealaichte a bhith ann. 'S e sin, aon log a' tighinn le Integer ann an achadh, mar eisimpleir, ìre. Bidh log eile a’ tighinn le sreang anns an raon ìre. Às aonais mapadh statach, thig rud cho iongantach a-mach. Ma tha, às deidh cuairteachadh clàr-amais, gun tàinig teachdaireachd le sreang an toiseach ann an rannsachadh elastic, bidh sinn beò gu h-àbhaisteach. Agus ma ràinig a’ chiad fhear le Integer, tha a h-uile teachdaireachd às deidh sin a ràinig le String dìreach air a thilgeil air falbh. Leis nach eil an seòrsa raoin a’ freagairt.
Thòisich sinn a 'faighneachd na ceistean sin. Cho-dhùin sinn gun a bhith a 'coimhead airson an ciontach.
Ach feumar rudeigin a dhèanamh! Is e an rud follaiseach gum feum sinn inbhean a stèidheachadh. Bha cuid de inbhean againn mu thràth. Cuid a thug sinn beagan às deidh sin. Gu fortanach, chaidh aon chruth loga airson a h-uile API aontachadh mar-thà aig an àm sin. Tha e sgrìobhte gu dìreach a-steach do inbhean eadar-obrachaidh seirbheis. Mar sin, bu chòir dhaibhsan a tha airson logaichean fhaighinn an sgrìobhadh sa chruth seo. Mura h-eil cuideigin a 'sgrìobhadh logaichean sa chruth seo, chan eil sinn a' gealltainn dad.
A bharrachd air an sin, bu mhath leam aon inbhe a bhith agam airson dòighean clàraidh, lìbhrigeadh agus cruinneachadh logaichean. Gu fìrinneach, càite an sgrìobh thu iad, agus mar a lìbhrigeas iad iad. Is e an suidheachadh fìor mhath nuair a bhios pròiseactan a’ cleachdadh an aon leabharlann. Tha leabharlann logaidh air leth ann airson Go, tha leabharlann air leth ann airson PHP. A h-uile duine a th’ againn, bu chòir don h-uile duine an cleachdadh. Aig an àm seo, chanainn gu bheil sinn a’ soirbheachadh 80 sa cheud. Ach tha cuid fhathast ag ithe cacti.
Agus an sin (air an t-sleamhnag) is gann gu bheil an “SLA airson lìbhrigeadh log” a’ tòiseachadh a’ nochdadh. Chan eil e ann fhathast, ach tha sinn ag obair air. Leis gu bheil e gu math goireasach nuair a tha infra ag ràdh ma sgrìobhas tu ann an leithid de chruth gu leithid de dh’ àite agus gun a bhith nas fhaide na N teachdaireachdan gach diog, is coltaiche gun lìbhrig sinn an sin e. Bidh e a 'toirt air falbh mòran ceann goirt. Ma tha SLA ann, tha e dìreach sgoinneil!
Ciamar a thòisich sinn air an duilgheadas fhuasgladh? Bha am prìomh ràcan le td-agent. Cha robh e soilleir càite a bheil na clàran againn a’ dol. A bheil iad air an lìbhrigeadh? A bheil iad a' dol? Càite a bheil iad co-dhiù? Mar sin, chaidh co-dhùnadh a’ chiad rud a chuir an àite td-agent. Roghainnean airson dè a chuirear na àite, mhìnich mi gu h-aithghearr an seo.
Fileanta. An toiseach, thàinig mi tarsainn air aig obair a bh 'ann roimhe, agus thuit e an sin bho àm gu àm. San dàrna àite, tha seo mar an ceudna, a-mhàin ann am pròifil.
buille-faidhle. Ciamar a bha e math dhuinn? Leis gu bheil e ann an Go, agus tha eòlas mòr againn air Go. Mar sin, ma tha dad ann, dh’ fhaodadh sinn dòigh air choireigin a chuir rinn fhìn. Sin as coireach nach do ghabh sinn e. Gus nach biodh eadhon buaireadh sam bith tòiseachadh air ath-sgrìobhadh dhut fhèin.
Is e am fuasgladh follaiseach airson an sysadmin a h-uile seòrsa syslogs anns a’ mheud seo (syslog-ng/rsyslog/nxlog).
No sgrìobh do chuid fhèin, ach chuir sinn air cùl e, cho math ri buille-faidhle. Ma sgrìobhas tu rudeigin, tha e nas fheàrr rudeigin feumail a sgrìobhadh airson gnìomhachas. Gus logaichean a lìbhrigeadh, tha e nas fheàrr rudeigin deiseil a ghabhail.
Mar sin, thàinig an roghainn sìos gu roghainn eadar syslog-ng agus rsyslog. Lean mi a dh’ionnsaigh rsyslog dìreach leis gu robh clasaichean againn mu thràth airson rsyslog ann am Puppet, agus cha do lorg mi diofar follaiseach eatorra. Dè th’ ann an syslog, dè a th’ ann an syslog. Tha, tha cuid de sgrìobhainnean nas miosa, cuid nas fheàrr. Tha e eòlach air an dòigh seo, agus bidh e ga dhèanamh ann an dòigh eadar-dhealaichte.
Agus beagan mu rsyslog. An toiseach, tha e fionnar oir tha tòrr mhodalan ann. Tha RainerScript a ghabhas leughadh le daoine (cànan rèiteachaidh an latha an-diugh). Is e deagh bhuannachd a th’ ann gum b ’urrainn dhuinn giùlan td-agent a shamhlachadh leis na h-innealan àbhaisteach aige, agus chan eil dad air atharrachadh airson tagraidhean. Is e sin, bidh sinn ag atharrachadh td-agent gu rsyslog, agus cha bhith sinn a’ beantainn ris a h-uile càil eile fhathast. Agus sa bhad gheibh sinn lìbhrigeadh obrach. An ath rud, is e mmnormalize an rud fionnar mu rsyslog. Leigidh e leat clàran a pharsadh, ach chan ann le Grok agus regexp. Bidh e a 'dèanamh craobh co-chòrdadh eas-chruthach. Bidh e a’ parsadh logaichean san aon dòigh ’s a bhios compileir a’ parsadh còd stòr. Leigidh seo leat a bhith ag obair gu math luath, ag ithe beagan CPU, agus, san fharsaingeachd, chan eil ann ach rud gu math fionnar. Tha grunn bhuannachdan eile ann. ni mi còmhnuidh orra.
Tha tòrr a bharrachd eas-bhuannachdan aig rsyslog. Tha iad timcheall air an aon rud ri bonuses. Is e na prìomh dhuilgheadasan gum feum thu a bhith comasach air a chòcaireachd, agus feumaidh tu dreach a thaghadh.
Cho-dhùin sinn gun sgrìobhadh sinn logaichean ann an socaid unix. Agus chan ann ann an / dev/log, leis gu bheil cnap de logaichean siostam againn, tha iris anns an loidhne-phìoban seo. Mar sin sgrìobhamaid gu socaid àbhaisteach. Cuiridh sinn e ri seata riaghailtean fa leth. Na cuir sinn bacadh air rud sam bith. Bidh a h-uile dad soilleir agus so-thuigsinn. Mar sin rinn sinn gu dearbh. Tha an eòlaire leis na socaidean sin àbhaisteach agus air a chuir air adhart gu gach soitheach. Chì luchd-gleidhidh an t-socaid a tha a dhìth orra, fosgail e agus sgrìobh thu thuige.
Carson nach faidhle? Leis gu bheil a h-uile duine air leughadh , a dh’ fheuch ris am faidhle a chuir air adhart gu docker, agus lorg e às deidh dha rsyslog ath-thòiseachadh, gun atharraich tuairisgeul an fhaidhle, agus gun caill docker am faidhle seo. Bidh e a’ cumail rudeigin eile fosgailte, ach chan e an aon socaid far a bheil iad a’ sgrìobhadh. Cho-dhùin sinn gun rachadh sinn seachad air an duilgheadas seo, agus, aig an aon àm, a dhol seachad air an duilgheadas bacaidh.
Bidh Rsyslog a’ dèanamh na gnìomhan a tha air an comharrachadh air an t-sleamhnag agus a’ cur logaichean gu sealaidheachd no gu Kafka. Tha Kafka a’ leantainn an t-seann dòigh. Rayleigh - Dh'fheuch mi ri rsyslog fìor-ghlan a chleachdadh gus logaichean a lìbhrigeadh. Às aonais Ciudha Teachdaireachd, a’ cleachdadh innealan rsyslog àbhaisteach. Gu bunaiteach, tha e ag obair.
Ach tha nuances ann a thaobh mar a lìonas tu iad nas fhaide air adhart sa phàirt seo (Logstash/Graylog/ES). Tha am pàirt seo (rsyslog-rsyslog) air a chleachdadh eadar datacenters. Seo ceangal tcp teann, a leigeas leat leud-bann a shàbhaladh agus, a rèir sin, dòigh air choireigin àrdachadh air an coltas gum faigh sinn cuid de logaichean bho ionad dàta eile nuair a bhios an sianal làn. Leis gu bheil Indonesia againn, far a bheil a h-uile dad dona. Sin far a bheil an duilgheadas seasmhach.
Bha sinn a’ smaoineachadh air mar a bhios sinn a’ cumail sùil air, agus dè an coltachd a tha na logaichean a chlàraich sinn bhon tagradh a’ ruighinn na h-ìre sin? Cho-dhùin sinn tòiseachadh air metrics. Tha modal cruinneachadh staitistig fhèin aig Rsyslog, aig a bheil seòrsa de chunntair. Mar eisimpleir, faodaidh e sealltainn dhut meud a’ chiudha, no cia mheud teachdaireachd a thàinig a-steach airson a leithid agus gnìomh mar sin. Faodaidh tu rudeigin a thoirt bhuapa mu thràth. A bharrachd air an sin, tha cunntairean àbhaisteach aige as urrainn dhut a rèiteachadh, agus seallaidh e dhut, mar eisimpleir, an àireamh de theachdaireachdan a tha cuid de API air a chlàradh. An uairsin, sgrìobh mi rsyslog_exporter ann am Python, agus chuir sinn a h-uile càil gu Prometheus agus rinn sinn cuilbheart. Bha sinn gu mòr ag iarraidh metrics Graylog, ach gu ruige seo chan eil ùine air a bhith againn airson an stèidheachadh.
Dè na duilgheadasan a th’ ann? Dh’ èirich an duilgheadas leis gun d’ fhuair sinn a-mach (gu h-obann!) Gu bheil na Live APIs againn a’ sgrìobhadh teachdaireachdan 50k gach diog. Chan e seo ach Live API gun stèidse. Agus chan eil Graylog a’ sealltainn dhuinn ach 12 mìle teachdaireachd gach diog. Agus dh’èirich ceist reusanta, càit a bheil na tha air fhàgail? Bhon a cho-dhùin sinn nach urrainn dha Graylog dèiligeadh. Choimhead sinn, agus, gu dearbh, cha do rinn Graylog le Elasticsearch maighstireachd air an t-sruth seo.
An ath rud, lorgaidhean eile a rinn sinn air an t-slighe.
Tha sgrìobhaidhean gu socaid air am bacadh. Ciamar a thachair e? Nuair a chleachd mi rsyslog airson lìbhrigeadh, aig àm air choreigin bhris sinn an sianal eadar na h-ionadan dàta. Dh'èirich lìbhrigeadh ann an aon àite, dh'èirich lìbhrigeadh ann an àite eile. Tha seo uile air tighinn sìos gu inneal le APIan a bhios a’ sgrìobhadh chun t-socaid rsyslog. Bha ciudha ann. An uairsin lìon an ciudha airson sgrìobhadh chun t-socaid unix, a tha mar as trice 128 pacaid. Agus an ath sgrìobhadh () anns na blocaichean tagraidh. Nuair a choimhead sinn air an leabharlann a bhios sinn a’ cleachdadh ann an tagraidhean Go, chaidh a sgrìobhadh an sin gu bheil sgrìobhadh chun t-socaid a’ tachairt ann am modh neo-bacadh. Bha sinn cinnteach nach deach dad a bhacadh. A chionn gu bheil sinn air leughadh cò sgrìobh mu dheidhinn. Ach tha mionaid ann. Bha lùb neo-chrìochnach timcheall air a 'ghairm seo cuideachd, anns an robh oidhirp leantainneach air teachdaireachd a phutadh a-steach don t-socaid. Cha do mhothaich sinn e. B’ fheudar dhomh an leabharlann ath-sgrìobhadh. Bhon uairsin, tha e air atharrachadh grunn thursan, ach a-nis tha sinn air faighinn cuidhteas glasan anns a h-uile fo-shiostam. Mar sin, faodaidh tu stad a chuir air rsyslog agus cha tuit dad.
Feumar sùil a chumail air meud nan ciudhaichean, rud a chuidicheas gun a bhith a ’ceumadh air an ràcan seo. An toiseach, is urrainn dhuinn sùil a chumail air nuair a thòisicheas sinn a 'call teachdaireachdan. San dàrna h-àite, is urrainn dhuinn sùil a chumail gu bheil duilgheadasan againn gu bunaiteach le lìbhrigeadh.
Agus àm mì-thlachdmhor eile - tha leudachadh 10 tursan ann an ailtireachd microservice gu math furasta. Chan eil uimhir de dh’ iarrtasan againn a-steach, ach air sgàth a’ ghraf air am bi na teachdaireachdan sin a’ ruith nas fhaide, air sgàth nan logaichean ruigsinneachd, bidh sinn dha-rìribh ag àrdachadh an luchd air na logaichean timcheall air deich tursan. Gu mì-fhortanach, cha robh ùine agam na h-àireamhan mionaideach obrachadh a-mach, ach is e microservices a th ’annta. Feumar seo a chumail ann an cuimhne. Tha e a’ tionndadh a-mach gur e am fo-shiostam cruinneachadh log an-dràsta an fheadhainn as luchdaichte ann an Lazada.
Ciamar a gheibh thu fuasgladh air duilgheadas rannsachadh elastic? Ma dh’ fheumas tu logaichean fhaighinn gu sgiobalta ann an aon àite, gus nach ruith thu thairis air a h-uile inneal agus an cruinneachadh an sin, cleachd stòradh faidhle. Tha seo cinnteach gun obraich e. Tha e air a dhèanamh bho fhrithealaiche sam bith. Feumaidh tu dìreach diosgan a steigeadh an sin agus syslog a chuir. Às deidh sin, tha thu cinnteach gum bi na logaichean uile ann an aon àite. An uairsin bidh e comasach elasticsearch, graylog, no rudeigin eile a rèiteachadh gu slaodach. Ach bidh na logaichean gu lèir agad mu thràth, agus, a bharrachd air sin, faodaidh tu an stòradh, fhad ‘s a tha gu leòr de chlàran diosc ann.
Aig àm na h-aithisg agam, thòisich an sgeama a’ coimhead mar seo. Cha mhòr nach stad sinn sgrìobhadh chun fhaidhle. A-nis, as coltaiche, cuiridh sinn dheth na tha air fhàgail. Air innealan ionadail a 'ruith an API, stadaidh sinn a' sgrìobhadh gu faidhlichean. An toiseach, tha stòradh fhaidhlichean ann, a tha ag obair glè mhath. San dàrna h-àite, tha na h-innealan sin an-còmhnaidh a ’ruith a-mach à àite, feumaidh tu sùil a chumail air gu cunbhalach.
Am pàirt seo le Logstash agus Graylog, tha e ag èirigh gu mòr. Mar sin, feumaidh tu faighinn cuidhteas e. Feumaidh tu fear a thaghadh.
Cho-dhùin sinn Logstash agus Kibana a leigeil seachad. Leis gu bheil roinn tèarainteachd againn. Dè an ceangal a th’ ann? Is e an ceangal nach eil Kibana às aonais X-Pack agus às aonais Sgiath a’ leigeil leat eadar-dhealachadh a dhèanamh air còraichean-slighe air na logaichean. Mar sin, ghabh iad Graylog. Tha e aige uile. Cha toil leam e, ach tha e ag obair. Cheannaich sinn bathar-cruaidh ùr, chuir sinn Graylog ùr a-steach an sin, agus ghluais sinn a h-uile log le cruthan teann gu Graylog air leth. Tha sinn air an duilgheadas fhuasgladh le diofar sheòrsaichean de na h-aon raointean gu eagrachail.
Dè dìreach a tha air a ghabhail a-steach san Graylog ùr. Tha sinn dìreach air a h-uile càil a sgrìobhadh anns an docker. Ghabh sinn dòrlach de luchd-frithealaidh, chuir sinn a-steach trì eisimpleirean Kafka, dreach 7 frithealaichean Graylog 2.3 (seach gu robh mi ag iarraidh dreach Elasticsearch 5). Chaidh seo uile a thogail air creach bhon HDD. Chunnaic sinn ìre clàr-amais de suas ri 100 mìle teachdaireachd gach diog. Chunnaic sinn am figear gu robh 140 terabytes de dhàta gach seachdain.
Agus a-rithist ràcan! Tha dà reic againn ri thighinn. Tha sinn air gluasad thairis air 6 millean post. Chan eil ùine aig We Graylog a bhith a’ cagnadh. Ann an dòigh air choreigin feumaidh tu a bhith beò a-rithist.
Seo mar a thàinig sinn beò. Chuir sinn beagan a bharrachd frithealaichean agus SSDs ris. Aig an àm seo tha sinn beò mar seo. A-nis tha sinn mu thràth a’ cagnadh teachdaireachdan 160k gach diog. Chan eil sinn air a’ chrìoch a ruighinn fhathast, agus mar sin chan eil e soilleir dè as urrainn dhuinn faighinn a-mach às.
Is iad seo na planaichean againn airson an ama ri teachd. Dhiubh sin, dha-rìribh, is dòcha gur e ruigsinneachd àrd an rud as cudromaiche. Chan eil e againn fhathast. Tha grunn chàraichean air an stèidheachadh san aon dòigh, ach gu ruige seo tha a h-uile càil a 'dol tro aon chàr. Feumar ùine a chaitheamh gus failover a stèidheachadh eatorra.
Cruinnich metrics bho Graylog.
Dèan crìoch reata gus am bi aon API seòlta againn nach cuir às dhuinn leud-bann agus a h-uile càil eile.
Agus mu dheireadh, cuir ainm ri seòrsa de SLA le luchd-leasachaidh gus an urrainn dhuinn sin a fhrithealadh. Ma sgrìobhas tu barrachd, an uairsin duilich.
Agus sgrìobh sgrìobhainnean.
Ann an ùine ghoirid, toraidhean a h-uile dad a tha sinn air eòlas fhaighinn. An toiseach, na h-inbhean. San dàrna h-àite, tha syslog na chèic. San treas àite, bidh rsyslog ag obair dìreach mar a tha e sgrìobhte air an t-sleamhnag. Agus rachamaid gu na ceistean.
Do cheistean.
Do cheist: Carson a cho-dhùin iad gun a bhith a 'gabhail ... (filebeat?)
Freagairt: Feum air sgrìobhadh gu faidhle. Cha robh mi dha-rìribh ag iarraidh. Nuair a sgrìobhas an API agad mìltean de theachdaireachdan gach diog, eadhon ged a thionndaidheas tu uair san uair, chan eil seo fhathast na roghainn. Faodaidh tu sgrìobhadh gu pìob. Dh'fhaighnich an luchd-leasachaidh dhomh: “Dè thachras ma thuiteas am pròiseas anns a bheil sinn a’ sgrìobhadh sìos ”? Cha do lorg mi dè a fhreagras mi dhaibh, agus thuirt mi: "Uill, ceart gu leòr, na dèanamaid sin."
Do cheist: Carson nach sgrìobh thu logaichean gu HDFS?
FreagairtA: Seo an ath ìre. Bha sinn a’ smaoineachadh mu dheidhinn aig an fhìor thoiseach, ach leis nach eil goireasan ann airson dèiligeadh ris an-dràsta, tha e an crochadh air ar fuasgladh fad-ùine.
Do cheist: Bhiodh cruth colbh na bu fhreagarraiche.
Freagairt: Tha mi a’ tuigsinn. Tha sinn "airson" leis an dà làmh.
Do cheist: Bidh thu a’ sgrìobhadh gu rsyslog. Tha an dà chuid TCP agus UDP rim faighinn an sin. Ach ma tha UDP, ciamar a tha thu a’ gealltainn lìbhrigeadh?
FreagairtA: Tha dà phuing ann. An toiseach, bidh mi ag innse don a h-uile duine sa bhad nach eil sinn a ’gealltainn gun tèid logaichean a lìbhrigeadh. Oir nuair a thig an luchd-leasachaidh agus ag ràdh: “Tòisichidh sinn a’ sgrìobhadh dàta ionmhais an sin, agus cuiridh tu e an àiteigin dhuinn gun fhios nach tachair rudeigin, ”fhreagair sinn iad,“ Sgoinneil! Feuch an tòisich sinn a’ bacadh air sgrìobhadh chun t-socaid, agus dèan e ann an gnothaichean, gus am bi thu cinnteach gun cuir thu a-steach e san t-socaid dhuinn agus dèan cinnteach gun d’ fhuair sinn bhon taobh eile e. Agus aig an àm seo, bidh a h-uile duine sa bhad gun fheum. Agus mura h-eil, dè na ceistean a th’ againn? Mura h-eil thu airson gealltainn sgrìobhadh chun t-socaid, carson a bhiodh sinn a’ gealltainn lìbhrigeadh? Tha sinn a’ dèanamh an oidhirp as fheàrr. Bidh sinn dha-rìribh a’ feuchainn ri nas urrainn dhuinn agus as fheàrr a lìbhrigeadh, ach chan eil sinn a’ toirt gealltanas 100%. Mar sin, chan fheum thu dàta ionmhasail a sgrìobhadh an sin. Tha stòran-dàta malairt ann airson seo.
Do cheist: Nuair a bhios an API a’ gineadh cuid de theachdaireachd don log agus a’ gluasad smachd gu microservices, an do thachair thu ris an duilgheadas gu bheil teachdaireachdan bho dhiofar microservices a’ ruighinn san òrdugh cheàrr? Air sgàth seo, tha troimh-chèile ag èirigh.
FreagairtF: Tha e àbhaisteach gun tig iad ann an òrdugh eadar-dhealaichte. Feumaidh tu a bhith deiseil airson seo. Leis nach eil lìbhrigeadh lìonra sam bith a’ gealltainn òrdugh dhut, no feumaidh tu goireasan sònraichte a chosg air seo. Ma ghabhas sinn stòradh fhaidhlichean, bidh gach API a’ sàbhaladh logaichean dhan fhaidhle aige fhèin. An àite sin, bidh rsyslog gan toirt a-steach do chlàran an sin. Tha a logaichean fhèin aig gach API an sin, far an urrainn dhut a dhol agus coimhead, agus an uairsin faodaidh tu coimeas a dhèanamh eadar iad a’ cleachdadh an stampa-ama sa loga seo. Ma thèid iad a choimhead ann an Graylog, an sin thèid an òrdachadh a rèir stampa-ama. Bidh a h-uile dad gu math an sin.
Do cheist: Faodaidh stampa-ama atharrachadh a rèir milliseconds.
Freagairt: Tha an stampa-ama air a chruthachadh leis an API fhèin. Is e seo, gu dearbh, am puing gu lèir. Tha NTP againn. Bidh an API a’ gineadh clàr-ama a tha san teachdaireachd fhèin mu thràth. Chan eil e air a chur ris le rsyslog.
Do cheist: Chan eil eadar-obrachadh eadar ionadan dàta glè shoilleir. Taobh a-staigh frèam an ionaid dàta, tha e soilleir mar a chaidh na logaichean a chruinneachadh agus a phròiseasadh. Ciamar a tha an eadar-obrachadh eadar ionadan dàta? No a bheil a bheatha fhèin aig gach ionad dàta?
Freagairt: cha mhòr. Tha gach dùthaich againn suidhichte ann an aon ionad dàta. Chan eil sgaoileadh againn an-dràsta, gus am bi aon dùthaich air a chuir ann an diofar ionadan dàta. Mar sin, chan eil feum air an cur còmhla. Taobh a-staigh gach ionad tha Log Relay. Is e seo frithealaiche Rsyslog. Gu dearbh, dà inneal riaghlaidh. Tha iad air an stèidheachadh san aon dòigh. Ach airson a-nis, tha trafaic dìreach a’ dol tro aon dhiubh. Bidh i a’ clàradh a h-uile càil còmhla. Tha ciudha diosc aige dìreach gun fhios nach bi. Bidh i a 'bruthadh nan logaichean agus gan cur chun ionad dàta meadhanach (Singapore), far a bheil iad mar-thà air am puinnseanachadh ann an Graylog. Agus tha a stòradh faidhle fhèin aig gach ionad dàta. Air eagal ‘s gun caill sinn ceangal, tha na logaichean uile againn an sin. Fuirichidh iad ann. Bidh iad air an stòradh an sin.
Do cheist: Am faigh thu logaichean às an sin ann an suidheachaidhean neo-àbhaisteach?
Freagairt: Faodaidh tu a dhol ann (gu stòradh faidhle) agus coimhead.
Do cheist: Ciamar a nì thu sùil air nach caill thu logaichean?
Freagairt: Tha sinn dha-rìribh gan call, agus tha sinn a’ cumail sùil air. Thòisich sgrùdadh mìos air ais. Tha metrics aig an leabharlann a bhios na Go APIs a’ cleachdadh. 'S urrainn dhi cunntadh cia mheud uair a dh'fhàilig i sgrìobhadh gu socaid. An sin aig an àm seo tha heuristic duilich. Tha bufair an sin. Bidh e a’ feuchainn ri teachdaireachd a sgrìobhadh bhuaithe gu socaid. Ma thèid am bufair thairis, tòisichidh e gan leigeil sìos. Agus tha e a’ cunntadh cia mheud a leig e às iad. Ma thòisicheas na cunntairean a’ cur thairis an sin, bidh fios againn mu dheidhinn. Tha iad a-nis cuideachd a’ tighinn gu prometheus, agus chì thu na grafaichean ann an Grafana. Faodaidh tu rabhaidhean a chuir air dòigh. Ach chan eil e soilleir fhathast cò dha a chuireas iad iad.
Do cheist: Ann an elasticsearch, bidh thu a 'stòradh logaichean le call call. Cia mheud mac-samhail a th’ agad?
Freagairt: Aon mac-samhail.
Do cheist: An e dìreach aon loidhne a th' ann?
Freagairt: Seo am maighstir agus mac-samhail. Tha an dàta air a stòradh ann an dà-fhillte.
Do cheist: An do dh’atharraich thu meud a’ bhufair rsyslog dòigh air choireigin?
Freagairt: Bidh sinn a’ sgrìobhadh datagrams gu socaid unix àbhaisteach. Bidh seo sa bhad a’ cur cuingealachadh 128 kilobytes oirnn. Chan urrainn dhuinn barrachd a sgrìobhadh a-steach dha. Tha sinn air seo a sgrìobhadh a-steach don inbhe. Cò a tha airson faighinn a-steach don stòradh, bidh iad a 'sgrìobhadh 128 kilobytes. Leabharlannan, a bharrachd, a ghearradh dheth, agus a 'cur bratach gu bheil an teachdaireachd a ghearradh dheth. Tha raon sònraichte againn ann an inbhe na teachdaireachd fhèin, a sheallas an deach a ghearradh dheth aig àm clàraidh no nach deach. Mar sin tha cothrom againn sùil a chumail air a’ mhionaid seo.
Ceist: A bheil thu a’ sgrìobhadh JSON briste?
Freagairt: Thèid JSON briste a thilgeil air falbh an dàrna cuid rè sealaidheachd oir tha am pacaid ro mhòr. Air neo thèid Graylog a leigeil seachad, oir chan urrainn dha JSON a pharsadh. Ach tha nuances an seo a dh'fheumas a bhith air an suidheachadh, agus tha iad gu ìre mhòr ceangailte ri rsyslog. Tha mi air beagan iris a lìonadh a-steach an sin mu thràth, air am feumar obrachadh fhathast.
Ceist: Carson Kafka? A bheil thu air RabbitMQ fheuchainn? Chan eil Graylog a 'cur suas fo luchdan mar sin?
Freagairt: Chan eil e ag obair a-mach le Graylog. Agus tha Graylog a’ gabhail cumadh. Tha e dha-rìribh na dhuilgheadas dha. Tha e na sheòrsa de rud. Agus, gu dearbh, chan eil feum air. B’ fheàrr leam sgrìobhadh bho rsyslog gu dìreach gu elasticsearch agus an uairsin coimhead air Kibana. Ach feumaidh sinn a’ chùis a rèiteach leis na geàrdan tèarainteachd. Is e seo atharrachadh a dh’ fhaodadh a bhith againn air an leasachadh againn nuair a bhios sinn a ’tilgeil Graylog a-mach agus a’ cleachdadh Kibana. Cha dèan Logstash ciall. Leis gun urrainn dhomh an aon rud a dhèanamh le rsyslog. Agus tha modal aige airson sgrìobhadh gu elasticsearch. Le Graylog tha sinn a 'feuchainn ri fuireach dòigh air choireigin. Rinn sinn eadhon beagan tweak air. Ach tha àite ann fhathast airson leasachadh.
Mu Kafka. Sin mar a thachair e gu h-eachdraidheil. Nuair a ràinig mi, bha e ann mu thràth, agus bha logaichean gan sgrìobhadh thuige mu thràth. Thog sinn ar brabhsair agus ghluais sinn logaichean a-steach dha. Bidh sinn ga riaghladh, tha fios againn mar a tha e a’ faireachdainn. A thaobh RabbitMQ... tha trioblaid againn le RabbitMQ. Agus tha RabbitMQ a’ leasachadh dhuinne. Tha e againn ann an cinneasachadh, agus bha duilgheadasan ann leis. A-nis, ron reic, bhiodh e air a shàrachadh, agus thòisicheadh e ag obair gu h-àbhaisteach. Ach roimhe sin, cha robh mi deiseil airson a leigeil ma sgaoil gu cinneasachadh. Tha aon rud eile ann. Faodaidh Graylog dreach AMQP 0.9 a leughadh agus faodaidh rsyslog dreach AMQP 1.0 a sgrìobhadh. Agus chan eil aon fhuasgladh ann as urrainn an dà chuid a dhèanamh sa mheadhan. Tha aon no dhà ann. Mar sin airson a-nis a-mhàin Kafka. Ach tha nuances ann cuideachd. Leis gum faod omkafka den dreach de rsyslog a bhios sinn a’ cleachdadh am bufair teachdaireachd gu lèir a fhuair e bho rsyslog a chall. Cho fad 's a chuir sinn suas ris.
Ceist: A bheil thu a' cleachdadh Kafka oir bha e agad? Gun a bhith air a chleachdadh airson adhbhar sam bith eile?
Freagairt: Kafka, a chaidh a chleachdadh leis an sgioba Saidheans Dàta. Is e pròiseact gu tur air leth a tha seo, mu dheidhinn nach urrainn dhomh, gu mì-fhortanach, dad a ràdh. Chan eil fios agam. Bha i air a ruith leis an sgioba Saidheans Dàta. Nuair a thòisich na logaichean, chuir iad romhpa a chleachdadh, gus nach cuir iad an cuid fhèin. A-nis tha sinn air Graylog ùrachadh, agus tha sinn air co-chòrdalachd a chall, leis gu bheil seann dreach de Kafka ann. Bha againn ri ar cuid fhèin a dhèanamh. Aig an aon àm, fhuair sinn cuidhteas na ceithir cuspairean sin airson gach API. Rinn sinn aon mhullach farsaing dha na h-uile beò, aon mhullach farsaing airson a h-uile àrd-ùrlar agus bidh sinn dìreach a’ losgadh a h-uile càil an sin. Bidh Graylog a 'toirt seo uile a-mach aig an aon àm.
Ceist: Carson a tha feum againn air a’ shamanism seo le socaidean? A bheil thu air feuchainn ris an draibhear log syslog a chleachdadh airson soithichean.
Freagairt: Aig an àm nuair a chuir sinn a’ cheist seo, bha càirdeas teann againn ris an docadair. Bha e docker 1.0 no 0.9. Bha Docker fhèin neònach. San dàrna h-àite, ma ghluaiseas tu cuideachd logaichean a-steach dha ... tha amharas neo-dhearbhte agam gu bheil e a’ dol seachad air na logaichean gu lèir troimhe fhèin, tro dheamhan docker. Ma tha aon API againn a’ dol craicte, ruithidh an còrr de na APIan a-steach nach urrainn dhaibh stdout agus stderr a chuir. Chan eil fios agam càite an stiùir seo. Tha amharas agam mun ìre faireachdainn nach eil e riatanach an draibhear docker syslog a chleachdadh san àite seo. Tha a bhuidheann Graylog fhèin aig an roinn deuchainn gnìomh againn le logaichean. Bidh iad a’ cleachdadh draibhearan log docker agus tha coltas gu bheil a h-uile dad ceart gu leòr an sin. Ach bidh iad a’ sgrìobhadh GELF gu Graylog sa bhad. Aig an àm a thòisich sinn air seo uile, bha feum againn air dìreach airson obrachadh. Is dòcha nas fhaide air adhart, nuair a thig cuideigin agus ag ràdh gu bheil e air a bhith ag obair gu h-àbhaisteach airson ceud bliadhna, feuchaidh sinn.
Ceist: Bidh thu a’ lìbhrigeadh eadar ionadan dàta a’ cleachdadh rsyslog. Carson nach ann air Kafka?
Freagairt: Bidh sinn a’ dèanamh seo, agus seo mar a tha e dha-rìribh. Airson dà adhbhar. Ma tha an sianal gu tur marbh, cha bhith na logaichean againn uile, eadhon ann an cruth teann, a 'dìreadh troimhe. Agus tha kafka a 'toirt cothrom dhaibh dìreach a chall sa phròiseas. San dòigh seo, gheibh sinn cuidhteas de bhith a’ cumail nan logaichean sin. Tha sinn dìreach a 'cleachdadh Kafka sa chùis seo gu dìreach. Ma tha sianal math againn agus gu bheil sinn airson a shaoradh, bidh sinn a’ cleachdadh an rsyslog aca. Ach gu dearbh, faodaidh tu a chuir air dòigh gus am bi e a’ leigeil às na fhuair e troimhe. Aig an àm seo tha sinn dìreach a’ cleachdadh lìbhrigeadh rsyslog gu dìreach am badeigin, an àiteigin Kafka.
Source: www.habr.com