Awọn akọọlẹ jẹ apakan pataki ti eto, gbigba ọ laaye lati ni oye pe o ṣiṣẹ (tabi ko ṣiṣẹ) bi o ti ṣe yẹ. Labẹ awọn ipo ti faaji microservice, ṣiṣẹ pẹlu awọn akọọlẹ di ibawi lọtọ ti Olympiad Pataki. Awọn ọran pupọ lo wa ti o nilo lati koju:
- bi o ṣe le kọ awọn akọọlẹ lati ohun elo naa;
- ibi ti lati kọ awọn iwe;
- bawo ni a ṣe le fi awọn akọọlẹ pamọ fun ibi ipamọ ati sisẹ;
- bi o ṣe le ṣe ilana ati tọju awọn akọọlẹ.
Lilo awọn imọ-ẹrọ iṣipopada olokiki lọwọlọwọ n ṣafikun iyanrin lori oke ti ra ni aaye awọn aṣayan ipinnu iṣoro.
O kan nipa eyi ni iwe-kikọ ti ijabọ nipasẹ Yuri Bushmelev “Map ti rake ni aaye ti gbigba ati jiṣẹ awọn iwe”
Tani o bikita, jọwọ labẹ ologbo naa.
Orukọ mi ni Yuri Bushmelev. Mo ṣiṣẹ fun Lazada. Loni Emi yoo sọrọ nipa bawo ni a ṣe ṣe awọn igi wa, bawo ni a ṣe gba wọn, ati ohun ti a kọ nibẹ.
Ibo la ti wa? Ta ni awa? Lazada jẹ alagbata ori ayelujara #1 ni awọn orilẹ-ede mẹfa ni Guusu ila oorun Asia. Gbogbo awọn orilẹ-ede wọnyi ti pin laarin awọn ile-iṣẹ data. Awọn ile-iṣẹ data 4 wa ni apapọ. Kilode ti eyi ṣe pataki? Nitori diẹ ninu awọn ipinnu jẹ nitori otitọ pe ọna asopọ ti ko lagbara pupọ wa laarin awọn ile-iṣẹ naa. A ni a microservice faaji. O yà mi lẹnu lati rii pe a ti ni awọn iṣẹ microservice 80 tẹlẹ. Nigbati mo bẹrẹ iṣẹ naa pẹlu awọn akọọlẹ, wọn nikan ni 20. Pẹlupẹlu, nkan ti o tobi pupọ ti PHP wa, eyiti Mo tun ni lati gbe pẹlu ati fi sii. Gbogbo eyi n ṣe ipilẹṣẹ fun wa ni akoko diẹ sii ju awọn ifiranṣẹ miliọnu 6 fun iṣẹju kan fun eto naa lapapọ. Siwaju sii Emi yoo fihan bi a ṣe n gbiyanju lati gbe pẹlu eyi, ati idi ti eyi jẹ bẹ.
O ni lati gbe pẹlu awọn ifiranṣẹ 6 milionu wọnyi bakan. Kí ló yẹ ká ṣe sí wọn? Awọn ifiranṣẹ miliọnu 6 nilo:
- firanṣẹ lati app
- gba fun ifijiṣẹ
- fi fun onínọmbà ati ibi ipamọ.
- itupalẹ
- itaja bakan.
Nigbati awọn ifiranṣẹ miliọnu mẹta wa, Mo ni nipa iwo kanna. Nitoripe a bẹrẹ pẹlu diẹ ninu awọn pennies. O han gbangba pe awọn iwe ohun elo ni a kọ sibẹ. Fun apẹẹrẹ, ko le sopọ si ibi ipamọ data, o le sopọ si aaye data, ṣugbọn ko le ka nkan. Ṣugbọn yato si eyi, ọkọọkan awọn iṣẹ microservice wa tun kọ iwe iwọle kan. Ibeere kọọkan ti o de si microservice ṣubu sinu akọọlẹ naa. Kí nìdí tá a fi ń ṣe bẹ́ẹ̀? Awọn olupilẹṣẹ fẹ lati ni anfani lati wa kakiri. Iwe akọọlẹ iwọle kọọkan ni aaye itọpa, ni ibamu si eyiti wiwo pataki kan lẹhinna tu gbogbo ẹwọn naa silẹ ati ṣafihan itọpa naa ni ẹwa. Wa kakiri naa fihan bi ibeere naa ṣe lọ, ati pe eyi ṣe iranlọwọ fun awọn olupilẹṣẹ wa ni iyara pẹlu idoti aimọ eyikeyi.
Bawo ni lati gbe pẹlu rẹ? Bayi Emi yoo ṣe apejuwe ni ṣoki aaye awọn aṣayan - bawo ni a ṣe yanju iṣoro yii ni gbogbogbo. Bii o ṣe le yanju iṣoro ti gbigba, gbigbe ati titoju awọn akọọlẹ.
Bawo ni lati kọ lati ohun elo naa? O han gbangba pe awọn ọna oriṣiriṣi wa. Ni pato, iṣe ti o dara julọ wa, bi awọn ẹlẹgbẹ asiko ti sọ fun wa. Nibẹ ni o wa meji orisi ti atijọ ile-iwe, bi grandfathers wi. Awọn ọna miiran wa.
Pẹlu ikojọpọ awọn akọọlẹ, ipo naa jẹ isunmọ kanna. Nibẹ ni o wa ko ki ọpọlọpọ awọn aṣayan fun lohun yi pato apakan. Nibẹ ni o wa siwaju sii ti wọn, sugbon ko ki ọpọlọpọ sibẹsibẹ.
Ṣugbọn pẹlu ifijiṣẹ ati itupalẹ atẹle, nọmba awọn iyatọ bẹrẹ lati gbamu. Emi kii yoo ṣe apejuwe aṣayan kọọkan ni bayi. Mo ro pe awọn aṣayan akọkọ ni a mọ daradara si gbogbo eniyan ti o nifẹ si koko-ọrọ naa.
Emi yoo fihan ọ bi a ṣe ṣe ni Lazada ati bii gbogbo rẹ ṣe bẹrẹ.
Ni ọdun kan sẹyin, Mo wa si Lazada ati pe a firanṣẹ si iṣẹ akanṣe. O ri bi eleyi nibẹ. Akọọlẹ lati inu ohun elo naa ni a kọ si stdout ati stderr. Ohun gbogbo ni a ṣe ni ọna asiko. Ṣugbọn lẹhinna awọn olupilẹṣẹ gbe jade kuro ninu awọn ṣiṣan boṣewa, ati lẹhinna awọn alamọja amayederun yoo ṣe akiyesi rẹ ni ọna kan. Laarin awọn alamọja amayederun ati awọn olupilẹṣẹ, awọn olutusilẹ tun wa ti o sọ pe: “uh… daradara, jẹ ki a kan fi ipari si wọn sinu faili kan pẹlu ikarahun kan, ati pe iyẹn ni.” Níwọ̀n bí gbogbo èyí sì ti wà nínú àpótí kan, wọ́n dì í gan-an sínú àpótí náà fúnra rẹ̀, wọ́n ya àwòrán inú ìwé náà, wọ́n sì gbé e síbẹ̀. Mo ro pe o han gbangba si gbogbo eniyan ohun ti o ṣẹlẹ.
Jẹ ki a wo diẹ siwaju sii. Bawo ni a ṣe fi awọn akọọlẹ wọnyi ranṣẹ. Ẹnikan ti mu td-aṣoju, eyiti o jẹ alamọdaju gangan ṣugbọn kii ṣe daradara. Emi ko tun loye ibatan ti awọn iṣẹ akanṣe meji wọnyi, ṣugbọn wọn dabi pe wọn jẹ nipa ohun kanna. Ki o si yi fluentd, ti a kọ ni Ruby, ka log awọn faili, parsed wọn sinu JSON lilo diẹ ninu awọn deede expressions. Lẹhinna wọn ranṣẹ si Kafka. Pẹlupẹlu, ni Kafka, a ni awọn koko-ọrọ lọtọ 4 fun API kọọkan. Kí nìdí 4? Nitoripe igbesi aye wa, itage wa, ati nitori pe o wa stdout ati stderr. Awọn olupilẹṣẹ gbe wọn jade, ati awọn oṣiṣẹ amayederun gbọdọ ṣẹda wọn ni Kafka. Pẹlupẹlu, Kafka ni iṣakoso nipasẹ ẹka miiran. Nitorinaa, o jẹ dandan lati ṣẹda tikẹti kan ki wọn ṣẹda awọn akọle 4 nibẹ fun api kọọkan. Gbogbo eniyan gbagbe nipa rẹ. Ni gbogbogbo, o jẹ idọti ati egbin.
Kí la ṣe lẹ́yìn náà? A firanṣẹ si kafka. Siwaju sii lati Kafka, idaji awọn akọọlẹ fò lọ si Logstash. Awọn miiran idaji awọn àkọọlẹ won pín. Diẹ ninu awọn fò si Graylog kan, diẹ ninu si Graylog miiran. Bi abajade, gbogbo eyi fò sinu iṣupọ Elasticsearch kan. Iyẹn ni, gbogbo idotin yii ṣubu ni ipari nibẹ. O ko ni lati ṣe bẹ!
Eyi ni ohun ti o dabi nigbati o ba wo lati oke. O ko ni lati ṣe bẹ! Nibi, awọn agbegbe iṣoro ti wa ni aami lẹsẹkẹsẹ pẹlu awọn nọmba. Nibẹ ni o wa kosi diẹ ẹ sii ti wọn, ṣugbọn 6 ni o wa gan iṣoro, pẹlu eyi ti nkankan nilo lati ṣee ṣe. Emi yoo sọ nipa wọn lọtọ ni bayi.
Nibi (1,2,3) a kọ awọn faili ati, ni ibamu, awọn rakes mẹta wa nibi ni ẹẹkan.
Akọkọ (1) ni pe a nilo lati kọ wọn si ibikan. Kii ṣe nigbagbogbo wuni lati fun API ni agbara lati kọ taara si faili kan. O jẹ iwunilori pe API wa ni iyasọtọ ninu apo eiyan, ati paapaa dara julọ, pe ki o ka-nikan. Mo jẹ oluṣakoso eto, nitorinaa Mo ni iwo yiyan diẹ diẹ ti nkan wọnyi.
Ojuami keji (2,3) ni pe a ni ọpọlọpọ awọn ibeere ti o nbọ si API. API kọ ọpọlọpọ data si faili kan. Awọn faili ti wa ni dagba. A nilo lati yi wọn pada. Nitori bibẹẹkọ iwọ kii yoo ni anfani lati fipamọ eyikeyi awọn disiki nibẹ. Yiyi wọn jẹ buburu nitori pe wọn ti darí nipasẹ ikarahun si itọsọna kan. Ko si ọna ti a le yi pada. O ko le sọ fun ohun elo naa lati tun awọn ọwọ mu. Nitoripe awọn olupilẹṣẹ yoo wo ọ bi aṣiwere: “Awọn alapejuwe wo? A gbogbo kọ si stdout. Awọn ilana ṣe copytruncate sinu logrotate, eyiti o kan ṣe ẹda faili kan ati awọn ẹhin mọto atilẹba. Nitorinaa, laarin awọn ilana didakọ wọnyi, aaye disk nigbagbogbo n jade.
(4) A ni awọn ọna kika oriṣiriṣi ni awọn API oriṣiriṣi. Wọn yatọ diẹ, ṣugbọn regexp ni lati kọ ni oriṣiriṣi. Niwọn igba ti gbogbo rẹ jẹ iṣakoso nipasẹ Puppet, opo nla ti awọn kilasi wa pẹlu awọn akukọ tiwọn. Pẹlupẹlu, td-oluranlowo ni ọpọlọpọ igba le jẹ iranti, jẹ aṣiwere, o kan le dibọn pe o n ṣiṣẹ ko ṣe nkankan. Ni ita, ko ṣee ṣe lati ni oye pe ko ṣe nkankan. Ti o dara julọ, yoo ṣubu, ati pe ẹnikan yoo gbe e soke nigbamii. Ni deede diẹ sii, itaniji yoo fò sinu, ẹnikan yoo lọ gbe soke pẹlu ọwọ wọn.
(6) Ati awọn julọ idọti ati egbin - o je elasticsearch. Nitori ti o je ohun atijọ ti ikede. Nítorí pé a kò ní ọ̀gá olùfọkànsìn nígbà yẹn. A ni orisirisi awọn igi ti awọn aaye ti o le ni lqkan. Awọn akọọlẹ oriṣiriṣi ti awọn ohun elo oriṣiriṣi le kọ pẹlu awọn orukọ aaye kanna, ṣugbọn ni akoko kanna data oriṣiriṣi le wa ninu. Iyẹn ni, akọọlẹ kan wa pẹlu odidi kan ni aaye kan, fun apẹẹrẹ, ipele. Iwe akọọlẹ miiran wa pẹlu Okun kan ni aaye ipele. Ni aini ti aworan agbaye aimi, iru ohun iyanu kan wa jade. Ti, lẹhin iyipo atọka, ifiranṣẹ kan pẹlu okun de akọkọ ni wiwa elastic, lẹhinna a n gbe ni deede. Ati pe ti akọkọ ba de pẹlu Integer, lẹhinna gbogbo awọn ifiranṣẹ ti o tẹle ti o de pẹlu Okun jẹ asonu nirọrun. Nitoripe iru aaye ko baramu.
A bere ibeere wọnyi. A pinnu lati ma wa awọn ti o jẹbi.
Ṣugbọn nkankan nilo lati ṣee! Ohun ti o han gbangba ni pe a nilo lati fi idi awọn iṣedede mulẹ. A ti ni diẹ ninu awọn iṣedede. Diẹ ninu awọn ti a mu kekere kan nigbamii. Ni Oriire, ọna kika log kan fun gbogbo awọn API ti fọwọsi tẹlẹ ni akoko yẹn. O ti kọ taara sinu awọn ajohunše ibaraenisepo iṣẹ. Nitorinaa, awọn ti o fẹ lati gba awọn akọọlẹ yẹ ki o kọ wọn ni ọna kika yii. Ti ẹnikan ko ba kọ awọn akọọlẹ ni ọna kika yii, lẹhinna a ko ṣe iṣeduro ohunkohun.
Siwaju sii, Emi yoo fẹ lati ni boṣewa kan fun awọn ọna ti gbigbasilẹ, jiṣẹ ati gbigba awọn igbasilẹ. Lootọ, nibo ni lati kọ wọn, ati bii o ṣe le fi wọn ranṣẹ. Awọn bojumu ipo ni nigbati awọn ise agbese lo kanna ìkàwé. Ile-ikawe gedu lọtọ wa fun Go, ile-ikawe lọtọ wa fun PHP. Gbogbo eniyan ti a ni, gbogbo eniyan yẹ ki o lo wọn. Ni akoko yii, Emi yoo sọ pe a n ṣaṣeyọri nipasẹ 80 ogorun. Ṣugbọn diẹ ninu tẹsiwaju lati jẹ cacti.
Ati nibẹ (lori ifaworanhan) “SLA fun ifijiṣẹ log” ti bẹrẹ lati han. Ko wa nibẹ sibẹsibẹ, ṣugbọn a n ṣiṣẹ lori rẹ. Nitoripe o rọrun pupọ nigbati infra ba sọ pe ti o ba kọ ni iru ati iru ọna kika si iru ati iru ibi kan ati pe ko ju awọn ifiranṣẹ N fun iṣẹju kan, lẹhinna a yoo ṣeese julọ nibẹ. O gba ọpọlọpọ awọn efori kuro. Ti SLA ba wa, lẹhinna o kan jẹ nla!
Bawo ni a ṣe bẹrẹ si yanju iṣoro naa? Awọn akọkọ àwárí wà pẹlu td-oluranlowo. O je koyewa ibi ti wa àkọọlẹ lọ. Ṣe wọn jiṣẹ bi? Ṣe wọn nlọ? Nibo ni wọn wa lonakona? Nitorinaa, o pinnu lati rọpo td-aṣoju pẹlu nkan akọkọ. Awọn aṣayan fun kini lati rọpo rẹ, Mo ṣe alaye ni ṣoki nibi.
Fluentd. Ni akọkọ, Mo pade rẹ ni iṣẹ iṣaaju, ati pe o tun ṣubu lorekore nibẹ. Ni ẹẹkeji, eyi jẹ kanna, nikan ni profaili.
filebeat. Bawo ni o ṣe dara fun wa? O daju pe o wa ni Go, ati pe a ni imọran nla ni Go. Gegebi bi, ti o ba ti ohunkohun, a le bakan fi o si ara wa. Ìdí nìyí tí a kò fi gbà á. Ki o ma ba paapaa jẹ idanwo eyikeyi lati bẹrẹ atunṣe fun ararẹ.
Ojutu ti o han gbangba fun sysadmin ni gbogbo iru awọn syslogs ni iwọn yii (syslog-ng/rsyslog/nxlog).
Tabi kọ nkankan ti ara rẹ, sugbon a danu o, bi daradara bi filebeat. Ti o ba kọ nkan, lẹhinna o dara lati kọ nkan ti o wulo fun iṣowo. Lati fi awọn akọọlẹ ranṣẹ, o dara lati mu nkan ti a ti ṣetan.
Nitorinaa, yiyan gangan wa si yiyan laarin syslog-ng ati rsyslog. Mo farabalẹ si rsyslog nirọrun nitori a ti ni awọn kilasi fun rsyslog ni Puppet, ati pe Emi ko rii iyatọ ti o han laarin wọn. Kini syslog, kini syslog. Bẹẹni, diẹ ninu awọn iwe jẹ buru, diẹ ninu awọn dara julọ. O mọ ọna yii, o si ṣe o yatọ.
Ati kekere kan nipa rsyslog. Ni akọkọ, o dara nitori pe o ni ọpọlọpọ awọn modulu. O ni RainerScript ti eniyan le ka (ede iṣeto ni ode oni). Ẹbun oniyi ni pe a le farawe ihuwasi ti aṣoju td pẹlu awọn irinṣẹ boṣewa rẹ, ati pe ko si ohun ti o yipada fun awọn ohun elo. Iyẹn ni, a yipada td-agent si rsyslog, ati pe a ko fi ọwọ kan ohun gbogbo sibẹsibẹ. Ati lẹsẹkẹsẹ a gba ifijiṣẹ ṣiṣẹ. Nigbamii ti, mmnormalize jẹ ohun tutu nipa rsyslog. O faye gba o lati parse àkọọlẹ, sugbon ko pẹlu Grok ati regexp. O ṣe ohun áljẹbrà sintasi igi. O ṣe itupalẹ awọn akọọlẹ ni ọna kanna ti alakojọ ṣe itupalẹ koodu orisun. Eyi n gba ọ laaye lati ṣiṣẹ ni iyara pupọ, jẹun Sipiyu kekere, ati, ni gbogbogbo, o kan jẹ ohun ti o tutu pupọ. Nibẹ ni o wa kan ìdìpọ miiran imoriri. Emi kii yoo gbe lori wọn.
rsyslog ni ọpọlọpọ awọn alailanfani diẹ sii. Wọn ti wa ni nipa kanna bi awọn ajeseku. Awọn iṣoro akọkọ ni pe o nilo lati ni anfani lati ṣe o, ati pe o nilo lati yan ẹya kan.
A pinnu pe a yoo kọ awọn akọọlẹ sinu iho unix kan. Ati pe kii ṣe ni / dev/log, nitori nibẹ ni a ni idotin ti awọn eto eto, iwe-akọọlẹ wa ninu opo gigun ti epo yii. Nitorinaa jẹ ki a kọ si iho aṣa kan. A yoo so o si lọtọ awọn ofin. Jẹ ki a ko dabaru pẹlu ohunkohun. Ohun gbogbo yoo jẹ sihin ati oye. Nitorina a ṣe gangan. Liana pẹlu awọn iho wọnyi jẹ idiwon ati firanṣẹ si gbogbo awọn apoti. Awọn apoti le wo iho ti wọn nilo, ṣii ati kọ si.
Kilode ti kii ṣe faili kan? Nitoripe gbogbo eniyan ti ka , eyiti o gbiyanju lati dari faili naa si docker, o si rii pe lẹhin ti o tun bẹrẹ rsyslog, oluṣapejuwe faili naa yipada, ati docker padanu faili yii. O tun ṣii nkan miiran, ṣugbọn kii ṣe iho kanna nibiti wọn ti kọ. A pinnu pe a yoo fori iṣoro yii, ati, ni akoko kanna, fori iṣoro idinamọ naa.
Rsyslog ṣe awọn iṣe itọkasi lori ifaworanhan ati firanṣẹ awọn akọọlẹ si boya yii tabi Kafka. Kafka tẹle ọna atijọ. Rayleigh - Mo gbiyanju lati lo rsyslog mimọ lati fi awọn akọọlẹ ranṣẹ. Laisi Ifiranṣẹ Queue, lilo awọn irinṣẹ rsyslog boṣewa. Ni ipilẹ, o ṣiṣẹ.
Ṣugbọn awọn nuances wa pẹlu bii o ṣe le ṣe nkan wọn nigbamii si apakan yii (Logstash/Graylog/ES). Apa yii (rsyslog-rsyslog) ni a lo laarin awọn aaye data. Eyi ni ọna asopọ tcp fisinuirindigbindigbin, eyiti o fun ọ laaye lati ṣafipamọ bandiwidi ati, ni ibamu, bakan o ṣeeṣe pe a yoo gba diẹ ninu awọn igbasilẹ lati ile-iṣẹ data miiran nigbati ikanni ba kun. Nitoripe a ni Indonesia, nibiti ohun gbogbo ti buru. Iyẹn ni ibi ti iṣoro igbagbogbo wa.
A ronu nipa bawo ni a ṣe n ṣe abojuto gangan, pẹlu iṣeeṣe wo ni awọn akọọlẹ ti a gbasilẹ lati ohun elo naa de opin yẹn? A pinnu lati bẹrẹ awọn metiriki. Rsyslog ni module gbigba awọn iṣiro tirẹ, eyiti o ni iru awọn iṣiro kan. Fun apẹẹrẹ, o le fihan ọ iwọn ti isinyi, tabi melo ni awọn ifiranṣẹ ti o wa fun iru ati iru iṣe. O le ti gba nkankan lati ọdọ wọn. Pẹlupẹlu, o ni awọn iṣiro aṣa ti o le tunto, ati pe yoo fihan ọ, fun apẹẹrẹ, nọmba awọn ifiranṣẹ ti diẹ ninu API ti gbasilẹ. Nigbamii ti, Mo kowe rsyslog_exporter ni Python, ati pe a firanṣẹ gbogbo rẹ si Prometheus ati gbìmọ. A fẹ gaan awọn metiriki Graylog, ṣugbọn titi di isisiyi a ko ni akoko lati ṣeto wọn.
Kini awọn iṣoro naa? Iṣoro naa dide pẹlu otitọ pe a rii (Lojiji!) Pe awọn API Live wa kọ awọn ifiranṣẹ 50k fun iṣẹju kan. Eyi jẹ API Live nikan laisi iṣeto. Ati Graylog nikan fihan wa 12 ẹgbẹrun awọn ifiranṣẹ fun iṣẹju kan. Ìbéèrè tó bọ́gbọ́n mu sì dìde, ibo ni àwọn àṣẹ́kù náà wà? Lati eyiti a pari pe Graylog nìkan ko le farada. A wo, ati, nitootọ, Graylog pẹlu Elasticsearch ko ṣakoso sisan yii.
Nigbamii, awọn awari miiran ti a ti ṣe ni ọna.
Awọn kikọ si iho ti wa ni dina. Bawo ni o ṣe ṣẹlẹ? Nigbati mo lo rsyslog fun ifijiṣẹ, ni aaye kan a fọ ikanni laarin awọn ile-iṣẹ data. Ifijiṣẹ dide ni ibi kan, ifijiṣẹ dide ni aye miiran. Gbogbo eyi ti sọkalẹ si ẹrọ pẹlu awọn API ti o kọ si iho rsyslog. Ti isinyi wa. Lẹhinna isinyi fun kikọ si iho unix ti kun, eyiti nipasẹ aiyipada jẹ awọn apo-iwe 128. Ati kikọ atẹle () ninu awọn bulọọki ohun elo. Nigba ti a ba wo ile-ikawe ti a lo ninu awọn ohun elo Go, a ti kọ ọ nibẹ pe kikọ si iho naa waye ni ipo ti kii ṣe idinamọ. A ni idaniloju pe ko si ohun ti o dina. Nitoripe a ti ka ti o kowe nipa o. Ṣugbọn iṣẹju kan wa. Loop ailopin tun wa ni ayika ipe yii, ninu eyiti igbiyanju igbagbogbo wa lati Titari ifiranṣẹ kan sinu iho. A ko ṣe akiyesi rẹ. Mo ni lati tun awọn ìkàwé. Lati igbanna, o ti yipada ni igba pupọ, ṣugbọn ni bayi a ti yọ awọn titiipa kuro ni gbogbo awọn eto abẹlẹ. Nitorinaa, o le da rsyslog duro ati pe ko si ohun ti yoo ṣubu.
O jẹ dandan lati ṣe atẹle iwọn awọn ila, eyiti o ṣe iranlọwọ lati ma tẹ lori rake yii. Ni akọkọ, a le ṣe atẹle nigba ti a bẹrẹ lati padanu awọn ifiranṣẹ. Ni ẹẹkeji, a le ṣe atẹle pe a ni ipilẹ awọn iṣoro pẹlu ifijiṣẹ.
Ati akoko miiran ti ko dun - imudara nipasẹ awọn akoko 10 ni faaji microservice jẹ irọrun pupọ. A ko ni ọpọlọpọ awọn ibeere ti nwọle, ṣugbọn nitori iyaworan pẹlu eyiti awọn ifiranṣẹ wọnyi n ṣiṣẹ siwaju, nitori awọn iwe iwọle, a mu ẹru lori awọn akọọlẹ pọ si ni iwọn igba mẹwa. Laanu, Emi ko ni akoko lati ṣe iṣiro awọn nọmba gangan, ṣugbọn awọn microservices jẹ ohun ti wọn jẹ. Eyi gbọdọ wa ni iranti. O wa ni pe ni akoko ti eto ikojọpọ log jẹ ti kojọpọ julọ ni Lazada.
Bawo ni lati yanju iṣoro elasticsearch? Ti o ba nilo lati yara gba awọn akọọlẹ ni aaye kan, ki o má ba ṣiṣẹ kọja gbogbo awọn ẹrọ ati gba wọn nibẹ, lo ibi ipamọ faili. Eyi ni idaniloju lati ṣiṣẹ. O ti ṣe lati eyikeyi olupin. O kan nilo lati Stick awọn disiki nibẹ ki o si fi syslog. Lẹhin iyẹn, o ni idaniloju lati ni gbogbo awọn akọọlẹ ni aaye kan. Lẹhinna o yoo ṣee ṣe lati tunto elasticsearch laiyara, greylog, tabi nkan miiran. Ṣugbọn iwọ yoo ti ni gbogbo awọn akọọlẹ tẹlẹ, ati pe, pẹlupẹlu, o le fipamọ wọn, niwọn bi o ti jẹ pe awọn akopọ disiki to wa.
Ni akoko ijabọ mi, ero naa bẹrẹ si dabi eleyi. A ṣe adaṣe duro kikọ si faili naa. Bayi, o ṣeese, a yoo pa awọn iyokù. Lori awọn ẹrọ agbegbe ti nṣiṣẹ API, a yoo da kikọ si awọn faili duro. Ni akọkọ, ibi ipamọ faili wa, eyiti o ṣiṣẹ daradara. Ni ẹẹkeji, awọn ẹrọ wọnyi nṣiṣẹ ni aaye nigbagbogbo, o nilo lati ṣe atẹle nigbagbogbo.
Apakan yii pẹlu Logstash ati Graylog, o ga gaan. Nitorina, o nilo lati yọ kuro. O ni lati yan ọkan.
A pinnu lati ju Logstash ati Kibana silẹ. Nitoripe a ni ẹka aabo. Kini asopọ naa? Asopọmọra ni pe Kibana laisi X-Pack ati laisi Shield ko gba ọ laaye lati ṣe iyatọ awọn ẹtọ wiwọle si awọn akọọlẹ. Nitorina, nwọn si mu Graylog. O ni gbogbo rẹ. Emi ko fẹran rẹ, ṣugbọn o ṣiṣẹ. A ra ohun elo tuntun, fi sori ẹrọ Graylog tuntun nibẹ, ati gbe gbogbo awọn akọọlẹ pẹlu awọn ọna kika ti o muna si Graylog lọtọ. A ti yanju iṣoro naa pẹlu awọn oriṣiriṣi oriṣiriṣi ti awọn aaye kanna ni iṣeto.
Kini gangan wa ninu Graylog tuntun. A kan kọ ohun gbogbo ni docker. A mu opo kan ti awọn olupin, yiyi awọn iṣẹlẹ Kafka mẹta, ẹya olupin Graylog 7 2.3 (nitori Mo fẹ ẹya Elasticsearch 5). Gbogbo eyi ni a gbe dide lori awọn igbogun ti HDD. A rii oṣuwọn atọka ti o to 100 ẹgbẹrun awọn ifiranṣẹ fun iṣẹju kan. A rii nọmba naa pe terabytes 140 ti data ni ọsẹ kan.
Ati lẹẹkansi a àwárí! A ni meji tita bọ soke. A ti gbe kọja 6 million posts. A Graylog ko ni akoko lati jẹ. Bakan o ni lati ye lẹẹkansi.
Eyi ni bi a ṣe ye. Ṣe afikun awọn olupin diẹ sii ati awọn SSDs. Ni akoko ti a n gbe bi eleyi. Bayi a ti n jẹ awọn ifiranṣẹ 160k tẹlẹ fun iṣẹju kan. A ko tii opin sibẹsibẹ, nitorinaa ko ṣe akiyesi iye ti a le jade ni otitọ.
Iwọnyi ni awọn ero wa fun ọjọ iwaju. Ninu iwọnyi, looto, pataki julọ ni boya wiwa giga. A ko ni sibẹsibẹ. Awọn ọkọ ayọkẹlẹ pupọ ti ṣeto ni ọna kanna, ṣugbọn titi di isisiyi ohun gbogbo n lọ nipasẹ ọkọ ayọkẹlẹ kan. O jẹ dandan lati lo akoko lati ṣeto ikuna laarin wọn.
Gba awọn metiriki lati Graylog.
Ṣe opin oṣuwọn ki a ni API irikuri kan ti ko pa bandiwidi wa ati ohun gbogbo miiran.
Ati nikẹhin, fowo si iru SLA pẹlu awọn olupilẹṣẹ ki a le sin pupọ yẹn. Ti o ba kọ diẹ sii, lẹhinna binu.
Ki o si kọ iwe.
Ni ṣoki, awọn abajade ti ohun gbogbo ti a ti ni iriri. Ni akọkọ, awọn ajohunše. Keji, syslog jẹ akara oyinbo. Ni ẹkẹta, rsyslog ṣiṣẹ gangan bi a ti kọ ọ lori ifaworanhan. Ati pe jẹ ki a lọ si awọn ibeere.
Awọn ibeere.
Ibeere rẹ: Kilode ti wọn pinnu lati ma mu ... (filebeat?)
Idahun: Nilo lati kọ si faili kan. Emi ko fẹ gaan. Nigbati API rẹ ba kọ ẹgbẹẹgbẹrun awọn ifiranṣẹ fun iṣẹju kan, paapaa ti o ba n yi lẹẹkan ni wakati kan, eyi kii ṣe aṣayan. O le kọ si paipu. Si eyiti awọn olupilẹṣẹ beere lọwọ mi: “Kini yoo ṣẹlẹ ti ilana ti a kọ ba ṣubu”? Mo ti o kan ko ri ohun ti lati dahun wọn, o si wipe: "Daradara, ok, jẹ ki ká ko se pe."
Ibeere rẹ: Kilode ti o ko kan kọ awọn akọọlẹ si HDFS?
IdahunA: Eyi ni ipele ti o tẹle. A ronu nipa rẹ ni ibẹrẹ, ṣugbọn nitori pe ko si awọn orisun lati koju rẹ ni akoko yii, o duro ni ojutu igba pipẹ wa.
Ibeere rẹ: A iwe kika yoo jẹ diẹ yẹ.
Idahun: O ye mi. A jẹ "fun" pẹlu ọwọ mejeeji.
Ibeere rẹ: O kọ si rsyslog. Mejeeji TCP ati UDP wa nibẹ. Ṣugbọn ti UDP, lẹhinna bawo ni o ṣe ṣe iṣeduro ifijiṣẹ?
IdahunA: Ojuami meji lo wa. Ni akọkọ, Mo sọ fun gbogbo eniyan lẹsẹkẹsẹ pe a ko ṣe iṣeduro ifijiṣẹ awọn akọọlẹ. Nitori nigbati awọn Difelopa wá ki o si wipe: "Jẹ ki a bẹrẹ kikọ owo data nibẹ, ati awọn ti o yoo fi o ibikan fun wa ni irú ohun ti o ṣẹlẹ,"A dahun wọn, "Nla! Jẹ ká bẹrẹ ìdènà on kikọ si iho , ki o si ṣe ni lẹkọ, ki o ti wa ni ẹri a fi sinu iho fun a rii daju wipe a gba o lati miiran apa. Ati ni akoko yii, gbogbo eniyan lẹsẹkẹsẹ di ko wulo. Ati pe ti kii ba ṣe bẹ, lẹhinna awọn ibeere wo ni a ni? Ti o ko ba fẹ ṣe iṣeduro kikọ si iho, kilode ti a yoo ṣe iṣeduro ifijiṣẹ? A n ṣe igbiyanju ti o dara julọ. A gan gbiyanju a fi bi Elo bi o ti ṣee ati bi ti o dara ju bi o ti ṣee, sugbon a ko fun a lopolopo 100%. Nitorinaa, o ko nilo lati kọ data inawo nibẹ. Awọn apoti isura infomesonu idunadura wa fun eyi.
Ibeere rẹ: Nigbati API ṣe agbejade ifiranṣẹ kan si log ati gbigbe iṣakoso si awọn iṣẹ microservices, ṣe o ti pade iṣoro ti awọn ifiranṣẹ lati oriṣiriṣi awọn iṣẹ microservices de ni ilana ti ko tọ? Nitori eyi, iporuru dide.
IdahunA: O jẹ deede pe wọn wa ni ilana ti o yatọ. O ni lati ṣetan fun eyi. Nitori ifijiṣẹ nẹtiwọki eyikeyi ko ṣe iṣeduro aṣẹ fun ọ, tabi o nilo lati lo awọn orisun pataki lori eyi. Ti a ba mu awọn ibi ipamọ faili, lẹhinna API kọọkan ṣafipamọ awọn akọọlẹ si faili tirẹ. Dipo, rsyslog sọ wọn di awọn ilana ti o wa nibẹ. API kọ̀ọ̀kan ní àwọn àkọọ́lẹ̀ tirẹ̀ níbẹ̀, níbi tí o ti lè lọ wo, lẹ́yìn náà o lè fi wọ́n wé lílo àmì àkókò inú àkọọ́lẹ̀ yìí. Ti wọn ba lọ wo Graylog, lẹhinna nibẹ ni wọn yoo ṣe lẹsẹsẹ nipasẹ timestamp. Ohun gbogbo yoo dara nibẹ.
Ibeere rẹ: Timetamp le yatọ nipasẹ milliseconds.
Idahun: Awọn timestamp ti wa ni ipilẹṣẹ nipasẹ API funrararẹ. Eyi, ni otitọ, ni gbogbo aaye. A ni NTP. API n ṣe agbejade aami akoko kan tẹlẹ ninu ifiranṣẹ funrararẹ. Ko ṣe afikun nipasẹ rsyslog.
Ibeere rẹ: Ibaraṣepọ laarin awọn ile-iṣẹ data ko han gbangba. Laarin ilana ti ile-iṣẹ data, o han gedegbe bi a ṣe gba awọn igbasilẹ ati ilana. Bawo ni ibaraenisepo laarin awọn ile-iṣẹ data? Tabi ile-iṣẹ data kọọkan n gbe igbesi aye tirẹ?
Idahun: Fere. A ni orilẹ-ede kọọkan ti o wa ni ile-iṣẹ data kan. A ko ni itankale lọwọlọwọ, nitorinaa orilẹ-ede kan ni a gbe si awọn ile-iṣẹ data oriṣiriṣi. Nitorina, ko si ye lati darapo wọn. Inu ile-iṣẹ kọọkan wa Log Relay. Eyi jẹ olupin Rsyslog. Ni otitọ, awọn ẹrọ iṣakoso meji. Wọn ti ṣeto ni ọna kanna. Ṣugbọn fun bayi, ijabọ kan lọ nipasẹ ọkan ninu wọn. O ṣe igbasilẹ ohun gbogbo ni apapọ. O ni isinyi disk kan ni irú. O tẹ awọn akọọlẹ naa o si fi wọn ranṣẹ si aarin data aarin (Singapore), nibiti wọn ti jẹ majele tẹlẹ ni Graylog. Ati ile-iṣẹ data kọọkan ni ibi ipamọ faili tirẹ. Ni irú ti a padanu asopọ, a ni gbogbo awọn àkọọlẹ nibẹ. Wọn yoo duro nibẹ. Wọn yoo wa ni ipamọ nibẹ.
Ibeere rẹ: Ṣe o gba awọn akọọlẹ lati ibẹ lakoko awọn ipo ajeji?
Idahun: O le lọ sibẹ (si ibi ipamọ faili) ki o wo.
Ibeere rẹ: Bawo ni o ṣe atẹle pe o ko padanu awọn akọọlẹ?
Idahun: A n padanu wọn gangan, ati pe a n ṣe abojuto rẹ. Abojuto bẹrẹ ni oṣu kan sẹhin. Ile-ikawe ti awọn Go API nlo ni awọn metiriki. O le ka iye igba ti o kuna lati kọ si iho. Nibẹ ni akoko ti ẹtan heuristic kan wa. Ifipamọ wa nibẹ. O gbiyanju lati kọ ifiranṣẹ lati inu rẹ si iho. Ti ifipamọ ba ṣan, o bẹrẹ sisọ wọn silẹ. Ati pe o ka iye melo ti o sọ wọn silẹ. Ti o ba ti awọn counter bẹrẹ lati àkúnwọsílẹ nibẹ, a yoo mọ nipa o. Wọn ti wa ni bayi tun wa si prometheus, ati pe o le wo awọn aworan ni Grafana. O le ṣeto awọn titaniji. Ṣugbọn ko tii han ẹni ti yoo fi wọn ranṣẹ si.
Ibeere rẹ: Ni elasticsearch, o tọju awọn akọọlẹ pẹlu apọju. Awọn ẹda melo ni o ni?
Idahun: Ọkan ajọra.
Ibeere rẹ: Se ila kan lasan ni?
Idahun: Eyi ni oluwa ati ẹda. Awọn data ti wa ni ipamọ ni pidánpidán.
Ibeere rẹ: Ṣe o tweak iwọn ti ifipamọ rsyslog bakan?
Idahun: A kọ datagrams si a aṣa unix iho. Eyi lẹsẹkẹsẹ fa aropin ti 128 kilobytes lori wa. A ko le kọ diẹ sii sinu rẹ. A ti kọ eyi sinu boṣewa. Ti o fẹ lati gba sinu ibi ipamọ, nwọn kọ 128 kilobytes. Awọn ile-ikawe, pẹlupẹlu, ge kuro, ki o si fi asia kan ti a ge ifiranṣẹ naa kuro. A ni aaye pataki kan ni boṣewa ti ifiranṣẹ funrararẹ, eyiti o fihan boya o ti ge nigba gbigbasilẹ tabi rara. Nitorinaa a ni aye lati tọpa akoko yii.
Ibeere: Ṣe o kọ baje JSON?
Idahun: JSON ti o bajẹ yoo jẹ asonu boya lakoko isọdọtun nitori apo-iwe naa tobi ju. Tabi Graylog yoo ju silẹ, nitori kii yoo ni anfani lati ṣe itupalẹ JSON. Ṣugbọn awọn nuances wa nibi ti o nilo lati wa titi, ati pe wọn so pọ julọ si rsyslog. Mo ti kun tẹlẹ ni ọrọ diẹ nibẹ, eyiti o tun nilo lati ṣiṣẹ lori.
Ibeere: Kí nìdí Kafka? Njẹ o ti gbiyanju RabbitMQ? Graylog ko ni fi soke labẹ iru èyà?
Idahun: Ko ṣiṣẹ pẹlu Graylog. Ati pe Graylog n ṣe apẹrẹ. O jẹ iṣoro pupọ fun u. O jẹ iru nkan kan. Ati, ni otitọ, ko nilo. Emi yoo kuku kọ lati rsyslog taara si elasticsearch ati lẹhinna wo Kibana. Ṣugbọn a nilo lati yanju ọrọ naa pẹlu awọn oluso aabo. Eyi jẹ iyatọ ti o ṣeeṣe ti idagbasoke wa nigba ti a ba ju Graylog jade ati lo Kibana. Logstash kii yoo ni oye. Nitoripe MO le ṣe kanna pẹlu rsyslog. Ati pe o ni module lati kọ si elasticsearch. Pẹlu Graylog a n gbiyanju lati gbe bakan. A ani tweaked o kan bit. Ṣugbọn aaye ṣi wa fun ilọsiwaju.
Nipa Kafka. Bi o ṣe ṣẹlẹ ni itan-akọọlẹ niyẹn. Nígbà tí mo débẹ̀, ó ti wà níbẹ̀ tẹ́lẹ̀, wọ́n sì ti ń kọ àwọn pákó sí i. A ṣẹṣẹ gbe iṣupọ wa soke a si gbe awọn igi sinu rẹ. A ṣakoso rẹ, a mọ bi o ṣe lero. Bi fun RabbitMQ... a n ni wahala pẹlu RabbitMQ. Ati RabbitMQ n dagba fun wa. A ni o ni gbóògì, ati nibẹ wà awọn iṣoro pẹlu ti o. Bayi, ṣaaju ki o to tita, o yoo wa ni shamanized, ati awọn ti o yoo bẹrẹ lati sise deede. Ṣugbọn ṣaaju iyẹn, Emi ko ṣetan lati tu silẹ sinu iṣelọpọ. Ojuami kan wa. Graylog le ka AMQP 0.9 ẹya ati rsyslog le kọ AMQP 1.0 version. Ati pe ko si ojutu kan ti o le ṣe mejeeji ni aarin. Nibẹ ni boya ọkan tabi awọn miiran. Nitorina fun bayi nikan Kafka. Ṣugbọn awọn nuances tun wa. Nitoripe omkafka ti ikede rsyslog ti a lo le padanu gbogbo ifipamọ ifiranṣẹ ti o ṣabọ lati rsyslog. Niwọn igba ti a ba farada pẹlu rẹ.
Ibeere: Ṣe o nlo Kafka nitori pe o ni? Ko lo fun idi miiran?
Idahun: Kafka, eyi ti a ti lo nipasẹ awọn Data Science egbe. Eyi jẹ iṣẹ akanṣe ti o yatọ patapata, nipa eyiti Emi, laanu, ko le sọ ohunkohun. N ko mo. O ti wa ni ṣiṣe nipasẹ awọn Data Science egbe. Nigbati awọn akọọlẹ bẹrẹ, wọn pinnu lati lo, ki wọn má ba fi tiwọn si. Bayi a ti ṣe imudojuiwọn Graylog, ati pe a ti padanu ibamu, nitori ẹya atijọ ti Kafka wa. A ni lati ṣe tiwa. Ni akoko kanna, a yọkuro awọn koko-ọrọ mẹrin wọnyi fun API kọọkan. A ṣe oke nla kan fun gbogbo igbesi aye, oke fife kan fun gbogbo awọn ipele ati pe a kan iyaworan ohun gbogbo nibẹ. Graylog rakes gbogbo eyi jade ni afiwe.
Ibeere: Kini idi ti a nilo shamanism yii pẹlu awọn iho? Njẹ o ti gbiyanju lilo awakọ log syslog fun awọn apoti.
Idahun: Ni akoko ti a beere ibeere yii, a ni awọn ibatan aiṣan pẹlu docker. O jẹ docker 1.0 tabi 0.9. Docker ara je isokuso. Ni ẹẹkeji, ti o ba tun sọ awọn akọọlẹ sinu rẹ ... Mo ni ifura ti ko ni idaniloju pe o kọja gbogbo awọn akọọlẹ nipasẹ ararẹ, nipasẹ docker daemon. Ti a ba ni API kan ti o nṣiwere, lẹhinna awọn API iyokù yoo ṣiṣẹ sinu otitọ pe wọn ko le firanṣẹ stdout ati stderr. Emi ko mọ ibiti eyi yoo yorisi. Mo ni ifura ni ipele ti rilara pe ko ṣe pataki lati lo awakọ docker syslog ni aaye yii. Ẹka idanwo iṣẹ wa ni iṣupọ Graylog tirẹ pẹlu awọn akọọlẹ. Wọn lo awọn awakọ log docker ati pe ohun gbogbo dabi pe o dara nibẹ. Ṣugbọn wọn kọ GELF lẹsẹkẹsẹ si Graylog. Ni akoko ti a bẹrẹ gbogbo eyi, a nilo rẹ lati ṣiṣẹ nikan. Boya nigbamii, nigbati ẹnikan ba wa ti o sọ pe o ti ṣiṣẹ deede fun ọgọrun ọdun, a yoo gbiyanju.
Ibeere: O ṣe ifijiṣẹ laarin awọn ile-iṣẹ data nipa lilo rsyslog. Kilode ti kii ṣe lori Kafka?
Idahun: A ṣe eyi, ati pe eyi ni bii o ṣe jẹ gaan. Fun idi meji. Ti ikanni naa ba ti ku patapata, lẹhinna gbogbo awọn akọọlẹ wa, paapaa ni fọọmu fisinuirindigbindigbin, kii yoo gun nipasẹ rẹ. Ati kafka gba wọn laaye lati padanu ninu ilana naa. Ni ọna yii, a yọkuro ti awọn igi ti awọn igi wọnyi. A kan lo Kafka ninu ọran yii taara. Ti a ba ni ikanni to dara ati pe o fẹ lati gba laaye, lẹhinna a lo rsyslog wọn. Ṣugbọn ni otitọ, o le ṣeto rẹ ki o ṣubu ohun ti ko gba. Ni akoko ti a kan lilo rsyslog ifijiṣẹ taara ibikan, ibikan Kafka.
orisun: www.habr.com