He wahanga nui nga pororakau o te punaha, kia mohio koe kei te mahi (kaore ranei e mahi ana) i runga i te tumanako. I roto i te hoahoanga ratonga moroiti, ko te mahi me nga rakau ka noho hei ako motuhake mo tetahi Olympiad motuhake. He maha nga patai me whakatau i te wa kotahi:
- me pehea te tuhi i nga raarangi mai i tetahi tono;
- kei hea te tuhi i nga raarangi;
- me pehea te tuku rakau mo te rokiroki me te tukatuka;
- me pehea te tukatuka me te penapena i nga raarangi.
Ko te whakamahi i nga hangarau whakaurunga rongonui i tenei wa ka taapiri i te kirikiri ki runga ake o te rake ki te waahi o nga whiringa hei whakaoti rapanga.
Koinei tonu te tuhinga o te purongo a Yuri Bushmelev "Map of rakes in the field of collecting and delivering logs" is about.
Mo te hunga e hiahia ana, tirohia te ngeru.
Ko Yuri Bushmelev toku ingoa. Kei te mahi ahau i Lazada. I tenei ra ka korero ahau mo te hanga i a matou rakau, me pehea te kohi, me nga mea ka tuhia ki reira.
No hea tatou? Ko wai tatou? Ko Lazada te tauhokohoko tuihono nama tuatahi i nga whenua e ono i te tonga o Ahia. Ko enei whenua katoa ka tohatohahia ki o maatau pokapū raraunga. I tenei wa e 1 nga pokapū raraunga katoa. He aha te mea nui? No te mea ko etahi o nga whakatau i puta mai i te mea he hononga ngoikore rawa i waenganui i nga pokapu. He hoahoanga ratonga moroiti. I miharo ahau ki te kite kua 4 nga ratonga miihini. I taku tiimata i te mahi me nga raarangi, he 80 noa iho o raatau. I tua atu he waahanga nui o te PHP tuku iho, me noho ano e au me te manawanui. Ko enei katoa ka whakaputa neke atu i te 20 miriona nga karere mo ia meneti mo te punaha katoa. Ka whai ake ahau ka whakaatu pehea tatou e ngana ana ki te noho me tenei, me te aha i penei ai.
Me noho koe me enei 6 miriona karere. Me aha tatou ki a ratou? 6 miriona nga karere e hiahia ana koe:
- tuku mai i te taupānga
- whakaae mo te tuku
- tuku mo te tātari me te rokiroki.
- ki te tātari
- penapena te ahua.
I te wa e toru miriona nga karere ka puta, he rite tonu taku titiro. No te mea i timata matou me etahi pene. E marama ana kua tuhia nga raarangi tono ki reira. Hei tauira, kare e taea e au te hono atu ki te putunga korero, i taea e au te hono atu ki te paataka korero engari kaore au i kaha ki te panui i tetahi mea. Engari i tua atu i tenei, ka tuhia e ia o a maatau ratonga miihini he raarangi uru. Ko nga tono katoa ka tae mai ki te microservice ka tuhia ki te raarangi. He aha tatou i penei ai? Kei te hiahia nga kaiwhakawhanake kia kaha ki te whai. Kei ia rangitaki urunga he mara tohu, ma te whakamahi i tetahi atanga motuhake ka wetewete i te mekameka katoa me te whakaatu ataahua i te tohu. Ko te tohu e whakaatu ana i pehea te haere o te tono, a ka awhina tenei i o maatau kaiwhakawhanake ki te mahi tere i nga para kore mohio.
Me pehea te noho me tenei? Inaianei ka korero poto ahau mo nga whiringa - me pehea te whakatau i tenei raru. Me pehea te whakaoti rapanga o te kohi, te tuku me te penapena rakau.
Me pehea te tuhi mai i te tono? E marama ana he rereke nga huarahi. Ina koa, he mahi tino pai, e kii mai ana o taatau hoa huatau. E rua nga momo kura tawhito, e ai ki nga korero a o matou koroua. He huarahi ke atu.
He rite tonu te ahua o te kohikohi rakau. He iti noa nga whiringa hei whakaoti i tenei waahanga. He maha noa atu, engari kaore ano kia maha.
Engari me te tuku me te tātaritanga o muri mai, ka timata te pahū o te maha o nga rereketanga. Kaore au e whakaahua i ia whiringa inaianei. Ki taku whakaaro ko nga whiringa matua e mohiotia ana e nga tangata katoa e aro ana ki te kaupapa.
Maku e whakaatu ki a koe me pehea ta maatau mahi i Lazada, me pehea te tiimata o te katoa.
He tau ki muri ka tae mai ahau ki Lazada, ka tukuna ahau ki tetahi kaupapa mo nga rakau. Ko tetahi mea penei. I tuhia te rangitaki tono ki stdout me stderr. I mahia nga mea katoa i runga i te ahua huatau. Engari ka peia e nga kaiwhakawhanake mai i nga rerenga paerewa, katahi ano ka maarama nga tohungatanga hanganga. I waenga i nga tohungatanga hangahanga me nga kaiwhakawhanake, kei reira ano nga kaiwhakaputa i kii: "uh... pai, me takai noa ki roto i te konae me te anga, ka mutu." A, i te mea kei roto katoa enei mea i roto i te ipu, ka takaia e ratou ki roto tonu i te ipu, ka mapi i te pukapuka ki roto ka whakatakotoria ki reira. Ki taku whakaaro he tino marama ki nga tangata katoa nga mea i puta mai.
Kia titiro atu tatou mo tenei wa. I pehea ta matou tuku i enei raarangi? I whiriwhiria e tetahi td-agent, he tino matatau, engari kaore i te tino matatau. Kaore ano au i te mohio ki te hononga i waenga i enei kaupapa e rua, engari he rite tonu te ahua. A ko tenei tino mohio, i tuhia ki Ruby, panui i nga konae raarangi, ka tohatoha ki a JSON ma te whakamahi i etahi momo tikanga. Na ka tonoa e ahau ki a Kafka. Ano, i Kafka e 4 nga kaupapa motuhake mo ia API. He aha te 4? No te mea he ora, kei reira he mahi whakaari, a, he stdout me te stderr. Ka hangaia e nga kaiwhakawhanake, me hanga e nga kaiwhakawhanake hanganga ki Kafka. I tua atu, i whakahaerehia a Kafka e tetahi atu tari. No reira, me hanga he tikiti kia hanga e ratou nga kaupapa e 4 mo ia api. Kua wareware nga tangata katoa. I te nuinga o te waa, he para me te ngangau.
I aha tatou i muri mai ki tenei? I tukuna e matou ki Kafka. Na ka rere te haurua o nga rakau mai i Kafka ki Logstash. Ko te haurua o nga rakau i wehewehea. Ko etahi i rere ki tetahi Graylog, etahi ki tetahi Graylog. Ko te mutunga mai, ka uru katoa enei ki roto i te roopu Elasticsearch kotahi. Arā, ka mutu katoa enei raruraru ki reira. Kaua e pena!
He penei te ahua ki te titiro mai i runga. Kaua e pena! I konei ka tohua nga waahi raruraru ki nga nama. He maha ake o ratou, engari 6 he tino raruraru me mahi tetahi mea. Ka korero motuhake ahau ki a koe inaianei.
I konei (1,2,3) ka tuhia e matou nga konae, a, na reira, e toru nga rake i konei i te wa kotahi.
Ko te tuatahi (1) me tuhi ki tetahi wahi. Kaore e pai ki te hoatu ki te API te kaha ki te tuhi tika ki tetahi konae. Ko te hiahia kia wehea te API ki roto i te ipu, pai ake ranei, kia panui-anake. He kaiwhakahaere punaha ahau, no reira he ahua rereke taku mo enei mea.
Ko te tohu tuarua (2,3) he maha nga tono ka tae mai ki te API. Ka tuhia e te API te maha o nga raraunga ki tetahi konae. Kei te tipu haere nga konae. Me huri tatou i a raatau. Na te mea ka kore e taea e koe te penapena i runga i nga kopae kei reira. He kino te huri i a raatau na te mea i mahia ma te huri i te anga ki te raarangi. Kaore he huarahi e taea ai e tatou te whakahou. Kaore e taea e koe te kii ki te tono kia whakatuwhera ano nga kakau. Na te mea ka titiro nga kaiwhakawhanake ki a koe ano he poauau koe: "He aha nga kaiwhakaahua? Ka tuhi matou ki a stdout.” I hangaia e nga kaiwhakawhanake hangahanga he kape kape ki te takiuru, ka mahia he kape o te konae me te tuhi i te taketake. Na reira, i waenganui i enei mahinga kape ka pau te mokowā kōpae.
(4) He rereke nga whakatakotoranga i roto i nga API rereke. He paku rereke, engari me tuhi rereke te regexp. I te mea na te Puppet enei katoa i whakahaere, he maha nga karaehe me o ratou ake mokowhiti. I tua atu, ko te nuinga o nga wa ka taea e td-agent te kai mahara, he poauau, ka taea e ia te kii kei te mahi me te kore e mahi. Mai i waho kaore e taea te mohio kaore ia e mahi. Ko te mea pai, ka hinga ia, ka tikina ake e tetahi i muri mai. Ko te mea tika, ka tae mai he matohi, ka haere tetahi ki te whakaara i o ringaringa.
(6) Ko te nuinga o nga para me nga para ko te elasticsearch. Na te mea he putanga tawhito. No te mea karekau he rangatira i whakatapua i tera wa. He rakau rereke ta matou ka taea te inaki te mara. Ka taea te tuhi i nga raarangi rereke mai i nga tono rereke me nga ingoa mara kotahi, engari he rereke nga raraunga kei roto. Arā, kotahi te rākau ka tae mai me te Integer i te mara, hei tauira, taumata. Ko tetahi atu rangitaki ka tae mai me te String i te mara taumata. I te kore o te mapi pateko, he mea whakamiharo tenei. Mena, i muri i te hurihanga o te taupū i roto i te elasticsearch, ka tae tuatahi mai he karere whai aho, katahi ka noho noa tatou. Engari ki te tae mai te mea tuatahi mai i te Integer, ko nga karere katoa o muri mai i tae mai i te String ka maka noa. No te mea karekau te momo mara e rite.
I timata matou ki te patai i enei patai. I whakatau matou kia kaua e rapu i te hunga hei he.
Engari me mahi tetahi mea! Ko te mea e kitea ana me whakatuu nga paerewa. I a maatau etahi paerewa. I timata matou i etahi wa iti nei. Waimarie, ko te whakatakotoranga rangitaki kotahi mo nga API katoa kua whakaaetia i tera wa. Kua tuhia tika ki nga paerewa mo te taunekeneke i waenga i nga ratonga. No reira, ko te hunga e hiahia ana ki te tango i nga raarangi me tuhi ki tenei whakatakotoranga. Ki te kore tetahi e tuhi i nga raarangi ki tenei whakatakotoranga, karekau matou e kii i tetahi mea.
I muri mai, ka hiahia ahau ki te hanga i tetahi paerewa whakakotahi mo nga tikanga o te tuhi, te tuku me te kohi rakau. Inaa, kei hea te tuhi, me pehea te tuku. Ko te ahuatanga pai ko te wa e whakamahia ana e nga kaupapa te whare pukapuka kotahi. He whare pukapuka taki motuhake mo Go, he whare pukapuka motuhake mo PHP. Ko nga tangata katoa kei a tatou me whakamahi. I tenei wa, ka kii ahau he 80 paiheneti te angitu i roto i tenei. Engari ka kai tonu etahi tangata i te cacti.
Na i reira (i runga i te kiriata) te "SLA mo te tuku rakau" tata ka timata te puta. Kaore ano kia noho, engari kei te mahi matou. Na te mea he tino watea ki te kii te hangahanga mena ka tuhi koe i roto i te ahua penei me te ahua penei ki tera waahi me te kore e neke ake i te N nga karere mo ia hekona, katahi ka tukuna atu e matou ki tera waahi. Ma tenei ka whakakore i te maha o nga mahunga. Mena he SLA, he tino whakamiharo tenei!
I pehea i timata ai matou ki te whakaoti rapanga? Ko te raru nui ko td-agent. Kaore i tino marama ki hea i haere ai a matou rakau. Kua tukuna? Kei te haere ratou? Kei hea tonu ratou? Na reira, i whakatauhia te waahi tuatahi ki te whakakapi i te td-agent. Kua whakaraupapa poto ahau i nga whiringa hei whakakapi i konei.
matatau. Tuatahi, i tutaki ahau ki a ia i tetahi mahi o mua, a ka hinga ano ia ki reira. Tuarua, he rite tonu tenei, kei roto noa i te whaarangi.
Filebeat. He pehea te watea mo tatou? Na te mea kei roto i a Go, a he nui o matou tohungatanga mo Go. No reira, ki te tupu tetahi mea, ka taea e taatau te taapiri atu mo tatou ake. Koia te take kaore matou i tango. Kia kore ai he whakamatautauranga ki te timata ki te tuhi ano i a koe ano.
Ko te otinga maamaa mo te kaiwhakahaere punaha ko nga momo syslogs katoa i tenei rahinga (syslog-ng/rsyslog/nxlog).
Tuhia ranei tetahi mea nau ake, engari i whakarerea e matou tenei, me te filebeat. Mena ka tuhia e koe tetahi mea, he pai ake te tuhi i tetahi mea whai hua mo te pakihi. Ki te tuku rakau, he pai ake te tango i tetahi mea kua rite.
Na reira, ko te kowhiringa i tae mai ki te kowhiringa i waenga i te syslog-ng me te rsyslog. I whirinaki ahau ki te rsyslog na te mea he karaehe kee taatau mo te rsyslog i roto i te Puppet, kaore au i kitea he rerekee i waenga i a raatau. He aha te syslog, he aha te syslog. Ae, he kino ake nga tuhinga a etahi, he pai ake etahi. Ka taea e tenei te mahi penei, ka taea e tetahi te mahi rereke.
A he iti mo rsyslog. Tuatahi, he pai na te mea he maha nga waahanga. He RainerScript ka taea e te tangata te panui (he reo whirihoranga hou). He bonus whakamataku ka taea e taatau te whai i te whanonga a td-agent ma te whakamahi i nga taputapu paerewa, kaore he mea i rereke mo nga tono. Arā, ka huri tatou i te td-agent ki te rsyslog, ka waiho noa nga mea katoa mo tenei wa. Na ka whiwhi tonu matou i te tuku mahi. I muri mai, he mea whakamataku te mmnormalize i rsyslog. Ka taea e koe te tarai i nga raarangi, engari kaua e whakamahi i te Grok me te regexp. Ka hangaia he rakau wetereo waitara. He rite tonu te mahi a te kaitoi ki te poroporo i nga puna. Ma tenei ka taea e koe te mahi tere, te pau i te PTM iti, a, i te nuinga, he mea tino pai. He paihere o etahi atu bonus. e kore ahau e noho ki runga ki a ratou.
He maha atu nga ngoikoretanga a rsyslog. He rite tonu ki nga putea. Ko nga raruraru nui me mohio koe ki te tunu, me whiriwhiri koe i te putanga.
I whakatau matou ka tuhia e matou he raarangi ki tetahi turanga unix. A kaua i roto i te /dev/log, na te mea kei a matou te raru o nga raarangi punaha, kei roto te journald i tenei paipa. Na me tuhi tatou ki tetahi turanga ritenga. Ka taapirihia e matou ki tetahi huinga ture motuhake. Kaua tatou e pokanoa ki tetahi mea. Ka marama, ka marama nga mea katoa. Koia tonu ta matou mahi. Ko te whaiaronga me enei turanga ka whakatauhia, ka tukuna ki nga ipu katoa. Ka taea e nga ipu te kite i te turanga e hiahiatia ana, ka tuwhera me te tuhi ki reira.
He aha te take kaore he konae? No te mea ka panui te katoa , i ngana ki te tuku i tetahi konae ki te docker, a ka kitea i muri i te whakaara ano i te rsyslog, ka huri te kaiwhakaahua konae, ka ngaro tenei konae. Ka noho tuwhera tetahi atu mea, engari kaua ko te turanga e tuhi ana. I whakatau matou ka mahi matou i tenei raruraru, i te wa ano, ka mahi matou i te raruraru aukati.
Ka mahia e Rsyslog nga mahi e tohuhia ana i te kiriata me te tuku i nga raarangi ki te reera, ki a Kafka ranei. Ka whai a Kafka i te huarahi tawhito. Relay - I ngana ahau ki te whakamahi i te rsyslog parakore ki te tuku rakau. Karekau he Tutira Karere, ma te whakamahi i nga taputapu rsyslog paerewa. Ko te tikanga, ka mahi.
Engari he rerekee me pehea te pana ki tenei waahanga (Logstash/Graylog/ES). Ka whakamahia tenei waahanga (rsyslog-rsyslog) i waenga i nga pokapū raraunga. Anei he hononga tcp kua whakakopeketia, e taea ai e matou te penapena i te bandwidth, a, na reira, ka piki ake te tupono ka whiwhi matou i etahi raarangi mai i tetahi atu pokapū raraunga ina tutakina te hongere. Na te mea kei a tatou a Indonesia, he kino nga mea katoa. Kei konei te raruraru tonu.
I whakaaro matou me pehea e taea ai e matou te aro turuki me pehea ka tae ki te mutunga nga raarangi i tuhia e matou mai i te tono? I whakatau matou ki te hanga inenga. Kei a rsyslog tana ake waahanga kohinga tatauranga, kei roto etahi momo porotiti. Hei tauira, ka taea e ia te whakaatu ki a koe te rahi o te rarangi, e hia ranei nga karere kua tae mai i roto i nga mahi penei. Ka taea e koe te tango i tetahi mea mai i a raatau. I tua atu, he porotiti ritenga ka taea te whirihora, ka whakaatu ki a koe, hei tauira, te maha o nga karere i tuhia e etahi API. I muri mai, ka tuhia e au te rsyslog_exporter ki Python, ka tukuna katoatia e matou ki Prometheus me te hanga kauwhata. I tino hiahia matou ki nga inenga Graylog, engari kaore ano matou i whai wa ki te whakarite.
He aha nga raruraru? I ara ake nga raru i te kitenga atu (NAHOWA!) kei te tuhi a matou Live API 50k karere mo ia hekona. He API Ora noa tenei kaore he waahi. Na Graylog e whakaatu ana 12 mano noa nga karere mo ia hekona. A ka puta he patai whaitake: kei hea nga toenga? I whakatauhia e maatau kaore e taea e Graylog te whakatutuki. I titiro matou, a, karekau e taea e Graylog me Elasticsearch te whakahaere i tenei rerenga.
I muri mai, etahi atu kitenga i kitea e matou i te huarahi.
Ko nga tuhi ki te turanga kua parea. I pehea te tupu? I ahau e whakamahi ana i te rsyslog mo te tuku, i etahi wa ka pakaru te waahana i waenga i nga pokapū raraunga. Ka mutu te tuku ki tetahi wahi, ka mutu te tuku ki tetahi atu wahi. Kua tae katoa enei ki te miihini me nga API e tuhi ana ki te turanga rsyslog. He rarangi i reira. Katahi ka whakakiia te rarangi mo te tuhi ki te turanga unix, na te taunoa he 128 nga paatete. A ko te tuhi e whai ake nei () i roto i te tono kua aukatihia. I te titiro ki te whare pukapuka e whakamahia ana e matou i roto i nga tono Haere, i tuhia ki reira ko te tuhi ki te turanga ka puta i roto i te aratau aukati-kore. I tino mohio matou kaore he mea i araia. No te mea ka panui tatou na wai i tuhi mo taua mea. Engari he wa ano. I puta ano he porowhita mutunga kore huri noa i tenei waea, he ngana tonu ki te pana i tetahi karere ki roto i te turanga. Kare matou i kite ia ia. Me tuhi ano ahau i te whare pukapuka. Mai i tera wa kua maha nga huringa, engari inaianei kua whakakorehia e matou te aukati i nga punaha iti katoa. Na reira, ka taea e koe te aukati i te rsyslog, kaore he mea e pakaru.
He mea tika ki te aro turuki i te rahi o nga rarangi, e awhina ana ki te karo i te takahi i tenei rake. Tuatahi, ka taea e tatou te aro turuki i te wa ka timata te ngaro o nga karere. Tuarua, ka taea e taatau te aro turuki kei te raru taatau ki te tuku.
Ko tetahi atu waa kino - he tino ngawari te whakanui i nga wa 10 i roto i te hoahoanga microservice. Karekau he maha o nga tono ka tae mai, engari na te kauwhata e haere atu ana enei karere, na nga raarangi uru, ka tino whakanuia e matou te uta rakau mo te tekau nga wa. Engari, kaore au i whai wa ki te tatau i nga tau tika, engari ko nga microservices he aha. Me mahara tonu tenei. Ko te ahua o tenei wa ko te punaha kohinga rangitaki te tino utaina i Lazada.
Me pehea te whakaoti rapanga elasticsearch? Mena ka hiahia koe ki te tiki pororakau ki te waahi kotahi, kia kore ai e rere ki nga miihini katoa ka kohia ki reira, whakamahia te rokiroki konae. Ka whai hua tenei. Ka taea te mahi mai i tetahi tūmau. Me piri noa koe i nga kopae ki reira ka whakauru i te syslog. Whai muri i tenei, ka taurangitia koe kia noho nga rakau katoa ki te waahi kotahi. Na ka taea e koe te whirihora elasticsearch, graylog, me tetahi atu mea. Engari kei a koe nga raarangi katoa, a, hei taapiri, ka taea e koe te penapena mena he nui nga raupapa kōpae.
I te wa o taku ripoata, i timata te ahua o te kaupapa. Ka mutu ta matou tuhi ki te konae. Inaianei, tera pea, ka whakawetohia e matou te toenga. I runga i nga miihini o te rohe e whakahaere ana i te API, ka mutu te tuhi ki nga konae. Tuatahi, he rokiroki konae, he pai te mahi. Tuarua, kei te pau enei miihini i nga wa katoa, me tirotiro tonu.
Ko tenei waahanga me Logstash me Graylog, ka tino tangohia. No reira, me whakakore atu. Me whiriwhiri koe i tetahi mea.
I whakatau matou ki te maka atu i a Logstash me Kibana. No te mea he tari haumaru ta matou. He aha te hononga? Ko te hononga ko Kibana me te kore X-Pack me te kore Shield e kore e taea e koe te wehewehe i nga mana uru ki nga raarangi. Koira te take i tangohia e matou a Graylog. Kei a ia katoa. Kare au e pai ana, engari ka whai hua. I hokona e matou he taputapu hou, i whakauruhia a Graylog hou ki reira ka whakawhitia nga raarangi katoa me nga whakatakotoranga kaha ki tetahi Graylog motuhake. I whakatauhia e matou te raru me nga momo momo mara rite tonu.
He aha te mea kei roto i te Graylog hou. I tuhia e matou nga mea katoa ki te docker. I tangohia e matou he roopu o nga kaitoro, i hurihia e toru nga tauira Kafka, 7 Graylog servers putanga 2.3 (na te mea i pirangi matou ki te putanga Elasticsearch 5). Ko enei katoa i kohia i te wa o nga whakaeke mai i te HDD. I kite matou i te reiti tohu mo te 100 mano nga karere mo ia hekona. I kite matou i te ahua e 140 terabytes o nga raraunga ia wiki.
A ano te rake! E rua nga hoko kei te haere ake. I neke atu i te 6 miriona nga karere. Karekau a Graylog he wa ki te ngaungau. Me ora ano tatou.
Koinei te huarahi i ora ai matou. I tapiritia e matou etahi atu tūmau me nga SSD. I tenei wa e noho penei ana tatou. Inaianei kei te ngaungau tatou i te 160k karere mo ia hekona. Kare ano matou kia eke ki te rohe, no reira kaore i te maarama he aha te nui ka puta mai i tenei.
Ko enei a maatau mahere mo nga ra kei te heke mai. I roto i enei, ko te mea nui ko te waatea nui. Kare ano i a matou. He maha nga motuka kua whirihorahia i roto i te huarahi kotahi, engari i tenei wa kei te haere nga mea katoa ma te motuka kotahi. Ka roa te wa ki te whakarite i te koretake i waenga i a raatau.
Kohia nga inenga mai i Graylog.
Whakaritehia he rohe reeti kia kotahi to tatou API porangi e kore e patu i a tatou bandwidth me era atu mea katoa.
Ka mutu, haina etahi momo SLA me nga kaiwhakawhanake kia pai ai taatau mahi. Mena ka tuhi koe i etahi atu, ka pouri ahau.
Me te tuhi tuhinga.
He poto, ko nga hua o nga mea katoa i pa ki a matou. Tuatahi, nga paerewa. Tuarua, he keke te syslog. Tuatoru, he rite tonu te mahi a rsyslog i te mea kua tuhia ki te kiriata. A ka anga atu ki nga patai.
Au uiui.
Tautuhi: He aha koe i whakatau ai kia kaua e tango... (filebeat?)
Whakautu: Me tuhi tatou ki tetahi konae. Kaore au i tino hiahia. Ina tuhia e to API nga mano o nga karere mo ia hekona, ahakoa ka huri kotahi i te haora, ehara tenei i te mea he whiringa. Ka taea e koe te tuhi i roto i te paipa. I patai mai nga kaiwhakawhanake ki ahau: "Ka aha mena ka pakaru te mahi e tuhia ana e matou?" Kaore au i kitea he aha te whakautu ki a raatau, ka ki atu: "Ae, pai, kaua e mahi i tera."
Tautuhi: He aha koe e kore ai e tuhi noa i nga raarangi ki te HDFS?
Whakautu: Koinei te waahanga e whai ake nei. I whakaarohia e matou i te timatanga, engari i te mea i tenei wa kaore he rauemi hei mahi i tenei, ka iri i roto i ta maatau otinga mo te wa roa.
Tautuhi: He pai ake te whakatakotoranga tīwae.
Whakautu: Kei te mohio ahau. Ko matou ma nga ringa e rua.
Tautuhi: Kei te tuhi koe ki rsyslog. I reira ka taea e koe te whakamahi i te TCP me te UDP. Engari mena he UDP, me pehea koe e kii ai i te tuku?
Whakautu: E rua nga wahanga. Tuatahi, ka kii atu ahau ki nga tangata katoa kaore matou e kii i te tuku rakau. No te mea ka tae mai nga kaiwhakawhanake me te kii: "Me timata taatau ki te tuhi i nga raraunga putea ki reira, ka waiho e koe ki tetahi waahi mo matou mena ka pa mai tetahi mea," ka whakautu matou ki a raatau, "Ka pai! Me timata taatau ki te aukati i te tuhi ki te turanga, ka mahia tenei i roto i nga whakawhitiwhitinga, kia whai mana ai koe ki te tuu ki runga i te turanga mo matou me te whakarite kia riro mai i tera taha." A i tenei wa, kaore e hiahiatia ana e te katoa. Mena kaore e tika ana, he aha nga patai me patai? Mena karekau koe e pirangi ki te kii i te tuhi ki tetahi turanga, he aha te take me kii te tuku? Kei te whakapau kaha matou. Ka whakapau kaha matou ki te tuku i nga mea e taea ana me nga huarahi pai rawa atu, engari kaore matou e hoatu he taurangi 100%. Na reira, kaore he take ki te tuhi i nga raraunga putea ki reira. He pātengi raraunga me nga whakawhitinga mo tenei.
Tautuhi: I te wa e whakaputa ana te API i etahi karere i roto i te raarangi me te whakawhiti i te mana whakahaere ki nga ratonga moroiti, kua pa ki a koe te raru ka tae mai nga karere mai i nga momo miihini rereke i te he o te raupapa? Na tenei ka raruraru.
Whakautu: He mea noa ka tae mai i roto i nga ota rereke. Me noho rite koe mo tenei. Na te mea ko te tuku whatunga kaore e kii i te ota, me whakapau moni ranei koe mo tenei. Mena ka tango tatou i nga rokiroki konae, ka tiakina e ia API nga raarangi ki tana ake konae. Engari, kei reira rsyslog ka whakarōpū i a raatau ki nga raarangi. Kei ia API ana ake rangitaki, ka taea e koe te haere ki te titiro, katahi ka taea e koe te whakataurite ma te whakamahi i te tohu wa i roto i tenei rangitaki. Mena ka haere ratou ki te titiro ki a Graylog, ka tohua ki reira ma te tohu waahi. Ka pai nga mea katoa ki reira.
Tautuhi: He rereke pea te tohu wa ma nga mitamano.
Whakautu: Na te API ano i hanga te waitohu wa. Ko te tikanga tenei, ko te kaupapa katoa. Kei a matou te NTP. Ka hangaia e te API he tohu wa i roto i te karere ake. rsyslog e kore e taapiri.
Tautuhi: Ko te taunekeneke i waenga i nga pokapū raraunga kaore i te tino marama. I roto i te pokapū raraunga, he maamaa te ahua o te kohi me te tukatuka o nga rakau. He pehea te mahi i waenga i nga pokapū raraunga? Ka ora ranei ia pokapū raraunga i tona ake oranga?
Whakautu: Tata tonu. I to tatou whenua, ko ia whenua kei roto i tetahi pokapū raraunga. I tenei wa, karekau he horahanga kia tu tetahi whenua ki nga pokapu raraunga rereke. Na reira, kaore he take ki te whakakotahi i a raatau. Kei roto i ia pokapū he Rere Rangitaki. He tūmau Rsyslog tenei. E rua nga miihini whakahaere. Hoê â huru to ratou. Engari mo tenei wa, ka haere noa nga waka ki tetahi o ratou. Ka whakahiatohia nga rakau katoa. Kei a ia he rarangi kopae mo te take. Ka tangohia e ia nga raarangi ka tukuna ki te pokapū raraunga matua (Singapore), ka tukuna ki Graylog. A kei ia pokapū raraunga tana ake rokiroki konae. Mena ka ngaro to maatau hononga, kei a matou nga rakau katoa kei reira. Ka noho ratou ki reira. Ka penapena ki reira.
Tautuhi: Mēnā he āhuatanga rerekē, ka whiwhi koe i ngā rākau mai i reira?
Whakautu: Ka taea e koe te haere ki reira (ki te rokiroki kōnae) ka titiro.
Tautuhi: Me pehea koe ki te aro turuki kei ngaro koe i nga pororakau?
Whakautu: Kei te ngaro tonu tatou, kei te aro turuki tatou. I whakarewahia te aroturuki i te marama ki muri. He inenga te whare pukapuka e whakamahia ana e nga Go API. Ka taea e ia te tatau e hia nga wa kaore i taea e ia te tuhi ki tetahi turanga. I tenei wa kei reira tetahi tohunga heuristic. He parepare kei reira. Ka ngana ki te tuhi karere mai i a ia ki te turanga. Ki te puhakea te parapara, ka timata te tuku iho. A ka tatau ia e hia o ratou i taka. Mena ka timata nga mita ki te waipuke ki reira, ka mohio tatou. Kei te haere mai ano ratou ki te prometheus, ka kite koe i nga kauwhata i Grafana. Ka taea e koe te whakarite matohi. Engari kaore ano kia marama ma wai e tuku atu.
Tautuhi: I roto i te elasticsearch ka penapena koe i nga raarangi me te kore utu. E hia au tauira?
Whakautu: Kotahi te rarangi.
Tautuhi: Kotahi noa te rarangi?
Whakautu: Koinei te rangatira me te tauira. Ka penapena nga raraunga ki nga kape e rua.
Tautuhi: I whakatikahia e koe te rahi o te rsyslog buffer?
Whakautu: Ka tuhia e matou nga tohu raraunga ki tetahi turanga unix ritenga. Ko tenei ka tukuna he tepe 128 kiropaita ki runga i a maatau. Kaore e taea e taatau te tuhi atu ki a ia. Kua tuhia e matou tenei ki te paerewa. Ko te hunga e hiahia ana ki te uru ki roto i te rokiroki ka tuhi 128 kiropaita. I tua atu, ka tapahia nga whare pukapuka, ka whakatakotoria he haki ka tapahia te karere. Ko ta maatau paerewa mo te karere ake he waahi motuhake e whakaatu ana i tapahia i te wa e rekoata ana, kaore ranei. Na ka whai waahi taatau ki te whai i tenei waa.
Pātai: Ka tuhia e koe a JSON pakaru?
Whakautu: Ka makahia a JSON pakaru i te wa o te reanga na te mea he nui rawa te kete. Ka makahia ranei a Graylog na te mea kaore e taea te poroporoaki i a JSON. Engari tera ano nga ahuatanga e tika ana kia whakatikahia, ka herea te nuinga ki te rsyslog. Kua whakakiia e au etahi take i reira, me mahi tonu.
Pātai: He aha Kafka? Kua whakamatauria e koe a RabbitMQ? Ka taka a Graylog i raro i aua taumahatanga?
Whakautu: Kaore e pai ana mo matou me Graylog. A kei te hanga ahua a Graylog mo tatou. He tino raruraru ia. He mea motuhake ia. A, i roto i te meka, e kore e hiahiatia. He pai ki ahau te tuhi mai i rsyslog tika ki te elasticsearch katahi ka titiro ki Kibana. Engari me whakatau te take me nga kaitiaki. He whiringa pea tenei mo to maatau whanaketanga, ina makahia e matou a Graylog me te whakamahi Kibana. Kaore he take ki te whakamahi i te Logstash. Na te mea ka taea e au te mahi ano me te rsyslog. A kei a ia tetahi waahanga mo te tuhi ki te elasticsearch. E ngana ana matou ki te noho tahi me Graylog. He iti noa ta matou i whakarite. Engari he waahi tonu hei whakapai ake.
Mo Kafka. Koinei te ahuatanga o nga korero o mua. I taku taenga atu, kua tae noa atu ki reira, kua tuhia kee nga poroporo ki a ia. Ka whakaarahia noa ta matou kahui, ka nukuhia nga rakau ki roto. Ko matou tana whakahaere, e mohio ana matou ki tona ahua. Ko RabbitMQ... kare e pai mo tatou me RabbitMQ. A ko RabbitMQ kei te hanga ahua mo tatou. Kei roto i a maatau te hanga, a he raru kei reira. Inaianei, i mua i te hokonga, ka whakawai ratou i a ia, ka timata tana mahi. Engari i mua i tera kaore au i te reri ki te tuku ki roto i nga mahi. He tohu ano. Ka taea e Graylog te panui i te putanga AMQP 0.9, ka taea e rsyslog te tuhi putanga AMQP 1.0. A kaore he otinga kotahi i waenganui ka taea te mahi e rua. Ko tetahi, ko tetahi ranei. Na reira, i tenei wa ko Kafka anake. Engari kei a ia ano ona ahuatanga. Na te mea ko te omkafka o te putanga o te rsyslog e whakamahia ana ka taea te ngaro te katoa o te putunga karere i tangohia mai i rsyslog. I tenei wa ka whakamanawanui matou.
Pātai: Kei te whakamahi koe i te Kafka na te mea kua riro ke? Kaore e whakamahia mo tetahi kaupapa?
Whakautu: Ko te Kafka, i mua, ka whakamahia e te roopu Pūtaiao Raraunga. He kaupapa motuhake tenei, engari kaore e taea e au te korero tetahi mea. Kaore au e mohio. I whakahaerehia e te roopu Pūtaiao Raraunga. I te wa i hangaia ai nga rakau, ka whakatau matou ki te whakamahi kia kaua e whakauru i a matou ake. Inaianei kua whakahoutia e matou a Graylog, kua ngaro te hototahi na te mea he putanga tawhito o Kafka. Me timata taatau ake. I te wa ano, i whakakorehia e matou enei kaupapa e wha mo ia API. I hanga e matou he kaupapa whanui mo te katoa, he kaupapa whanui mo nga mahi katoa, ka waiho noa nga mea katoa ki reira. Ka werohia e Graylog enei mea katoa i roto i te whakarara.
Pātai: He aha te take e hiahia ai tatou ki tenei mahi shamanism me nga turanga? Kua whakamatau koe ki te whakamahi i te atekōkiri rangitaki syslog mo nga ipu?
Whakautu: I te wa i patai ai matou i tenei patai, he uaua to maatau hononga ki te kaitautoko. He docker 1.0, 0.9 ranei. He rerekee a Docker. Tuarua, ki te pana ano koe i nga pororakau ki roto... He whakapae kore pono ka tukuna e ia nga rakau katoa ma roto i a ia ano, ma te docker daemon. Mena ka porangi tetahi API, ka mau tonu te toenga o nga API ki te kore e taea te tuku stdout me te stderr. Kare au e mohio ki hea ka ahu tenei. Kei te whakapae ahau i te taumata o te whakaaro kaore he take ki te whakamahi i te taraiwa syslog Docker i tenei waahi. Kei ta maatau tari whakamatautau mahi tana ake kahui Graylog me nga rakau. Ka whakamahia e ratou nga taraiwa takiuru Docker a he pai nga mea katoa ki reira. Engari ka tuhi tonu ratou i te GELF ki a Graylog. I te wa i timata ai matou i enei mea katoa, me mahi noa. A muri ake nei, ka tae mai tetahi ka kii kua kotahi rau tau e mahi pai ana, ka whakamatau tatou.
Pātai: Ka tukuna e koe i waenga i nga pokapū raraunga ma te whakamahi i te rsyslog. He aha i kore ai a Kafka?
Whakautu: Ka mahi matou i nga mea e rua. E rua nga take. Mena kua mate rawa te hongere, karekau a tatou rakau katoa, ahakoa i roto i te ahua kōpeke, e kore e ngokingoki ki roto. Na Kafka ka taea e koe te ngaro noa i a raatau i roto i te mahi. Ma tenei ka whakakorehia e matou enei rakau e mau ana. Kei te whakamahi tika matou i te Kafka i tenei keehi. Mena he hongere pai ta tatou me te hiahia ki te wetewete, katahi ka whakamahia ta raatau rsyslog. Engari i roto i te meka, ka taea e koe te whirihora i te reira kia taka iho te mea kaore i uru ki roto. I tenei wa, ka whakamahia noa e matou te tuku rsyslog ki tetahi waahi, me Kafka ki tetahi waahi.
Source: will.com