Wọle si Kubernetes (ati kii ṣe nikan) loni: awọn ireti ati otitọ

O jẹ ọdun 2019, ati pe a ko tun ni ojutu boṣewa fun ikojọpọ log ni Kubernetes. Ninu nkan yii, a yoo fẹ, ni lilo awọn apẹẹrẹ lati adaṣe gidi, lati pin awọn wiwa wa, awọn iṣoro ti o pade ati awọn ojutu wọn.

Sibẹsibẹ, akọkọ, Emi yoo ṣe ifiṣura kan ti awọn alabara oriṣiriṣi loye awọn nkan ti o yatọ pupọ nipa gbigba awọn akọọlẹ:

• ẹnikan fẹ lati rii aabo ati awọn akọọlẹ iṣayẹwo;
• ẹnikan - gedu aarin ti gbogbo awọn amayederun;
• ati fun diẹ ninu awọn, o jẹ to lati gba nikan ohun elo àkọọlẹ, lai, fun apẹẹrẹ, iwontunwonsi.

Ni isalẹ ni gige ni isalẹ nipa bii a ṣe ṣe imuse ọpọlọpọ “awọn atokọ ifẹ” ati awọn iṣoro wo ni a pade.

Ilana: nipa awọn irinṣẹ gedu

Lẹhin lori awọn paati ti eto gedu

Igi gedu ti de ọna pipẹ, nitori abajade iru awọn ilana fun gbigba ati itupalẹ awọn iwe-ipamọ ti ni idagbasoke, eyiti o jẹ ohun ti a lo loni. Pada ni awọn ọdun 1950, Fortran ṣe afihan afọwọṣe ti awọn ṣiṣanwọle boṣewa/jade, eyiti o ṣe iranlọwọ fun olupilẹṣẹ lati ṣatunṣe eto rẹ. Iwọnyi jẹ awọn akọọlẹ kọnputa akọkọ ti o jẹ ki igbesi aye rọrun fun awọn olupilẹṣẹ ti awọn akoko yẹn. Loni a rii ninu wọn apakan akọkọ ti eto gedu - orisun tabi "olupese" ti awọn akọọlẹ.

Imọ-ẹrọ Kọmputa ko duro sibẹ: awọn nẹtiwọọki kọnputa han, awọn iṣupọ akọkọ… Awọn ọna ṣiṣe eka ti o ni ọpọlọpọ awọn kọnputa bẹrẹ si ṣiṣẹ. Bayi awọn alakoso eto ni a fi agbara mu lati gba awọn igbasilẹ lati awọn ẹrọ pupọ, ati ni awọn ọran pataki wọn le ṣafikun awọn ifiranṣẹ ekuro OS ni ọran ti wọn nilo lati ṣe iwadii ikuna eto kan. Lati ṣapejuwe awọn ọna ṣiṣe ikojọpọ log ti aarin, ni ibẹrẹ awọn ọdun 2000 o ti gbejade RFC 3164, eyi ti idiwon remote_syslog. Eyi ni bii paati pataki miiran ti han: log-odè ati ibi ipamọ wọn.

Pẹlu ilosoke ninu iwọn awọn akọọlẹ ati iṣafihan ibigbogbo ti awọn imọ-ẹrọ wẹẹbu, ibeere naa dide ti kini awọn igbasilẹ nilo lati ṣafihan ni irọrun si awọn olumulo. Awọn irinṣẹ console ti o rọrun (awk/sed/grep) ti rọpo nipasẹ awọn ilọsiwaju diẹ sii log awọn oluwo - kẹta paati.

Nitori ilosoke ninu iwọn awọn iwe-ipamọ, nkan miiran di mimọ: a nilo awọn akọọlẹ, ṣugbọn kii ṣe gbogbo wọn. Ati awọn akọọlẹ oriṣiriṣi nilo awọn ipele ti o yatọ si titọju: diẹ ninu awọn le sọnu ni ọjọ kan, nigba ti awọn miiran nilo lati wa ni ipamọ fun ọdun 5. Nitorinaa, paati kan fun sisẹ ati awọn ṣiṣan data ipa-ọna ni a ṣafikun si eto gedu - jẹ ki a pe àlẹmọ.

Ibi ipamọ ti tun ṣe fifo nla kan: lati awọn faili deede si awọn apoti isura infomesonu ibatan, ati lẹhinna si ibi ipamọ ti o da lori iwe (fun apẹẹrẹ, Elasticsearch). Nitorina a ti ya ibi ipamọ kuro lati ọdọ olugba.

Nikẹhin, imọran gan-an ti log kan ti gbooro si iru ṣiṣan ti awọn iṣẹlẹ ti a fẹ lati tọju fun itan-akọọlẹ. Tabi dipo, ti o ba nilo lati ṣe iwadii tabi fa ijabọ itupalẹ kan…

Gẹgẹbi abajade, ni akoko kukuru kukuru kan, ikojọpọ log ti ni idagbasoke sinu eto abẹlẹ pataki kan, eyiti o le pe ni ẹtọ ni ọkan ninu awọn apakan apakan ni Data Nla.

Ti o ba jẹ ni ẹẹkan lori akoko awọn atẹjade lasan le to fun “eto gedu,” ni bayi ipo naa ti yipada pupọ.

Kubernetes ati awọn akọọlẹ

Nigbati Kubernetes wa si awọn amayederun, iṣoro ti o wa tẹlẹ ti gbigba awọn igbasilẹ ko kọja rẹ boya. Ni diẹ ninu awọn ọna, o di paapaa irora diẹ sii: iṣakoso ipilẹ ẹrọ amayederun kii ṣe irọrun nikan, ṣugbọn o tun ni idiju ni akoko kanna. Ọpọlọpọ awọn iṣẹ atijọ ti bẹrẹ gbigbe si awọn iṣẹ microservices. Ninu ọrọ ti awọn akọọlẹ, eyi ni afihan ni nọmba ti ndagba ti awọn orisun log, igbesi aye pataki wọn, ati iwulo lati tọpa awọn ibatan ti gbogbo awọn paati eto nipasẹ awọn akọọlẹ…

Ni wiwa niwaju, Mo le ṣalaye pe ni bayi, laanu, ko si aṣayan gedu idiwọn fun Kubernetes ti yoo ṣe afiwe ni ojurere pẹlu gbogbo awọn miiran. Awọn eto ti o gbajumọ julọ ni agbegbe jẹ bi atẹle:

• ẹnikan unrolls awọn akopọ EFK (Elasticsearch, Fluentd, Kibana);
• ẹnikan ti wa ni gbiyanju awọn laipe tu Loki tabi awọn lilo Onišẹ wíwọlé;
• AMẸRIKA (ati boya kii ṣe awa nikan?...) Mo ni itẹlọrun pupọ pẹlu idagbasoke ti ara mi - loghouse...

Gẹgẹbi ofin, a lo awọn edidi wọnyi ni awọn iṣupọ K8s (fun awọn ojutu ti a gbalejo ti ara ẹni):

• Fluentd + Elasticsearch + Kibana;
• Fluentd + ClickHouse + loghouse.

Sibẹsibẹ, Emi kii yoo gbe lori awọn ilana fun fifi sori wọn ati iṣeto ni. Dipo, Emi yoo dojukọ awọn ailagbara wọn ati awọn ipinnu agbaye diẹ sii nipa ipo pẹlu awọn akọọlẹ ni apapọ.

Iwa pẹlu awọn àkọọlẹ ni K8s

"Lojojumo àkọọlẹ", melo ni o wa nibẹ?..

Ikojọpọ ti aarin ti awọn igbasilẹ lati awọn amayederun ti o tobi pupọ nilo awọn orisun akude, eyiti yoo ṣee lo lori gbigba, titoju ati ṣiṣe awọn igbasilẹ. Lakoko iṣẹ ti awọn iṣẹ akanṣe lọpọlọpọ, a dojuko pẹlu ọpọlọpọ awọn ibeere ati awọn iṣoro iṣẹ ṣiṣe ti o dide lati ọdọ wọn.

Jẹ ki a gbiyanju ClickHouse

Jẹ ki a wo ibi ipamọ aarin kan lori iṣẹ akanṣe kan pẹlu ohun elo ti o ṣe agbejade awọn akọọlẹ ni itara: diẹ sii ju awọn laini 5000 fun iṣẹju kan. Jẹ ki a bẹrẹ ṣiṣẹ pẹlu awọn akọọlẹ rẹ, fifi wọn kun si ClickHouse.

Ni kete ti o nilo akoko gidi ti o pọ julọ, olupin 4-core pẹlu ClickHouse yoo ti ṣaju tẹlẹ lori eto inu disiki naa:

Iru ikojọpọ yii jẹ nitori otitọ pe a n gbiyanju lati kọ ni ClickHouse ni yarayara bi o ti ṣee. Ati pe ibi ipamọ data ṣe idahun si eyi pẹlu iwuwo disk ti o pọ si, eyiti o le fa awọn aṣiṣe wọnyi:

DB::Exception: Too many parts (300). Merges are processing significantly slower than inserts

Otitọ ni pe MergeTree tabili ni ClickHouse (wọn ni data log) ni awọn iṣoro tiwọn lakoko awọn iṣẹ kikọ. Awọn data ti a fi sii sinu wọn ṣe ipilẹṣẹ ipin igba diẹ, eyiti o jẹ ki o dapọ pẹlu tabili akọkọ. Bi abajade, gbigbasilẹ jẹ ibeere pupọ lori disiki naa, ati pe o tun jẹ koko-ọrọ si aropin ti a gba akiyesi loke: ko si diẹ sii ju awọn ipin 1 ni a le dapọ ni iṣẹju 300 (ni otitọ, eyi jẹ awọn ifibọ 300). fun keji).

Lati yago fun iwa yii, yẹ ki o kọ si ClickHouse ni awọn ege nla bi o ti ṣee ati pe ko ju akoko 1 lọ ni gbogbo iṣẹju-aaya 2. Sibẹsibẹ, kikọ ni awọn nwaye nla ni imọran pe o yẹ ki a kọ kere si nigbagbogbo ni ClickHouse. Eyi, ni ọna, le ja si aponsedanu ifipamọ ati isonu ti awọn akọọlẹ. Ojutu ni lati mu ifipamọ Fluentd pọ si, ṣugbọn lẹhinna agbara iranti yoo tun pọ si.

DaakọAbala iṣoro miiran ti ojutu wa pẹlu ClickHouse ni ibatan si otitọ pe ipin ninu ọran wa (loghouse) ni imuse nipasẹ awọn tabili ita ti a ti sopọ Dapọ tabili. Eyi yori si otitọ pe nigba iṣapẹẹrẹ awọn aaye arin nla, Ramu ti o pọ julọ ni a nilo, niwọn igba ti metatable ṣe iterate nipasẹ gbogbo awọn ipin - paapaa awọn ti o han gedegbe ko ni data to wulo. Sibẹsibẹ, ni bayi ọna yii le jẹ ikede lailewu fun awọn ẹya lọwọlọwọ ti ClickHouse (c 18.16).

Bi abajade, o han gbangba pe kii ṣe gbogbo iṣẹ akanṣe ni awọn orisun to lati gba awọn igbasilẹ ni akoko gidi ni ClickHouse (diẹ sii ni pipe, pinpin wọn kii yoo yẹ). Ni afikun, iwọ yoo nilo lati lo batiri, eyi ti a yoo pada nigbamii. Ọran ti a ṣalaye loke jẹ otitọ. Ati ni akoko yẹn a ko ni anfani lati pese ojutu ti o gbẹkẹle ati iduroṣinṣin ti yoo baamu alabara ati gba wa laaye lati gba awọn akọọlẹ pẹlu idaduro kekere…

Kini nipa Elasticsearch?

Elasticsearch ni a mọ lati mu awọn ẹru iṣẹ ti o wuwo. Jẹ ká gbiyanju o ni kanna ise agbese. Bayi fifuye naa dabi eyi:

Elasticsearch ni anfani lati gbin ṣiṣan data, sibẹsibẹ, kikọ iru awọn iwọn si rẹ nlo Sipiyu pupọ. Eyi ni ipinnu nipa siseto iṣupọ kan. Ni imọ-ẹrọ, eyi kii ṣe iṣoro, ṣugbọn o wa ni pe o kan lati ṣiṣẹ eto ikojọpọ log a ti lo tẹlẹ nipa awọn ohun kohun 8 ati ni afikun paati ti kojọpọ giga ninu eto naa…

Laini isalẹ: aṣayan yii le jẹ idalare, ṣugbọn nikan ti iṣẹ akanṣe ba tobi ati iṣakoso rẹ ti ṣetan lati lo awọn orisun pataki lori eto gedu aarin.

Lẹhinna ibeere adayeba kan dide:

Awọn akọọlẹ wo ni o nilo gaan?

Jẹ ki a gbiyanju lati yi ọna naa funrararẹ: awọn akọọlẹ yẹ ki o jẹ alaye nigbakanna ati kii ṣe bo kọọkan iṣẹlẹ ni eto.

Jẹ ká sọ pé a ni a aseyori online itaja. Awọn akọọlẹ wo ni o ṣe pataki? Gbigba alaye pupọ bi o ti ṣee ṣe, fun apẹẹrẹ, lati ẹnu-ọna isanwo, jẹ imọran nla kan. Ṣugbọn kii ṣe gbogbo awọn akọọlẹ lati iṣẹ gige aworan ni katalogi ọja jẹ pataki fun wa: awọn aṣiṣe nikan ati ibojuwo ilọsiwaju ti to (fun apẹẹrẹ, ipin ogorun awọn aṣiṣe 500 ti paati yii ṣe ipilẹṣẹ).

Nitorina a ti wa si ipari pe gedu aarin ko nigbagbogbo lare. Nigbagbogbo alabara fẹ lati gba gbogbo awọn akọọlẹ ni aaye kan, botilẹjẹpe ni otitọ, lati gbogbo akọọlẹ, nikan ni ipo 5% ti awọn ifiranṣẹ ti o ṣe pataki fun iṣowo naa ni a nilo:

• Nigba miran o to lati tunto, wipe, nikan awọn iwọn ti awọn eiyan log ati awọn aṣiṣe-odè (Fun apẹẹrẹ, Sentry).
• Ifitonileti aṣiṣe ati akọọlẹ agbegbe nla funrararẹ le nigbagbogbo to lati ṣe iwadii awọn iṣẹlẹ.
• A ni awọn iṣẹ akanṣe ti o ṣe pẹlu awọn idanwo iṣẹ iyasọtọ ati awọn eto ikojọpọ aṣiṣe. Olùgbéejáde ko nilo awọn igbasilẹ bii iru - wọn rii ohun gbogbo lati awọn itọpa aṣiṣe.

Apejuwe lati aye

Itan miiran le jẹ apẹẹrẹ ti o dara. A gba ibeere lati ọdọ ẹgbẹ aabo ti ọkan ninu awọn alabara wa ti o ti lo ojutu iṣowo kan ti o ti dagbasoke ni pipẹ ṣaaju iṣafihan Kubernetes.

O jẹ dandan lati “ṣe awọn ọrẹ” ti eto ikojọpọ log ti aarin pẹlu sensọ wiwa iṣoro ile-iṣẹ - QRadar. Eto yii le gba awọn igbasilẹ nipasẹ ilana syslog ati gba wọn pada lati FTP. Sibẹsibẹ, ko ṣee ṣe lẹsẹkẹsẹ lati ṣepọ pẹlu ohun itanna remote_syslog fun fluentd (bi o ti ṣẹlẹ, a ko nikan). Awọn iṣoro pẹlu eto QRadar ti jade lati wa ni ẹgbẹ ti ẹgbẹ aabo alabara.

Bi abajade, apakan ti awọn akọọlẹ pataki-iṣowo ti gbejade si FTP QRadar, ati pe apakan miiran ni a darí nipasẹ syslog latọna jijin taara lati awọn apa. Fun eyi a paapaa kọ o rọrun chart - boya o yoo ran ẹnikan lọwọ lati yanju iṣoro ti o jọra ... Ṣeun si ero abajade, alabara tikararẹ gba ati ṣe itupalẹ awọn akọọlẹ pataki (lilo awọn irinṣẹ ayanfẹ rẹ), ati pe a ni anfani lati dinku idiyele ti eto gedu, fifipamọ awọn nikan. osu to koja.

Apẹẹrẹ miiran jẹ itọkasi ohun ti kii ṣe lati ṣe. Ọkan ninu wa oni ibara fun processing ti kọọkan iṣẹlẹ nbo lati olumulo, ṣe multiline unstructured o wu alaye ni log. Bi o ṣe le gboju, iru awọn akọọlẹ bẹ ko ni irọrun pupọ si kika mejeeji ati fipamọ.

Awọn àwárí mu fun awọn àkọọlẹ

Iru awọn apẹẹrẹ yori si ipari pe ni afikun si yiyan eto gbigba log, o nilo lati tun ṣe ọnà rẹ awọn àkọọlẹ ara wọn! Kini awọn ibeere nibi?

• Awọn akọọlẹ gbọdọ wa ni ọna kika ẹrọ (fun apẹẹrẹ, JSON).
• Awọn akọọlẹ yẹ ki o jẹ iwapọ ati pẹlu agbara lati yi iwọn ti gedu pada lati le ṣatunṣe awọn iṣoro ti o ṣeeṣe. Ni akoko kanna, ni awọn agbegbe iṣelọpọ o yẹ ki o ṣiṣẹ awọn eto pẹlu ipele gedu bii Ikilọ tabi aṣiṣe.
• Awọn akọọlẹ gbọdọ jẹ deede, iyẹn ni, ninu ohun elo log, gbogbo awọn ila gbọdọ ni iru aaye kanna.

Awọn akọọlẹ ti ko ni eto le ja si awọn iṣoro pẹlu awọn igbasilẹ ikojọpọ sinu ibi ipamọ ati idaduro pipe ni sisẹ wọn. Gẹgẹbi apejuwe, eyi jẹ apẹẹrẹ pẹlu aṣiṣe 400, eyiti ọpọlọpọ ti pade ni pato ninu awọn iwe-ipamọ ti o ni irọrun:

2019-10-29 13:10:43 +0000 [warn]: dump an error event: error_class=Fluent::Plugin::ElasticsearchErrorHandler::ElasticsearchError error="400 - Rejected by Elasticsearch"

Aṣiṣe tumọ si pe o nfi aaye ranṣẹ ti iru rẹ jẹ riru si atọka pẹlu aworan agbaye ti o ṣetan. Apẹẹrẹ ti o rọrun julọ jẹ aaye kan ninu akọọlẹ nginx pẹlu oniyipada kan $upstream_status. O le ni boya nọmba kan tabi okun kan. Fun apere:

{ "ip": "1.2.3.4", "http_user": "-", "request_id": "17ee8a579e833b5ab9843a0aca10b941", "time": "29/Oct/2019:16:18:57 +0300", "method": "GET", "uri": "/staffs/265.png", "protocol": "HTTP/1.1", "status": "200", "body_size": "906", "referrer": "https://example.com/staff", "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36", "request_time": "0.001", "cache_status": "-", "upstream_response_time": "0.001, 0.007", "upstream_addr": "127.0.0.1:9000", "upstream_status": "200", "upstream_response_length": "906", "location": "staff"}
{ "ip": "1.2.3.4", "http_user": "-", "request_id": "47fe42807f2a7d8d5467511d7d553a1b", "time": "29/Oct/2019:16:18:57 +0300", "method": "GET", "uri": "/staff", "protocol": "HTTP/1.1", "status": "200", "body_size": "2984", "referrer": "-", "user_agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36", "request_time": "0.010", "cache_status": "-", "upstream_response_time": "0.001, 0.007", "upstream_addr": "10.100.0.10:9000, 10.100.0.11:9000", "upstream_status": "404, 200", "upstream_response_length": "0, 2984", "location": "staff"}

Awọn akọọlẹ fihan pe olupin 10.100.0.10 dahun pẹlu aṣiṣe 404 ati pe a firanṣẹ ibeere naa si ibi ipamọ akoonu miiran. Bi abajade, iye ninu awọn akọọlẹ di eyi:

"upstream_response_time": "0.001, 0.007"

Ipo yii jẹ eyiti o wọpọ pe o paapaa yẹ lọtọ awọn itọkasi ni iwe.

Kini nipa igbẹkẹle?

Awọn akoko wa nigbati gbogbo awọn igbasilẹ laisi imukuro jẹ pataki. Ati pẹlu eyi, awọn eto ikojọpọ log aṣoju fun awọn K8s ti a dabaa / ti jiroro loke ni awọn iṣoro.

Fun apẹẹrẹ, fluentd ko le gba awọn akọọlẹ lati awọn apoti igba diẹ. Ninu ọkan ninu awọn iṣẹ akanṣe wa, apoti iṣiwa data n gbe fun o kere ju iṣẹju-aaya 4 ati lẹhinna paarẹ - ni ibamu si asọye ti o baamu:

"helm.sh/hook-delete-policy": hook-succeeded

Nitori eyi, iwe ipaniyan ijira ko si ninu ibi ipamọ. Iselu le ṣe iranlọwọ ninu ọran yii. before-hook-creation.

Apeere miiran jẹ iyipo log Docker. Jẹ ki a sọ pe ohun elo kan wa ti o kọ ni itara si awọn akọọlẹ. Labẹ awọn ipo deede, a ṣakoso lati ṣe ilana gbogbo awọn akọọlẹ, ṣugbọn ni kete ti iṣoro kan ba han - fun apẹẹrẹ, bi a ti ṣalaye loke pẹlu ọna kika ti ko tọ - awọn iduro iduro, ati Docker yi faili naa pada. Abajade ni pe awọn akọọlẹ iṣowo-pataki le sọnu.

Ti o ni idi o jẹ pataki lati ya awọn ṣiṣan log, Ifisinu fifiranṣẹ awọn ti o niyelori julọ taara sinu ohun elo lati rii daju aabo wọn. Ni afikun, kii yoo jẹ superfluous lati ṣẹda diẹ ninu "accumulator" ti awọn àkọọlẹ, eyiti o le ye laisi wiwa ipamọ kukuru lakoko fifipamọ awọn ifiranṣẹ to ṣe pataki.

Nikẹhin, a ko gbọdọ gbagbe iyẹn O ṣe pataki lati ṣe atẹle eyikeyi subsystem daradara. Bibẹẹkọ, o rọrun lati ṣiṣe sinu ipo kan ninu eyiti fluentd wa ni ipo kan CrashLoopBackOff ati ki o ko fi ohunkohun, ki o si yi ileri awọn isonu ti pataki alaye.

awari

Ninu nkan yii, a ko wo awọn solusan SaaS bi Datadog. Ọpọlọpọ awọn iṣoro ti a ṣalaye nibi ni a ti yanju tẹlẹ ni ọna kan tabi omiiran nipasẹ awọn ile-iṣẹ iṣowo ti o ṣe amọja ni gbigba awọn akọọlẹ, ṣugbọn kii ṣe gbogbo eniyan le lo SaaS fun awọn idi pupọ. (awọn akọkọ jẹ idiyele ati ibamu pẹlu 152-FZ).

Gbigba log ti aarin ni akọkọ dabi iṣẹ-ṣiṣe ti o rọrun, ṣugbọn kii ṣe rara. O ṣe pataki lati ranti pe:

• Awọn paati pataki nikan nilo lati wọle ni alaye, lakoko ti ibojuwo ati ikojọpọ aṣiṣe le tunto fun awọn eto miiran.
• Awọn iforukọsilẹ ni iṣelọpọ yẹ ki o wa ni iwonba ki o má ba ṣafikun ẹru ti ko wulo.
• Awọn akọọlẹ gbọdọ jẹ kika ẹrọ, ṣe deede, ati ni ọna kika to muna.
• Awọn akọọlẹ pataki ni o yẹ ki o firanṣẹ ni ṣiṣan lọtọ, eyiti o yẹ ki o yapa si awọn akọkọ.
• O tọ lati gbero ikojọpọ log kan, eyiti o le gba ọ là lati awọn fifọ ti ẹru giga ati jẹ ki ẹru lori ibi ipamọ diẹ sii ni aṣọ.

Awọn ofin ti o rọrun wọnyi, ti o ba lo nibi gbogbo, yoo gba awọn iyika ti a ṣalaye loke lati ṣiṣẹ - botilẹjẹpe wọn padanu awọn paati pataki (batiri naa). Ti o ko ba faramọ iru awọn ipilẹ bẹ, iṣẹ naa yoo ni irọrun mu ọ ati awọn amayederun si ẹya miiran ti kojọpọ (ati ni akoko kanna ailagbara) paati eto naa.

PS

Ka tun lori bulọọgi wa:

• «Iṣafihan loghouse – Eto Orisun Ṣii fun ṣiṣẹ pẹlu awọn akọọlẹ ni Kubernetes»;
• «Awọn idasilẹ fun ilolupo Kubernetes lati KubeCon'19: Iforukọsilẹ Apoti JFrog, Kui lati IBM, Loki 1.0.0…»;
• «Abojuto ati Kubernetes (atunyẹwo ati ijabọ fidio)».

orisun: www.habr.com