ఈ కథనం మేము ఉత్పత్తి వాతావరణంలో, ప్రత్యేకంగా కుబెర్నెట్స్‌లో కంటైనర్లను ఎలా ఉపయోగిస్తాము. వ్యాసం కంటైనర్ల నుండి కొలమానాలు మరియు లాగ్‌లను సేకరించడంతోపాటు చిత్రాలను రూపొందించడానికి అంకితం చేయబడింది.
మేము F2B మరియు B2C కోసం ఆన్‌లైన్ ట్రేడింగ్ మరియు ఫిన్‌టెక్ ఉత్పత్తుల కోసం సేవలను అభివృద్ధి చేసే ఫిన్‌టెక్ కంపెనీ Exness నుండి వచ్చాము. మా R&Dలో అనేక విభిన్న బృందాలు ఉన్నాయి, అభివృద్ధి విభాగంలో 100+ మంది ఉద్యోగులు ఉన్నారు.
మా డెవలపర్లు కోడ్‌ని సేకరించి అమలు చేయడానికి ప్లాట్‌ఫారమ్‌కు బాధ్యత వహించే బృందానికి మేము ప్రాతినిధ్యం వహిస్తాము. ప్రత్యేకించి, అప్లికేషన్‌ల నుండి కొలమానాలు, లాగ్‌లు మరియు ఈవెంట్‌లను సేకరించడం, నిల్వ చేయడం మరియు నివేదించడం మా బాధ్యత. మేము ప్రస్తుతం ఉత్పత్తి వాతావరణంలో సుమారు మూడు వేల డాకర్ కంటైనర్లను నిర్వహిస్తున్నాము, మా 50 TB పెద్ద డేటా నిల్వను నిర్వహిస్తాము మరియు మా మౌలిక సదుపాయాల చుట్టూ నిర్మించబడిన నిర్మాణ పరిష్కారాలను అందిస్తాము: Kubernetes, Rancher మరియు వివిధ పబ్లిక్ క్లౌడ్ ప్రొవైడర్లు.
మా ప్రేరణ
ఏమి మండుతోంది? ఎవరూ సమాధానం చెప్పలేరు. పొయ్యి ఎక్కడ ఉంది? అర్థం చేసుకోవడం కష్టం. ఎప్పుడు మంటలు అంటుకున్నాయి? మీరు కనుగొనవచ్చు, కానీ వెంటనే కాదు.
కొన్ని కంటైనర్లు ఎందుకు నిలబడి ఉన్నాయి, మరికొన్ని పడిపోయాయి? ఏ కంటైనర్ నిందించింది? అన్నింటికంటే, కంటైనర్ల వెలుపల ఒకేలా ఉంటుంది, కానీ ప్రతి దాని లోపల దాని స్వంత నియో ఉంటుంది.
మా డెవలపర్లు సమర్థులైన వ్యక్తులు. వారు కంపెనీకి లాభాలను తెచ్చే మంచి సేవలను అందిస్తారు. కానీ అప్లికేషన్లతో కంటైనర్లు దారితప్పినప్పుడు వైఫల్యాలు ఉన్నాయి. ఒక కంటైనర్ చాలా CPUని వినియోగిస్తుంది, మరొకటి నెట్‌వర్క్‌ను వినియోగిస్తుంది, మూడవది I/O ఆపరేషన్‌లను వినియోగిస్తుంది మరియు నాల్గవది సాకెట్‌లతో ఏమి చేస్తుందో పూర్తిగా అస్పష్టంగా ఉంది. అంతా పడిపోతుంది మరియు ఓడ మునిగిపోతుంది.
ఏజెంట్లు
లోపల ఏమి జరుగుతుందో అర్థం చేసుకోవడానికి, మేము ఏజెంట్లను నేరుగా కంటైనర్లలో ఉంచాలని నిర్ణయించుకున్నాము.
ఈ ఏజెంట్లు కంటైనర్లను ఒకదానికొకటి విచ్ఛిన్నం చేయని స్థితిలో ఉంచే ప్రోగ్రామ్‌లను నిరోధించారు. ఏజెంట్లు ప్రమాణీకరించబడ్డాయి మరియు ఇది సర్వీసింగ్ కంటైనర్‌లకు ప్రామాణిక విధానాన్ని అనుమతిస్తుంది.
మా విషయంలో, ఏజెంట్లు తప్పనిసరిగా లాగ్‌లను ప్రామాణిక ఫార్మాట్‌లో అందించాలి, ట్యాగ్ చేయబడి మరియు థ్రోటిల్ చేయాలి. వారు వ్యాపార అనువర్తన దృక్కోణం నుండి విస్తరించదగిన ప్రామాణికమైన కొలమానాలను కూడా మాకు అందించాలి.
ఏజెంట్లు అంటే వివిధ చిత్రాలకు (డెబియన్, ఆల్పైన్, సెంటోస్, మొదలైనవి) మద్దతిచ్చే వివిధ ఆర్కెస్ట్రేషన్ సిస్టమ్‌లలో పని చేసే ఆపరేషన్ మరియు నిర్వహణ కోసం యుటిలిటీలు అని కూడా అర్థం.
చివరగా, ఏజెంట్లు తప్పనిసరిగా డాకర్ ఫైల్‌లను కలిగి ఉండే సాధారణ CI/CDకి మద్దతు ఇవ్వాలి. లేకపోతే, ఓడ విడిపోతుంది, ఎందుకంటే కంటైనర్లు “వంకర” పట్టాల వెంట పంపిణీ చేయడం ప్రారంభిస్తాయి.
బిల్డ్ ప్రాసెస్ మరియు టార్గెట్ ఇమేజ్ డివైజ్
ప్రతిదీ ప్రామాణికంగా మరియు నిర్వహించదగినదిగా ఉంచడానికి, కొన్ని రకాల ప్రామాణిక నిర్మాణ ప్రక్రియను అనుసరించాలి. అందువల్ల, కంటైనర్ల ద్వారా కంటైనర్లను సేకరించాలని మేము నిర్ణయించుకున్నాము - ఇది పునరావృతం.
ఇక్కడ కంటైనర్లు ఘన రూపురేఖల ద్వారా సూచించబడతాయి. అదే సమయంలో, "జీవితం రాస్ప్బెర్రీస్ లాగా కనిపించడం లేదు" కాబట్టి వాటిలో పంపిణీ కిట్లను ఉంచాలని వారు నిర్ణయించుకున్నారు. ఇది ఎందుకు జరిగింది, మేము క్రింద వివరిస్తాము.
ఫలితం బిల్డ్ టూల్-నిర్దిష్ట పంపిణీ సంస్కరణలు మరియు నిర్దిష్ట స్క్రిప్ట్ వెర్షన్‌లను సూచించే సంస్కరణ-నిర్దిష్ట కంటైనర్.
మేము దానిని ఎలా ఉపయోగిస్తాము? మేము కంటైనర్‌ను కలిగి ఉన్న డాకర్ హబ్‌ని కలిగి ఉన్నాము. బాహ్య డిపెండెన్సీలను వదిలించుకోవడానికి మేము దానిని మా సిస్టమ్‌లో ప్రతిబింబిస్తాము. ఫలితం పసుపు రంగులో గుర్తించబడిన కంటైనర్. కంటైనర్‌లో మనకు అవసరమైన అన్ని పంపిణీలు మరియు స్క్రిప్ట్‌లను ఇన్‌స్టాల్ చేయడానికి మేము ఒక టెంప్లేట్‌ను సృష్టిస్తాము. ఆ తర్వాత, మేము ఉపయోగించడానికి సిద్ధంగా ఉన్న చిత్రాన్ని సమీకరిస్తాము: డెవలపర్లు దానిలో కోడ్ మరియు వారి స్వంత ప్రత్యేక డిపెండెన్సీలను ఉంచారు.
ఈ విధానంలో ఏది మంచిది?
- మొదట, బిల్డ్ టూల్స్ యొక్క పూర్తి వెర్షన్ నియంత్రణ - బిల్డ్ కంటైనర్, స్క్రిప్ట్ మరియు డిస్ట్రిబ్యూషన్ వెర్షన్‌లు.
- రెండవది, మేము ప్రామాణీకరణను సాధించాము: మేము టెంప్లేట్‌లు, ఇంటర్మీడియట్ మరియు ఉపయోగించడానికి సిద్ధంగా ఉన్న చిత్రాన్ని అదే విధంగా సృష్టిస్తాము.
- మూడవది, కంటైనర్లు మాకు పోర్టబిలిటీని అందిస్తాయి. ఈ రోజు మనం గిట్‌లాబ్‌ని ఉపయోగిస్తాము మరియు రేపు మేము టీమ్‌సిటీ లేదా జెంకిన్స్‌కి మారతాము మరియు మేము మా కంటైనర్లను అదే విధంగా అమలు చేయగలము.
- నాల్గవది, డిపెండెన్సీలను తగ్గించడం. మేము పంపిణీ కిట్లను కంటైనర్‌లో ఉంచడం యాదృచ్చికం కాదు, ఎందుకంటే ఇది ప్రతిసారీ వాటిని ఇంటర్నెట్ నుండి డౌన్‌లోడ్ చేయకుండా ఉండటానికి అనుమతిస్తుంది.
- ఐదవది, బిల్డ్ వేగం పెరిగింది - చిత్రాల స్థానిక కాపీలు ఉండటం వలన స్థానిక చిత్రం ఉన్నందున డౌన్‌లోడ్ చేయడంలో సమయాన్ని వృథా చేయకుండా ఉండటానికి మిమ్మల్ని అనుమతిస్తుంది.
మరో మాటలో చెప్పాలంటే, మేము నియంత్రిత మరియు సౌకర్యవంతమైన అసెంబ్లీ ప్రక్రియను సాధించాము. ఏదైనా పూర్తి వెర్షన్ కంటైనర్లను నిర్మించడానికి మేము అదే సాధనాలను ఉపయోగిస్తాము.
మా నిర్మాణ విధానం ఎలా పనిచేస్తుంది
అసెంబ్లీ ఒక ఆదేశంతో ప్రారంభించబడింది, ప్రక్రియ చిత్రంలో అమలు చేయబడుతుంది (ఎరుపు రంగులో హైలైట్ చేయబడింది). డెవలపర్ వద్ద డాకర్ ఫైల్ ఉంది (పసుపు రంగులో హైలైట్ చేయబడింది), మేము దానిని రెండర్ చేస్తాము, వేరియబుల్స్‌ను విలువలతో భర్తీ చేస్తాము. అలాగే మేము హెడర్‌లు మరియు ఫుటర్‌లను జోడిస్తాము - ఇవి మా ఏజెంట్లు.
హెడర్ సంబంధిత చిత్రాల నుండి పంపిణీలను జోడిస్తుంది. మరియు ఫుటర్ లోపల మా సేవలను ఇన్‌స్టాల్ చేస్తుంది, పనిభారం, లాగింగ్ మరియు ఇతర ఏజెంట్ల ప్రారంభాన్ని కాన్ఫిగర్ చేస్తుంది, ఎంట్రీ పాయింట్‌ని భర్తీ చేస్తుంది, మొదలైనవి.
సూపర్‌వైజర్‌ను ఇన్‌స్టాల్ చేయాలా వద్దా అని మేము చాలా కాలంగా ఆలోచించాము. చివరికి, మాకు అతను అవసరమని నిర్ణయించుకున్నాము. మేము S6 ఎంచుకున్నాము. సూపర్‌వైజర్ కంటైనర్ నిర్వహణను అందిస్తుంది: ప్రధాన ప్రక్రియ క్రాష్ అయినట్లయితే దానికి కనెక్ట్ చేయడానికి మిమ్మల్ని అనుమతిస్తుంది మరియు కంటైనర్‌ను మళ్లీ సృష్టించకుండా మాన్యువల్ నిర్వహణను అందిస్తుంది. లాగ్‌లు మరియు మెట్రిక్‌లు కంటైనర్ లోపల నడుస్తున్న ప్రక్రియలు. వారు కూడా ఏదో ఒకవిధంగా నియంత్రించబడాలి మరియు మేము సూపర్‌వైజర్ సహాయంతో దీన్ని చేస్తాము. చివరగా, S6 హౌస్ కీపింగ్, సిగ్నల్ ప్రాసెసింగ్ మరియు ఇతర పనులను చూసుకుంటుంది.
మేము వేర్వేరు ఆర్కెస్ట్రేషన్ సిస్టమ్‌లను ఉపయోగిస్తాము కాబట్టి, భవనం మరియు నడుస్తున్న తర్వాత, కంటైనర్ అది ఏ వాతావరణంలో ఉందో అర్థం చేసుకోవాలి మరియు పరిస్థితికి అనుగుణంగా పని చేయాలి. ఉదాహరణకి:
ఇది ఒక చిత్రాన్ని రూపొందించడానికి మరియు దానిని వివిధ ఆర్కెస్ట్రేషన్ సిస్టమ్‌లలో అమలు చేయడానికి అనుమతిస్తుంది మరియు ఈ ఆర్కెస్ట్రేషన్ సిస్టమ్ యొక్క ప్రత్యేకతలను పరిగణనలోకి తీసుకుని ఇది ప్రారంభించబడుతుంది.
ఒకే కంటైనర్ కోసం మేము డాకర్ మరియు కుబెర్నెట్స్‌లో విభిన్న ప్రాసెస్ ట్రీలను పొందుతాము:
పేలోడ్ S6 పర్యవేక్షణలో అమలు చేయబడుతుంది. కలెక్టర్ మరియు ఈవెంట్‌లపై శ్రద్ధ వహించండి - వీరు లాగ్‌లు మరియు మెట్రిక్‌లకు బాధ్యత వహించే మా ఏజెంట్లు. కుబెర్నెటెస్‌కి అవి లేవు, కానీ డాకర్‌కి ఉన్నాయి. ఎందుకు?
మేము "పాడ్" (ఇకపై - కుబెర్నెటెస్ పాడ్) యొక్క స్పెసిఫికేషన్‌ను పరిశీలిస్తే, ఈవెంట్‌ల కంటైనర్ పాడ్‌లో అమలు చేయబడిందని మేము చూస్తాము, ఇది కొలమానాలు మరియు లాగ్‌లను సేకరించే పనిని చేసే ప్రత్యేక కలెక్టర్ కంటైనర్‌ను కలిగి ఉంటుంది. మేము Kubernetes యొక్క సామర్థ్యాలను ఉపయోగించవచ్చు: ఒక పాడ్‌లో, ఒకే ప్రక్రియలో మరియు/లేదా నెట్‌వర్క్ స్థలంలో కంటైనర్లను అమలు చేయడం. వాస్తవానికి మీ ఏజెంట్లను పరిచయం చేయండి మరియు కొన్ని విధులను నిర్వహించండి. మరియు అదే కంటైనర్‌ను డాకర్‌లో ప్రారంభించినట్లయితే, అది అవుట్‌పుట్ వలె అన్ని సామర్థ్యాలను అందుకుంటుంది, అంటే, ఏజెంట్లు అంతర్గతంగా ప్రారంభించబడతాయి కాబట్టి ఇది లాగ్‌లు మరియు మెట్రిక్‌లను బట్వాడా చేయగలదు.
కొలమానాలు మరియు లాగ్‌లు
కొలమానాలు మరియు లాగ్‌లను అందించడం సంక్లిష్టమైన పని. ఆమె నిర్ణయంలో అనేక కోణాలు ఉన్నాయి.
పేలోడ్ యొక్క అమలు కోసం మౌలిక సదుపాయాలు సృష్టించబడ్డాయి మరియు లాగ్‌ల భారీ డెలివరీ కోసం కాదు. అంటే, ఈ ప్రక్రియ తప్పనిసరిగా కనీస కంటైనర్ వనరుల అవసరాలతో నిర్వహించబడాలి. మేము మా డెవలపర్‌లకు సహాయం చేయడానికి ప్రయత్నిస్తాము: "డాకర్ హబ్ కంటైనర్‌ను పొందండి, దాన్ని అమలు చేయండి మరియు మేము లాగ్‌లను డెలివరీ చేయగలము."
రెండవ అంశం లాగ్‌ల వాల్యూమ్‌ను పరిమితం చేయడం. అనేక కంటైనర్లలో లాగ్‌ల వాల్యూమ్‌లో పెరుగుదల సంభవించినట్లయితే (అప్లికేషన్ లూప్‌లో స్టాక్-ట్రేస్‌ను అవుట్‌పుట్ చేస్తుంది), CPU, కమ్యూనికేషన్ ఛానెల్‌లు మరియు లాగ్ ప్రాసెసింగ్ సిస్టమ్‌పై లోడ్ పెరుగుతుంది మరియు ఇది హోస్ట్ యొక్క ఆపరేషన్‌ను ప్రభావితం చేస్తుంది. హోస్ట్‌లోని మొత్తం మరియు ఇతర కంటైనర్లు, కొన్నిసార్లు ఇది హోస్ట్ యొక్క "పతనం"కి దారి తీస్తుంది.
మూడవ అంశం ఏమిటంటే, బాక్స్ వెలుపల వీలైనన్ని ఎక్కువ కొలమానాల సేకరణ పద్ధతులకు మద్దతు ఇవ్వడం అవసరం. ఫైల్‌లను చదవడం మరియు ప్రోమేతియస్-ఎండ్‌పాయింట్ పోలింగ్ నుండి అప్లికేషన్ నిర్దిష్ట ప్రోటోకాల్‌లను ఉపయోగించడం వరకు.
మరియు చివరి అంశం వనరుల వినియోగాన్ని తగ్గించడం.
మేము Telegraf అనే ఓపెన్ సోర్స్ Go సొల్యూషన్‌ని ఎంచుకున్నాము. ఇది 140 కంటే ఎక్కువ రకాల ఇన్‌పుట్ ఛానెల్‌లకు (ఇన్‌పుట్ ప్లగిన్‌లు) మరియు 30 రకాల అవుట్‌పుట్ ఛానెల్‌లకు (అవుట్‌పుట్ ప్లగిన్‌లు) మద్దతు ఇచ్చే యూనివర్సల్ కనెక్టర్. మేము దానిని ఖరారు చేసాము మరియు ఇప్పుడు మేము దానిని కుబెర్నెట్లను ఉదాహరణగా ఎలా ఉపయోగిస్తాము అని మీకు తెలియజేస్తాము.
డెవలపర్ వర్క్‌లోడ్‌ని మోహరించాడు మరియు కుబెర్నెట్స్ పాడ్‌ను సృష్టించడానికి అభ్యర్థనను అందుకున్నాడని అనుకుందాం. ఈ సమయంలో, ప్రతి పాడ్ కోసం కలెక్టర్ అనే కంటైనర్ స్వయంచాలకంగా సృష్టించబడుతుంది (మేము మ్యుటేషన్ వెబ్‌హూక్‌ని ఉపయోగిస్తాము). కలెక్టర్ మా ఏజెంట్. ప్రారంభంలో, ఈ కంటైనర్ ప్రోమేతియస్ మరియు లాగ్ కలెక్షన్ సిస్టమ్‌తో పనిచేయడానికి కాన్ఫిగర్ చేస్తుంది.
- దీన్ని చేయడానికి, ఇది పాడ్ ఉల్లేఖనాలను ఉపయోగిస్తుంది మరియు దాని కంటెంట్‌పై ఆధారపడి, ప్రోమేతియస్ ముగింపు పాయింట్‌ను సృష్టిస్తుంది;
- పాడ్ స్పెసిఫికేషన్ మరియు నిర్దిష్ట కంటైనర్ సెట్టింగ్‌ల ఆధారంగా, ఇది లాగ్‌లను ఎలా బట్వాడా చేయాలో నిర్ణయిస్తుంది.
మేము డాకర్ API ద్వారా లాగ్‌లను సేకరిస్తాము: డెవలపర్లు వాటిని stdout లేదా stderrలో ఉంచాలి మరియు కలెక్టర్ దాన్ని క్రమబద్ధీకరిస్తారు. సాధ్యమయ్యే హోస్ట్ ఓవర్‌లోడ్‌ను నిరోధించడానికి కొంత ఆలస్యంతో లాగ్‌లు భాగాలుగా సేకరించబడతాయి.
కంటెయినర్‌లలో పనిభారం ఉదంతాలు (ప్రక్రియలు) అంతటా కొలమానాలు సేకరించబడతాయి. ప్రతిదీ ట్యాగ్ చేయబడింది: నేమ్‌స్పేస్, కింద, మరియు మొదలైనవి, ఆపై ప్రోమేతియస్ ఆకృతికి మార్చబడతాయి - మరియు సేకరణకు అందుబాటులో ఉంటుంది (లాగ్‌లు మినహా). మేము లాగ్‌లు, కొలమానాలు మరియు ఈవెంట్‌లను కాఫ్కాకు మరియు మరిన్నింటికి కూడా పంపుతాము:
- లాగ్‌లు గ్రేలాగ్‌లో అందుబాటులో ఉన్నాయి (దృశ్య విశ్లేషణ కోసం);
- లాగ్‌లు, మెట్రిక్‌లు, ఈవెంట్‌లు దీర్ఘకాలిక నిల్వ కోసం క్లిక్‌హౌస్‌కి పంపబడతాయి.
AWSలో ప్రతిదీ సరిగ్గా అదే పని చేస్తుంది, మేము మాత్రమే Cloudwatchతో గ్రేలాగ్‌ని కాఫ్కాతో భర్తీ చేస్తాము. మేము అక్కడ లాగ్‌లను పంపుతాము మరియు ప్రతిదీ చాలా సౌకర్యవంతంగా మారుతుంది: అవి ఏ క్లస్టర్ మరియు కంటైనర్‌కు చెందినవో వెంటనే స్పష్టంగా తెలుస్తుంది. Google Stackdriverకి కూడా ఇదే వర్తిస్తుంది. అంటే, మా స్కీమ్ కాఫ్కాతో మరియు క్లౌడ్‌లో పని చేస్తుంది.
మేము పాడ్లతో కుబెర్నెట్లను కలిగి ఉండకపోతే, పథకం కొంచెం క్లిష్టంగా ఉంటుంది, కానీ ఇది అదే సూత్రాలపై పనిచేస్తుంది.
అదే ప్రక్రియలు కంటైనర్ లోపల అమలు చేయబడతాయి, అవి S6 ఉపయోగించి ఆర్కెస్ట్రేట్ చేయబడతాయి. ఒకే రకమైన ప్రక్రియలన్నీ ఒకే కంటైనర్‌లో నడుస్తున్నాయి.
చివరికి
లాగ్‌లు మరియు మెట్రిక్‌లను సేకరించి బట్వాడా చేయడానికి ఎంపికలతో చిత్రాలను నిర్మించడం మరియు ప్రారంభించడం కోసం మేము పూర్తి పరిష్కారాన్ని సృష్టించాము:
- మేము చిత్రాలను అసెంబ్లింగ్ చేయడానికి ఒక ప్రామాణిక విధానాన్ని అభివృద్ధి చేసాము మరియు దాని ఆధారంగా మేము CI టెంప్లేట్‌లను అభివృద్ధి చేసాము;
- డేటా సేకరణ ఏజెంట్లు మా టెలిగ్రాఫ్ పొడిగింపులు. మేము వాటిని ఉత్పత్తిలో బాగా పరీక్షించాము;
- మేము పాడ్‌లలో ఏజెంట్లతో కంటైనర్లను అమలు చేయడానికి మ్యుటేషన్ వెబ్‌హూక్‌ని ఉపయోగిస్తాము;
- కుబెర్నెటీస్/రాంచర్ పర్యావరణ వ్యవస్థలో విలీనం చేయబడింది;
- మేము వేర్వేరు ఆర్కెస్ట్రేషన్ సిస్టమ్‌లలో ఒకే కంటైనర్లను అమలు చేయవచ్చు మరియు మేము ఆశించిన ఫలితాన్ని పొందవచ్చు;
- పూర్తిగా డైనమిక్ కంటైనర్ నిర్వహణ కాన్ఫిగరేషన్ సృష్టించబడింది.
సహ రచయిత: ఇలియా ప్రుడ్నికోవ్
మూలం: www.habr.com