ఓపెన్‌స్టాక్‌లో బ్యాలెన్సింగ్‌ని లోడ్ చేయండి

పెద్ద క్లౌడ్ సిస్టమ్‌లలో, కంప్యూటింగ్ వనరులపై ఆటోమేటిక్ బ్యాలెన్సింగ్ లేదా లోడ్ లెవలింగ్ సమస్య ముఖ్యంగా తీవ్రంగా ఉంటుంది. Tionix (క్లౌడ్ సేవల డెవలపర్ మరియు ఆపరేటర్, రోస్టెలెకామ్ కంపెనీల సమూహంలో భాగం) కూడా ఈ సమస్యను చూసింది.

మరియు, మా ప్రధాన డెవలప్‌మెంట్ ప్లాట్‌ఫారమ్ ఓపెన్‌స్టాక్, మరియు మేము అందరిలాగే సోమరితనం ఉన్నందున, ప్లాట్‌ఫారమ్‌లో ఇప్పటికే చేర్చబడిన కొన్ని రెడీమేడ్ మాడ్యూల్‌ను ఎంచుకోవాలని నిర్ణయించబడింది. మా ఎంపిక వాచర్‌పై పడింది, దానిని మా అవసరాలకు ఉపయోగించాలని మేము నిర్ణయించుకున్నాము.

మొదట, నిబంధనలు మరియు నిర్వచనాలను చూద్దాం.

నిబంధనలు మరియు నిర్వచనాలు

లక్ష్యం మానవుడు-చదవగలిగే, గమనించదగిన మరియు కొలవగల తుది ఫలితం సాధించాలి. ప్రతి లక్ష్యాన్ని సాధించడానికి ఒకటి లేదా అంతకంటే ఎక్కువ వ్యూహాలు ఉన్నాయి. ఇచ్చిన లక్ష్యానికి పరిష్కారాన్ని కనుగొనే సామర్థ్యం ఉన్న అల్గోరిథం అమలును వ్యూహం అంటారు.

చర్య OpenStack క్లస్టర్ యొక్క లక్ష్య నిర్వహణ వనరు యొక్క ప్రస్తుత స్థితిని మార్చే ఒక ప్రాథమిక పని, అవి: వర్చువల్ మెషీన్‌ను తరలించడం (మైగ్రేషన్), నోడ్ యొక్క పవర్ స్థితిని మార్చడం (change_node_power_state), nova సేవ యొక్క స్థితిని మార్చడం (change_nova_service_state ), రుచిని మార్చడం (పరిమాణం మార్చడం), NOP సందేశాలను నమోదు చేయడం (nop), కొంత సమయం వరకు చర్య లేకపోవడం - పాజ్ (నిద్ర), డిస్క్ బదిలీ (వాల్యూమ్_మైగ్రేట్).

కార్య ప్రణాళిక - నిర్దిష్ట లక్ష్యాన్ని సాధించడానికి ఒక నిర్దిష్ట క్రమంలో నిర్వహించబడే నిర్దిష్ట చర్యల ప్రవాహం. కార్యాచరణ ప్రణాళిక పనితీరు సూచికల సమితితో కొలవబడిన ప్రపంచ పనితీరును కూడా కలిగి ఉంది. విజయవంతమైన ఆడిట్‌పై వాచర్‌చే కార్యాచరణ ప్రణాళిక రూపొందించబడింది, దీని ఫలితంగా ఉపయోగించిన వ్యూహం లక్ష్యాన్ని సాధించడానికి పరిష్కారాన్ని కనుగొంటుంది. యాక్షన్ ప్లాన్ వరుస చర్యల జాబితాను కలిగి ఉంటుంది.

ఆడిట్ క్లస్టర్‌ను ఆప్టిమైజ్ చేయడానికి ఒక అభ్యర్థన. ఇచ్చిన క్లస్టర్‌లో ఒక లక్ష్యాన్ని సాధించడానికి ఆప్టిమైజేషన్ నిర్వహించబడుతుంది. ప్రతి విజయవంతమైన ఆడిట్ కోసం, వాచర్ ఒక కార్యాచరణ ప్రణాళికను రూపొందిస్తుంది.

ఆడిట్ స్కోప్ అనేది ఆడిట్ నిర్వహించబడే వనరుల సమితి (లభ్యత జోన్(లు), నోడ్ అగ్రిగేటర్‌లు, వ్యక్తిగత గణన నోడ్‌లు లేదా నిల్వ నోడ్‌లు మొదలైనవి). ప్రతి టెంప్లేట్‌లో ఆడిట్ పరిధి నిర్వచించబడింది. ఆడిట్ పరిధిని పేర్కొనకపోతే, మొత్తం క్లస్టర్ ఆడిట్ చేయబడుతుంది.

ఆడిట్ టెంప్లేట్ — ఆడిట్‌ను ప్రారంభించడం కోసం సేవ్ చేయబడిన సెట్టింగుల సెట్. ఒకే సెట్టింగ్‌లతో అనేకసార్లు ఆడిట్‌లను అమలు చేయడానికి టెంప్లేట్‌లు అవసరం. టెంప్లేట్ తప్పనిసరిగా ఆడిట్ యొక్క ఉద్దేశ్యాన్ని కలిగి ఉండాలి; వ్యూహాలు పేర్కొనబడకపోతే, ఇప్పటికే ఉన్న అత్యంత అనుకూలమైన వ్యూహాలు ఎంపిక చేయబడతాయి.

క్లస్టర్ గణన, నిల్వ మరియు నెట్‌వర్కింగ్ వనరులను అందించే భౌతిక యంత్రాల సమాహారం మరియు అదే OpenStack నిర్వహణ నోడ్ ద్వారా నిర్వహించబడుతుంది.

క్లస్టర్ డేటా మోడల్ (CDM) క్లస్టర్ ద్వారా నిర్వహించబడే వనరుల యొక్క ప్రస్తుత స్థితి మరియు టోపోలాజీ యొక్క తార్కిక ప్రాతినిధ్యం.

సమర్థత సూచిక - ఈ వ్యూహాన్ని ఉపయోగించి సృష్టించబడిన పరిష్కారం ఎలా నిర్వహించబడుతుందో సూచించే సూచిక. పనితీరు సూచికలు నిర్దిష్ట లక్ష్యానికి నిర్దిష్టంగా ఉంటాయి మరియు ఫలిత కార్యాచరణ ప్రణాళిక యొక్క ప్రపంచ ప్రభావాన్ని లెక్కించడానికి సాధారణంగా ఉపయోగించబడతాయి.

సమర్థత స్పెసిఫికేషన్ ప్రతి లక్ష్యంతో అనుబంధించబడిన నిర్దిష్ట లక్షణాల సమితి, ఇది సంబంధిత లక్ష్యాన్ని సాధించే వ్యూహం దాని పరిష్కారంలో సాధించాల్సిన వివిధ పనితీరు సూచికలను నిర్వచిస్తుంది. వాస్తవానికి, వ్యూహం ద్వారా ప్రతిపాదించబడిన ప్రతి పరిష్కారం దాని ప్రపంచ ప్రభావాన్ని లెక్కించే ముందు స్పెసిఫికేషన్‌కు వ్యతిరేకంగా తనిఖీ చేయబడుతుంది.

స్కోరింగ్ ఇంజిన్ బాగా నిర్వచించబడిన ఇన్‌పుట్‌లు, చక్కగా నిర్వచించబడిన అవుట్‌పుట్‌లు మరియు పూర్తిగా గణిత శాస్త్ర విధిని కలిగి ఉండే ఎక్జిక్యూటబుల్ ఫైల్. ఈ విధంగా, గణన నిర్వహించబడే పర్యావరణం నుండి స్వతంత్రంగా ఉంటుంది-ఇది ఎక్కడైనా అదే ఫలితాన్ని ఇస్తుంది.

వాచర్ ప్లానర్ - వాచర్ డెసిషన్ మేకింగ్ ఇంజిన్‌లో భాగం. ఈ మాడ్యూల్ వ్యూహం ద్వారా రూపొందించబడిన చర్యల సమితిని తీసుకుంటుంది మరియు ఈ విభిన్న చర్యలను సమయానికి ఎలా షెడ్యూల్ చేయాలో మరియు ప్రతి చర్యకు, ముందస్తు షరతులు ఏమిటో పేర్కొనే వర్క్‌ఫ్లో ప్లాన్‌ను సృష్టిస్తుంది.

వాచర్ లక్ష్యాలు మరియు వ్యూహాలు

లక్ష్యం
వ్యూహం

డమ్మీ లక్ష్యం
డమ్మీ వ్యూహం 

నమూనా స్కోరింగ్ ఇంజిన్‌లను ఉపయోగించి నకిలీ వ్యూహం

పరిమాణంతో నకిలీ వ్యూహం

శక్తి సేవ్ చేస్తుంది
శక్తి పొదుపు వ్యూహం

సర్వర్ ఏకీకరణ
ప్రాథమిక ఆఫ్‌లైన్ సర్వర్ కన్సాలిడేషన్

VM వర్క్‌లోడ్ కన్సాలిడేషన్ స్ట్రాటజీ

వర్క్‌లోడ్ బ్యాలెన్సింగ్
వర్క్‌లోడ్ బ్యాలెన్స్ మైగ్రేషన్ స్ట్రాటజీ

స్టోరేజ్ కెపాసిటీ బ్యాలెన్స్ స్ట్రాటజీ

పనిభారం స్థిరీకరణ

ధ్వనించే పొరుగు
ధ్వనించే పొరుగు

థర్మల్ ఆప్టిమైజేషన్
అవుట్లెట్ ఉష్ణోగ్రత ఆధారిత వ్యూహం

ఎయిర్ ఫ్లో ఆప్టిమైజేషన్
ఏకరీతి వాయు ప్రవాహ వలస వ్యూహం

హార్డ్‌వేర్ నిర్వహణ
జోన్ వలస

వర్గీకరించని
చోదక

డమ్మీ లక్ష్యం - పరీక్ష ప్రయోజనాల కోసం ఉపయోగించే రిజర్వు లక్ష్యం.

సంబంధిత వ్యూహాలు: నకిలీ వ్యూహం, నమూనా స్కోరింగ్ ఇంజిన్‌లను ఉపయోగించి నకిలీ వ్యూహం మరియు పునఃపరిమాణంతో డమ్మీ వ్యూహం. డమ్మీ వ్యూహం అనేది టెంపెస్ట్ ద్వారా ఇంటిగ్రేషన్ టెస్టింగ్ కోసం ఉపయోగించే నకిలీ వ్యూహం. ఈ వ్యూహం ఎలాంటి ఉపయోగకరమైన ఆప్టిమైజేషన్‌ను అందించదు, టెంపెస్ట్ పరీక్షలను ఉపయోగించడం మాత్రమే దీని ఉద్దేశ్యం.

నమూనా స్కోరింగ్ ఇంజిన్‌లను ఉపయోగించి నకిలీ వ్యూహం - వ్యూహం మునుపటి మాదిరిగానే ఉంటుంది, మెషీన్ లెర్నింగ్ పద్ధతులను ఉపయోగించి గణనలను నిర్వహించే నమూనా “స్కోరింగ్ ఇంజిన్”ని ఉపయోగించడం మాత్రమే తేడా.

పునఃపరిమాణంతో నకిలీ వ్యూహం - వ్యూహం మునుపటి మాదిరిగానే ఉంటుంది, రుచిని మార్చడం (మైగ్రేషన్ మరియు పునఃపరిమాణం) మాత్రమే తేడా.

ఉత్పత్తిలో ఉపయోగించబడదు.

శక్తి సేవ్ చేస్తుంది - శక్తి వినియోగాన్ని తగ్గించండి. ఈ లక్ష్యం యొక్క సేవింగ్ ఎనర్జీ స్ట్రాటజీ, VM వర్క్‌లోడ్ కన్సాలిడేషన్ స్ట్రాటజీ (సర్వర్ కన్సాలిడేషన్)తో కలిసి, తక్కువ వనరుల వినియోగం ఉన్న సమయంలో కూడా పనిభారాన్ని డైనమిక్‌గా ఏకీకృతం చేయడం ద్వారా శక్తిని ఆదా చేసే డైనమిక్ పవర్ మేనేజ్‌మెంట్ (DPM) ఫీచర్లను కలిగి ఉంటుంది: వర్చువల్ మిషన్లు తక్కువ నోడ్‌లకు తరలించబడతాయి. , మరియు అనవసరమైన నోడ్‌లు నిలిపివేయబడ్డాయి. కన్సాలిడేషన్ తర్వాత, వ్యూహం పేర్కొన్న పారామితులకు అనుగుణంగా నోడ్‌లను ఆన్/ఆఫ్ చేయడంపై నిర్ణయాన్ని అందిస్తుంది: “min_free_hosts_num” - లోడ్ కోసం వేచి ఉన్న ఉచిత ప్రారంభించబడిన నోడ్‌ల సంఖ్య మరియు “free_used_percent” - ఉచిత ఎనేబుల్ చేయబడిన హోస్ట్‌ల శాతం యంత్రాలు ఆక్రమించిన నోడ్‌ల సంఖ్య. వ్యూహం పని చేయాలంటే తప్పనిసరిగా ఉండాలి నోడ్స్‌లో పవర్ సైక్లింగ్‌ను నిర్వహించడానికి ఐరోనిక్ ప్రారంభించబడింది మరియు కాన్ఫిగర్ చేయబడింది.

వ్యూహాత్మక పారామితులు

పరామితి
రకం
అప్రమేయంగా
వివరణ

ఉచిత_ఉపయోగించిన_శాతం
సంఖ్య
10.0
వర్చువల్ మిషన్లతో కూడిన కంప్యూటింగ్ నోడ్‌ల సంఖ్యకు ఉచిత కంప్యూటింగ్ నోడ్‌ల సంఖ్య నిష్పత్తి

min_free_hosts_num
Int
1
ఉచిత కంప్యూటింగ్ నోడ్‌ల కనీస సంఖ్య

క్లౌడ్ తప్పనిసరిగా కనీసం రెండు నోడ్‌లను కలిగి ఉండాలి. ఉపయోగించిన పద్ధతి నోడ్ యొక్క పవర్ స్థితిని మార్చడం (change_node_power_state). వ్యూహానికి కొలమానాలను సేకరించాల్సిన అవసరం లేదు.

సర్వర్ కన్సాలిడేషన్ - కంప్యూటింగ్ నోడ్‌ల సంఖ్యను తగ్గించండి (కన్సాలిడేషన్). దీనికి రెండు వ్యూహాలు ఉన్నాయి: బేసిక్ ఆఫ్‌లైన్ సర్వర్ కన్సాలిడేషన్ మరియు VM వర్క్‌లోడ్ కన్సాలిడేషన్ స్ట్రాటజీ.

బేసిక్ ఆఫ్‌లైన్ సర్వర్ కన్సాలిడేషన్ స్ట్రాటజీ ఉపయోగించిన మొత్తం సర్వర్‌ల సంఖ్యను తగ్గిస్తుంది మరియు మైగ్రేషన్‌ల సంఖ్యను కూడా తగ్గిస్తుంది.

ప్రాథమిక వ్యూహానికి క్రింది కొలమానాలు అవసరం:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

Compute.node.cpu.percent
సీలోమీటర్
ఎవరూ
 

cpu_util
సీలోమీటర్
ఎవరూ
 

వ్యూహాత్మక పారామితులు: migration_attempts - షట్‌డౌన్ కోసం సంభావ్య అభ్యర్థుల కోసం శోధించడానికి కలయికల సంఖ్య (డిఫాల్ట్, 0, పరిమితులు లేవు), వ్యవధి - మెట్రిక్ డేటా మూలం (డిఫాల్ట్, 700) నుండి స్టాటిక్ అగ్రిగేషన్‌ను పొందేందుకు సెకన్లలో వ్యవధి.

ఉపయోగించిన పద్ధతులు: వలసలు, నోవా సేవా స్థితిని మార్చడం (change_nova_service_state).

VM వర్క్‌లోడ్ కన్సాలిడేషన్ స్ట్రాటజీ అనేది కొలిచిన CPU లోడ్‌పై దృష్టి సారించే ఫస్ట్-ఫిట్ హ్యూరిస్టిక్‌పై ఆధారపడి ఉంటుంది మరియు రిసోర్స్ కెపాసిటీ పరిమితుల కారణంగా ఎక్కువ లేదా చాలా తక్కువ లోడ్ ఉన్న నోడ్‌లను తగ్గించడానికి ప్రయత్నిస్తుంది. ఈ వ్యూహం కింది నాలుగు దశలను ఉపయోగించి క్లస్టర్ వనరులను మరింత సమర్థవంతంగా ఉపయోగించుకునే పరిష్కారాన్ని అందిస్తుంది:

1. అన్‌లోడ్ దశ - అధికంగా ఉపయోగించిన వనరుల ప్రాసెసింగ్;
2. ఏకీకరణ దశ - ఉపయోగించని వనరులను నిర్వహించడం;
3. పరిష్కారం యొక్క ఆప్టిమైజేషన్ - వలసల సంఖ్యను తగ్గించడం;
4. ఉపయోగించని కంప్యూట్ నోడ్‌లను నిలిపివేస్తోంది.

వ్యూహానికి క్రింది కొలమానాలు అవసరం:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

మెమరీ
సీలోమీటర్
ఎవరూ
 

disk.root.size
సీలోమీటర్
ఎవరూ
 

కింది కొలమానాలు ఐచ్ఛికం కానీ అందుబాటులో ఉంటే వ్యూహ ఖచ్చితత్వాన్ని మెరుగుపరుస్తాయి:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

మెమరీ.నివాసి
సీలోమీటర్
ఎవరూ
 

cpu_util
సీలోమీటర్
ఎవరూ
 

వ్యూహాత్మక పారామితులు: వ్యవధి — మెట్రిక్ డేటా మూలం (డిఫాల్ట్, 3600) నుండి స్టాటిక్ అగ్రిగేషన్‌ను పొందేందుకు సెకన్లలో సమయ విరామం.

మునుపటి వ్యూహం వలె అదే పద్ధతులను ఉపయోగిస్తుంది. మరిన్ని వివరాలు ఇక్కడ.

వర్క్‌లోడ్ బ్యాలెన్సింగ్ - కంప్యూటింగ్ నోడ్‌ల మధ్య పనిభారాన్ని సమతుల్యం చేస్తుంది. లక్ష్యం మూడు వ్యూహాలను కలిగి ఉంది: వర్క్‌లోడ్ బ్యాలెన్స్ మైగ్రేషన్ స్ట్రాటజీ, వర్క్‌లోడ్ స్టెబిలైజేషన్, స్టోరేజ్ కెపాసిటీ బ్యాలెన్స్ స్ట్రాటజీ.

వర్క్‌లోడ్ బ్యాలెన్స్ మైగ్రేషన్ స్ట్రాటజీ హోస్ట్ వర్చువల్ మిషన్ వర్క్‌లోడ్ ఆధారంగా వర్చువల్ మెషీన్ మైగ్రేషన్‌లను అమలు చేస్తుంది. నోడ్ యొక్క % CPU లేదా RAM వినియోగం పేర్కొన్న థ్రెషోల్డ్‌ను అధిగమించినప్పుడల్లా మైగ్రేషన్ నిర్ణయం తీసుకోబడుతుంది. ఈ సందర్భంలో, తరలించబడిన వర్చువల్ మెషీన్ నోడ్‌ను అన్ని నోడ్‌ల సగటు పనిభారానికి దగ్గరగా తీసుకురావాలి.

అవసరాలు

• భౌతిక ప్రాసెసర్ల ఉపయోగం;
• కనీసం రెండు భౌతిక కంప్యూటింగ్ నోడ్‌లు;
• Ceilometer కాంపోనెంట్‌ని ఇన్‌స్టాల్ చేసి కాన్ఫిగర్ చేసారు - ceilometer-agent-compute, ప్రతి కంప్యూట్ నోడ్‌లో రన్ అవుతోంది మరియు Ceilometer API, అలాగే కింది కొలమానాలను సేకరించడం:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

cpu_util
సీలోమీటర్
ఎవరూ
 

మెమరీ.నివాసి
సీలోమీటర్
ఎవరూ
 

వ్యూహాత్మక పారామితులు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

కొలమానాలు
స్ట్రింగ్
'cpu_util'
అంతర్లీన మెట్రిక్‌లు: 'cpu_util', 'memory.resident'.

ప్రవేశ
సంఖ్య
25.0
వలస కోసం పనిభారం థ్రెషోల్డ్.

కాలం
సంఖ్య
300
సంచిత కాల వ్యవధి సీలోమీటర్.

ఉపయోగించిన పద్ధతి వలస.

వర్క్‌లోడ్ స్టెబిలైజేషన్ అనేది లైవ్ మైగ్రేషన్‌ని ఉపయోగించి పనిభారాన్ని స్థిరీకరించడానికి ఉద్దేశించిన వ్యూహం. వ్యూహం ప్రామాణిక విచలనం అల్గారిథమ్‌పై ఆధారపడి ఉంటుంది మరియు క్లస్టర్‌లో రద్దీ ఉందో లేదో నిర్ణయిస్తుంది మరియు క్లస్టర్‌ను స్థిరీకరించడానికి మెషిన్ మైగ్రేషన్‌ను ప్రేరేపించడం ద్వారా దానికి ప్రతిస్పందిస్తుంది.

అవసరాలు

• భౌతిక ప్రాసెసర్ల ఉపయోగం;
• కనీసం రెండు భౌతిక కంప్యూటింగ్ నోడ్‌లు;
• Ceilometer కాంపోనెంట్‌ని ఇన్‌స్టాల్ చేసి కాన్ఫిగర్ చేసారు - ceilometer-agent-compute, ప్రతి కంప్యూట్ నోడ్‌లో రన్ అవుతోంది మరియు Ceilometer API, అలాగే కింది కొలమానాలను సేకరించడం:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

cpu_util
సీలోమీటర్
ఎవరూ
 

మెమరీ.నివాసి
సీలోమీటర్
ఎవరూ
 

స్టోరేజ్ కెపాసిటీ బ్యాలెన్స్ స్ట్రాటజీ (క్వీన్స్‌తో ప్రారంభించి అమలు చేయబడిన వ్యూహం) - వ్యూహం సిండర్ పూల్స్‌పై లోడ్‌ను బట్టి డిస్క్‌లను బదిలీ చేస్తుంది. పూల్ వినియోగ రేటు పేర్కొన్న థ్రెషోల్డ్‌ను మించినప్పుడల్లా బదిలీ నిర్ణయం తీసుకోబడుతుంది. తరలించబడుతున్న డిస్క్ పూల్‌ను అన్ని సిండర్ పూల్‌ల సగటు లోడ్‌కు దగ్గరగా తీసుకురావాలి.

అవసరాలు మరియు పరిమితులు

• కనీసం రెండు సిండర్ కొలనులు;
• డిస్క్ మైగ్రేషన్ అవకాశం.
• క్లస్టర్ డేటా మోడల్ - సిండర్ క్లస్టర్ డేటా మోడల్ కలెక్టర్.

వ్యూహాత్మక పారామితులు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

వాల్యూమ్_థ్రెషోల్డ్
సంఖ్య
80.0
బ్యాలెన్సింగ్ వాల్యూమ్‌ల కోసం డిస్క్‌ల థ్రెషోల్డ్ విలువ.

ఉపయోగించిన పద్ధతి డిస్క్ మైగ్రేషన్ (వాల్యూమ్_మైగ్రేట్).

ధ్వనించే నైబర్ - "ధ్వనించే పొరుగు"ని గుర్తించి మరియు తరలించండి - చివరి స్థాయి కాష్‌ని ఎక్కువగా ఉపయోగించడం ద్వారా IPC పరంగా అధిక ప్రాధాన్యత కలిగిన వర్చువల్ మెషీన్ పనితీరును ప్రతికూలంగా ప్రభావితం చేసే తక్కువ ప్రాధాన్యత కలిగిన వర్చువల్ మెషీన్. స్వంత వ్యూహం: Noisy Neighbour (ఉపయోగించిన వ్యూహం పరామితి కాష్_థ్రెషోల్డ్ (డిఫాల్ట్ విలువ 35), పనితీరు పేర్కొన్న విలువకు పడిపోయినప్పుడు, మైగ్రేషన్ ప్రారంభమవుతుంది. వ్యూహం పని చేయడానికి, ప్రారంభించబడింది LLC (చివరి స్థాయి కాష్) కొలమానాలు, CMT మద్దతుతో తాజా ఇంటెల్ సర్వర్, అలాగే కింది కొలమానాలను సేకరించడం:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

cpu_l3_cache
సీలోమీటర్
ఎవరూ
ఇంటెల్ అవసరం CMT.

క్లస్టర్ డేటా మోడల్ (డిఫాల్ట్): నోవా క్లస్టర్ డేటా మోడల్ కలెక్టర్. ఉపయోగించిన పద్ధతి వలస.

డ్యాష్‌బోర్డ్ ద్వారా ఈ లక్ష్యంతో పని చేయడం క్వీన్స్‌లో పూర్తిగా అమలు చేయబడలేదు.

థర్మల్ ఆప్టిమైజేషన్ - ఉష్ణోగ్రత పాలనను ఆప్టిమైజ్ చేయండి. సర్వర్ యొక్క థర్మల్/వర్క్‌లోడ్ స్థితిని కొలవడానికి అవుట్‌లెట్ (ఎగ్జాస్ట్ ఎయిర్) ఉష్ణోగ్రత ముఖ్యమైన థర్మల్ టెలిమెట్రీ సిస్టమ్‌లలో ఒకటి. లక్ష్యం ఒక వ్యూహాన్ని కలిగి ఉంది, అవుట్‌లెట్ ఉష్ణోగ్రత ఆధారిత వ్యూహం, ఇది సోర్స్ హోస్ట్‌ల అవుట్‌లెట్ ఉష్ణోగ్రత కాన్ఫిగర్ చేయదగిన థ్రెషోల్డ్‌కు చేరుకున్నప్పుడు పనిభారాన్ని ఉష్ణ అనుకూల హోస్ట్‌లకు (అత్యల్ప అవుట్‌లెట్ ఉష్ణోగ్రత) తరలించాలని నిర్ణయించుకుంటుంది.

వ్యూహం పని చేయడానికి, మీకు Intel పవర్ నోడ్ మేనేజర్ ఇన్‌స్టాల్ చేసి కాన్ఫిగర్ చేయబడిన సర్వర్ అవసరం 3.0 లేదా తరువాత, అలాగే కింది కొలమానాలను సేకరించడం:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

hardware.ipmi.node.outlet_temperature
సీలోమీటర్
IPMI
 

వ్యూహాత్మక పారామితులు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

ప్రవేశ
సంఖ్య
35.0
వలస కోసం ఉష్ణోగ్రత థ్రెషోల్డ్.

కాలం
సంఖ్య
30
మెట్రిక్ డేటా సోర్స్ నుండి స్టాటిస్టికల్ అగ్రిగేషన్‌ను పొందేందుకు సెకన్లలో సమయ విరామం.

ఉపయోగించిన పద్ధతి వలస.

ఎయిర్ ఫ్లో ఆప్టిమైజేషన్ - వెంటిలేషన్ మోడ్‌ను ఆప్టిమైజ్ చేయండి. సొంత వ్యూహం - లైవ్ మైగ్రేషన్ ఉపయోగించి ఏకరీతి వాయుప్రసరణ. సర్వర్ ఫ్యాన్ నుండి ఎయిర్‌ఫ్లో పేర్కొన్న థ్రెషోల్డ్‌ను అధిగమించినప్పుడల్లా స్ట్రాటజీ వర్చువల్ మెషీన్ మైగ్రేషన్‌ను ప్రేరేపిస్తుంది.

వ్యూహం పని చేయడానికి మీకు ఇది అవసరం:

• హార్డ్‌వేర్: కంప్యూట్ నోడ్స్ <సపోర్టింగ్ NodeManager 3.0;
• కనీసం రెండు కంప్యూటింగ్ నోడ్‌లు;
• ప్రతి కంప్యూటింగ్ నోడ్‌లో సీలోమీటర్-ఏజెంట్-కంప్యూట్ మరియు సీలోమీటర్ API భాగం ఇన్‌స్టాల్ చేయబడింది మరియు కాన్ఫిగర్ చేయబడింది, ఇది గాలి ప్రవాహం, సిస్టమ్ పవర్, ఇన్‌లెట్ ఉష్ణోగ్రత వంటి కొలమానాలను విజయవంతంగా నివేదించగలదు:

కొలమానాలు
సేవ
ప్లగిన్లు
వ్యాఖ్యను

hardware.ipmi.node.airflow
సీలోమీటర్
IPMI
 

hardware.ipmi.node.temperature
సీలోమీటర్
IPMI
 

hardware.ipmi.node.power
సీలోమీటర్
IPMI
 

వ్యూహం పని చేయడానికి, మీకు Intel Power Node Manager 3.0 లేదా తర్వాత ఇన్‌స్టాల్ చేసి కాన్ఫిగర్ చేయబడిన సర్వర్ అవసరం.

పరిమితులు: భావన ఉత్పత్తి కోసం ఉద్దేశించబడలేదు.

ఈ అల్గారిథమ్‌ను నిరంతర ఆడిట్‌లతో ఉపయోగించాలని ప్రతిపాదించబడింది, ఎందుకంటే ప్రతి పునరావృతానికి ఒక వర్చువల్ మెషీన్ మాత్రమే మైగ్రేట్ చేయడానికి ప్రణాళిక చేయబడింది.

ప్రత్యక్ష వలసలు సాధ్యమే.

వ్యూహాత్మక పారామితులు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

థ్రెషోల్డ్_వాయుప్రవాహం
సంఖ్య
400.0
మైగ్రేషన్ యూనిట్ కోసం ఎయిర్ ఫ్లో థ్రెషోల్డ్ 0.1CFM

థ్రెషోల్డ్_ఇన్లెట్_టి
సంఖ్య
28.0
వలస నిర్ణయం కోసం ఇన్లెట్ ఉష్ణోగ్రత థ్రెషోల్డ్

థ్రెషోల్డ్_పవర్
సంఖ్య
350.0
మైగ్రేషన్ నిర్ణయం కోసం సిస్టమ్ పవర్ థ్రెషోల్డ్

కాలం
సంఖ్య
30
మెట్రిక్ డేటా సోర్స్ నుండి స్టాటిస్టికల్ అగ్రిగేషన్‌ను పొందేందుకు సెకన్లలో సమయ విరామం.

ఉపయోగించిన పద్ధతి వలస.

హార్డువేర్ ​​నిర్వహణ - హార్డ్‌వేర్ నిర్వహణ. ఈ లక్ష్యానికి సంబంధించిన వ్యూహం జోన్ మైగ్రేషన్. వ్యూహం అనేది హార్డ్‌వేర్ నిర్వహణ కోసం అవసరమైనప్పుడు వర్చువల్ మిషన్లు మరియు డిస్క్‌ల ప్రభావవంతమైన ఆటోమేటిక్ మరియు కనిష్ట మైగ్రేషన్ కోసం ఒక సాధనం. వ్యూహం బరువులకు అనుగుణంగా కార్యాచరణ ప్రణాళికను రూపొందిస్తుంది: ఎక్కువ బరువు ఉన్న చర్యల సమితి ఇతరుల కంటే ముందుగా ప్లాన్ చేయబడుతుంది. రెండు కాన్ఫిగరేషన్ ఎంపికలు ఉన్నాయి: action_weights మరియు సమాంతరీకరణ.

పరిమితులు: చర్య బరువులు మరియు సమాంతరీకరణను కాన్ఫిగర్ చేయాలి.

వ్యూహాత్మక పారామితులు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

కంప్యూట్_నోడ్స్
అమరిక
గమనిక
మైగ్రేషన్ కోసం కంప్యూట్ నోడ్లు.

నిల్వ_కొలనులు
అమరిక
గమనిక
మైగ్రేషన్ కోసం నిల్వ నోడ్స్.

సమాంతర_మొత్తం
పూర్ణ సంఖ్య
6
సమాంతరంగా అమలు చేయవలసిన మొత్తం కార్యకలాపాల సంఖ్య.

parallel_per_node
పూర్ణ సంఖ్య
2
ప్రతి కంప్యూట్ నోడ్ కోసం సమాంతరంగా చేసిన చర్యల సంఖ్య.

parallel_per_pool
పూర్ణ సంఖ్య
2
ప్రతి స్టోరేజ్ పూల్ కోసం సమాంతరంగా చేసిన చర్యల సంఖ్య.

ప్రాధాన్యత
వస్తువు
గమనిక
వర్చువల్ మిషన్లు మరియు డిస్క్‌ల కోసం ప్రాధాన్యత జాబితా.

జోడించిన_వాల్యూమ్‌తో
బూలియన్
తప్పుడు
అన్ని డిస్క్‌లను తరలించిన తర్వాత తప్పు-వర్చువల్ మిషన్లు తరలించబడతాయి. ట్రూ-అన్ని కనెక్ట్ చేయబడిన డిస్క్‌లను మైగ్రేట్ చేసిన తర్వాత వర్చువల్ మిషన్లు మైగ్రేట్ చేయబడతాయి.

కంప్యూటింగ్ నోడ్‌ల శ్రేణి యొక్క అంశాలు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

src_node
స్ట్రింగ్
గమనిక
వర్చువల్ మిషన్లు తరలించబడుతున్న కంప్యూట్ నోడ్ (అవసరం).

dst_node
స్ట్రింగ్
గమనిక
వర్చువల్ మిషన్లు మైగ్రేట్ అవుతున్న నోడ్‌ను లెక్కించండి.

స్టోరేజ్ నోడ్ అర్రే ఎలిమెంట్స్:

పరామితి
రకం
అప్రమేయంగా
వివరణ

src_pool
స్ట్రింగ్
గమనిక
డిస్క్‌లు తరలించబడుతున్న నిల్వ పూల్ (అవసరం).

dst_pool
స్ట్రింగ్
గమనిక
డిస్క్‌లు తరలించబడిన నిల్వ పూల్.

src_type
స్ట్రింగ్
గమనిక
అసలు డిస్క్ రకం (అవసరం).

dst_type
స్ట్రింగ్
గమనిక
ఫలితంగా డిస్క్ రకం (అవసరం).

ఆబ్జెక్ట్ ప్రాధాన్యతా అంశాలు:

పరామితి
రకం
అప్రమేయంగా
వివరణ

ప్రాజెక్ట్
అమరిక
గమనిక
ప్రాజెక్ట్ పేర్లు.

కంప్యూట్_నోడ్
అమరిక
గమనిక
నోడ్ పేర్లను గణించండి.

నిల్వ_కొలను
అమరిక
గమనిక
నిల్వ కొలను పేర్లు.

గణించండి
ఎనమ్
గమనిక
వర్చువల్ మెషీన్ పారామితులు [“vcpu_num”, “mem_size”, “disk_size”, “created_at”].

నిల్వ
ఎనమ్
గమనిక
డిస్క్ పారామితులు [“పరిమాణం”, “సృష్టించబడిన_వట్”].

ఉపయోగించిన పద్ధతులు వర్చువల్ మెషిన్ మైగ్రేషన్, డిస్క్ మైగ్రేషన్.

వర్గీకరించని - వ్యూహ అభివృద్ధి ప్రక్రియను సులభతరం చేయడానికి ఉపయోగించే సహాయక లక్ష్యం. స్పెసిఫికేషన్‌లను కలిగి ఉండదు మరియు ఇప్పటికే ఉన్న లక్ష్యంతో వ్యూహం ఇంకా అనుబంధించబడనప్పుడు ఉపయోగించవచ్చు. ఈ లక్ష్యాన్ని పరివర్తన బిందువుగా కూడా ఉపయోగించవచ్చు. ఈ లక్ష్యానికి సంబంధించిన వ్యూహం యాక్యుయేటర్.   

కొత్త లక్ష్యాన్ని సృష్టించడం

వాచర్ డెసిషన్ ఇంజిన్ "బాహ్య లక్ష్యం" ప్లగ్ఇన్ ఇంటర్‌ఫేస్‌ను కలిగి ఉంది, ఇది వ్యూహాన్ని ఉపయోగించి సాధించగల బాహ్య లక్ష్యాన్ని ఏకీకృతం చేయడం సాధ్యం చేస్తుంది.

మీరు కొత్త లక్ష్యాన్ని సృష్టించే ముందు, ఇప్పటికే ఉన్న లక్ష్యాలు మీ అవసరాలకు అనుగుణంగా లేవని మీరు నిర్ధారించుకోవాలి.

కొత్త ప్లగిన్‌ని సృష్టిస్తోంది

కొత్త లక్ష్యాన్ని సృష్టించడానికి, మీరు తప్పక: లక్ష్య తరగతిని విస్తరించండి, తరగతి పద్ధతిని అమలు చేయండి పొందు_పేరు() మీరు సృష్టించాలనుకుంటున్న కొత్త లక్ష్యం యొక్క ప్రత్యేక IDని తిరిగి ఇవ్వడానికి. ఈ ప్రత్యేక ఐడెంటిఫైయర్ తప్పనిసరిగా మీరు తర్వాత ప్రకటించిన ఎంట్రీ పాయింట్ పేరుతో సరిపోలాలి.

తదుపరి మీరు తరగతి పద్ధతిని అమలు చేయాలి get_display_name() మీరు సృష్టించాలనుకుంటున్న లక్ష్యం యొక్క అనువదించబడిన ప్రదర్శన పేరును తిరిగి ఇవ్వడానికి (అనువదించిన స్ట్రింగ్‌ను తిరిగి ఇవ్వడానికి వేరియబుల్‌ని ఉపయోగించవద్దు, కనుక ఇది అనువాద సాధనం ద్వారా స్వయంచాలకంగా సేకరించబడుతుంది.).

తరగతి పద్ధతిని అమలు చేయండి get_translatable_display_name()మీ కొత్త లక్ష్యం యొక్క అనువాద కీని (వాస్తవానికి ఆంగ్ల ప్రదర్శన పేరు) తిరిగి ఇవ్వడానికి. రిటర్న్ విలువ తప్పనిసరిగా get_display_name()లోకి అనువదించబడిన స్ట్రింగ్‌తో సరిపోలాలి.

అతని పద్ధతిని అమలు చేయండి get_eficacy_specification()మీ లక్ష్యం కోసం సమర్థతా వివరణను తిరిగి ఇవ్వడానికి. get_efficacy_specification() పద్ధతి వాచర్ అందించిన అన్‌క్లాసిఫైడ్() ఉదాహరణని అందిస్తుంది. ఈ పనితీరు స్పెసిఫికేషన్ మీ లక్ష్యాన్ని అభివృద్ధి చేసే ప్రక్రియలో ఉపయోగపడుతుంది ఎందుకంటే ఇది ఖాళీ స్పెసిఫికేషన్‌కు అనుగుణంగా ఉంటుంది.

→ ఇక్కడ మరింత చదవండి

వాచర్ ఆర్కిటెక్చర్ (మరిన్ని వివరాలు) ఇక్కడ).

భాగాలు

వాచర్ API - వాచర్ అందించిన REST APIని అమలు చేసే భాగం. ఇంటరాక్షన్ మెకానిజమ్స్: CLI, హారిజన్ ప్లగ్ఇన్, పైథాన్ SDK.

వాచర్ DB - వాచర్ డేటాబేస్.

వాచర్ అప్లైయర్ — వాచర్ డెసిషన్ ఇంజిన్ కాంపోనెంట్ రూపొందించిన యాక్షన్ ప్లాన్ అమలును అమలు చేసే భాగం.

వాచర్ డెసిషన్ ఇంజిన్ - ఆడిట్ లక్ష్యాన్ని సాధించడానికి సంభావ్య ఆప్టిమైజేషన్ చర్యల సమితిని కంప్యూటింగ్ చేయడానికి బాధ్యత వహించే భాగం. వ్యూహం పేర్కొనబడకపోతే, భాగం స్వతంత్రంగా అత్యంత సముచితమైనదాన్ని ఎంచుకుంటుంది.

వాచర్ మెట్రిక్స్ పబ్లిషర్ - కొన్ని కొలమానాలు లేదా ఈవెంట్‌లను సేకరించి, గణించి, వాటిని CEP ఎండ్‌పాయింట్‌కు ప్రచురించే భాగం. భాగం యొక్క కార్యాచరణను సిలోమీటర్ ప్రచురణకర్త కూడా అందించవచ్చు.

కాంప్లెక్స్ ఈవెంట్ ప్రాసెసింగ్ (CEP) ఇంజిన్ - సంక్లిష్ట ఈవెంట్ ప్రాసెసింగ్ కోసం ఇంజిన్. పనితీరు కారణాల దృష్ట్యా, బహుళ CEP ఇంజిన్ ఉదంతాలు ఏకకాలంలో అమలులో ఉండవచ్చు, ప్రతి ఒక్కటి నిర్దిష్ట రకం మెట్రిక్/ఈవెంట్‌ను ప్రాసెస్ చేస్తుంది. వాచర్ సిస్టమ్‌లో, CEP రెండు రకాల చర్యలను ప్రేరేపిస్తుంది: - సమయ శ్రేణి డేటాబేస్‌లో సంబంధిత ఈవెంట్‌లు / మెట్రిక్‌లను రికార్డ్ చేయండి; - ఓపెన్‌స్టాక్ క్లస్టర్ స్టాటిక్ సిస్టమ్ కానందున, ఈ ఈవెంట్ ప్రస్తుత ఆప్టిమైజేషన్ స్ట్రాటజీ ఫలితాన్ని ప్రభావితం చేసినప్పుడు తగిన ఈవెంట్‌లను వాచర్ డెసిషన్ ఇంజిన్‌కు పంపండి.

భాగాలు AMQP ప్రోటోకాల్ ఉపయోగించి పరస్పర చర్య చేస్తాయి.

→ వాచర్‌ని కాన్ఫిగర్ చేస్తోంది

వాచర్‌తో పరస్పర చర్య పథకం

వాచర్ పరీక్ష ఫలితాలు

1. ఆప్టిమైజేషన్ - యాక్షన్ ప్లాన్‌ల 500 పేజీలో (స్వచ్ఛమైన క్వీన్స్‌లో మరియు టియోనిక్స్ మాడ్యూల్స్‌తో కూడిన స్టాండ్‌లో), ఇది ఆడిట్ ప్రారంభించబడిన తర్వాత మరియు కార్యాచరణ ప్రణాళిక రూపొందించబడిన తర్వాత మాత్రమే కనిపిస్తుంది; ఖాళీగా ఉన్నది సాధారణంగా తెరవబడుతుంది.
2. యాక్షన్ వివరాల ట్యాబ్‌లో లోపాలు ఉన్నాయి, ఆడిట్ లక్ష్యం మరియు వ్యూహాన్ని పొందడం సాధ్యం కాదు (స్వచ్ఛమైన క్వీన్స్‌లో మరియు టియోనిక్స్ మాడ్యూల్స్‌తో కూడిన స్టాండ్‌లో).
3. డమ్మీ (పరీక్ష) ఉద్దేశ్యంతో ఆడిట్‌లు సృష్టించబడతాయి మరియు సాధారణంగా ప్రారంభించబడతాయి, కార్యాచరణ ప్రణాళికలు రూపొందించబడతాయి.
4. అన్‌క్లాసిఫైడ్ గోల్ కోసం ఆడిట్‌లు సృష్టించబడవు ఎందుకంటే లక్ష్యం ఫంక్షనల్ కాదు మరియు కొత్త వ్యూహాలను రూపొందించేటప్పుడు ఇంటర్మీడియట్ కాన్ఫిగరేషన్ కోసం ఉద్దేశించబడింది.
5. వర్క్‌లోడ్ బ్యాలెన్సింగ్ (స్టోరేజ్ కెపాసిటీ బ్యాలెన్స్ స్ట్రాటజీ) ప్రయోజనం కోసం ఆడిట్‌లు విజయవంతంగా సృష్టించబడ్డాయి, కానీ కార్యాచరణ ప్రణాళిక రూపొందించబడలేదు. నిల్వ పూల్ ఆప్టిమైజేషన్ అవసరం లేదు.
6. వర్క్‌లోడ్ బ్యాలెన్సింగ్ లక్ష్యం (వర్క్‌లోడ్ బ్యాలెన్స్ మైగ్రేషన్ స్ట్రాటజీ) కోసం ఆడిట్‌లు విజయవంతంగా సృష్టించబడ్డాయి, అయితే కార్యాచరణ ప్రణాళిక రూపొందించబడలేదు.
7. వర్క్‌లోడ్ బ్యాలెన్సింగ్ (వర్క్‌లోడ్ స్టెబిలైజేషన్ స్ట్రాటజీ) కోసం ఆడిట్‌లు విఫలమయ్యాయి.
8. నాయిస్ నైబర్ లక్ష్యం కోసం ఆడిట్‌లు విజయవంతంగా సృష్టించబడ్డాయి, కానీ కార్యాచరణ ప్రణాళిక రూపొందించబడలేదు.
9. హార్డ్‌వేర్ నిర్వహణ ప్రయోజనం కోసం ఆడిట్‌లు విజయవంతంగా సృష్టించబడతాయి, కార్యాచరణ ప్రణాళిక పూర్తిగా రూపొందించబడదు (పనితీరు సూచికలు రూపొందించబడతాయి, కానీ చర్యల జాబితా కూడా రూపొందించబడదు).
10. కంప్యూట్ మరియు కంట్రోల్ నోడ్‌లలో nova.conf configs (డిఫాల్ట్ విభాగంలో compute_monitors = cpu.virt_driver)లోని సవరణలు లోపాలను సరిచేయవు.
11. సర్వర్ కన్సాలిడేషన్ (ప్రాథమిక వ్యూహం) లక్ష్యంగా చేసుకున్న ఆడిట్‌లు కూడా విఫలమవుతాయి.
12. సర్వర్ కన్సాలిడేషన్ (VM వర్క్‌లోడ్ కన్సాలిడేషన్ స్ట్రాటజీ) ప్రయోజనం కోసం ఆడిట్‌లు లోపంతో విఫలమవుతాయి. లాగ్‌లలో సోర్స్ డేటాను పొందడంలో లోపం ఉంది. లోపం యొక్క చర్చ, ముఖ్యంగా ఇక్కడ.
    మేము కాన్ఫిగరేషన్ ఫైల్‌లో వాచర్‌ని పేర్కొనడానికి ప్రయత్నించాము (ఇది సహాయం చేయలేదు - అన్ని ఆప్టిమైజేషన్ పేజీలలోని లోపం ఫలితంగా, కాన్ఫిగరేషన్ ఫైల్ యొక్క అసలు కంటెంట్‌లకు తిరిగి రావడం పరిస్థితిని సరిచేయదు):
    [watcher_strategies.basic] డేటాసోర్స్ = సీలోమీటర్, గ్నోచి
13. శక్తిని ఆదా చేయడానికి ఆడిట్‌లు విఫలమయ్యాయి. లాగ్‌లను బట్టి చూస్తే, సమస్య ఇప్పటికీ ఐరోనిక్ లేకపోవడం; ఇది బేర్‌మెటల్ సేవ లేకుండా పనిచేయదు.
14. థర్మల్ ఆప్టిమైజేషన్ కోసం ఆడిట్‌లు విఫలమయ్యాయి. ట్రేస్‌బ్యాక్ సర్వర్ కన్సాలిడేషన్ (VM వర్క్‌లోడ్ కన్సాలిడేషన్ స్ట్రాటజీ) (సోర్స్ డేటా ఎర్రర్) వలె ఉంటుంది.
15. ఎయిర్‌ఫ్లో ఆప్టిమైజేషన్ ప్రయోజనం కోసం ఆడిట్‌లు లోపంతో విఫలమవుతాయి.

కింది ఆడిట్ పూర్తి లోపాలు కూడా ఎదురయ్యాయి. నిర్ణయం-engine.log లాగ్‌లలో ట్రేస్‌బ్యాక్ (క్లస్టర్ స్థితి నిర్వచించబడలేదు).

→ లోపం యొక్క చర్చ ఇక్కడ

తీర్మానం

మా రెండు నెలల పరిశోధన యొక్క ఫలితం ఏమిటంటే, పూర్తి స్థాయి, పని చేసే లోడ్ బ్యాలెన్సింగ్ సిస్టమ్‌ను పొందడానికి, ఈ భాగంలో, ఓపెన్‌స్టాక్ ప్లాట్‌ఫారమ్ కోసం సాధనాలను మెరుగుపరచడంలో మేము దగ్గరగా పని చేస్తాము.

వాచర్ అపారమైన సంభావ్యతతో తీవ్రమైన మరియు వేగంగా అభివృద్ధి చెందుతున్న ఉత్పత్తిగా నిరూపించబడింది, దీని పూర్తి ఉపయోగం కోసం చాలా తీవ్రమైన పని అవసరం.

కానీ సిరీస్ యొక్క తదుపరి కథనాలలో దీని గురించి మరింత.

మూలం: www.habr.com