Skyengలో మేము సమాంతర స్కేలింగ్‌తో సహా Amazon Redshiftని ఉపయోగిస్తాము, కాబట్టి మేము intermix.io కోసం dotgo.com వ్యవస్థాపకుడు స్టెఫాన్ గ్రోమోల్ యొక్క ఈ కథనాన్ని ఆసక్తికరంగా కనుగొన్నాము. అనువాదం తర్వాత, డేటా ఇంజనీర్ డానియార్ బెల్ఖోడ్జేవ్ నుండి మా అనుభవంలో కొంచెం.
క్లస్టర్‌కి కొత్త నోడ్‌లను జోడించడం ద్వారా స్కేలింగ్‌ని అనుమతిస్తుంది. అభ్యర్థనల గరిష్ట సంఖ్యను ఎదుర్కోవాల్సిన అవసరం నోడ్‌లను అధికంగా అందించడానికి దారితీస్తుంది. కొత్త నోడ్‌లను జోడించడానికి విరుద్ధంగా కాన్కరెన్సీ స్కేలింగ్, అవసరమైన విధంగా కంప్యూటింగ్ శక్తిని పెంచుతుంది.
అమెజాన్ రెడ్‌షిఫ్ట్ పారలల్ స్కేలింగ్ రెడ్‌షిఫ్ట్ క్లస్టర్‌లకు పీక్ రిక్వెస్ట్ వాల్యూమ్‌లను నిర్వహించడానికి అదనపు సామర్థ్యాన్ని అందిస్తుంది. ఇది నేపథ్యంలో కొత్త "సమాంతర" క్లస్టర్‌లకు అభ్యర్థనలను తరలించడం ద్వారా పని చేస్తుంది. WLM కాన్ఫిగరేషన్ మరియు నియమాల ఆధారంగా అభ్యర్థనలు రూట్ చేయబడతాయి.
సమాంతర స్కేలింగ్ ధర ఉచిత శ్రేణితో క్రెడిట్ మోడల్‌పై ఆధారపడి ఉంటుంది. ఉచిత క్రెడిట్‌ల పైన, చెల్లింపు సమాంతర స్కేలింగ్ క్లస్టర్ అభ్యర్థనలను ప్రాసెస్ చేసే సమయంపై ఆధారపడి ఉంటుంది.
రచయిత అంతర్గత క్లస్టర్‌లలో ఒకదానిపై సమాంతర స్కేలింగ్‌ను పరీక్షించారు. ఈ పోస్ట్‌లో, అతను పరీక్ష ఫలితాల గురించి మాట్లాడతాడు మరియు ఎలా ప్రారంభించాలనే దానిపై చిట్కాలను ఇస్తాడు.
క్లస్టర్ అవసరాలు
సమాంతర స్కేలింగ్‌ని ఉపయోగించడానికి, మీ అమెజాన్ రెడ్‌షిఫ్ట్ క్లస్టర్ తప్పనిసరిగా కింది అవసరాలను తీర్చాలి:
- వేదిక: EC2-VPC;
- నోడ్ రకం: dc2.8xlarge, ds2.8xlarge, dc2.large లేదా ds2.xlarge;
- నోడ్ల సంఖ్య: 2 నుండి 32 వరకు (సింగిల్ నోడ్ క్లస్టర్‌లకు మద్దతు లేదు).
ఆమోదయోగ్యమైన అభ్యర్థన రకాలు
అన్ని రకాల ప్రశ్నలకు సమాంతర స్కేలింగ్ తగినది కాదు. మొదటి సంస్కరణలో, ఇది మూడు షరతులను సంతృప్తిపరిచే రీడ్ అభ్యర్థనలను మాత్రమే ప్రాసెస్ చేస్తుంది:
— SELECT ప్రశ్నలు చదవడానికి మాత్రమే (మరిన్ని రకాలు ప్రణాళిక చేయబడినప్పటికీ);
- ప్రశ్న ఇంటర్లీవ్డ్ సార్టింగ్ స్టైల్‌తో పట్టికను సూచించదు;
- ప్రశ్న బాహ్య పట్టికలను సూచించడానికి Amazon Redshift స్పెక్ట్రమ్‌ను ఉపయోగించదు.
సమాంతర స్కేలింగ్ క్లస్టర్‌కి మళ్లించబడాలంటే, అభ్యర్థన తప్పనిసరిగా క్యూలో ఉండాలి. అదనంగా, క్యూకి అర్హత ఉన్న ప్రశ్నలు , సమాంతర స్కేల్ క్లస్టర్‌లపై అమలు చేయబడదు.
క్యూలు మరియు SQAలకు సరైన కాన్ఫిగరేషన్ అవసరం . ముందుగా మీ WLMని ఆప్టిమైజ్ చేయాలని మేము సిఫార్సు చేస్తున్నాము - ఇది సమాంతర స్కేలింగ్ అవసరాన్ని తగ్గిస్తుంది. మరియు ఇది చాలా ముఖ్యం ఎందుకంటే సమాంతర స్కేలింగ్ నిర్దిష్ట గంటల వరకు మాత్రమే ఉచితం. AWS 97% కస్టమర్‌లకు సమాంతర స్కేలింగ్ ఉచితం అని పేర్కొంది, ఇది ధరల సమస్యకు మమ్మల్ని తీసుకువస్తుంది.
సమాంతర స్కేలింగ్ ఖర్చు
AWS సమాంతర స్కేలింగ్ కోసం క్రెడిట్ మోడల్‌ను అందిస్తుంది. ప్రతి సక్రియ క్లస్టర్ ప్రతి గంటకు క్రెడిట్‌లను సేకరిస్తుంది, రోజుకు ఒక గంట వరకు ఉచిత సమాంతర స్కేలింగ్ క్రెడిట్‌లు.
మీ సమాంతర స్కేలింగ్ క్లస్టర్ల వినియోగం మీరు అందుకున్న క్రెడిట్‌ల మొత్తాన్ని మించిపోయినప్పుడు మాత్రమే మీరు చెల్లిస్తారు.
ఫ్రీ రేట్ కంటే ఎక్కువగా ఉపయోగించబడే సమాంతర క్లస్టర్ కోసం ధర సెకనుకు ఆన్-డిమాండ్ రేటుతో లెక్కించబడుతుంది. సమాంతర స్కేలింగ్ క్లస్టర్ సక్రియం చేయబడిన ప్రతిసారి కనీసం ఒక నిమిషం ఛార్జీతో మీ అభ్యర్థనల వ్యవధికి మాత్రమే మీకు ఛార్జీ విధించబడుతుంది. సాధారణ ధర సూత్రాల ఆధారంగా సెకనుకు ఆన్-డిమాండ్ రేటు లెక్కించబడుతుంది , అంటే, ఇది నోడ్ రకం మరియు మీ క్లస్టర్‌లోని నోడ్ల సంఖ్యపై ఆధారపడి ఉంటుంది.
సమాంతర స్కేలింగ్‌ని ప్రారంభిస్తోంది
ప్రతి WLM క్యూ కోసం సమాంతర స్కేలింగ్ ట్రిగ్గర్ చేయబడుతుంది. AWS రెడ్‌షిఫ్ట్ కన్సోల్‌కి వెళ్లి, ఎడమ నావిగేషన్ మెను నుండి వర్క్‌లోడ్ మేనేజ్‌మెంట్‌ని ఎంచుకోండి. కింది డ్రాప్-డౌన్ మెను నుండి మీ క్లస్టర్ యొక్క WLM పారామితి సమూహాన్ని ఎంచుకోండి.
మీరు ప్రతి క్యూ పక్కన "కరెన్సీ స్కేలింగ్ మోడ్" అనే కొత్త నిలువు వరుసను చూస్తారు. డిఫాల్ట్ "డిసేబుల్". "సవరించు" క్లిక్ చేయండి మరియు మీరు ప్రతి క్యూ కోసం సెట్టింగ్‌లను మార్చవచ్చు.
ఆకృతీకరణ
కొత్త అంకితమైన క్లస్టర్‌లకు తగిన అభ్యర్థనలను ఫార్వార్డ్ చేయడం ద్వారా సమాంతర స్కేలింగ్ పనిచేస్తుంది. కొత్త క్లస్టర్‌లు ప్రధాన క్లస్టర్‌కు సమానమైన పరిమాణాన్ని (నోడ్ల రకం మరియు సంఖ్య) కలిగి ఉంటాయి.
సమాంతర స్కేలింగ్ కోసం ఉపయోగించే క్లస్టర్ల డిఫాల్ట్ సంఖ్య ఒకటి (1), మొత్తం పది (10) క్లస్టర్ల వరకు కాన్ఫిగర్ చేయగల సామర్థ్యం.
సమాంతర స్కేలింగ్ కోసం మొత్తం క్లస్టర్ల సంఖ్యను max_concurrency_scaling_clusters పరామితి ద్వారా సెట్ చేయవచ్చు. ఈ పరామితి విలువను పెంచడం వలన అదనపు అనవసరమైన క్లస్టర్‌లు అందించబడతాయి.
పర్యవేక్షణ
AWS రెడ్‌షిఫ్ట్ కన్సోల్‌లో అనేక అదనపు గ్రాఫ్‌లు అందుబాటులో ఉన్నాయి. మాక్స్ కాన్ఫిగర్ చేయబడిన కాన్కరెన్సీ స్కేలింగ్ క్లస్టర్ల చార్ట్ కాలక్రమేణా max_concurrency_scaling_clusters విలువను ప్రదర్శిస్తుంది.
సక్రియ స్కేలింగ్ క్లస్టర్ల సంఖ్య "కరెన్సీ స్కేలింగ్ యాక్టివిటీ" విభాగంలో వినియోగదారు ఇంటర్‌ఫేస్‌లో ప్రదర్శించబడుతుంది:
ప్రశ్నల ట్యాబ్‌లో, ప్రశ్న ప్రధాన క్లస్టర్‌లో లేదా సమాంతర స్కేలింగ్ క్లస్టర్‌లో అమలు చేయబడిందా అని సూచించే నిలువు వరుస ఉంది:
ఒక నిర్దిష్ట ప్రశ్న ప్రధాన క్లస్టర్‌లో లేదా సమాంతర స్కేలింగ్ క్లస్టర్ ద్వారా అమలు చేయబడిందా అనే దానితో సంబంధం లేకుండా, అది stl_query.concurrency_scaling_statusలో నిల్వ చేయబడుతుంది.
1 యొక్క విలువ ప్రశ్న సమాంతర స్కేల్ క్లస్టర్‌లో అమలు చేయబడిందని సూచిస్తుంది, అయితే ఇతర విలువలు ఇది ప్రాథమిక క్లస్టర్‌లో అమలు చేయబడిందని సూచిస్తున్నాయి.
ఉదాహరణకు:
కాన్కరెన్సీ స్కేలింగ్ సమాచారం SVCS_CONCURRENCY_SCALING_USAGE వంటి కొన్ని ఇతర పట్టికలు మరియు వీక్షణలలో కూడా నిల్వ చేయబడుతుంది. అదనంగా, సమాంతర స్కేలింగ్ గురించి సమాచారాన్ని నిల్వ చేసే అనేక కేటలాగ్ పట్టికలు ఉన్నాయి.
Результаты
రచయితలు 18/30/00న సుమారు 29.03.2019:3:20 GMTకి అంతర్గత క్లస్టర్‌లోని ఒక క్యూ కోసం సమాంతర స్కేలింగ్‌ను ప్రారంభించారు. max_concurrency_scaling_clusters పరామితిని 30/00/29.03.2019న సుమారు XNUMX:XNUMX:XNUMXకి XNUMXకి మార్చారు.
అభ్యర్థన క్యూను అనుకరించడానికి, మేము ఈ క్యూ కోసం స్లాట్‌ల సంఖ్యను 15 నుండి 5కి తగ్గించాము.
దిగువన intermix.io డ్యాష్‌బోర్డ్ చార్ట్ స్లాట్‌ల సంఖ్యను తగ్గించిన తర్వాత రన్ అవుతున్న మరియు క్యూలో ఉన్న అభ్యర్థనల సంఖ్యను చూపుతుంది.
క్యూలో అభ్యర్థనల కోసం వేచి ఉండే సమయం పెరిగినట్లు మేము చూస్తున్నాము, గరిష్ట సమయం 5 నిమిషాల కంటే ఎక్కువ.
ఈ సమయంలో ఏమి జరిగిందనే దాని గురించి AWS కన్సోల్ నుండి సంబంధిత సమాచారం ఇక్కడ ఉంది:
రెడ్‌షిఫ్ట్ కాన్ఫిగర్ చేసిన విధంగా మూడు (3) సమాంతర స్కేలింగ్ క్లస్టర్‌లను ప్రారంభించింది. మా క్లస్టర్‌లో అనేక అభ్యర్థనలు క్యూలో ఉన్నప్పటికీ, ఈ క్లస్టర్‌లు తక్కువగా ఉపయోగించబడినట్లు కనిపిస్తోంది.
వినియోగ గ్రాఫ్ స్కేలింగ్ యాక్టివిటీ గ్రాఫ్‌తో సహసంబంధం కలిగి ఉంటుంది:
కొన్ని గంటల తర్వాత, రచయితలు క్యూని తనిఖీ చేసారు మరియు 6 అభ్యర్థనలు సమాంతర స్కేలింగ్‌లో నడుస్తున్నట్లు కనిపించాయి. మేము వినియోగదారు ఇంటర్‌ఫేస్ ద్వారా యాదృచ్ఛికంగా రెండు అభ్యర్థనలను కూడా పరీక్షించాము. అనేక సమాంతర క్లస్టర్‌లు ఒకేసారి సక్రియంగా ఉన్నప్పుడు ఈ విలువలను ఎలా ఉపయోగించాలో మేము తనిఖీ చేయలేదు.
కనుగొన్న
సమాంతర స్కేలింగ్ గరిష్ట లోడ్‌ల సమయంలో క్యూలో గడిపే అభ్యర్థనలను తగ్గిస్తుంది.
ప్రాథమిక పరీక్ష ఫలితాల ఆధారంగా, అభ్యర్థనలను లోడ్ చేసే పరిస్థితి పాక్షికంగా మెరుగుపడిందని తేలింది. అయినప్పటికీ, సమాంతర స్కేలింగ్ మాత్రమే అన్ని సమకాలీకరణ సమస్యలను పరిష్కరించలేదు.
సమాంతర స్కేలింగ్‌ని ఉపయోగించే ప్రశ్నల రకాలపై పరిమితులు దీనికి కారణం. ఉదాహరణకు, రచయితలు ఇంటర్లీవ్డ్ సార్ట్ కీలతో చాలా టేబుల్‌లను కలిగి ఉన్నారు మరియు మా పనిభారంలో ఎక్కువ భాగం రాయడం.
WLMని సెటప్ చేయడానికి సమాంతర స్కేలింగ్ సార్వత్రిక పరిష్కారం కానప్పటికీ, ఈ లక్షణాన్ని ఉపయోగించడం సులభం మరియు సూటిగా ఉంటుంది.
కాబట్టి, మీ WLM క్యూల కోసం దీన్ని ఉపయోగించమని రచయిత సిఫార్సు చేస్తున్నారు. ఒక సమాంతర క్లస్టర్‌తో ప్రారంభించండి మరియు కొత్త క్లస్టర్‌లు పూర్తిగా ఉపయోగించబడుతున్నాయో లేదో తెలుసుకోవడానికి కన్సోల్ ద్వారా పీక్ లోడ్‌ను పర్యవేక్షించండి.
AWS అదనపు ప్రశ్న రకాలు మరియు పట్టికలకు మద్దతును జోడిస్తుంది కాబట్టి, సమాంతర స్కేలింగ్ క్రమంగా మరింత సమర్థవంతంగా మారుతుంది.
Daniar Belkhodzhaev, Skyeng డేటా ఇంజనీర్ నుండి వ్యాఖ్య
మేము Skyeng వద్ద కూడా సమాంతర స్కేలింగ్ యొక్క ఉద్భవిస్తున్న అవకాశాన్ని వెంటనే గమనించాము.
ఫంక్షనాలిటీ చాలా ఆకర్షణీయంగా ఉంది, ప్రత్యేకించి చాలా మంది వినియోగదారులు దాని కోసం అదనంగా చెల్లించాల్సిన అవసరం లేదని AWS అంచనా వేసింది.ఏప్రిల్ మధ్యలో మేము రెడ్‌షిఫ్ట్ క్లస్టర్‌కి అసాధారణమైన అభ్యర్థనలను కలిగి ఉన్నాము. ఈ కాలంలో, మేము తరచుగా కాన్కరెన్సీ స్కేలింగ్‌ని ఆశ్రయిస్తాము; కొన్నిసార్లు అదనపు క్లస్టర్ ఆపకుండా రోజుకు 24 గంటలు పని చేస్తుంది.
క్యూలతో సమస్యను పూర్తిగా పరిష్కరించకపోతే, కనీసం పరిస్థితిని ఆమోదయోగ్యంగా మార్చడం ఇది సాధ్యమైంది.
మా పరిశీలనలు ఎక్కువగా intermix.io నుండి అబ్బాయిల ముద్రలతో సమానంగా ఉంటాయి.
క్యూలో అభ్యర్థనలు వేచి ఉన్నప్పటికీ, అన్ని అభ్యర్థనలు వెంటనే సమాంతర క్లస్టర్‌కు ఫార్వార్డ్ చేయబడలేదని కూడా మేము గమనించాము. సమాంతర క్లస్టర్ ప్రారంభించడానికి ఇంకా సమయం పడుతుంది కాబట్టి ఇది స్పష్టంగా జరుగుతుంది. ఫలితంగా, స్వల్పకాలిక పీక్ లోడ్‌ల సమయంలో మనకు ఇప్పటికీ చిన్న క్యూలు ఉన్నాయి మరియు సంబంధిత అలారాలు ట్రిగ్గర్ చేయడానికి సమయం ఉంటుంది.
ఏప్రిల్‌లో అసాధారణ లోడ్‌ల నుండి బయటపడిన తర్వాత, మేము, AWS ఊహించినట్లుగా, అప్పుడప్పుడు వినియోగ మోడ్‌లోకి ప్రవేశించాము - ఉచిత నియమావళిలో.
మీరు AWS కాస్ట్ ఎక్స్‌ప్లోరర్‌లో మీ సమాంతర స్కేలింగ్ ఖర్చులను ట్రాక్ చేయవచ్చు. మీరు సర్వీస్ - రెడ్‌షిఫ్ట్, యూసేజ్ టైప్ - CS ఎంచుకోవాలి, ఉదాహరణకు USW2-CS:dc2.large.మీరు రష్యన్ భాషలో ధరల గురించి మరింత చదువుకోవచ్చు
మూలం: www.habr.com