એમેઝોન રેડશિફ્ટ સમાંતર સ્કેલિંગ માર્ગદર્શિકા અને પરીક્ષણ પરિણામો

Skyeng ખાતે અમે સમાંતર સ્કેલિંગ સહિત Amazon Redshift નો ઉપયોગ કરીએ છીએ, તેથી અમને dotgo.com ના સ્થાપક સ્ટેફન ગ્રોમોલનો આ લેખ intermix.io રસપ્રદ લાગ્યો. અનુવાદ પછી, ડેટા એન્જિનિયર દાનિયાર બેલખોડઝાએવ પાસેથી અમારો થોડો અનુભવ.

એમેઝોન રેડશિફ્ટ આર્કિટેક્ચર ક્લસ્ટરમાં નવા નોડ્સ ઉમેરીને સ્કેલિંગની મંજૂરી આપે છે. વિનંતીઓની ટોચની સંખ્યાનો સામનો કરવાની જરૂરિયાત નોડ્સની વધુ જોગવાઈ તરફ દોરી શકે છે. કોનકરન્સી સ્કેલિંગ, નવા નોડ્સ ઉમેરવાના વિરોધમાં, જરૂરિયાત મુજબ કમ્પ્યુટિંગ પાવરને વધારે છે.

એમેઝોન રેડશિફ્ટ સમાંતર સ્કેલિંગ રેડશિફ્ટ ક્લસ્ટર્સને પીક રિક્વેસ્ટ વોલ્યુમ્સને હેન્ડલ કરવા માટે વધારાની ક્ષમતા આપે છે. તે વિનંતીઓને પૃષ્ઠભૂમિમાં નવા "સમાંતર" ક્લસ્ટરોમાં ખસેડીને કાર્ય કરે છે. WLM રૂપરેખાંકન અને નિયમોના આધારે વિનંતીઓ રૂટ કરવામાં આવે છે.

સમાંતર સ્કેલિંગ કિંમત મફત ટાયરવાળા ક્રેડિટ મોડલ પર આધારિત છે. મફત ક્રેડિટની ઉપર, પેરેલલ સ્કેલિંગ ક્લસ્ટર વિનંતીઓ પર પ્રક્રિયા કરે તે સમય પર આધારિત છે.

લેખકે આંતરિક ક્લસ્ટરોમાંથી એક પર સમાંતર સ્કેલિંગનું પરીક્ષણ કર્યું. આ પોસ્ટમાં, તે પરીક્ષણ પરિણામો વિશે વાત કરશે અને કેવી રીતે પ્રારંભ કરવું તેની ટીપ્સ આપશે.

ક્લસ્ટર જરૂરિયાતો

સમાંતર સ્કેલિંગનો ઉપયોગ કરવા માટે, તમારા Amazon Redshift ક્લસ્ટરે નીચેની આવશ્યકતાઓને પૂર્ણ કરવી આવશ્યક છે:

- પ્લેટફોર્મ: EC2-VPC;
- નોડ પ્રકાર: dc2.8xlarge, ds2.8xlarge, dc2.large અથવા ds2.xlarge;
— નોડ્સની સંખ્યા: 2 થી 32 સુધી (સિંગલ નોડ ક્લસ્ટરો સપોર્ટેડ નથી).

સ્વીકાર્ય વિનંતી પ્રકારો

સમાંતર સ્કેલિંગ તમામ પ્રકારના પ્રશ્નો માટે યોગ્ય નથી. પ્રથમ સંસ્કરણમાં, તે ફક્ત વાંચવાની વિનંતીઓ પર પ્રક્રિયા કરે છે જે ત્રણ શરતોને સંતોષે છે:

- સિલેક્ટ ક્વેરીઝ ફક્ત વાંચવા માટે છે (જોકે વધુ પ્રકારોનું આયોજન કરવામાં આવ્યું છે);
- ક્વેરી ઇન્ટરલીવ્ડ સોર્ટિંગ શૈલી સાથે કોષ્ટકનો સંદર્ભ આપતી નથી;
- ક્વેરી બાહ્ય કોષ્ટકોનો સંદર્ભ આપવા માટે Amazon Redshift Spectrum નો ઉપયોગ કરતી નથી.

સમાંતર સ્કેલિંગ ક્લસ્ટર પર રૂટ કરવા માટે, વિનંતી કતારબદ્ધ હોવી આવશ્યક છે. વધુમાં, કતાર માટે લાયક પ્રશ્નો SQA (શોર્ટ ક્વેરી પ્રવેગક), સમાંતર સ્કેલ ક્લસ્ટરો પર ચાલશે નહીં.

કતાર અને SQA ને યોગ્ય ગોઠવણીની જરૂર છે રેડશિફ્ટ વર્કલોડ મેનેજમેન્ટ (WLM). અમે તમારા WLMને પહેલા ઑપ્ટિમાઇઝ કરવાની ભલામણ કરીએ છીએ - આ સમાંતર સ્કેલિંગની જરૂરિયાતને ઘટાડશે. અને આ મહત્વપૂર્ણ છે કારણ કે સમાંતર સ્કેલિંગ માત્ર ચોક્કસ કલાકો માટે મફત છે. AWS દાવો કરે છે કે સમાંતર સ્કેલિંગ 97% ગ્રાહકો માટે મફત હશે, જે અમને કિંમતના મુદ્દા પર લાવે છે.

સમાંતર સ્કેલિંગની કિંમત

AWS સમાંતર સ્કેલિંગ માટે ક્રેડિટ મોડલ ઓફર કરે છે. દરેક સક્રિય ક્લસ્ટર એમેઝોન રેડશીફ્ટ પ્રતિ કલાકે ક્રેડિટ એકઠા કરે છે, દરરોજ એક કલાક સુધી મફત સમાંતર સ્કેલિંગ ક્રેડિટ્સ.

તમે માત્ર ત્યારે જ ચૂકવણી કરો જ્યારે તમારા સમાંતર સ્કેલિંગ ક્લસ્ટરનો ઉપયોગ તમને પ્રાપ્ત થયેલી ક્રેડિટની રકમ કરતાં વધી જાય.

કિંમતની ગણતરી એક સમાંતર ક્લસ્ટર માટે પ્રતિ-સેકન્ડ-ઓન-ડિમાન્ડ રેટ પર કરવામાં આવે છે જેનો ઉપયોગ મફત દરથી ઉપર થાય છે. સમાંતર સ્કેલિંગ ક્લસ્ટર સક્રિય થાય ત્યારે દર વખતે એક મિનિટના ન્યૂનતમ ચાર્જ સાથે, તમારી વિનંતીઓની અવધિ માટે જ તમારી પાસેથી શુલ્ક લેવામાં આવે છે. પ્રતિ-સેકન્ડ-ઓન-ડિમાન્ડ દરની ગણતરી સામાન્ય કિંમતના સિદ્ધાંતોના આધારે કરવામાં આવે છે એમેઝોન રેડશીફ્ટ, એટલે કે, તે નોડના પ્રકાર અને તમારા ક્લસ્ટરમાં નોડ્સની સંખ્યા પર આધાર રાખે છે.

સમાંતર સ્કેલિંગ શરૂ કરી રહ્યું છે

દરેક WLM કતાર માટે સમાંતર સ્કેલિંગ ટ્રિગર થાય છે. AWS Redshift કન્સોલ પર જાઓ અને ડાબા નેવિગેશન મેનૂમાંથી વર્કલોડ મેનેજમેન્ટ પસંદ કરો. નીચેના ડ્રોપ-ડાઉન મેનૂમાંથી તમારા ક્લસ્ટરનું WLM પેરામીટર જૂથ પસંદ કરો.

તમે દરેક કતારની બાજુમાં "કોન્કરન્સી સ્કેલિંગ મોડ" નામની નવી કૉલમ જોશો. ડિફૉલ્ટ "અક્ષમ" છે. "સંપાદિત કરો" પર ક્લિક કરો અને તમે દરેક કતાર માટે સેટિંગ્સ બદલી શકો છો.

રૂપરેખાંકન

નવા સમર્પિત ક્લસ્ટરોને યોગ્ય વિનંતીઓ ફોરવર્ડ કરીને સમાંતર સ્કેલિંગ કાર્ય કરે છે. નવા ક્લસ્ટરોમાં મુખ્ય ક્લસ્ટર જેટલું જ કદ (નોડ્સનો પ્રકાર અને સંખ્યા) હોય છે.

સમાંતર સ્કેલિંગ માટે ઉપયોગમાં લેવાતા ક્લસ્ટરોની ડિફૉલ્ટ સંખ્યા એક (1) છે, જેમાં કુલ દસ (10) ક્લસ્ટરો સુધી ગોઠવવાની ક્ષમતા છે.
સમાંતર સ્કેલિંગ માટે ક્લસ્ટરોની કુલ સંખ્યા max_concurrency_scaling_clusters પેરામીટર દ્વારા સેટ કરી શકાય છે. આ પરિમાણના મૂલ્યમાં વધારો વધારાના બિનજરૂરી ક્લસ્ટરો પ્રદાન કરે છે.

મોનીટરીંગ

AWS Redshift કન્સોલમાં ઘણા વધારાના ગ્રાફ ઉપલબ્ધ છે. મહત્તમ રૂપરેખાંકિત સમસંગતતા સ્કેલિંગ ક્લસ્ટરો ચાર્ટ સમય જતાં max_concurrency_scaling_clusters ની કિંમત દર્શાવે છે.

સક્રિય સ્કેલિંગ ક્લસ્ટરોની સંખ્યા યુઝર ઈન્ટરફેસમાં "સહમેળ સ્કેલિંગ પ્રવૃત્તિ" વિભાગમાં પ્રદર્શિત થાય છે:

ક્વેરીઝ ટેબમાં, ત્યાં એક કૉલમ છે જે દર્શાવે છે કે ક્વેરી મુખ્ય ક્લસ્ટરમાં ચલાવવામાં આવી હતી કે સમાંતર સ્કેલિંગ ક્લસ્ટરમાં:

મુખ્ય ક્લસ્ટરમાં અથવા સમાંતર સ્કેલિંગ ક્લસ્ટર દ્વારા કોઈ ચોક્કસ ક્વેરી ચલાવવામાં આવી હતી કે કેમ તે ધ્યાનમાં લીધા વિના, તે stl_query.concurrency_scaling_status માં સંગ્રહિત છે.

1 નું મૂલ્ય સૂચવે છે કે ક્વેરી સમાંતર સ્કેલ ક્લસ્ટરમાં ચલાવવામાં આવી હતી, જ્યારે અન્ય મૂલ્યો સૂચવે છે કે તે પ્રાથમિક ક્લસ્ટરમાં ચલાવવામાં આવી હતી.

ઉદાહરણ:

કન્કરન્સી સ્કેલિંગ માહિતી કેટલાક અન્ય કોષ્ટકો અને દૃશ્યોમાં પણ સંગ્રહિત છે, જેમ કે SVCS_CONCURRENCY_SCALING_USAGE. વધુમાં, ત્યાં સંખ્યાબંધ કેટલોગ કોષ્ટકો છે જે સમાંતર સ્કેલિંગ વિશે માહિતી સંગ્રહિત કરે છે.

રિઝલ્ટ

લેખકોએ 18/30/00 ના રોજ આશરે 29.03.2019:3:20 GMT વાગ્યે આંતરિક ક્લસ્ટરમાં એક કતાર માટે સમાંતર સ્કેલિંગ શરૂ કર્યું. 30/00/29.03.2019/XNUMX ના રોજ લગભગ XNUMX:XNUMX:XNUMX વાગ્યે max_concurrency_scaling_clusters પેરામીટરને XNUMX માં બદલ્યું.

વિનંતી કતારનું અનુકરણ કરવા માટે, અમે આ કતાર માટે સ્લોટની સંખ્યા 15 થી ઘટાડીને 5 કરી છે.

નીચે એક intermix.io ડેશબોર્ડ ચાર્ટ છે જે સ્લોટની સંખ્યા ઘટાડ્યા પછી ચાલી રહેલી અને કતારબદ્ધ વિનંતીઓની સંખ્યા દર્શાવે છે.

અમે જોઈએ છીએ કે કતારમાં વિનંતીઓ માટે રાહ જોવાનો સમય વધી ગયો છે, જેમાં મહત્તમ સમય 5 મિનિટથી વધુ છે.

આ સમય દરમિયાન શું થયું તે વિશે AWS કન્સોલની સંબંધિત માહિતી અહીં છે:

રેડશિફ્ટે રૂપરેખાંકિત તરીકે ત્રણ (3) સમાંતર સ્કેલિંગ ક્લસ્ટર શરૂ કર્યા. એવું લાગે છે કે અમારા ક્લસ્ટરમાં ઘણી વિનંતીઓ કતારબદ્ધ હોવા છતાં પણ આ ક્લસ્ટરોનો ઓછો ઉપયોગ કરવામાં આવ્યો હતો.

વપરાશ ગ્રાફ સ્કેલિંગ પ્રવૃત્તિ ગ્રાફ સાથે સંબંધ ધરાવે છે:

થોડા કલાકો પછી, લેખકોએ કતાર તપાસી અને એવું લાગતું હતું કે 6 વિનંતીઓ સમાંતર સ્કેલિંગ પર ચાલી રહી હતી. અમે વપરાશકર્તા ઇન્ટરફેસ દ્વારા બે વિનંતીઓનું રેન્ડમલી પરીક્ષણ પણ કર્યું. જ્યારે એક સાથે અનેક સમાંતર ક્લસ્ટરો સક્રિય હોય ત્યારે અમે આ મૂલ્યોનો ઉપયોગ કેવી રીતે કરવો તે તપાસ્યું નથી.

તારણો

સમાંતર સ્કેલિંગ પીક લોડ દરમિયાન કતારમાં વિતાવેલા સમયને ઘટાડી શકે છે.

મૂળભૂત પરીક્ષણના પરિણામોના આધારે, તે બહાર આવ્યું છે કે લોડિંગ વિનંતીઓ સાથેની પરિસ્થિતિમાં આંશિક સુધારો થયો છે. જો કે, એકલા સમાંતર સ્કેલિંગથી તમામ સહવર્તી સમસ્યાઓ હલ થઈ નથી.

આ ક્વેરીઝના પ્રકારો પરના પ્રતિબંધોને કારણે છે જે સમાંતર સ્કેલિંગનો ઉપયોગ કરી શકે છે. ઉદાહરણ તરીકે, લેખકો પાસે ઇન્ટરલીવ્ડ સૉર્ટ કી સાથે ઘણા કોષ્ટકો છે, અને અમારો મોટાભાગનો વર્કલોડ લખવાનો છે.

જો કે સમાંતર સ્કેલિંગ એ WLM સેટ કરવા માટે સાર્વત્રિક ઉકેલ નથી, આ સુવિધાનો ઉપયોગ કરવો સરળ અને સીધો છે.

તેથી, લેખક તમારી WLM કતાર માટે તેનો ઉપયોગ કરવાની ભલામણ કરે છે. એક સમાંતર ક્લસ્ટરથી પ્રારંભ કરો અને નવા ક્લસ્ટરોનો સંપૂર્ણ ઉપયોગ થઈ રહ્યો છે કે કેમ તે નિર્ધારિત કરવા માટે કન્સોલ દ્વારા પીક લોડને મોનિટર કરો.

AWS વધારાના ક્વેરી પ્રકારો અને કોષ્ટકો માટે સમર્થન ઉમેરે છે, સમાંતર સ્કેલિંગ ધીમે ધીમે વધુ અને વધુ કાર્યક્ષમ બનવું જોઈએ.

સ્કાયેંગ ડેટા એન્જિનિયર, દાનિયાર બેલખોડઝાએવની ટિપ્પણી

અમે Skyeng ખાતે પણ તરત જ સમાંતર સ્કેલિંગની ઉભરતી શક્યતાને ધ્યાનમાં લીધી.
કાર્યક્ષમતા ખૂબ જ આકર્ષક છે, ખાસ કરીને AWS અનુમાનને ધ્યાનમાં રાખીને કે મોટાભાગના વપરાશકર્તાઓને તેના માટે વધારાની ચૂકવણી પણ કરવી પડશે નહીં.

એવું બન્યું કે એપ્રિલના મધ્યમાં અમારી પાસે રેડશિફ્ટ ક્લસ્ટરની વિનંતીઓનો અસામાન્ય ઉશ્કેરાટ હતો. આ સમયગાળા દરમિયાન, અમે ઘણી વખત કોનકરન્સી સ્કેલિંગનો આશરો લીધો; કેટલીકવાર વધારાનું ક્લસ્ટર દિવસના 24 કલાક રોકાયા વિના કામ કરે છે.

આનાથી શક્ય બન્યું, જો કતાર સાથે સમસ્યાને સંપૂર્ણપણે હલ ન કરવી, તો ઓછામાં ઓછી પરિસ્થિતિને સ્વીકાર્ય બનાવવા માટે.

અમારા અવલોકનો મોટે ભાગે intermix.io ના છોકરાઓની છાપ સાથે સુસંગત છે.

અમે એ પણ નોંધ્યું છે કે કતારમાં વિનંતીઓ રાહ જોઈ રહી હોવા છતાં, બધી વિનંતીઓ તરત જ સમાંતર ક્લસ્ટર પર ફોરવર્ડ કરવામાં આવી ન હતી. દેખીતી રીતે આવું થાય છે કારણ કે સમાંતર ક્લસ્ટર હજુ પણ શરૂ થવામાં સમય લે છે. પરિણામે, ટૂંકા ગાળાના પીક લોડ દરમિયાન અમારી પાસે હજી પણ નાની કતાર હોય છે, અને અનુરૂપ એલાર્મ્સને ટ્રિગર થવાનો સમય હોય છે.

એપ્રિલમાં અસાધારણ ભારણમાંથી છૂટકારો મેળવ્યા પછી, અમે, AWS ની અપેક્ષા મુજબ, મફત ધોરણમાં - પ્રસંગોપાત ઉપયોગ મોડમાં પ્રવેશ કર્યો.
તમે AWS કોસ્ટ એક્સપ્લોરરમાં તમારા સમાંતર સ્કેલિંગ ખર્ચને ટ્રૅક કરી શકો છો. તમારે સેવા - રેડશિફ્ટ, ઉપયોગનો પ્રકાર - CS પસંદ કરવાની જરૂર છે, ઉદાહરણ તરીકે USW2-CS:dc2.large.

તમે રશિયનમાં કિંમતો વિશે વધુ વાંચી શકો છો અહીં.

સોર્સ: www.habr.com