Skyeng ನಲ್ಲಿ ನಾವು ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಸೇರಿದಂತೆ Amazon Redshift ಅನ್ನು ಬಳಸುತ್ತೇವೆ, ಆದ್ದರಿಂದ ನಾವು intermix.io ಗಾಗಿ dotgo.com ನ ಸಂಸ್ಥಾಪಕ ಸ್ಟೀಫನ್ ಗ್ರೊಮೊಲ್ ಅವರ ಈ ಲೇಖನವನ್ನು ಆಸಕ್ತಿದಾಯಕವಾಗಿ ಕಂಡುಕೊಂಡಿದ್ದೇವೆ. ಅನುವಾದದ ನಂತರ, ಡೇಟಾ ಇಂಜಿನಿಯರ್ ಡ್ಯಾನಿಯರ್ ಬೆಲ್ಖೋಡ್ಜೆವ್ ಅವರಿಂದ ನಮ್ಮ ಅನುಭವದ ಸ್ವಲ್ಪ.
ಕ್ಲಸ್ಟರ್‌ಗೆ ಹೊಸ ನೋಡ್‌ಗಳನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ. ಗರಿಷ್ಠ ಸಂಖ್ಯೆಯ ವಿನಂತಿಗಳನ್ನು ನಿಭಾಯಿಸುವ ಅಗತ್ಯವು ನೋಡ್ಗಳ ಹೆಚ್ಚಿನ ನಿಬಂಧನೆಗೆ ಕಾರಣವಾಗಬಹುದು. ಏಕಕಾಲಿಕ ಸ್ಕೇಲಿಂಗ್, ಹೊಸ ನೋಡ್‌ಗಳನ್ನು ಸೇರಿಸುವುದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ಅಗತ್ಯವಿರುವಂತೆ ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.
ಅಮೆಜಾನ್ ರೆಡ್‌ಶಿಫ್ಟ್ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ರೆಡ್‌ಶಿಫ್ಟ್ ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ಗರಿಷ್ಠ ವಿನಂತಿಯ ಪರಿಮಾಣಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಹೆಚ್ಚುವರಿ ಸಾಮರ್ಥ್ಯವನ್ನು ನೀಡುತ್ತದೆ. ಹಿನ್ನೆಲೆಯಲ್ಲಿ ಹೊಸ "ಸಮಾನಾಂತರ" ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ವಿನಂತಿಗಳನ್ನು ಚಲಿಸುವ ಮೂಲಕ ಇದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. WLM ಕಾನ್ಫಿಗರೇಶನ್ ಮತ್ತು ನಿಯಮಗಳ ಆಧಾರದ ಮೇಲೆ ವಿನಂತಿಗಳನ್ನು ರೂಟ್ ಮಾಡಲಾಗುತ್ತದೆ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಬೆಲೆಯು ಉಚಿತ ಶ್ರೇಣಿಯೊಂದಿಗೆ ಕ್ರೆಡಿಟ್ ಮಾದರಿಯನ್ನು ಆಧರಿಸಿದೆ. ಉಚಿತ ಕ್ರೆಡಿಟ್‌ಗಳ ಮೇಲೆ, ಪ್ಯಾರಲಲ್ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್ ವಿನಂತಿಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವ ಸಮಯವನ್ನು ಆಧರಿಸಿ ಪಾವತಿ.
ಲೇಖಕರು ಆಂತರಿಕ ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿ ಒಂದರಲ್ಲಿ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಪರೀಕ್ಷಿಸಿದ್ದಾರೆ. ಈ ಪೋಸ್ಟ್‌ನಲ್ಲಿ, ಅವರು ಪರೀಕ್ಷಾ ಫಲಿತಾಂಶಗಳ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತಾರೆ ಮತ್ತು ಹೇಗೆ ಪ್ರಾರಂಭಿಸಬೇಕು ಎಂಬುದರ ಕುರಿತು ಸಲಹೆಗಳನ್ನು ನೀಡುತ್ತಾರೆ.
ಕ್ಲಸ್ಟರ್ ಅವಶ್ಯಕತೆಗಳು
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಬಳಸಲು, ನಿಮ್ಮ Amazon Redshift ಕ್ಲಸ್ಟರ್ ಈ ಕೆಳಗಿನ ಅವಶ್ಯಕತೆಗಳನ್ನು ಪೂರೈಸಬೇಕು:
- ವೇದಿಕೆ: EC2-VPC;
- ನೋಡ್ ಪ್ರಕಾರ: dc2.8xlarge, ds2.8xlarge, dc2.large ಅಥವಾ ds2.xlarge;
- ನೋಡ್ಗಳ ಸಂಖ್ಯೆ: 2 ರಿಂದ 32 ರವರೆಗೆ (ಏಕ ನೋಡ್ ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುವುದಿಲ್ಲ).
ಸ್ವೀಕಾರಾರ್ಹ ವಿನಂತಿಯ ಪ್ರಕಾರಗಳು
ಎಲ್ಲಾ ರೀತಿಯ ಪ್ರಶ್ನೆಗಳಿಗೆ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಸೂಕ್ತವಲ್ಲ. ಮೊದಲ ಆವೃತ್ತಿಯಲ್ಲಿ, ಇದು ಮೂರು ಷರತ್ತುಗಳನ್ನು ಪೂರೈಸುವ ಓದುವ ವಿನಂತಿಗಳನ್ನು ಮಾತ್ರ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತದೆ:
- SELECT ಪ್ರಶ್ನೆಗಳು ಓದಲು ಮಾತ್ರ (ಹೆಚ್ಚು ಪ್ರಕಾರಗಳನ್ನು ಯೋಜಿಸಲಾಗಿದ್ದರೂ);
- ಪ್ರಶ್ನೆಯು ಇಂಟರ್ಲೀವ್ಡ್ ವಿಂಗಡಣೆ ಶೈಲಿಯೊಂದಿಗೆ ಟೇಬಲ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ;
- ಬಾಹ್ಯ ಕೋಷ್ಟಕಗಳನ್ನು ಉಲ್ಲೇಖಿಸಲು ಪ್ರಶ್ನೆಯು Amazon Redshift Spectrum ಅನ್ನು ಬಳಸುವುದಿಲ್ಲ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್‌ಗೆ ರೂಟ್ ಮಾಡಲು, ವಿನಂತಿಯನ್ನು ಸರದಿಯಲ್ಲಿರಿಸಬೇಕು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಕ್ಯೂಗೆ ಅರ್ಹವಾದ ಪ್ರಶ್ನೆಗಳು , ಸಮಾನಾಂತರ ಪ್ರಮಾಣದ ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿ ರನ್ ಆಗುವುದಿಲ್ಲ.
ಸಾಲುಗಳು ಮತ್ತು SQA ಗಳಿಗೆ ಸರಿಯಾದ ಸಂರಚನೆಯ ಅಗತ್ಯವಿರುತ್ತದೆ . ನಿಮ್ಮ WLM ಅನ್ನು ಮೊದಲು ಅತ್ಯುತ್ತಮವಾಗಿಸಲು ನಾವು ಶಿಫಾರಸು ಮಾಡುತ್ತೇವೆ - ಇದು ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್‌ನ ಅಗತ್ಯವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ. ಮತ್ತು ಇದು ಮುಖ್ಯವಾಗಿದೆ ಏಕೆಂದರೆ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ನಿರ್ದಿಷ್ಟ ಸಂಖ್ಯೆಯ ಗಂಟೆಗಳವರೆಗೆ ಮಾತ್ರ ಉಚಿತವಾಗಿದೆ. 97% ಗ್ರಾಹಕರಿಗೆ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಉಚಿತವಾಗಿರುತ್ತದೆ ಎಂದು AWS ಹೇಳಿಕೊಂಡಿದೆ, ಇದು ಬೆಲೆಯ ಸಮಸ್ಯೆಗೆ ನಮ್ಮನ್ನು ತರುತ್ತದೆ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ವೆಚ್ಚ
AWS ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್‌ಗಾಗಿ ಕ್ರೆಡಿಟ್ ಮಾದರಿಯನ್ನು ನೀಡುತ್ತದೆ. ಪ್ರತಿ ಸಕ್ರಿಯ ಕ್ಲಸ್ಟರ್ ಪ್ರತಿ ಗಂಟೆಗೆ ಒಂದು ಗಂಟೆಯವರೆಗೆ ಉಚಿತ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ರೆಡಿಟ್‌ಗಳನ್ನು ಪ್ರತಿ ಗಂಟೆಗೆ ಸಂಗ್ರಹಿಸುತ್ತದೆ.
ನಿಮ್ಮ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್‌ಗಳ ಬಳಕೆಯು ನೀವು ಸ್ವೀಕರಿಸಿದ ಕ್ರೆಡಿಟ್‌ಗಳ ಮೊತ್ತವನ್ನು ಮೀರಿದಾಗ ಮಾತ್ರ ನೀವು ಪಾವತಿಸುತ್ತೀರಿ.
ಉಚಿತ ದರಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿ ಬಳಸಲಾಗುವ ಸಮಾನಾಂತರ ಕ್ಲಸ್ಟರ್‌ಗೆ ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಬೇಡಿಕೆಯ ದರದಲ್ಲಿ ವೆಚ್ಚವನ್ನು ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿದಾಗ ಪ್ರತಿ ಬಾರಿ ಕನಿಷ್ಠ ಒಂದು ನಿಮಿಷದ ಶುಲ್ಕದೊಂದಿಗೆ ನಿಮ್ಮ ವಿನಂತಿಗಳ ಅವಧಿಗೆ ಮಾತ್ರ ನಿಮಗೆ ಶುಲ್ಕ ವಿಧಿಸಲಾಗುತ್ತದೆ. ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಬೇಡಿಕೆಯ ದರವನ್ನು ಸಾಮಾನ್ಯ ಬೆಲೆ ತತ್ವಗಳ ಆಧಾರದ ಮೇಲೆ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ , ಅಂದರೆ, ಇದು ನೋಡ್‌ನ ಪ್ರಕಾರ ಮತ್ತು ನಿಮ್ಮ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿರುವ ನೋಡ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಅವಲಂಬಿಸಿರುತ್ತದೆ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಲಾಗುತ್ತಿದೆ
ಪ್ರತಿ WLM ಕ್ಯೂಗೆ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಪ್ರಚೋದಿಸಲಾಗುತ್ತದೆ. AWS ರೆಡ್‌ಶಿಫ್ಟ್ ಕನ್ಸೋಲ್‌ಗೆ ಹೋಗಿ ಮತ್ತು ಎಡ ನ್ಯಾವಿಗೇಷನ್ ಮೆನುವಿನಿಂದ ವರ್ಕ್‌ಲೋಡ್ ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿ. ಕೆಳಗಿನ ಡ್ರಾಪ್-ಡೌನ್ ಮೆನುವಿನಿಂದ ನಿಮ್ಮ ಕ್ಲಸ್ಟರ್‌ನ WLM ಪ್ಯಾರಾಮೀಟರ್ ಗುಂಪನ್ನು ಆಯ್ಕೆಮಾಡಿ.
ಪ್ರತಿ ಸರತಿಯ ಪಕ್ಕದಲ್ಲಿ ನೀವು "ಕಾನ್ಕರೆನ್ಸಿ ಸ್ಕೇಲಿಂಗ್ ಮೋಡ್" ಎಂಬ ಹೊಸ ಕಾಲಮ್ ಅನ್ನು ನೋಡುತ್ತೀರಿ. ಡೀಫಾಲ್ಟ್ "ನಿಷ್ಕ್ರಿಯಗೊಳಿಸಲಾಗಿದೆ". "ಸಂಪಾದಿಸು" ಕ್ಲಿಕ್ ಮಾಡಿ ಮತ್ತು ನೀವು ಪ್ರತಿ ಸರತಿಗೆ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು.
ಸಂರಚನೆ
ಹೊಸ ಮೀಸಲಾದ ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ಸೂಕ್ತವಾದ ವಿನಂತಿಗಳನ್ನು ಫಾರ್ವರ್ಡ್ ಮಾಡುವ ಮೂಲಕ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಹೊಸ ಕ್ಲಸ್ಟರ್‌ಗಳು ಮುಖ್ಯ ಕ್ಲಸ್ಟರ್‌ನಂತೆಯೇ ಒಂದೇ ಗಾತ್ರವನ್ನು (ನೋಡ್ಗಳ ಪ್ರಕಾರ ಮತ್ತು ಸಂಖ್ಯೆ) ಹೊಂದಿರುತ್ತವೆ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್‌ಗಾಗಿ ಬಳಸಲಾಗುವ ಕ್ಲಸ್ಟರ್‌ಗಳ ಡೀಫಾಲ್ಟ್ ಸಂಖ್ಯೆಯು ಒಂದು (1), ಒಟ್ಟು ಹತ್ತು (10) ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡುವ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿದೆ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್‌ಗಾಗಿ ಕ್ಲಸ್ಟರ್‌ಗಳ ಒಟ್ಟು ಸಂಖ್ಯೆಯನ್ನು max_concurrency_scaling_clusters ಪ್ಯಾರಾಮೀಟರ್‌ನಿಂದ ಹೊಂದಿಸಬಹುದು. ಈ ನಿಯತಾಂಕದ ಮೌಲ್ಯವನ್ನು ಹೆಚ್ಚಿಸುವುದರಿಂದ ಹೆಚ್ಚುವರಿ ಅನಗತ್ಯ ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಒದಗಿಸುತ್ತದೆ.
ಮಾನಿಟರಿಂಗ್
AWS Redshift ಕನ್ಸೋಲ್‌ನಲ್ಲಿ ಹಲವಾರು ಹೆಚ್ಚುವರಿ ಗ್ರಾಫ್‌ಗಳು ಲಭ್ಯವಿವೆ. ಮ್ಯಾಕ್ಸ್ ಕಾನ್ಫಿಗರ್ ಮಾಡಲಾದ ಕಾನ್ಕರೆನ್ಸಿ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್‌ಗಳ ಚಾರ್ಟ್ ಕಾಲಾನಂತರದಲ್ಲಿ max_concurrency_scaling_clusters ಮೌಲ್ಯವನ್ನು ಪ್ರದರ್ಶಿಸುತ್ತದೆ.
ಸಕ್ರಿಯ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಬಳಕೆದಾರ ಇಂಟರ್ಫೇಸ್‌ನಲ್ಲಿ "ಕಾನ್ಕರೆನ್ಸಿ ಸ್ಕೇಲಿಂಗ್ ಚಟುವಟಿಕೆ" ವಿಭಾಗದಲ್ಲಿ ಪ್ರದರ್ಶಿಸಲಾಗುತ್ತದೆ:
ಪ್ರಶ್ನೆಗಳ ಟ್ಯಾಬ್‌ನಲ್ಲಿ, ಪ್ರಶ್ನೆಯನ್ನು ಮುಖ್ಯ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಅಥವಾ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ಸೂಚಿಸುವ ಕಾಲಮ್ ಇದೆ:
ಒಂದು ನಿರ್ದಿಷ್ಟ ಪ್ರಶ್ನೆಯನ್ನು ಮುಖ್ಯ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಅಥವಾ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್ ಮೂಲಕ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆಯೇ ಎಂಬುದನ್ನು ಲೆಕ್ಕಿಸದೆ, ಅದನ್ನು stl_query.concurrency_scaling_status ನಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ.
1 ರ ಮೌಲ್ಯವು ಪ್ರಶ್ನೆಯನ್ನು ಸಮಾನಾಂತರ ಪ್ರಮಾಣದ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ, ಆದರೆ ಇತರ ಮೌಲ್ಯಗಳು ಅದನ್ನು ಪ್ರಾಥಮಿಕ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಕಾರ್ಯಗತಗೊಳಿಸಲಾಗಿದೆ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.
ಉದಾಹರಣೆ:
SVCS_CONCURRENCY_SCALING_USAGE ನಂತಹ ಕೆಲವು ಇತರ ಕೋಷ್ಟಕಗಳು ಮತ್ತು ವೀಕ್ಷಣೆಗಳಲ್ಲಿ ಸಹ ಕರೆನ್ಸಿ ಸ್ಕೇಲಿಂಗ್ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸಲಾಗಿದೆ. ಇದರ ಜೊತೆಗೆ, ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಬಗ್ಗೆ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುವ ಹಲವಾರು ಕ್ಯಾಟಲಾಗ್ ಕೋಷ್ಟಕಗಳು ಇವೆ.
ರೆಸೆಲ್ಯೂಟ್ಸ್
ಲೇಖಕರು 18/30/00 ರಂದು ಸರಿಸುಮಾರು 29.03.2019:3:20 GMT ಯಲ್ಲಿ ಆಂತರಿಕ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಒಂದು ಸರತಿಗೆ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿದರು. max_concurrency_scaling_clusters ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು 30/00/29.03.2019 ರಂದು ಸರಿಸುಮಾರು XNUMX:XNUMX:XNUMX ಕ್ಕೆ XNUMX ಕ್ಕೆ ಬದಲಾಯಿಸಿದ್ದಾರೆ.
ವಿನಂತಿಯ ಸರದಿಯನ್ನು ಅನುಕರಿಸಲು, ನಾವು ಈ ಸರದಿಯ ಸ್ಲಾಟ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು 15 ರಿಂದ 5 ಕ್ಕೆ ಇಳಿಸಿದ್ದೇವೆ.
ಕೆಳಗಿರುವ intermix.io ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಚಾರ್ಟ್ ಸ್ಲಾಟ್‌ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಿದ ನಂತರ ಚಾಲನೆಯಲ್ಲಿರುವ ಮತ್ತು ಸರತಿ ಸಾಲಿನಲ್ಲಿ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ತೋರಿಸುತ್ತದೆ.
ಸರದಿಯಲ್ಲಿ ವಿನಂತಿಗಳಿಗಾಗಿ ಕಾಯುವ ಸಮಯವು ಹೆಚ್ಚಿರುವುದನ್ನು ನಾವು ನೋಡುತ್ತೇವೆ, ಗರಿಷ್ಠ ಸಮಯವು 5 ನಿಮಿಷಗಳಿಗಿಂತ ಹೆಚ್ಚು.
ಈ ಸಮಯದಲ್ಲಿ ಏನಾಯಿತು ಎಂಬುದರ ಕುರಿತು AWS ಕನ್ಸೋಲ್‌ನಿಂದ ಸಂಬಂಧಿತ ಮಾಹಿತಿ ಇಲ್ಲಿದೆ:
ರೆಡ್‌ಶಿಫ್ಟ್ ಮೂರು (3) ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಿದಂತೆ ಪ್ರಾರಂಭಿಸಿತು. ನಮ್ಮ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಅನೇಕ ವಿನಂತಿಗಳು ಸರದಿಯಲ್ಲಿದ್ದರೂ ಸಹ, ಈ ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಕಡಿಮೆ ಬಳಸಲಾಗಿದೆ ಎಂದು ತೋರುತ್ತಿದೆ.
ಬಳಕೆಯ ಗ್ರಾಫ್ ಸ್ಕೇಲಿಂಗ್ ಚಟುವಟಿಕೆಯ ಗ್ರಾಫ್‌ನೊಂದಿಗೆ ಪರಸ್ಪರ ಸಂಬಂಧ ಹೊಂದಿದೆ:
ಕೆಲವು ಗಂಟೆಗಳ ನಂತರ, ಲೇಖಕರು ಸರದಿಯನ್ನು ಪರಿಶೀಲಿಸಿದರು ಮತ್ತು 6 ವಿನಂತಿಗಳು ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್‌ನಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿರುವಂತೆ ತೋರುತ್ತಿದೆ. ನಾವು ಬಳಕೆದಾರ ಇಂಟರ್ಫೇಸ್ ಮೂಲಕ ಯಾದೃಚ್ಛಿಕವಾಗಿ ಎರಡು ವಿನಂತಿಗಳನ್ನು ಪರೀಕ್ಷಿಸಿದ್ದೇವೆ. ಹಲವಾರು ಸಮಾನಾಂತರ ಕ್ಲಸ್ಟರ್‌ಗಳು ಏಕಕಾಲದಲ್ಲಿ ಸಕ್ರಿಯವಾಗಿರುವಾಗ ಈ ಮೌಲ್ಯಗಳನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂದು ನಾವು ಪರಿಶೀಲಿಸಿಲ್ಲ.
ಸಂಶೋಧನೆಗಳು
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಗರಿಷ್ಠ ಲೋಡ್ಗಳ ಸಮಯದಲ್ಲಿ ಸರದಿಯಲ್ಲಿ ಕಳೆಯುವ ಸಮಯದ ವಿನಂತಿಗಳನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
ಮೂಲಭೂತ ಪರೀಕ್ಷೆಯ ಫಲಿತಾಂಶಗಳ ಆಧಾರದ ಮೇಲೆ, ವಿನಂತಿಗಳನ್ನು ಲೋಡ್ ಮಾಡುವ ಪರಿಸ್ಥಿತಿಯು ಭಾಗಶಃ ಸುಧಾರಿಸಿದೆ ಎಂದು ಅದು ಬದಲಾಯಿತು. ಆದಾಗ್ಯೂ, ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಮಾತ್ರ ಎಲ್ಲಾ ಏಕಕಾಲಿಕ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲಿಲ್ಲ.
ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಬಳಸಬಹುದಾದ ಪ್ರಶ್ನೆಗಳ ಪ್ರಕಾರಗಳ ಮೇಲಿನ ನಿರ್ಬಂಧಗಳು ಇದಕ್ಕೆ ಕಾರಣ. ಉದಾಹರಣೆಗೆ, ಲೇಖಕರು ಇಂಟರ್ಲೀವ್ಡ್ ವಿಂಗಡಣೆಯ ಕೀಲಿಗಳೊಂದಿಗೆ ಅನೇಕ ಕೋಷ್ಟಕಗಳನ್ನು ಹೊಂದಿದ್ದಾರೆ ಮತ್ತು ನಮ್ಮ ಹೆಚ್ಚಿನ ಕೆಲಸದ ಹೊರೆ ಬರವಣಿಗೆಯಾಗಿದೆ.
WLM ಅನ್ನು ಹೊಂದಿಸಲು ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಸಾರ್ವತ್ರಿಕ ಪರಿಹಾರವಲ್ಲವಾದರೂ, ಈ ವೈಶಿಷ್ಟ್ಯವನ್ನು ಬಳಸುವುದು ಸರಳ ಮತ್ತು ಸರಳವಾಗಿದೆ.
ಆದ್ದರಿಂದ, ನಿಮ್ಮ WLM ಕ್ಯೂಗಳಿಗಾಗಿ ಅದನ್ನು ಬಳಸಲು ಲೇಖಕರು ಶಿಫಾರಸು ಮಾಡುತ್ತಾರೆ. ಒಂದು ಸಮಾನಾಂತರ ಕ್ಲಸ್ಟರ್‌ನೊಂದಿಗೆ ಪ್ರಾರಂಭಿಸಿ ಮತ್ತು ಹೊಸ ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬಳಸಲಾಗುತ್ತಿದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸಲು ಕನ್ಸೋಲ್ ಮೂಲಕ ಪೀಕ್ ಲೋಡ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಿ.
ಹೆಚ್ಚುವರಿ ಪ್ರಶ್ನೆ ಪ್ರಕಾರಗಳು ಮತ್ತು ಕೋಷ್ಟಕಗಳಿಗೆ AWS ಬೆಂಬಲವನ್ನು ಸೇರಿಸುವುದರಿಂದ, ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ಕ್ರಮೇಣ ಹೆಚ್ಚು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿರುತ್ತದೆ.
Skyeng ಡೇಟಾ ಇಂಜಿನಿಯರ್, Daniar Belkhodzhaev ರಿಂದ ಕಾಮೆಂಟ್
ಸ್ಕೈಂಗ್‌ನಲ್ಲಿ ನಾವು ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್‌ನ ಉದಯೋನ್ಮುಖ ಸಾಧ್ಯತೆಯನ್ನು ತಕ್ಷಣವೇ ಗಮನಿಸಿದ್ದೇವೆ.
ಕಾರ್ಯಚಟುವಟಿಕೆಯು ತುಂಬಾ ಆಕರ್ಷಕವಾಗಿದೆ, ವಿಶೇಷವಾಗಿ ಹೆಚ್ಚಿನ ಬಳಕೆದಾರರು ಅದಕ್ಕಾಗಿ ಹೆಚ್ಚುವರಿ ಹಣವನ್ನು ಪಾವತಿಸಬೇಕಾಗಿಲ್ಲ ಎಂದು AWS ಅಂದಾಜಿಸಿದೆ.ಏಪ್ರಿಲ್ ಮಧ್ಯದಲ್ಲಿ ನಾವು ರೆಡ್‌ಶಿಫ್ಟ್ ಕ್ಲಸ್ಟರ್‌ಗೆ ವಿನಂತಿಗಳ ಅಸಾಮಾನ್ಯ ಕೋಲಾಹಲವನ್ನು ಹೊಂದಿದ್ದೇವೆ. ಈ ಅವಧಿಯಲ್ಲಿ, ನಾವು ಆಗಾಗ್ಗೆ ಏಕಕಾಲಿಕ ಸ್ಕೇಲಿಂಗ್ ಅನ್ನು ಆಶ್ರಯಿಸಿದ್ದೇವೆ; ಕೆಲವೊಮ್ಮೆ ಹೆಚ್ಚುವರಿ ಕ್ಲಸ್ಟರ್ ದಿನದ 24 ಗಂಟೆಗಳ ಕಾಲ ನಿಲ್ಲದೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ.
ಸರದಿಯಲ್ಲಿ ಸಮಸ್ಯೆಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಪರಿಹರಿಸದಿದ್ದರೆ, ಕನಿಷ್ಠ ಪರಿಸ್ಥಿತಿಯನ್ನು ಸ್ವೀಕಾರಾರ್ಹಗೊಳಿಸಲು ಇದು ಸಾಧ್ಯವಾಗಿಸಿತು.
ನಮ್ಮ ಅವಲೋಕನಗಳು ಹೆಚ್ಚಾಗಿ intermix.io ನಿಂದ ಹುಡುಗರ ಅನಿಸಿಕೆಗಳೊಂದಿಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ.
ಸರದಿಯಲ್ಲಿ ವಿನಂತಿಗಳು ಕಾಯುತ್ತಿದ್ದರೂ, ಎಲ್ಲಾ ವಿನಂತಿಗಳನ್ನು ತಕ್ಷಣವೇ ಸಮಾನಾಂತರ ಕ್ಲಸ್ಟರ್‌ಗೆ ರವಾನಿಸಲಾಗಿಲ್ಲ ಎಂಬುದನ್ನು ನಾವು ಗಮನಿಸಿದ್ದೇವೆ. ಸಮಾನಾಂತರ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಲು ಇನ್ನೂ ಸಮಯ ಬೇಕಾಗುತ್ತದೆ ಎಂಬ ಅಂಶದಿಂದಾಗಿ ಇದು ಸಂಭವಿಸುತ್ತದೆ. ಪರಿಣಾಮವಾಗಿ, ಅಲ್ಪಾವಧಿಯ ಗರಿಷ್ಠ ಲೋಡ್ಗಳ ಸಮಯದಲ್ಲಿ ನಾವು ಇನ್ನೂ ಸಣ್ಣ ಸಾಲುಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ ಮತ್ತು ಅನುಗುಣವಾದ ಎಚ್ಚರಿಕೆಗಳು ಪ್ರಚೋದಿಸಲು ಸಮಯವನ್ನು ಹೊಂದಿರುತ್ತವೆ.
ಏಪ್ರಿಲ್‌ನಲ್ಲಿ ಅಸಹಜ ಹೊರೆಗಳನ್ನು ತೊಡೆದುಹಾಕಿದ ನಂತರ, ನಾವು, AWS ನಿರೀಕ್ಷಿಸಿದಂತೆ, ಸಾಂದರ್ಭಿಕ ಬಳಕೆಯ ಮೋಡ್ ಅನ್ನು ಪ್ರವೇಶಿಸಿದ್ದೇವೆ - ಉಚಿತ ರೂಢಿಯೊಳಗೆ.
AWS ಕಾಸ್ಟ್ ಎಕ್ಸ್‌ಪ್ಲೋರರ್‌ನಲ್ಲಿ ನಿಮ್ಮ ಸಮಾನಾಂತರ ಸ್ಕೇಲಿಂಗ್ ವೆಚ್ಚಗಳನ್ನು ನೀವು ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು. ನೀವು ಸೇವೆ - ರೆಡ್‌ಶಿಫ್ಟ್, ಬಳಕೆಯ ಪ್ರಕಾರ - CS ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ USW2-CS:dc2.large.ನೀವು ರಷ್ಯನ್ ಭಾಷೆಯಲ್ಲಿ ಬೆಲೆಗಳ ಬಗ್ಗೆ ಇನ್ನಷ್ಟು ಓದಬಹುದು
ಮೂಲ: www.habr.com