ಸೂಚನೆ. ಅನುವಾದ.: ಗ್ರಾಫನಾ ರಚನೆಕಾರರು ನಿರ್ವಹಿಸುತ್ತಿರುವ ಕ್ಲೌಡ್ ಸೇವೆಯಲ್ಲಿ ಇತ್ತೀಚಿನ ಅಲಭ್ಯತೆಯ ಕಾರಣಗಳ ಕುರಿತು ನಾವು ನಿಮ್ಮ ಗಮನಕ್ಕೆ ತಾಂತ್ರಿಕ ವಿವರಗಳನ್ನು ಪ್ರಸ್ತುತಪಡಿಸುತ್ತೇವೆ. ಮೂಲಸೌಕರ್ಯದ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಹೊಸ ಮತ್ತು ತೋರಿಕೆಯಲ್ಲಿ ಅತ್ಯಂತ ಉಪಯುಕ್ತವಾದ ವೈಶಿಷ್ಟ್ಯವು ಹೇಗೆ ಹಾನಿಯನ್ನುಂಟುಮಾಡುತ್ತದೆ ಎಂಬುದಕ್ಕೆ ಇದು ಒಂದು ಶ್ರೇಷ್ಠ ಉದಾಹರಣೆಯಾಗಿದೆ... ಉತ್ಪಾದನೆಯ ನೈಜತೆಗಳಲ್ಲಿ ಅದರ ಅನ್ವಯದ ಹಲವಾರು ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳನ್ನು ನೀವು ಒದಗಿಸದಿದ್ದರೆ. ನಿಮ್ಮ ತಪ್ಪುಗಳಿಂದ ಮಾತ್ರವಲ್ಲದೆ ಕಲಿಯಲು ನಿಮಗೆ ಅನುಮತಿಸುವ ಈ ರೀತಿಯ ವಸ್ತುಗಳು ಕಾಣಿಸಿಕೊಂಡಾಗ ಅದು ಅದ್ಭುತವಾಗಿದೆ. ಗ್ರಾಫನಾ ಲ್ಯಾಬ್ಸ್‌ನ ಉತ್ಪನ್ನದ ಉಪಾಧ್ಯಕ್ಷರಿಂದ ಈ ಪಠ್ಯದ ಅನುವಾದದಲ್ಲಿ ವಿವರಗಳಿವೆ.
ಶುಕ್ರವಾರ, ಜುಲೈ 19 ರಂದು, ಗ್ರಾಫನಾ ಕ್ಲೌಡ್‌ನಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡಿದ ಪ್ರೊಮೀಥಿಯಸ್ ಸೇವೆಯು ಸರಿಸುಮಾರು 30 ನಿಮಿಷಗಳ ಕಾಲ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿತು. ಸ್ಥಗಿತದಿಂದ ತೊಂದರೆಗೊಳಗಾದ ಎಲ್ಲಾ ಗ್ರಾಹಕರಲ್ಲಿ ನಾನು ಕ್ಷಮೆಯಾಚಿಸುತ್ತೇನೆ. ನಿಮಗೆ ಅಗತ್ಯವಿರುವ ಮೇಲ್ವಿಚಾರಣಾ ಪರಿಕರಗಳನ್ನು ಒದಗಿಸುವುದು ನಮ್ಮ ಕೆಲಸವಾಗಿದೆ ಮತ್ತು ಅವುಗಳು ಲಭ್ಯವಿಲ್ಲದಿರುವುದು ನಿಮ್ಮ ಜೀವನವನ್ನು ಹೆಚ್ಚು ಕಷ್ಟಕರವಾಗಿಸುತ್ತದೆ ಎಂದು ನಾವು ಅರ್ಥಮಾಡಿಕೊಂಡಿದ್ದೇವೆ. ನಾವು ಈ ಘಟನೆಯನ್ನು ಅತ್ಯಂತ ಗಂಭೀರವಾಗಿ ಪರಿಗಣಿಸುತ್ತೇವೆ. ಈ ಟಿಪ್ಪಣಿಯು ಏನಾಯಿತು, ನಾವು ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸಿದ್ದೇವೆ ಮತ್ತು ಅದು ಮತ್ತೆ ಸಂಭವಿಸದಂತೆ ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಾವು ಏನು ಮಾಡುತ್ತಿದ್ದೇವೆ ಎಂಬುದನ್ನು ವಿವರಿಸುತ್ತದೆ.
ಪೂರ್ವೇತಿಹಾಸದ
ಗ್ರಾಫನಾ ಕ್ಲೌಡ್ ಹೋಸ್ಟ್ ಮಾಡಿದ ಪ್ರಮೀತಿಯಸ್ ಸೇವೆಯನ್ನು ಆಧರಿಸಿದೆ — CNCF ಯೋಜನೆಯು ಅಡ್ಡಲಾಗಿ ಸ್ಕೇಲೆಬಲ್, ಹೆಚ್ಚು ಲಭ್ಯವಿರುವ, ಬಹು-ಬಾಡಿಗೆದಾರ ಪ್ರಮೀತಿಯಸ್ ಸೇವೆಯನ್ನು ರಚಿಸಲು. ಕಾರ್ಟೆಕ್ಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಪ್ರತ್ಯೇಕ ಮೈಕ್ರೊ ಸರ್ವೀಸ್‌ಗಳ ಗುಂಪನ್ನು ಒಳಗೊಂಡಿದೆ, ಪ್ರತಿಯೊಂದೂ ತನ್ನದೇ ಆದ ಕಾರ್ಯವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ: ಪ್ರತಿಕೃತಿ, ಸಂಗ್ರಹಣೆ, ಪ್ರಶ್ನೆಗಳು, ಇತ್ಯಾದಿ. ಕಾರ್ಟೆಕ್ಸ್ ಸಕ್ರಿಯ ಅಭಿವೃದ್ಧಿಯಲ್ಲಿದೆ ಮತ್ತು ನಿರಂತರವಾಗಿ ಹೊಸ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ನಾವು ನಿಯಮಿತವಾಗಿ ಹೊಸ ಕಾರ್ಟೆಕ್ಸ್ ಬಿಡುಗಡೆಗಳನ್ನು ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ನಿಯೋಜಿಸುತ್ತೇವೆ ಇದರಿಂದ ಗ್ರಾಹಕರು ಈ ವೈಶಿಷ್ಟ್ಯಗಳ ಲಾಭವನ್ನು ಪಡೆಯಬಹುದು - ಅದೃಷ್ಟವಶಾತ್, ಕಾರ್ಟೆಕ್ಸ್ ಅನ್ನು ಅಲಭ್ಯತೆಯಿಲ್ಲದೆ ನವೀಕರಿಸಬಹುದು.
ತಡೆರಹಿತ ನವೀಕರಣಗಳಿಗಾಗಿ, ಅಪ್‌ಡೇಟ್ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಇಂಜೆಸ್ಟರ್ ಕಾರ್ಟೆಕ್ಸ್ ಸೇವೆಗೆ ಹೆಚ್ಚುವರಿ ಇಂಜೆಸ್ಟರ್ ಪ್ರತಿಕೃತಿಯ ಅಗತ್ಯವಿದೆ. (ಸೂಚನೆ. ಅನುವಾದ.: - ಕಾರ್ಟೆಕ್ಸ್ನ ಮೂಲ ಅಂಶ. ಅದರ ಕೆಲಸವು ಮಾದರಿಗಳ ನಿರಂತರ ಸ್ಟ್ರೀಮ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುವುದು, ಅವುಗಳನ್ನು ಪ್ರೋಮಿಥಿಯಸ್ ಭಾಗಗಳಾಗಿ ಗುಂಪು ಮಾಡುವುದು ಮತ್ತು ಅವುಗಳನ್ನು ಡೈನಮೊಡಿಬಿ, ಬಿಗ್‌ಟೇಬಲ್ ಅಥವಾ ಕಸ್ಸಂದ್ರದಂತಹ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುವುದು.) ಇದು ಹಳೆಯ ಇಂಜೆಸ್ಟರ್‌ಗಳಿಗೆ ಪ್ರಸ್ತುತ ಡೇಟಾವನ್ನು ಹೊಸ ಇಂಜೆಸ್ಟರ್‌ಗಳಿಗೆ ಫಾರ್ವರ್ಡ್ ಮಾಡಲು ಅನುಮತಿಸುತ್ತದೆ. ಇಂಜೆಸ್ಟರ್‌ಗಳು ಸಂಪನ್ಮೂಲ-ಬೇಡಿಕೆಯಿರುವುದು ಗಮನಿಸಬೇಕಾದ ಸಂಗತಿ. ಅವರು ಕೆಲಸ ಮಾಡಲು, ನೀವು ಪ್ರತಿ ಪಾಡ್‌ಗೆ 4 ಕೋರ್‌ಗಳು ಮತ್ತು 15 GB ಮೆಮೊರಿಯನ್ನು ಹೊಂದಿರಬೇಕು, ಅಂದರೆ. ನಮ್ಮ ಕುಬರ್ನೆಟ್ಸ್ ಕ್ಲಸ್ಟರ್‌ಗಳ ಸಂದರ್ಭದಲ್ಲಿ ಮೂಲ ಯಂತ್ರದ ಸಂಸ್ಕರಣಾ ಶಕ್ತಿ ಮತ್ತು ಮೆಮೊರಿಯ 25%. ಸಾಮಾನ್ಯವಾಗಿ, ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ 4 ಕೋರ್‌ಗಳು ಮತ್ತು 15 GB ಮೆಮೊರಿಗಿಂತ ಹೆಚ್ಚು ಬಳಕೆಯಾಗದ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ, ಆದ್ದರಿಂದ ನವೀಕರಣಗಳ ಸಮಯದಲ್ಲಿ ನಾವು ಈ ಹೆಚ್ಚುವರಿ ಇಂಜೆಸ್ಟರ್‌ಗಳನ್ನು ಸುಲಭವಾಗಿ ಸ್ಪಿನ್ ಮಾಡಬಹುದು.
ಆದಾಗ್ಯೂ, ಸಾಮಾನ್ಯ ಕಾರ್ಯಾಚರಣೆಯ ಸಮಯದಲ್ಲಿ ಯಾವುದೇ ಯಂತ್ರಗಳು ಈ 25% ಬಳಕೆಯಾಗದ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೊಂದಿಲ್ಲ ಎಂದು ಆಗಾಗ್ಗೆ ಸಂಭವಿಸುತ್ತದೆ. ಹೌದು, ನಾವು ಸಹ ಶ್ರಮಿಸುವುದಿಲ್ಲ: CPU ಮತ್ತು ಮೆಮೊರಿ ಯಾವಾಗಲೂ ಇತರ ಪ್ರಕ್ರಿಯೆಗಳಿಗೆ ಉಪಯುಕ್ತವಾಗಿರುತ್ತದೆ. ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು, ನಾವು ಬಳಸಲು ನಿರ್ಧರಿಸಿದ್ದೇವೆ . ಇತರ (ಸ್ಟೇಟ್‌ಲೆಸ್) ಮೈಕ್ರೊ ಸರ್ವೀಸ್‌ಗಳಿಗಿಂತ ಇಂಜೆಸ್ಟರ್‌ಗಳಿಗೆ ಹೆಚ್ಚಿನ ಆದ್ಯತೆಯನ್ನು ನೀಡುವುದು ಇದರ ಉದ್ದೇಶವಾಗಿದೆ. ನಾವು ಹೆಚ್ಚುವರಿ (N+1) ಇಂಜೆಸ್ಟರ್ ಅನ್ನು ರನ್ ಮಾಡಬೇಕಾದಾಗ, ನಾವು ತಾತ್ಕಾಲಿಕವಾಗಿ ಇತರ ಸಣ್ಣ ಪಾಡ್‌ಗಳನ್ನು ಸ್ಥಳಾಂತರಿಸುತ್ತೇವೆ. ಈ ಪಾಡ್‌ಗಳನ್ನು ಇತರ ಯಂತ್ರಗಳಲ್ಲಿನ ಉಚಿತ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ, ಹೆಚ್ಚುವರಿ ಇಂಜೆಸ್ಟರ್ ಅನ್ನು ಚಲಾಯಿಸಲು ಸಾಕಷ್ಟು ದೊಡ್ಡ "ರಂಧ್ರ" ವನ್ನು ಬಿಡಲಾಗುತ್ತದೆ.
ಗುರುವಾರ, ಜುಲೈ 18 ರಂದು, ನಾವು ನಮ್ಮ ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ನಾಲ್ಕು ಹೊಸ ಆದ್ಯತೆಯ ಹಂತಗಳನ್ನು ಹೊರತಂದಿದ್ದೇವೆ: ನಿರ್ಣಾಯಕ, ಹೆಚ್ಚು, ಮಧ್ಯಮ и ಕಡಿಮೆ. ಸುಮಾರು ಒಂದು ವಾರದವರೆಗೆ ಕ್ಲೈಂಟ್ ಟ್ರಾಫಿಕ್ ಇಲ್ಲದ ಆಂತರಿಕ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಅವರನ್ನು ಪರೀಕ್ಷಿಸಲಾಯಿತು. ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ, ನಿರ್ದಿಷ್ಟಪಡಿಸಿದ ಆದ್ಯತೆಯಿಲ್ಲದ ಪಾಡ್‌ಗಳನ್ನು ಸ್ವೀಕರಿಸಲಾಗಿದೆ ಮಧ್ಯಮ ಆದ್ಯತೆ, ವರ್ಗವನ್ನು ಇಂಜೆಸ್ಟರ್‌ಗಳಿಗೆ ಹೊಂದಿಸಲಾಗಿದೆ ಹೆಚ್ಚು ಆದ್ಯತೆ. ನಿರ್ಣಾಯಕ ಮೇಲ್ವಿಚಾರಣೆಗಾಗಿ ಕಾಯ್ದಿರಿಸಲಾಗಿದೆ (ಪ್ರಮೀತಿಯಸ್, ಅಲರ್ಟ್‌ಮ್ಯಾನೇಜರ್, ನೋಡ್-ರಫ್ತುದಾರ, ಕ್ಯೂಬ್-ಸ್ಟೇಟ್-ಮೆಟ್ರಿಕ್ಸ್, ಇತ್ಯಾದಿ). ನಮ್ಮ ಸಂರಚನೆಯು ತೆರೆದಿರುತ್ತದೆ ಮತ್ತು ನೀವು PR ಅನ್ನು ವೀಕ್ಷಿಸಬಹುದು .
ಅಪಘಾತ
ಶುಕ್ರವಾರ, ಜುಲೈ 19 ರಂದು, ಎಂಜಿನಿಯರ್‌ಗಳಲ್ಲಿ ಒಬ್ಬರು ದೊಡ್ಡ ಕ್ಲೈಂಟ್‌ಗಾಗಿ ಹೊಸ ಮೀಸಲಾದ ಕಾರ್ಟೆಕ್ಸ್ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಪ್ರಾರಂಭಿಸಿದರು. ಈ ಕ್ಲಸ್ಟರ್‌ನ ಸಂರಚನೆಯು ಹೊಸ ಪಾಡ್ ಆದ್ಯತೆಗಳನ್ನು ಒಳಗೊಂಡಿಲ್ಲ, ಆದ್ದರಿಂದ ಎಲ್ಲಾ ಹೊಸ ಪಾಡ್‌ಗಳಿಗೆ ಡೀಫಾಲ್ಟ್ ಆದ್ಯತೆಯನ್ನು ನಿಗದಿಪಡಿಸಲಾಗಿದೆ - ಮಧ್ಯಮ.
ಕುಬರ್ನೆಟ್ಸ್ ಕ್ಲಸ್ಟರ್ ಹೊಸ ಕಾರ್ಟೆಕ್ಸ್ ಕ್ಲಸ್ಟರ್‌ಗೆ ಸಾಕಷ್ಟು ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹೊಂದಿರಲಿಲ್ಲ ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಉತ್ಪಾದನೆಯ ಕಾರ್ಟೆಕ್ಸ್ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ನವೀಕರಿಸಲಾಗಿಲ್ಲ (ಇನ್‌ಜೆಸ್ಟರ್‌ಗಳು ಇಲ್ಲದೆ ಉಳಿದಿವೆ ಹೆಚ್ಚು ಆದ್ಯತೆ). ಡೀಫಾಲ್ಟ್ ಆಗಿ ಹೊಸ ಕ್ಲಸ್ಟರ್‌ನ ಇಂಜೆಸ್ಟರ್‌ಗಳು ಹೊಂದಿದ್ದರಿಂದ ಮಧ್ಯಮ ಆದ್ಯತೆ, ಮತ್ತು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಪಾಡ್‌ಗಳು ಯಾವುದೇ ಆದ್ಯತೆಯಿಲ್ಲದೆ ಕಾರ್ಯನಿರ್ವಹಿಸಿದವು, ಹೊಸ ಕ್ಲಸ್ಟರ್‌ನ ಇಂಜೆಸ್ಟರ್‌ಗಳು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕಾರ್ಟೆಕ್ಸ್ ಉತ್ಪಾದನಾ ಕ್ಲಸ್ಟರ್‌ನಿಂದ ಇಂಜೆಸ್ಟರ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಿದವು.
ಪ್ರೊಡಕ್ಷನ್ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಹೊರಹಾಕಲ್ಪಟ್ಟ ಇನ್‌ಜೆಸ್ಟರ್‌ಗಾಗಿ ರೆಪ್ಲಿಕಾಸೆಟ್ ಹೊರಹಾಕಲ್ಪಟ್ಟ ಪಾಡ್ ಅನ್ನು ಪತ್ತೆಹಚ್ಚಿದೆ ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಸಂಖ್ಯೆಯ ಪ್ರತಿಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಹೊಸದನ್ನು ರಚಿಸಿದೆ. ಹೊಸ ಪಾಡ್ ಅನ್ನು ಡಿಫಾಲ್ಟ್ ಆಗಿ ನಿಯೋಜಿಸಲಾಗಿದೆ ಮಧ್ಯಮ ಆದ್ಯತೆ, ಮತ್ತು ಉತ್ಪಾದನೆಯಲ್ಲಿ ಮತ್ತೊಂದು "ಹಳೆಯ" ಇಂಜೆಸ್ಟರ್ ತನ್ನ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಕಳೆದುಕೊಂಡಿತು. ಫಲಿತಾಂಶವಾಗಿತ್ತು ಹಿಮಪಾತ ಪ್ರಕ್ರಿಯೆ, ಇದು ಕಾರ್ಟೆಕ್ಸ್ ಪ್ರೊಡಕ್ಷನ್ ಕ್ಲಸ್ಟರ್‌ಗಳಿಗೆ ಇಂಜೆಸ್ಟರ್‌ನಿಂದ ಎಲ್ಲಾ ಪಾಡ್‌ಗಳ ಸ್ಥಳಾಂತರಕ್ಕೆ ಕಾರಣವಾಯಿತು.
ಇಂಜೆಸ್ಟರ್‌ಗಳು ಸ್ಥಿತಿವಂತವಾಗಿರುತ್ತವೆ ಮತ್ತು ಹಿಂದಿನ 12 ಗಂಟೆಗಳವರೆಗೆ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತವೆ. ದೀರ್ಘಾವಧಿಯ ಸಂಗ್ರಹಣೆಗೆ ಬರೆಯುವ ಮೊದಲು ಅವುಗಳನ್ನು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಕುಗ್ಗಿಸಲು ಇದು ನಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಇದನ್ನು ಸಾಧಿಸಲು, ಕಾರ್ಟೆಕ್ಸ್ ಡಿಸ್ಟ್ರಿಬ್ಯೂಟೆಡ್ ಹ್ಯಾಶ್ ಟೇಬಲ್ (DHT) ಅನ್ನು ಬಳಸಿಕೊಂಡು ಸರಣಿಯಾದ್ಯಂತ ಡೇಟಾವನ್ನು ಚೂರು ಮಾಡುತ್ತದೆ ಮತ್ತು ಡೈನಮೋ ಶೈಲಿಯ ಕೋರಮ್ ಸ್ಥಿರತೆಯನ್ನು ಬಳಸಿಕೊಂಡು ಮೂರು ಇಂಜೆಸ್ಟರ್‌ಗಳಲ್ಲಿ ಪ್ರತಿ ಸರಣಿಯನ್ನು ಪುನರಾವರ್ತಿಸುತ್ತದೆ. ಕಾರ್ಟೆಕ್ಸ್ ನಿಷ್ಕ್ರಿಯಗೊಳಿಸಲಾದ ಇಂಜೆಸ್ಟರ್‌ಗಳಿಗೆ ಡೇಟಾವನ್ನು ಬರೆಯುವುದಿಲ್ಲ. ಹೀಗಾಗಿ, ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆಯ ಇಂಜೆಸ್ಟರ್‌ಗಳು DHT ಅನ್ನು ತೊರೆದಾಗ, ಕಾರ್ಟೆಕ್ಸ್ ನಮೂದುಗಳ ಸಾಕಷ್ಟು ಪುನರಾವರ್ತನೆಯನ್ನು ಒದಗಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ ಮತ್ತು ಅವು ಕ್ರ್ಯಾಶ್ ಆಗುತ್ತವೆ.
ಪತ್ತೆ ಮತ್ತು ಪರಿಹಾರ
"ದೋಷ ಬಜೆಟ್" ಆಧಾರದ ಮೇಲೆ ಹೊಸ ಪ್ರಮೀತಿಯಸ್ ಅಧಿಸೂಚನೆಗಳು (ದೋಷ-ಬಜೆಟ್ ಆಧಾರಿತ — ಮುಂದಿನ ಲೇಖನದಲ್ಲಿ ವಿವರಗಳು ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತವೆ) ಸ್ಥಗಿತಗೊಂಡ 4 ನಿಮಿಷಗಳ ನಂತರ ಅಲಾರಾಂ ಅನ್ನು ಧ್ವನಿಸಲು ಪ್ರಾರಂಭಿಸಿತು. ಮುಂದಿನ ಐದು ನಿಮಿಷಗಳಲ್ಲಿ, ನಾವು ಕೆಲವು ಡಯಾಗ್ನೋಸ್ಟಿಕ್‌ಗಳನ್ನು ನಡೆಸಿದ್ದೇವೆ ಮತ್ತು ಹೊಸ ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಉತ್ಪಾದನಾ ಕ್ಲಸ್ಟರ್‌ಗಳನ್ನು ಹೋಸ್ಟ್ ಮಾಡಲು ಆಧಾರವಾಗಿರುವ ಕುಬರ್ನೆಟ್ಸ್ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಹೆಚ್ಚಿಸಿದ್ದೇವೆ.
ಇನ್ನೊಂದು ಐದು ನಿಮಿಷಗಳ ನಂತರ, ಹಳೆಯ ಇಂಜೆಸ್ಟರ್‌ಗಳು ತಮ್ಮ ಡೇಟಾವನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಬರೆದರು, ಹೊಸವುಗಳು ಪ್ರಾರಂಭವಾದವು ಮತ್ತು ಕಾರ್ಟೆಕ್ಸ್ ಕ್ಲಸ್ಟರ್‌ಗಳು ಮತ್ತೆ ಲಭ್ಯವಾದವು.
ಕಾರ್ಟೆಕ್ಸ್ನ ಮುಂಭಾಗದಲ್ಲಿರುವ ದೃಢೀಕರಣ ರಿವರ್ಸ್ ಪ್ರಾಕ್ಸಿಗಳಿಂದ ಔಟ್-ಆಫ್-ಮೆಮೊರಿ (OOM) ದೋಷಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಲು ಮತ್ತು ಸರಿಪಡಿಸಲು ಇನ್ನೊಂದು 10 ನಿಮಿಷಗಳನ್ನು ಕಳೆಯಲಾಯಿತು. QPS ನಲ್ಲಿ ಹತ್ತು ಪಟ್ಟು ಹೆಚ್ಚಳದಿಂದ OOM ದೋಷಗಳು ಉಂಟಾಗಿವೆ (ಕ್ಲೈಂಟ್‌ನ ಪ್ರೋಮೆಥಿಯಸ್ ಸರ್ವರ್‌ಗಳಿಂದ ಅತಿಯಾದ ಆಕ್ರಮಣಕಾರಿ ವಿನಂತಿಗಳಿಂದಾಗಿ ನಾವು ನಂಬುತ್ತೇವೆ).
ಪರಿಣಾಮಗಳು
ಒಟ್ಟು ಅಲಭ್ಯತೆ 26 ನಿಮಿಷಗಳು. ಯಾವುದೇ ಡೇಟಾ ಕಳೆದುಹೋಗಿಲ್ಲ. ಇಂಜೆಸ್ಟರ್‌ಗಳು ಎಲ್ಲಾ ಇನ್-ಮೆಮೊರಿ ಡೇಟಾವನ್ನು ದೀರ್ಘಾವಧಿಯ ಸಂಗ್ರಹಣೆಗೆ ಯಶಸ್ವಿಯಾಗಿ ಲೋಡ್ ಮಾಡಿದ್ದಾರೆ. ಸ್ಥಗಿತಗೊಳಿಸುವಿಕೆಯ ಸಮಯದಲ್ಲಿ, ಕ್ಲೈಂಟ್ ಪ್ರೊಮೆಥಿಯಸ್ ಸರ್ವರ್‌ಗಳನ್ನು ಬಫರ್ ಅಳಿಸಲಾಗಿದೆ (ರಿಮೋಟ್) ರೆಕಾರ್ಡಿಂಗ್ ಬಳಸಿ WAL ಆಧರಿಸಿ (ಲೇಖಕರು ಗ್ರಾಫನಾ ಲ್ಯಾಬ್ಸ್‌ನಿಂದ) ಮತ್ತು ಕುಸಿತದ ನಂತರ ವಿಫಲವಾದ ಬರಹಗಳನ್ನು ಪುನರಾವರ್ತಿಸಿದರು.
ಪ್ರೊಡಕ್ಷನ್ ಕ್ಲಸ್ಟರ್ ಬರೆಯುವ ಕಾರ್ಯಾಚರಣೆಗಳು
ಸಂಶೋಧನೆಗಳು
ಈ ಘಟನೆಯಿಂದ ಪಾಠ ಕಲಿಯುವುದು ಮತ್ತು ಮರುಕಳಿಸುವುದನ್ನು ತಪ್ಪಿಸಲು ಅಗತ್ಯ ಕ್ರಮಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುವುದು ಮುಖ್ಯ.
ಹಿನ್ನೋಟದಲ್ಲಿ, ನಾವು ಡೀಫಾಲ್ಟ್ ಅನ್ನು ಹೊಂದಿಸಬಾರದು ಮಧ್ಯಮ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಎಲ್ಲಾ ಇಂಜೆಸ್ಟರ್‌ಗಳು ಸ್ವೀಕರಿಸುವವರೆಗೆ ಆದ್ಯತೆ ಹೆಚ್ಚು ಒಂದು ಆದ್ಯತೆ. ಜೊತೆಗೆ, ಅವುಗಳನ್ನು ಮುಂಚಿತವಾಗಿ ನೋಡಿಕೊಳ್ಳುವುದು ಅಗತ್ಯವಾಗಿತ್ತು ಹೆಚ್ಚು ಆದ್ಯತೆ. ಈಗ ಎಲ್ಲವನ್ನೂ ಸರಿಪಡಿಸಲಾಗಿದೆ. ಕುಬರ್ನೆಟ್ಸ್‌ನಲ್ಲಿ ಪಾಡ್ ಆದ್ಯತೆಗಳನ್ನು ಬಳಸುವುದನ್ನು ಪರಿಗಣಿಸಲು ನಮ್ಮ ಅನುಭವವು ಇತರ ಸಂಸ್ಥೆಗಳಿಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ.
ಕ್ಲಸ್ಟರ್‌ಗೆ ಜಾಗತಿಕವಾಗಿರುವ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳ ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ವಸ್ತುಗಳ ನಿಯೋಜನೆಯ ಮೇಲೆ ನಾವು ಹೆಚ್ಚುವರಿ ಮಟ್ಟದ ನಿಯಂತ್ರಣವನ್ನು ಸೇರಿಸುತ್ತೇವೆ. ಇಂದಿನಿಂದ, ಅಂತಹ ಬದಲಾವಣೆಗಳನ್ನು ಬಿоಹೆಚ್ಚು ಜನರು. ಹೆಚ್ಚುವರಿಯಾಗಿ, ಪ್ರತ್ಯೇಕ ಪ್ರಾಜೆಕ್ಟ್ ಡಾಕ್ಯುಮೆಂಟ್‌ಗಾಗಿ ಕ್ರ್ಯಾಶ್‌ಗೆ ಕಾರಣವಾದ ಮಾರ್ಪಾಡು ತುಂಬಾ ಚಿಕ್ಕದಾಗಿದೆ ಎಂದು ಪರಿಗಣಿಸಲಾಗಿದೆ - ಇದನ್ನು GitHub ಸಂಚಿಕೆಯಲ್ಲಿ ಮಾತ್ರ ಚರ್ಚಿಸಲಾಗಿದೆ. ಇಂದಿನಿಂದ, ಸಂರಚನೆಗಳಿಗೆ ಅಂತಹ ಎಲ್ಲಾ ಬದಲಾವಣೆಗಳು ಸೂಕ್ತವಾದ ಯೋಜನೆಯ ದಾಖಲಾತಿಯೊಂದಿಗೆ ಇರುತ್ತದೆ.
ಅಂತಿಮವಾಗಿ, ನಾವು ನೋಡಿದ ಓವರ್‌ಲೋಡ್ OOM ಅನ್ನು ತಡೆಯಲು ದೃಢೀಕರಣ ರಿವರ್ಸ್ ಪ್ರಾಕ್ಸಿಯ ಮರುಗಾತ್ರಗೊಳಿಸುವಿಕೆಯನ್ನು ನಾವು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುತ್ತೇವೆ ಮತ್ತು ಭವಿಷ್ಯದಲ್ಲಿ ಇದೇ ರೀತಿಯ ಸಮಸ್ಯೆಗಳನ್ನು ತಡೆಗಟ್ಟಲು ಫಾಲ್‌ಬ್ಯಾಕ್ ಮತ್ತು ಸ್ಕೇಲಿಂಗ್‌ಗೆ ಸಂಬಂಧಿಸಿದ Prometheus ಡೀಫಾಲ್ಟ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತೇವೆ.
ವೈಫಲ್ಯವು ಕೆಲವು ಸಕಾರಾತ್ಮಕ ಪರಿಣಾಮಗಳನ್ನು ಸಹ ಹೊಂದಿತ್ತು: ಅಗತ್ಯ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಪಡೆದ ನಂತರ, ಹೆಚ್ಚುವರಿ ಹಸ್ತಕ್ಷೇಪವಿಲ್ಲದೆ ಕಾರ್ಟೆಕ್ಸ್ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಚೇತರಿಸಿಕೊಂಡಿತು. ನಾವು ಕೆಲಸ ಮಾಡುವ ಅಮೂಲ್ಯ ಅನುಭವವನ್ನು ಸಹ ಗಳಿಸಿದ್ದೇವೆ - ನಮ್ಮ ಹೊಸ ಲಾಗ್ ಒಟ್ಟುಗೂಡಿಸುವ ವ್ಯವಸ್ಥೆ - ವೈಫಲ್ಯದ ಸಮಯದಲ್ಲಿ ಮತ್ತು ನಂತರ ಎಲ್ಲಾ ಒಳಸೇರಿಸುವವರು ಸರಿಯಾಗಿ ವರ್ತಿಸುವುದನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಸಹಾಯ ಮಾಡಿತು.
ಅನುವಾದಕರಿಂದ PS
ನಮ್ಮ ಬ್ಲಾಗ್‌ನಲ್ಲಿಯೂ ಓದಿ:
- «";
- «";
- «";
- «».
ಮೂಲ: www.habr.com