Odnoklassniki RuNet ನಲ್ಲಿ Apache Cassandra ನ ಅತಿ ದೊಡ್ಡ ಬಳಕೆದಾರ ಮತ್ತು ವಿಶ್ವದಲ್ಲೇ ಅತಿ ದೊಡ್ಡದಾಗಿದೆ. ಫೋಟೋ ರೇಟಿಂಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ನಾವು 2010 ರಲ್ಲಿ ಕಸ್ಸಂದ್ರವನ್ನು ಬಳಸಲು ಪ್ರಾರಂಭಿಸಿದ್ದೇವೆ ಮತ್ತು ಈಗ ಕಸ್ಸಂದ್ರವು ಸಾವಿರಾರು ನೋಡ್‌ಗಳಲ್ಲಿ ಪೆಟಾಬೈಟ್‌ಗಳ ಡೇಟಾವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ವಾಸ್ತವವಾಗಿ, ನಾವು ನಮ್ಮದೇ ಆದದನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ್ದೇವೆ .
ಸೆಪ್ಟೆಂಬರ್ 12 ರಂದು ನಮ್ಮ ಸೇಂಟ್ ಪೀಟರ್ಸ್ಬರ್ಗ್ ಕಛೇರಿಯಲ್ಲಿ ನಾವು ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುತ್ತೇವೆ . ಈವೆಂಟ್‌ನ ಮುಖ್ಯ ಸ್ಪೀಕರ್ ಓಡ್ನೋಕ್ಲಾಸ್ನಿಕಿ ಒಲೆಗ್ ಅನಸ್ತಾಸ್ಯೆವ್‌ನ ಮುಖ್ಯ ಎಂಜಿನಿಯರ್ ಆಗಿರುತ್ತಾರೆ. ಒಲೆಗ್ ವಿತರಿಸಿದ ಮತ್ತು ದೋಷ-ಸಹಿಷ್ಣು ವ್ಯವಸ್ಥೆಗಳ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪರಿಣತರಾಗಿದ್ದಾರೆ; ಅವರು ಕಸ್ಸಂದ್ರದೊಂದಿಗೆ 10 ವರ್ಷಗಳಿಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಮತ್ತು ಪದೇ ಪದೇ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದಾರೆ. .
ಸಭೆಯ ಮುನ್ನಾದಿನದಂದು, ನಾವು ಕಸ್ಸಂದ್ರದೊಂದಿಗೆ ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳ ದೋಷ ಸಹಿಷ್ಣುತೆಯ ಬಗ್ಗೆ ಒಲೆಗ್ ಅವರೊಂದಿಗೆ ಮಾತನಾಡಿದ್ದೇವೆ, ಅವರು ಸಭೆಯಲ್ಲಿ ಏನು ಮಾತನಾಡುತ್ತಾರೆ ಮತ್ತು ಈ ಕಾರ್ಯಕ್ರಮಕ್ಕೆ ಏಕೆ ಹಾಜರಾಗುವುದು ಯೋಗ್ಯವಾಗಿದೆ ಎಂದು ಕೇಳಿದರು.
ಒಲೆಗ್ ತನ್ನ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ವೃತ್ತಿಜೀವನವನ್ನು 1995 ರಲ್ಲಿ ಪ್ರಾರಂಭಿಸಿದನು. ಅವರು ಬ್ಯಾಂಕಿಂಗ್, ಟೆಲಿಕಾಂ ಮತ್ತು ಸಾರಿಗೆಯಲ್ಲಿ ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದರು. ಅವರು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ತಂಡದಲ್ಲಿ 2007 ರಿಂದ ಓಡ್ನೋಕ್ಲಾಸ್ನಿಕಿಯಲ್ಲಿ ಪ್ರಮುಖ ಡೆವಲಪರ್ ಆಗಿ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದಾರೆ. ಹೆಚ್ಚಿನ ಲೋಡ್ ವ್ಯವಸ್ಥೆಗಳು, ದೊಡ್ಡ ಡೇಟಾ ಗೋದಾಮುಗಳು ಮತ್ತು ಪೋರ್ಟಲ್ ಕಾರ್ಯಕ್ಷಮತೆ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹತೆಯ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸುವ ವಾಸ್ತುಶಿಲ್ಪಗಳು ಮತ್ತು ಪರಿಹಾರಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುವುದು ಅವರ ಜವಾಬ್ದಾರಿಗಳಲ್ಲಿ ಸೇರಿದೆ. ಅವರು ಕಂಪನಿಯೊಳಗೆ ಡೆವಲಪರ್‌ಗಳಿಗೆ ತರಬೇತಿ ನೀಡುತ್ತಾರೆ.
- ಒಲೆಗ್, ಹಲೋ! ಮೇ ತಿಂಗಳಲ್ಲಿ ನಡೆಯಿತು .
ವಿಭಿನ್ನ ಕಂಪನಿಗಳಿಂದ ವಿಭಿನ್ನ ಹಿನ್ನೆಲೆ ಹೊಂದಿರುವ ಡೆವಲಪರ್‌ಗಳು ತಮ್ಮದೇ ಆದ ನೋವು, ಸಮಸ್ಯೆಗಳಿಗೆ ಅನಿರೀಕ್ಷಿತ ಪರಿಹಾರಗಳು ಮತ್ತು ಅದ್ಭುತ ಕಥೆಗಳೊಂದಿಗೆ ಬಂದರು. ನಾವು ಹೆಚ್ಚಿನ ಸಭೆಗಳನ್ನು ಚರ್ಚಾ ಸ್ವರೂಪದಲ್ಲಿ ನಡೆಸಲು ನಿರ್ವಹಿಸುತ್ತಿದ್ದೆವು, ಆದರೆ ಹಲವು ಚರ್ಚೆಗಳು ಇದ್ದವು, ನಾವು ಯೋಜಿತ ವಿಷಯಗಳ ಮೂರನೇ ಒಂದು ಭಾಗವನ್ನು ಮಾತ್ರ ಸ್ಪರ್ಶಿಸಲು ಸಾಧ್ಯವಾಯಿತು. ನಮ್ಮ ನೈಜ ಉತ್ಪಾದನಾ ಸೇವೆಗಳ ಉದಾಹರಣೆಯನ್ನು ಬಳಸಿಕೊಂಡು ನಾವು ಹೇಗೆ ಮತ್ತು ಏನನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತೇವೆ ಎಂಬುದರ ಕುರಿತು ನಾವು ಹೆಚ್ಚು ಗಮನ ಹರಿಸಿದ್ದೇವೆ.
ನಾನು ಆಸಕ್ತಿ ಹೊಂದಿದ್ದೆ ಮತ್ತು ಅದನ್ನು ನಿಜವಾಗಿಯೂ ಇಷ್ಟಪಟ್ಟೆ.
- ಪ್ರಕಟಣೆಯ ಮೂಲಕ ನಿರ್ಣಯಿಸುವುದು, ತಪ್ಪು ಸಹಿಷ್ಣುತೆಗೆ ಸಂಪೂರ್ಣವಾಗಿ ಮೀಸಲಿಡಲಾಗುವುದು, ನೀವು ಈ ವಿಷಯವನ್ನು ಏಕೆ ಆರಿಸಿದ್ದೀರಿ?
ಕಸ್ಸಂದ್ರವು ಒಂದು ವಿಶಿಷ್ಟವಾದ ಕಾರ್ಯನಿರತ ವಿತರಣಾ ವ್ಯವಸ್ಥೆಯಾಗಿದ್ದು, ಬಳಕೆದಾರರ ವಿನಂತಿಗಳನ್ನು ನೇರವಾಗಿ ಪೂರೈಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಕಾರ್ಯವನ್ನು ಹೊಂದಿದೆ: ಗಾಸಿಪ್, ವೈಫಲ್ಯ ಪತ್ತೆ, ಸ್ಕೀಮಾ ಬದಲಾವಣೆಗಳ ಪ್ರಚಾರ, ಕ್ಲಸ್ಟರ್ ವಿಸ್ತರಣೆ/ಕಡಿತ, ವಿರೋಧಿ ಎಂಟ್ರೊಪಿ, ಬ್ಯಾಕ್‌ಅಪ್‌ಗಳು ಮತ್ತು ಚೇತರಿಕೆ, ಇತ್ಯಾದಿ. ಯಾವುದೇ ವಿತರಣಾ ವ್ಯವಸ್ಥೆಯಲ್ಲಿರುವಂತೆ, ಹಾರ್ಡ್‌ವೇರ್ ಪ್ರಮಾಣವು ಹೆಚ್ಚಾದಂತೆ, ವೈಫಲ್ಯಗಳ ಸಾಧ್ಯತೆಯು ಹೆಚ್ಚಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಕಸ್ಸಂದ್ರ ಉತ್ಪಾದನಾ ಕ್ಲಸ್ಟರ್‌ಗಳ ಕಾರ್ಯಾಚರಣೆಯು ವೈಫಲ್ಯಗಳು ಮತ್ತು ಆಪರೇಟರ್ ಕ್ರಿಯೆಗಳ ಸಂದರ್ಭದಲ್ಲಿ ನಡವಳಿಕೆಯನ್ನು ಊಹಿಸಲು ಅದರ ರಚನೆಯ ಆಳವಾದ ತಿಳುವಳಿಕೆಯನ್ನು ಬಯಸುತ್ತದೆ. ಹಲವು ವರ್ಷಗಳ ಕಾಲ ಕಸ್ಸಂದ್ರವನ್ನು ಬಳಸಿದ ನಂತರ, ನಾವು , ನಾವು ಹಂಚಿಕೊಳ್ಳಲು ಸಿದ್ಧರಿದ್ದೇವೆ ಮತ್ತು ಅಂಗಡಿಯಲ್ಲಿನ ಸಹೋದ್ಯೋಗಿಗಳು ವಿಶಿಷ್ಟ ಸಮಸ್ಯೆಗಳನ್ನು ಹೇಗೆ ಪರಿಹರಿಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ನಾವು ಚರ್ಚಿಸಲು ಬಯಸುತ್ತೇವೆ.
- ಕಸ್ಸಂದ್ರಕ್ಕೆ ಬಂದಾಗ, ತಪ್ಪು ಸಹಿಷ್ಣುತೆ ಎಂದರೆ ಏನು?
ಮೊದಲನೆಯದಾಗಿ, ಸಹಜವಾಗಿ, ವಿಶಿಷ್ಟವಾದ ಹಾರ್ಡ್‌ವೇರ್ ವೈಫಲ್ಯಗಳನ್ನು ಬದುಕಲು ಸಿಸ್ಟಮ್‌ನ ಸಾಮರ್ಥ್ಯ: ಯಂತ್ರಗಳು, ಡಿಸ್ಕ್‌ಗಳು ಅಥವಾ ನೋಡ್‌ಗಳು/ಡೇಟಾ ಕೇಂದ್ರಗಳೊಂದಿಗೆ ನೆಟ್‌ವರ್ಕ್ ಸಂಪರ್ಕದ ನಷ್ಟ. ಆದರೆ ವಿಷಯವು ಹೆಚ್ಚು ವಿಸ್ತಾರವಾಗಿದೆ ಮತ್ತು ನಿರ್ದಿಷ್ಟವಾಗಿ ವೈಫಲ್ಯಗಳಿಂದ ಚೇತರಿಸಿಕೊಳ್ಳುವುದನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಇದರಲ್ಲಿ ವಿಫಲತೆಗಳು ಸೇರಿದಂತೆ ಜನರು ವಿರಳವಾಗಿ ತಯಾರಿಸುತ್ತಾರೆ, ಉದಾಹರಣೆಗೆ, ಆಪರೇಟರ್ ದೋಷಗಳು.
— ನೀವು ಹೆಚ್ಚು ಲೋಡ್ ಮಾಡಲಾದ ಮತ್ತು ದೊಡ್ಡ ಡೇಟಾ ಕ್ಲಸ್ಟರ್‌ನ ಉದಾಹರಣೆಯನ್ನು ನೀಡಬಹುದೇ?
ನಮ್ಮ ದೊಡ್ಡ ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿ ಒಂದು ಉಡುಗೊರೆ ಕ್ಲಸ್ಟರ್ ಆಗಿದೆ: 200 ಕ್ಕೂ ಹೆಚ್ಚು ನೋಡ್‌ಗಳು ಮತ್ತು ನೂರಾರು TB ಡೇಟಾ. ಆದರೆ ಇದು ಹೆಚ್ಚು ಲೋಡ್ ಆಗಿಲ್ಲ, ಏಕೆಂದರೆ ಇದು ವಿತರಿಸಿದ ಸಂಗ್ರಹದಿಂದ ಮುಚ್ಚಲ್ಪಟ್ಟಿದೆ. ನಮ್ಮ ಅತ್ಯಂತ ಜನನಿಬಿಡ ಕ್ಲಸ್ಟರ್‌ಗಳು ಬರವಣಿಗೆಗಾಗಿ ಹತ್ತಾರು RPS ಮತ್ತು ಓದಲು ಸಾವಿರಾರು RPS ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತವೆ.
- ಅದ್ಭುತ! ಎಷ್ಟು ಬಾರಿ ಏನಾದರೂ ಒಡೆಯುತ್ತದೆ?
! ಒಟ್ಟಾರೆಯಾಗಿ, ನಾವು 6 ಸಾವಿರಕ್ಕೂ ಹೆಚ್ಚು ಸರ್ವರ್‌ಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ ಮತ್ತು ಪ್ರತಿ ವಾರ ಒಂದೆರಡು ಸರ್ವರ್‌ಗಳು ಮತ್ತು ಹಲವಾರು ಡಜನ್ ಡಿಸ್ಕ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಲಾಗುತ್ತದೆ (ಮೆಷಿನ್ ಫ್ಲೀಟ್‌ನ ಅಪ್‌ಗ್ರೇಡ್ ಮತ್ತು ವಿಸ್ತರಣೆಯ ಸಮಾನಾಂತರ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳದೆ). ಪ್ರತಿಯೊಂದು ರೀತಿಯ ವೈಫಲ್ಯಕ್ಕೆ, ಏನು ಮಾಡಬೇಕೆಂದು ಮತ್ತು ಯಾವ ಕ್ರಮದಲ್ಲಿ ಸ್ಪಷ್ಟ ಸೂಚನೆಗಳಿವೆ, ಸಾಧ್ಯವಾದಾಗಲೆಲ್ಲಾ ಎಲ್ಲವೂ ಸ್ವಯಂಚಾಲಿತವಾಗಿರುತ್ತದೆ, ಆದ್ದರಿಂದ ವೈಫಲ್ಯಗಳು ವಾಡಿಕೆಯಂತೆ ಮತ್ತು 99% ಪ್ರಕರಣಗಳಲ್ಲಿ ಬಳಕೆದಾರರ ಗಮನಕ್ಕೆ ಬರುವುದಿಲ್ಲ.
- ಅಂತಹ ನಿರಾಕರಣೆಗಳನ್ನು ನೀವು ಹೇಗೆ ಎದುರಿಸುತ್ತೀರಿ?
ಕಸ್ಸಂದ್ರದ ಕಾರ್ಯಾಚರಣೆಯ ಪ್ರಾರಂಭದಿಂದಲೂ ಮತ್ತು ಮೊದಲ ಘಟನೆಗಳಿಂದಲೂ, ನಾವು ಬ್ಯಾಕ್‌ಅಪ್‌ಗಳು ಮತ್ತು ಅವುಗಳಿಂದ ಚೇತರಿಸಿಕೊಳ್ಳುವ ಕಾರ್ಯವಿಧಾನಗಳ ಮೇಲೆ ಕೆಲಸ ಮಾಡಿದ್ದೇವೆ, ಕಸ್ಸಂದ್ರ ಕ್ಲಸ್ಟರ್‌ಗಳ ಸ್ಥಿತಿಯನ್ನು ಗಣನೆಗೆ ತೆಗೆದುಕೊಳ್ಳುವ ನಿಯೋಜನೆ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ನಿರ್ಮಿಸಿದ್ದೇವೆ ಮತ್ತು ಉದಾಹರಣೆಗೆ, ನೋಡ್‌ಗಳನ್ನು ಮರುಪ್ರಾರಂಭಿಸಲು ಅನುಮತಿಸುವುದಿಲ್ಲ. ಡೇಟಾ ನಷ್ಟ ಸಾಧ್ಯವಾದರೆ. ಈ ಎಲ್ಲದರ ಬಗ್ಗೆ ನಾವು ಸಭೆಯಲ್ಲಿ ಮಾತನಾಡಲು ಯೋಜಿಸಿದ್ದೇವೆ.
- ನೀವು ಹೇಳಿದಂತೆ, ಸಂಪೂರ್ಣವಾಗಿ ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಗಳಿಲ್ಲ. ನೀವು ಯಾವ ರೀತಿಯ ವೈಫಲ್ಯಗಳಿಗೆ ಸಿದ್ಧರಾಗಿರುವಿರಿ ಮತ್ತು ನಿಭಾಯಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ?
ಕಸ್ಸಂದ್ರ ಕ್ಲಸ್ಟರ್‌ಗಳ ನಮ್ಮ ಸ್ಥಾಪನೆಗಳ ಕುರಿತು ನಾವು ಮಾತನಾಡಿದರೆ, ಒಂದು DC ಅಥವಾ ಒಂದು ಸಂಪೂರ್ಣ DC ಯಲ್ಲಿ ನಾವು ಹಲವಾರು ಯಂತ್ರಗಳನ್ನು ಕಳೆದುಕೊಂಡರೆ ಬಳಕೆದಾರರು ಏನನ್ನೂ ಗಮನಿಸುವುದಿಲ್ಲ (ಇದು ಸಂಭವಿಸಿದೆ). DC ಗಳ ಸಂಖ್ಯೆಯಲ್ಲಿನ ಹೆಚ್ಚಳದೊಂದಿಗೆ, ಎರಡು DC ಗಳ ವೈಫಲ್ಯದ ಸಂದರ್ಭದಲ್ಲಿ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಪ್ರಾರಂಭಿಸುವ ಬಗ್ಗೆ ನಾವು ಯೋಚಿಸುತ್ತಿದ್ದೇವೆ.
- ತಪ್ಪು ಸಹಿಷ್ಣುತೆಯ ವಿಷಯದಲ್ಲಿ ಕಸ್ಸಂಡ್ರಾಗೆ ಏನು ಕೊರತೆಯಿದೆ ಎಂದು ನೀವು ಯೋಚಿಸುತ್ತೀರಿ?
ಕಸ್ಸಂದ್ರ, ಇತರ ಹಲವು ಆರಂಭಿಕ NoSQL ಸ್ಟೋರ್‌ಗಳಂತೆ, ಅದರ ಆಂತರಿಕ ರಚನೆ ಮತ್ತು ಡೈನಾಮಿಕ್ ಪ್ರಕ್ರಿಯೆಗಳ ಬಗ್ಗೆ ಆಳವಾದ ತಿಳುವಳಿಕೆ ಅಗತ್ಯವಿರುತ್ತದೆ. ಇದು ಸರಳತೆ, ಊಹೆ ಮತ್ತು ಅವಲೋಕನವನ್ನು ಹೊಂದಿಲ್ಲ ಎಂದು ನಾನು ಹೇಳುತ್ತೇನೆ. ಆದರೆ ಇತರ ಸಭೆಯಲ್ಲಿ ಭಾಗವಹಿಸುವವರ ಅಭಿಪ್ರಾಯಗಳನ್ನು ಕೇಳಲು ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ!
ಓಲೆಗ್, ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ಸಮಯ ತೆಗೆದುಕೊಂಡಿದ್ದಕ್ಕಾಗಿ ತುಂಬಾ ಧನ್ಯವಾದಗಳು!
ಸೆಪ್ಟೆಂಬರ್ 12 ರಂದು ನಮ್ಮ ಸೇಂಟ್ ಪೀಟರ್ಸ್ಬರ್ಗ್ ಕಛೇರಿಯಲ್ಲಿ ನಡೆಯುವ ಸಭೆಯಲ್ಲಿ ಅಪಾಚೆ ಕಸ್ಸಂದ್ರವನ್ನು ನಿರ್ವಹಿಸುವ ಕ್ಷೇತ್ರದಲ್ಲಿ ಪರಿಣಿತರೊಂದಿಗೆ ಸಂವಹನ ನಡೆಸಲು ಬಯಸುವ ಪ್ರತಿಯೊಬ್ಬರಿಗೂ ನಾವು ಕಾಯುತ್ತಿದ್ದೇವೆ.
ಬನ್ನಿ, ಇದು ಆಸಕ್ತಿದಾಯಕವಾಗಿರುತ್ತದೆ!
ಮೂಲ: www.habr.com