ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಮೂರು ವರ್ಷಗಳ ಹಿಂದೆ ವೇದಿಕೆಯಲ್ಲಿ ಯಾಂಡೆಕ್ಸ್‌ನಿಂದ ವಿಕ್ಟರ್ ತರ್ನಾವ್ಸ್ಕಿ ಮತ್ತು ಅಲೆಕ್ಸಿ ಮಿಲೋವಿಡೋವ್ ಹೈಲೋಡ್ ++ ಹೇಳಿದರು, ಕ್ಲಿಕ್‌ಹೌಸ್ ಎಷ್ಟು ಉತ್ತಮವಾಗಿದೆ ಮತ್ತು ಅದು ಹೇಗೆ ನಿಧಾನವಾಗುವುದಿಲ್ಲ. ಮತ್ತು ಮುಂದಿನ ಹಂತದಲ್ಲಿ ಇತ್ತು ಅಲೆಕ್ಸಾಂಡರ್ ಜೈಟ್ಸೆವ್ с ವರದಿ ಗೆ ಚಲಿಸುವ ಬಗ್ಗೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಮತ್ತೊಂದು ವಿಶ್ಲೇಷಣಾತ್ಮಕ DBMS ನಿಂದ ಮತ್ತು ತೀರ್ಮಾನದೊಂದಿಗೆ ಕ್ಲಿಕ್‌ಹೌಸ್, ಸಹಜವಾಗಿ, ಒಳ್ಳೆಯದು, ಆದರೆ ತುಂಬಾ ಅನುಕೂಲಕರವಲ್ಲ. ಯಾವಾಗ 2016 ರಲ್ಲಿ ಕಂಪನಿ ಲೈಫ್‌ಸ್ಟ್ರೀಟ್, ಅಲ್ಲಿ ಅಲೆಕ್ಸಾಂಡರ್ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದಾಗ, ಬಹು-ಪೆಟಾಬೈಟ್ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ವ್ಯವಸ್ಥೆಯನ್ನು ಪರಿವರ್ತಿಸುತ್ತಿದ್ದ ಕ್ಲಿಕ್‌ಹೌಸ್, ಇದು ಅಪರಿಚಿತ ಅಪಾಯಗಳಿಂದ ತುಂಬಿರುವ ಆಕರ್ಷಕ "ಹಳದಿ ಇಟ್ಟಿಗೆ ರಸ್ತೆ" ಆಗಿತ್ತು - ಕ್ಲಿಕ್‌ಹೌಸ್ ಆಗ ಅದು ಮೈನ್‌ಫೀಲ್ಡ್‌ನಂತೆ ಕಾಣುತ್ತಿತ್ತು.

ಮೂರು ವರ್ಷಗಳ ನಂತರ ಕ್ಲಿಕ್‌ಹೌಸ್ ಹೆಚ್ಚು ಉತ್ತಮವಾಯಿತು - ಈ ಸಮಯದಲ್ಲಿ ಅಲೆಕ್ಸಾಂಡರ್ ಆಲ್ಟಿನಿಟಿ ಎಂಬ ಕಂಪನಿಯನ್ನು ಸ್ಥಾಪಿಸಿದರು, ಇದು ಜನರು ಚಲಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಡಜನ್ಗಟ್ಟಲೆ ಯೋಜನೆಗಳು, ಆದರೆ ಯಾಂಡೆಕ್ಸ್‌ನ ಸಹೋದ್ಯೋಗಿಗಳೊಂದಿಗೆ ಉತ್ಪನ್ನವನ್ನು ಸುಧಾರಿಸುತ್ತದೆ. ಈಗ ಕ್ಲಿಕ್‌ಹೌಸ್ ಇನ್ನೂ ನಿರಾತಂಕದ ಅಡ್ಡಾಡು ಅಲ್ಲ, ಆದರೆ ಇನ್ನು ಮುಂದೆ ಮೈನ್‌ಫೀಲ್ಡ್ ಅಲ್ಲ.

ಅಲೆಕ್ಸಾಂಡರ್ 2003 ರಿಂದ ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಿದ್ದಾರೆ, ದೊಡ್ಡ ಯೋಜನೆಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತಿದ್ದಾರೆ MySQL, ಒರಾಕಲ್ и ವರ್ಟಿಕಾ. ಕೊನೆಯ ಮೇಲೆ ಹೈಲೋಡ್++ 2019 ಅಲೆಕ್ಸಾಂಡರ್, ಬಳಸುವ ಪ್ರವರ್ತಕರಲ್ಲಿ ಒಬ್ಬರು ಕ್ಲಿಕ್‌ಹೌಸ್, ಈಗ ಈ DBMS ಏನೆಂದು ಹೇಳಿದರು. ನಾವು ಮುಖ್ಯ ಲಕ್ಷಣಗಳ ಬಗ್ಗೆ ಕಲಿಯುತ್ತೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್: ಇದು ಇತರ ವ್ಯವಸ್ಥೆಗಳಿಂದ ಹೇಗೆ ಭಿನ್ನವಾಗಿದೆ ಮತ್ತು ಯಾವ ಸಂದರ್ಭಗಳಲ್ಲಿ ಅದನ್ನು ಬಳಸಲು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ. ಉದಾಹರಣೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ನಾವು ಕಟ್ಟಡದ ವ್ಯವಸ್ಥೆಗಳಿಗಾಗಿ ಇತ್ತೀಚಿನ ಮತ್ತು ಪ್ರಾಜೆಕ್ಟ್-ಪರೀಕ್ಷಿತ ಅಭ್ಯಾಸಗಳನ್ನು ನೋಡುತ್ತೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್.


ರೆಟ್ರೋಸ್ಪೆಕ್ಟಿವ್: 3 ವರ್ಷಗಳ ಹಿಂದೆ ಏನಾಯಿತು

ಮೂರು ವರ್ಷಗಳ ಹಿಂದೆ ನಾವು ಕಂಪನಿಯನ್ನು ವರ್ಗಾಯಿಸಿದ್ದೇವೆ ಲೈಫ್‌ಸ್ಟ್ರೀಟ್ ಮೇಲೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಮತ್ತೊಂದು ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಡೇಟಾಬೇಸ್‌ನಿಂದ, ಮತ್ತು ಜಾಹೀರಾತು ನೆಟ್‌ವರ್ಕ್ ವಿಶ್ಲೇಷಣೆಗಳ ವಲಸೆಯು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

  • ಜೂನ್ 2016. ರಲ್ಲಿ ಮುಕ್ತ ಸಂಪನ್ಮೂಲ ಕಾಣಿಸಿಕೊಂಡರು ಕ್ಲಿಕ್‌ಹೌಸ್ ಮತ್ತು ನಮ್ಮ ಯೋಜನೆ ಪ್ರಾರಂಭವಾಯಿತು;
  • ಆಗಸ್ಟ್. ಪರಿಕಲ್ಪನೆಯ ಪುರಾವೆ: ದೊಡ್ಡ ಜಾಹೀರಾತು ಜಾಲ, ಮೂಲಸೌಕರ್ಯ ಮತ್ತು 200-300 ಟೆರಾಬೈಟ್ ಡೇಟಾ;
  • ಅಕ್ಟೋಬರ್. ಮೊದಲ ಉತ್ಪಾದನಾ ಡೇಟಾ;
  • ಡಿಸೆಂಬರ್. ಪೂರ್ಣ ಉತ್ಪನ್ನದ ಹೊರೆ ದಿನಕ್ಕೆ 10-50 ಬಿಲಿಯನ್ ಘಟನೆಗಳು.
  • ಜೂನ್ 2017. ಗೆ ಬಳಕೆದಾರರ ಯಶಸ್ವಿ ವಲಸೆ ಕ್ಲಿಕ್‌ಹೌಸ್, 2,5 ಸರ್ವರ್‌ಗಳ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ 60 ಪೆಟಾಬೈಟ್ ಡೇಟಾ.

ವಲಸೆ ಪ್ರಕ್ರಿಯೆಯ ಸಮಯದಲ್ಲಿ, ಬೆಳೆಯುತ್ತಿರುವ ತಿಳುವಳಿಕೆ ಇತ್ತು ಕ್ಲಿಕ್‌ಹೌಸ್ ಕೆಲಸ ಮಾಡಲು ಆಹ್ಲಾದಕರವಾದ ಉತ್ತಮ ವ್ಯವಸ್ಥೆಯಾಗಿದೆ, ಆದರೆ ಇದು ಯಾಂಡೆಕ್ಸ್ನ ಆಂತರಿಕ ಯೋಜನೆಯಾಗಿದೆ. ಆದ್ದರಿಂದ, ಸೂಕ್ಷ್ಮ ವ್ಯತ್ಯಾಸಗಳಿವೆ: ಯಾಂಡೆಕ್ಸ್ ಮೊದಲು ತನ್ನದೇ ಆದ ಆಂತರಿಕ ಗ್ರಾಹಕರೊಂದಿಗೆ ವ್ಯವಹರಿಸುತ್ತದೆ ಮತ್ತು ನಂತರ ಸಮುದಾಯ ಮತ್ತು ಬಾಹ್ಯ ಬಳಕೆದಾರರ ಅಗತ್ಯತೆಗಳೊಂದಿಗೆ ಮಾತ್ರ ವ್ಯವಹರಿಸುತ್ತದೆ, ಮತ್ತು ಕ್ಲಿಕ್‌ಹೌಸ್ ನಂತರ ಅನೇಕ ಕ್ರಿಯಾತ್ಮಕ ಪ್ರದೇಶಗಳಲ್ಲಿ ಎಂಟರ್‌ಪ್ರೈಸ್ ಮಟ್ಟವನ್ನು ತಲುಪಲಿಲ್ಲ. ಅದಕ್ಕಾಗಿಯೇ ನಾವು ಆಲ್ಟಿನಿಟಿಯನ್ನು ಮಾರ್ಚ್ 2017 ರಲ್ಲಿ ಸ್ಥಾಪಿಸಿದ್ದೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಯಾಂಡೆಕ್ಸ್‌ಗೆ ಮಾತ್ರವಲ್ಲದೆ ಇತರ ಬಳಕೆದಾರರಿಗೆ ಸಹ ವೇಗವಾಗಿ ಮತ್ತು ಹೆಚ್ಚು ಅನುಕೂಲಕರವಾಗಿದೆ. ಮತ್ತು ಈಗ ನಾವು:

  • ನಾವು ತರಬೇತಿ ನೀಡುತ್ತೇವೆ ಮತ್ತು ಅದರ ಆಧಾರದ ಮೇಲೆ ಪರಿಹಾರಗಳನ್ನು ನಿರ್ಮಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದರಿಂದ ಗ್ರಾಹಕರು ತೊಂದರೆಗೆ ಸಿಲುಕುವುದಿಲ್ಲ, ಮತ್ತು ಪರಿಹಾರವು ಅಂತಿಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ;
  • ನಾವು 24/7 ಬೆಂಬಲವನ್ನು ಒದಗಿಸುತ್ತೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್- ಅನುಸ್ಥಾಪನೆಗಳು;
  • ನಾವು ನಮ್ಮದೇ ಆದ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯ ಯೋಜನೆಗಳನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತೇವೆ;
  • ನಾವು ಸಕ್ರಿಯವಾಗಿ ನಮಗೆ ಬದ್ಧರಾಗಿದ್ದೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್, ಕೆಲವು ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ನೋಡಲು ಬಯಸುವ ಬಳಕೆದಾರರ ವಿನಂತಿಗಳಿಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುವುದು.

ಮತ್ತು ಸಹಜವಾಗಿ, ನಾವು ಚಲಿಸಲು ಸಹಾಯ ಮಾಡುತ್ತೇವೆ ಕ್ಲಿಕ್‌ಹೌಸ್ с MySQL, ವರ್ಟಿಕಾ, ಒರಾಕಲ್, ಗ್ರೀನ್ಪ್ಲಮ್, ರೆಡ್ ಷಿಫ್ಟ್ ಮತ್ತು ಇತರ ವ್ಯವಸ್ಥೆಗಳು. ನಾವು ವಿವಿಧ ಚಲನೆಗಳಲ್ಲಿ ತೊಡಗಿಸಿಕೊಂಡಿದ್ದೇವೆ ಮತ್ತು ಅವರೆಲ್ಲರೂ ಯಶಸ್ವಿಯಾಗಿದ್ದಾರೆ.

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಏಕೆ ಸರಿಸಲು ಕ್ಲಿಕ್‌ಹೌಸ್

ನಿಧಾನವಾಗುವುದಿಲ್ಲ! ಇದು ಮುಖ್ಯ ಕಾರಣ. ಕ್ಲಿಕ್‌ಹೌಸ್ - ವಿಭಿನ್ನ ಸನ್ನಿವೇಶಗಳಿಗಾಗಿ ಅತ್ಯಂತ ವೇಗದ ಡೇಟಾಬೇಸ್:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ದೀರ್ಘಕಾಲದವರೆಗೆ ಜನರೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುತ್ತಿರುವ ಜನರಿಂದ ಯಾದೃಚ್ಛಿಕ ಉಲ್ಲೇಖಗಳು ಕ್ಲಿಕ್‌ಹೌಸ್.

ಸ್ಕೇಲೆಬಿಲಿಟಿ. ಕೆಲವು ಇತರ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ನೀವು ಒಂದು ತುಂಡು ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ಉತ್ತಮ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸಬಹುದು, ಆದರೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಸರ್ವರ್‌ಗಳನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ನೀವು ಲಂಬವಾಗಿ ಮಾತ್ರವಲ್ಲದೆ ಅಡ್ಡಲಾಗಿಯೂ ಅಳೆಯಬಹುದು. ನಾವು ಬಯಸಿದಂತೆ ಎಲ್ಲವೂ ಸುಗಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದಿಲ್ಲ, ಆದರೆ ಅದು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ನಿಮ್ಮ ವ್ಯಾಪಾರ ಬೆಳೆದಂತೆ ನೀವು ವ್ಯವಸ್ಥೆಯನ್ನು ವಿಸ್ತರಿಸಬಹುದು. ನಾವು ಈಗ ಪರಿಹಾರದಿಂದ ಸೀಮಿತವಾಗಿಲ್ಲ ಮತ್ತು ಅಭಿವೃದ್ಧಿಗೆ ಯಾವಾಗಲೂ ಸಾಮರ್ಥ್ಯವಿದೆ ಎಂಬುದು ಮುಖ್ಯ.

ಪೋರ್ಟಬಿಲಿಟಿ. ಒಂದು ವಿಷಯಕ್ಕೆ ಯಾವುದೇ ಬಾಂಧವ್ಯವಿಲ್ಲ. ಉದಾಹರಣೆಗೆ, ಜೊತೆ ಅಮೆಜಾನ್ ರೆಡ್‌ಶಿಫ್ಟ್ ಎಲ್ಲೋ ಹೋಗುವುದು ಕಷ್ಟ. ಎ ಕ್ಲಿಕ್‌ಹೌಸ್ ನೀವು ಅದನ್ನು ನಿಮ್ಮ ಲ್ಯಾಪ್‌ಟಾಪ್, ಸರ್ವರ್‌ನಲ್ಲಿ ಸ್ಥಾಪಿಸಬಹುದು, ಅದನ್ನು ಕ್ಲೌಡ್‌ಗೆ ನಿಯೋಜಿಸಬಹುದು, ಹೋಗಿ ಕುಬರ್ನೆಟ್ಸ್ - ಮೂಲಸೌಕರ್ಯಗಳ ಕಾರ್ಯಾಚರಣೆಗೆ ಯಾವುದೇ ನಿರ್ಬಂಧಗಳಿಲ್ಲ. ಇದು ಎಲ್ಲರಿಗೂ ಅನುಕೂಲಕರವಾಗಿದೆ ಮತ್ತು ಇದು ಅನೇಕ ಇತರ ರೀತಿಯ ಡೇಟಾಬೇಸ್‌ಗಳ ಬಗ್ಗೆ ಹೆಗ್ಗಳಿಕೆಗೆ ಒಳಗಾಗದ ದೊಡ್ಡ ಪ್ರಯೋಜನವಾಗಿದೆ.

ಹೊಂದಿಕೊಳ್ಳುವಿಕೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಒಂದು ವಿಷಯದಲ್ಲಿ ನಿಲ್ಲುವುದಿಲ್ಲ, ಉದಾಹರಣೆಗೆ, Yandex.Metrica, ಆದರೆ ಅಭಿವೃದ್ಧಿಪಡಿಸುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚು ಹೆಚ್ಚು ವಿಭಿನ್ನ ಯೋಜನೆಗಳು ಮತ್ತು ಉದ್ಯಮಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ಹೊಸ ಸಮಸ್ಯೆಗಳನ್ನು ಪರಿಹರಿಸಲು ಹೊಸ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಅದನ್ನು ವಿಸ್ತರಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಲಾಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಕೆಟ್ಟ ನಡವಳಿಕೆ ಎಂದು ನಂಬಲಾಗಿದೆ, ಆದ್ದರಿಂದ ಅವರು ಬಂದರು Elasticsearch. ಆದರೆ ನಮ್ಯತೆಗೆ ಧನ್ಯವಾದಗಳು ಕ್ಲಿಕ್‌ಹೌಸ್, ನೀವು ಅದರಲ್ಲಿ ಲಾಗ್‌ಗಳನ್ನು ಸಹ ಸಂಗ್ರಹಿಸಬಹುದು ಮತ್ತು ಆಗಾಗ್ಗೆ ಇದು ಇನ್‌ಗಿಂತ ಉತ್ತಮವಾಗಿರುತ್ತದೆ Elasticsearch - ಇನ್ ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದಕ್ಕೆ 10 ಪಟ್ಟು ಕಡಿಮೆ ಕಬ್ಬಿಣದ ಅಗತ್ಯವಿದೆ.

ಉಚಿತ ಓಪನ್ ಸೋರ್ಸ್. ನೀವು ಯಾವುದಕ್ಕೂ ಪಾವತಿಸಬೇಕಾಗಿಲ್ಲ. ನಿಮ್ಮ ಲ್ಯಾಪ್‌ಟಾಪ್ ಅಥವಾ ಸರ್ವರ್‌ನಲ್ಲಿ ಸಿಸ್ಟಮ್ ಅನ್ನು ಸ್ಥಾಪಿಸಲು ಅನುಮತಿಯನ್ನು ಮಾತುಕತೆ ಮಾಡುವ ಅಗತ್ಯವಿಲ್ಲ. ಯಾವುದೇ ಗುಪ್ತ ಶುಲ್ಕಗಳಿಲ್ಲ. ಅದೇ ಸಮಯದಲ್ಲಿ, ಯಾವುದೇ ಓಪನ್ ಸೋರ್ಸ್ ಡೇಟಾಬೇಸ್ ತಂತ್ರಜ್ಞಾನವು ವೇಗದಲ್ಲಿ ಸ್ಪರ್ಧಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ ಕ್ಲಿಕ್‌ಹೌಸ್. MySQL, MariaDB, ಗ್ರೀನ್‌ಪ್ಲಮ್ - ಅವೆಲ್ಲವೂ ಹೆಚ್ಚು ನಿಧಾನವಾಗಿವೆ.

ಸಮುದಾಯ, ಡ್ರೈವ್ ಮತ್ತು ಮೋಜಿನ. ಹ್ಯಾವ್ ಕ್ಲಿಕ್‌ಹೌಸ್ ಅತ್ಯುತ್ತಮ ಸಮುದಾಯ: ಸಭೆಗಳು, ಚಾಟ್‌ಗಳು ಮತ್ತು ಅಲೆಕ್ಸಿ ಮಿಲೋವಿಡೋವ್, ಅವರು ತಮ್ಮ ಶಕ್ತಿ ಮತ್ತು ಆಶಾವಾದದಿಂದ ನಮಗೆಲ್ಲರಿಗೂ ಶುಲ್ಕ ವಿಧಿಸುತ್ತಾರೆ.

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಚಲಿಸುತ್ತಿದೆ

ಹೋಗಲು ಕ್ಲಿಕ್‌ಹೌಸ್ ಕೆಲವು ಕಾರಣಗಳಿಗಾಗಿ, ನಿಮಗೆ ಕೇವಲ ಮೂರು ವಿಷಯಗಳು ಬೇಕಾಗುತ್ತವೆ:

  • ಮಿತಿಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ ಕ್ಲಿಕ್‌ಹೌಸ್ ಮತ್ತು ಅದು ಯಾವುದಕ್ಕೆ ಸೂಕ್ತವಲ್ಲ.
  • ಉಪಯೋಗ ಪಡೆದುಕೊ ತಂತ್ರಜ್ಞಾನ ಮತ್ತು ಅದರ ದೊಡ್ಡ ಸಾಮರ್ಥ್ಯ.
  • ಪ್ರಯೋಗ. ಅದು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಸಹ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಕ್ಲಿಕ್‌ಹೌಸ್, ಅದು ಯಾವಾಗ ವೇಗವಾಗಿರುತ್ತದೆ, ಯಾವಾಗ ನಿಧಾನವಾಗಿರುತ್ತದೆ, ಯಾವಾಗ ಉತ್ತಮವಾಗಿರುತ್ತದೆ ಮತ್ತು ಯಾವಾಗ ಕೆಟ್ಟದಾಗಿರುತ್ತದೆ ಎಂದು ಊಹಿಸಲು ಯಾವಾಗಲೂ ಸಾಧ್ಯವಿಲ್ಲ. ಆದ್ದರಿಂದ ಇದನ್ನು ಪ್ರಯತ್ನಿಸಿ.

ಚಲಿಸುವ ಸಮಸ್ಯೆ

ಒಂದೇ ಒಂದು "ಆದರೆ" ಇದೆ: ನೀವು ಸ್ಥಳಾಂತರಗೊಂಡರೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಬೇರೆ ಯಾವುದರಿಂದ, ಆಗ ಸಾಮಾನ್ಯವಾಗಿ ಏನೋ ತಪ್ಪಾಗುತ್ತದೆ. ನಮ್ಮ ನೆಚ್ಚಿನ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಕೆಲವು ಅಭ್ಯಾಸಗಳು ಮತ್ತು ವಿಷಯಗಳಿಗೆ ನಾವು ಒಗ್ಗಿಕೊಂಡಿರುತ್ತೇವೆ. ಉದಾಹರಣೆಗೆ, ಕೆಲಸ ಮಾಡುವ ಯಾರಾದರೂ SQಎಲ್-ಡೇಟಾಬೇಸ್‌ಗಳು ಈ ಕೆಳಗಿನ ಕಾರ್ಯಗಳನ್ನು ಕಡ್ಡಾಯವಾಗಿ ಪರಿಗಣಿಸುತ್ತವೆ:

  • ವಹಿವಾಟುಗಳು;
  • ನಿರ್ಬಂಧಗಳು;
  • ಸ್ಥಿರತೆ;
  • ಸೂಚ್ಯಂಕಗಳು;
  • ನವೀಕರಿಸಿ/ಅಳಿಸಿ;
  • ಶೂನ್ಯಗಳು;
  • ಮಿಲಿಸೆಕೆಂಡುಗಳು;
  • ಸ್ವಯಂಚಾಲಿತ ರೀತಿಯ ಕ್ಯಾಸ್ಟ್ಗಳು;
  • ಬಹು ಸೇರ್ಪಡೆಗಳು;
  • ಅನಿಯಂತ್ರಿತ ವಿಭಾಗಗಳು;
  • ಕ್ಲಸ್ಟರ್ ನಿರ್ವಹಣೆ ಉಪಕರಣಗಳು.

ನೇಮಕಾತಿ ಕಡ್ಡಾಯವಾಗಿದೆ, ಆದರೆ ಮೂರು ವರ್ಷಗಳ ಹಿಂದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಈ ಯಾವುದೇ ಕಾರ್ಯಗಳು ಲಭ್ಯವಿಲ್ಲ! ಈಗ ಕಾರ್ಯಗತಗೊಳಿಸದ ಅರ್ಧಕ್ಕಿಂತ ಕಡಿಮೆ ಉಳಿದಿದೆ: ವಹಿವಾಟುಗಳು, ನಿರ್ಬಂಧಗಳು, ಸ್ಥಿರತೆ, ಮಿಲಿಸೆಕೆಂಡ್‌ಗಳು ಮತ್ತು ಟೈಪ್ ಎರಕಹೊಯ್ದ.

ಮತ್ತು ಮುಖ್ಯ ವಿಷಯವೆಂದರೆ ಅದರಲ್ಲಿ ಕ್ಲಿಕ್‌ಹೌಸ್ ಕೆಲವು ಪ್ರಮಾಣಿತ ಅಭ್ಯಾಸಗಳು ಮತ್ತು ವಿಧಾನಗಳು ಕೆಲಸ ಮಾಡುವುದಿಲ್ಲ ಅಥವಾ ನಾವು ಬಳಸಿದಕ್ಕಿಂತ ವಿಭಿನ್ನವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದಿಲ್ಲ. ಕಾಣಿಸಿಕೊಳ್ಳುವ ಎಲ್ಲವೂ ಕ್ಲಿಕ್‌ಹೌಸ್, ಅನುರೂಪವಾಗಿದೆ "ಕ್ಲಿಕ್‌ಹೌಸ್ ಮಾರ್ಗ", ಅಂದರೆ ಕಾರ್ಯಗಳು ಇತರ ಡೇಟಾಬೇಸ್‌ಗಳಿಂದ ಭಿನ್ನವಾಗಿರುತ್ತವೆ. ಉದಾಹರಣೆಗೆ:

  • ಸೂಚ್ಯಂಕಗಳನ್ನು ಆಯ್ಕೆ ಮಾಡಲಾಗಿಲ್ಲ, ಆದರೆ ಬಿಟ್ಟುಬಿಡಲಾಗಿದೆ.
  • ನವೀಕರಿಸಿ/ಅಳಿಸಿ ಸಿಂಕ್ರೊನಸ್ ಅಲ್ಲ, ಆದರೆ ಅಸಮಕಾಲಿಕ.
  • ಹಲವಾರು ಸೇರ್ಪಡೆಗಳಿವೆ, ಆದರೆ ಯಾವುದೇ ಪ್ರಶ್ನೆ ಯೋಜಕ ಇಲ್ಲ. ನಂತರ ಅವುಗಳನ್ನು ಹೇಗೆ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ ಎಂಬುದು ಡೇಟಾಬೇಸ್ ಪ್ರಪಂಚದ ಜನರಿಗೆ ಸಾಮಾನ್ಯವಾಗಿ ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ.

ಕ್ಲಿಕ್‌ಹೌಸ್ ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು

1960 ರಲ್ಲಿ, ಹಂಗೇರಿಯನ್ ಮೂಲದ ಅಮೇರಿಕನ್ ಗಣಿತಜ್ಞ ವಿಗ್ನರ್ ಇಪಿ ಒಂದು ಲೇಖನ ಬರೆದರು "ನೈಸರ್ಗಿಕ ವಿಜ್ಞಾನಗಳಲ್ಲಿ ಗಣಿತದ ಅಸಮಂಜಸ ಪರಿಣಾಮಕಾರಿತ್ವ” (“ನೈಸರ್ಗಿಕ ವಿಜ್ಞಾನದಲ್ಲಿ ಗಣಿತಶಾಸ್ತ್ರದ ಅಗ್ರಾಹ್ಯ ಪರಿಣಾಮಕಾರಿತ್ವ”) ನಮ್ಮ ಸುತ್ತಲಿನ ಪ್ರಪಂಚವು ಕೆಲವು ಕಾರಣಗಳಿಗಾಗಿ ಗಣಿತದ ಕಾನೂನುಗಳಿಂದ ಉತ್ತಮವಾಗಿ ವಿವರಿಸಲ್ಪಟ್ಟಿದೆ. ಗಣಿತವು ಅಮೂರ್ತ ವಿಜ್ಞಾನವಾಗಿದೆ ಮತ್ತು ಗಣಿತದ ರೂಪದಲ್ಲಿ ವ್ಯಕ್ತಪಡಿಸಿದ ಭೌತಿಕ ಕಾನೂನುಗಳು ಕ್ಷುಲ್ಲಕವಲ್ಲ, ಮತ್ತು ವಿಗ್ನರ್ ಇಪಿ ಇದು ತುಂಬಾ ವಿಚಿತ್ರವಾಗಿದೆ ಎಂದು ಒತ್ತಿ ಹೇಳಿದರು.

ನನ್ನ ದೃಷ್ಟಿಯಲ್ಲಿ, ಕ್ಲಿಕ್‌ಹೌಸ್ - ಅದೇ ವಿಚಿತ್ರ. ವಿಗ್ನರ್ ಅನ್ನು ಮರುಹೊಂದಿಸಲು, ನಾವು ಇದನ್ನು ಹೇಳಬಹುದು: ಊಹಿಸಲಾಗದ ದಕ್ಷತೆಯು ಆಶ್ಚರ್ಯಕರವಾಗಿದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ವಿವಿಧ ರೀತಿಯ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ!

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಉದಾಹರಣೆಗೆ, ತೆಗೆದುಕೊಳ್ಳೋಣ ನೈಜ-ಸಮಯದ ಡೇಟಾ ವೇರ್ಹೌಸ್, ಇದರಲ್ಲಿ ಡೇಟಾವನ್ನು ಬಹುತೇಕ ನಿರಂತರವಾಗಿ ಲೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ. ಎರಡನೇ ವಿಳಂಬದೊಂದಿಗೆ ನಾವು ಅದರಿಂದ ವಿನಂತಿಗಳನ್ನು ಸ್ವೀಕರಿಸಲು ಬಯಸುತ್ತೇವೆ. ದಯವಿಟ್ಟು - ಅದನ್ನು ಬಳಸಿ ಕ್ಲಿಕ್‌ಹೌಸ್, ಏಕೆಂದರೆ ಇದು ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಸನ್ನಿವೇಶವಾಗಿದೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದು ವೆಬ್‌ನಲ್ಲಿ ಮಾತ್ರವಲ್ಲದೆ ಮಾರ್ಕೆಟಿಂಗ್ ಮತ್ತು ಹಣಕಾಸು ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿಯೂ ಸಹ ಬಳಸಲ್ಪಡುತ್ತದೆ, AdTech, ಹಾಗೆಯೇ ರಲ್ಲಿ ವಂಚನೆ ಪತ್ತೆಎನ್. IN ನೈಜ-ಸಮಯದ ಡೇಟಾ ವೇರ್ಹೌಸ್ "ಸ್ಟಾರ್" ಅಥವಾ "ಸ್ನೋಫ್ಲೇಕ್" ನಂತಹ ಸಂಕೀರ್ಣ ರಚನಾತ್ಮಕ ಯೋಜನೆಯನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, ಅನೇಕ ಕೋಷ್ಟಕಗಳೊಂದಿಗೆ ಸೇರಿರಿ (ಕೆಲವೊಮ್ಮೆ ಬಹು), ಮತ್ತು ಡೇಟಾವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಕೆಲವು ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಬದಲಾಯಿಸಲಾಗುತ್ತದೆ.

ಇನ್ನೊಂದು ಸನ್ನಿವೇಶವನ್ನು ತೆಗೆದುಕೊಳ್ಳೋಣ - ಸಮಯದ ಸರಣಿ: ಸಾಧನಗಳ ಮೇಲ್ವಿಚಾರಣೆ, ನೆಟ್‌ವರ್ಕ್‌ಗಳು, ಬಳಕೆಯ ಅಂಕಿಅಂಶಗಳು, ವಸ್ತುಗಳ ಇಂಟರ್ನೆಟ್. ಇಲ್ಲಿ ನಾವು ಸಮಯಕ್ಕೆ ಆದೇಶಿಸಿದ ಸಾಕಷ್ಟು ಸರಳವಾದ ಘಟನೆಗಳನ್ನು ಎದುರಿಸುತ್ತೇವೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದಕ್ಕಾಗಿ ಮೂಲತಃ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿಲ್ಲ, ಆದರೆ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಲು ಸ್ವತಃ ತೋರಿಸಿದೆ, ಅದಕ್ಕಾಗಿಯೇ ದೊಡ್ಡ ಕಂಪನಿಗಳು ಬಳಸುತ್ತವೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಮಾನಿಟರಿಂಗ್ ಮಾಹಿತಿಗಾಗಿ ರೆಪೊಸಿಟರಿಯಾಗಿ. ಇದು ಸೂಕ್ತವಾಗಿದೆಯೇ ಎಂದು ಅನ್ವೇಷಿಸಲು ಕ್ಲಿಕ್‌ಹೌಸ್ ಸಮಯ-ಸರಣಿಗಾಗಿ, ನಾವು ವಿಧಾನ ಮತ್ತು ಫಲಿತಾಂಶಗಳ ಆಧಾರದ ಮೇಲೆ ಮಾನದಂಡವನ್ನು ಮಾಡಿದ್ದೇವೆ InfluxDB и ಟೈಮ್ಸ್ ಸ್ಕೇಲ್ಡಿಬಿ - ವಿಶೇಷ ಸಮಯ-ಸರಣಿ ಡೇಟಾಬೇಸ್‌ಗಳು. ಇದು ಬದಲಾಯಿತು, ಅದು ಕ್ಲಿಕ್‌ಹೌಸ್, ಅಂತಹ ಕಾರ್ಯಗಳಿಗೆ ಆಪ್ಟಿಮೈಸೇಶನ್ ಇಲ್ಲದೆ, ವಿದೇಶಿ ಕ್ಷೇತ್ರದಲ್ಲಿ ಗೆಲ್ಲುತ್ತದೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

В ಸಮಯ-ಸರಣಿ ಸಾಮಾನ್ಯವಾಗಿ ಕಿರಿದಾದ ಟೇಬಲ್ ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ - ಹಲವಾರು ಸಣ್ಣ ಕಾಲಮ್ಗಳು. ಮಾನಿಟರಿಂಗ್‌ನಿಂದ ಬಹಳಷ್ಟು ಡೇಟಾ ಬರಬಹುದು-ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಲಕ್ಷಾಂತರ ದಾಖಲೆಗಳು-ಮತ್ತು ಅವು ಸಾಮಾನ್ಯವಾಗಿ ಸಣ್ಣ ಸ್ಫೋಟಗಳಲ್ಲಿ ಬರುತ್ತವೆ (ನೈಜ ಸಮಯ ಸ್ಟ್ರೀಮಿಂಗ್). ಆದ್ದರಿಂದ, ವಿಭಿನ್ನ ಅಳವಡಿಕೆಯ ಸ್ಕ್ರಿಪ್ಟ್ ಅಗತ್ಯವಿದೆ, ಮತ್ತು ಪ್ರಶ್ನೆಗಳು ತಮ್ಮದೇ ಆದ ನಿಶ್ಚಿತಗಳನ್ನು ಹೊಂದಿವೆ.

ಲಾಗ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್. ಡೇಟಾಬೇಸ್‌ಗೆ ಲಾಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಸಾಮಾನ್ಯವಾಗಿ ಕೆಟ್ಟದಾಗಿದೆ, ಆದರೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಮೇಲೆ ವಿವರಿಸಿದಂತೆ ಕೆಲವು ಕಾಮೆಂಟ್‌ಗಳೊಂದಿಗೆ ಇದನ್ನು ಮಾಡಬಹುದು. ಅನೇಕ ಕಂಪನಿಗಳು ಬಳಸುತ್ತವೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ನಿಖರವಾಗಿ ಈ ಉದ್ದೇಶಕ್ಕಾಗಿ. ಈ ಸಂದರ್ಭದಲ್ಲಿ, ನಾವು ಸಂಪೂರ್ಣ ಲಾಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸುವ ಫ್ಲಾಟ್ ವೈಡ್ ಟೇಬಲ್ ಅನ್ನು ಬಳಸುತ್ತೇವೆ (ಉದಾಹರಣೆಗೆ, ರೂಪದಲ್ಲಿ JSON), ಅಥವಾ ತುಂಡುಗಳಾಗಿ ಕತ್ತರಿಸಿ. ಡೇಟಾವನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳಲ್ಲಿ (ಫೈಲ್‌ಗಳು) ಲೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ ಮತ್ತು ನಾವು ಕೆಲವು ಕ್ಷೇತ್ರದ ಮೂಲಕ ಹುಡುಕುತ್ತೇವೆ.

ಈ ಪ್ರತಿಯೊಂದು ಕಾರ್ಯಗಳಿಗೆ, ವಿಶೇಷ ಡೇಟಾಬೇಸ್‌ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸಲಾಗುತ್ತದೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಒಬ್ಬರು ಎಲ್ಲವನ್ನೂ ಮಾಡಬಹುದು ಮತ್ತು ಅದು ಅವರನ್ನು ಮೀರಿಸುತ್ತದೆ. ಈಗ ಹತ್ತಿರದಿಂದ ನೋಡೋಣ ಸಮಯ-ಸರಣಿ ಸನ್ನಿವೇಶ, ಮತ್ತು ಸರಿಯಾಗಿ "ಅಡುಗೆ" ಮಾಡುವುದು ಹೇಗೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಈ ಸನ್ನಿವೇಶಕ್ಕಾಗಿ.

ಸಮಯ-ಸರಣಿ

ಪ್ರಸ್ತುತ ಇದು ಮುಖ್ಯ ಸನ್ನಿವೇಶವಾಗಿದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಪ್ರಮಾಣಿತ ಪರಿಹಾರವೆಂದು ಪರಿಗಣಿಸಲಾಗಿದೆ. ಸಮಯ-ಸರಣಿ ಕಾಲಾನಂತರದಲ್ಲಿ ಕೆಲವು ಪ್ರಕ್ರಿಯೆಗಳಲ್ಲಿನ ಬದಲಾವಣೆಗಳನ್ನು ಪ್ರತಿನಿಧಿಸುವ ಸಮಯದಲ್ಲಿ ಕ್ರಮಗೊಳಿಸಿದ ಘಟನೆಗಳ ಗುಂಪಾಗಿದೆ. ಉದಾಹರಣೆಗೆ, ಇದು ದಿನಕ್ಕೆ ಹೃದಯ ಬಡಿತ ಅಥವಾ ವ್ಯವಸ್ಥೆಯಲ್ಲಿನ ಪ್ರಕ್ರಿಯೆಗಳ ಸಂಖ್ಯೆಯಾಗಿರಬಹುದು. ಕೆಲವು ಆಯಾಮಗಳೊಂದಿಗೆ ಸಮಯ ಉಣ್ಣಿಗಳನ್ನು ನೀಡುವ ಎಲ್ಲವೂ ಸಮಯ-ಸರಣಿ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಈ ರೀತಿಯ ಹೆಚ್ಚಿನ ಘಟನೆಗಳು ಮೇಲ್ವಿಚಾರಣೆಯಿಂದ ಬರುತ್ತವೆ. ಇದು ವೆಬ್ ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವುದು ಮಾತ್ರವಲ್ಲ, ನೈಜ ಸಾಧನಗಳೂ ಆಗಿರಬಹುದು: ಕಾರುಗಳು, ಕೈಗಾರಿಕಾ ವ್ಯವಸ್ಥೆಗಳು, ಐಒಟಿ, ಕಾರ್ಖಾನೆಗಳು ಅಥವಾ ಮಾನವರಹಿತ ಟ್ಯಾಕ್ಸಿಗಳು, ಯಾಂಡೆಕ್ಸ್ ಈಗಾಗಲೇ ಹಾಕುತ್ತಿರುವ ಕಾಂಡದಲ್ಲಿ ಕ್ಲಿಕ್‌ಹೌಸ್- ಸರ್ವರ್.

ಉದಾಹರಣೆಗೆ, ಹಡಗುಗಳಿಂದ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುವ ಕಂಪನಿಗಳಿವೆ. ಪ್ರತಿ ಕೆಲವು ಸೆಕೆಂಡುಗಳಲ್ಲಿ, ಕಂಟೇನರ್ ಹಡಗಿನ ಸಂವೇದಕಗಳು ನೂರಾರು ವಿಭಿನ್ನ ಅಳತೆಗಳನ್ನು ಕಳುಹಿಸುತ್ತವೆ. ಎಂಜಿನಿಯರ್‌ಗಳು ಅವುಗಳನ್ನು ಅಧ್ಯಯನ ಮಾಡುತ್ತಾರೆ, ಮಾದರಿಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಾರೆ ಮತ್ತು ಹಡಗನ್ನು ಎಷ್ಟು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಬಳಸುತ್ತಾರೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಪ್ರಯತ್ನಿಸುತ್ತಾರೆ, ಏಕೆಂದರೆ ಕಂಟೇನರ್ ಹಡಗು ಒಂದು ಸೆಕೆಂಡ್ ಕೂಡ ನಿಷ್ಕ್ರಿಯವಾಗಿರಬಾರದು. ಯಾವುದೇ ಅಲಭ್ಯತೆಯು ಹಣದ ನಷ್ಟವಾಗಿದೆ, ಆದ್ದರಿಂದ ನಿಲುಗಡೆಗಳು ಕಡಿಮೆ ಇರುವಂತೆ ಮಾರ್ಗವನ್ನು ಊಹಿಸಲು ಮುಖ್ಯವಾಗಿದೆ.

ಇತ್ತೀಚಿನ ದಿನಗಳಲ್ಲಿ ಅಳೆಯುವ ವಿಶೇಷ ಡೇಟಾಬೇಸ್‌ಗಳ ಬೆಳವಣಿಗೆ ಇದೆ ಸಮಯ-ಸರಣಿ. ಸೈಟ್ನಲ್ಲಿ ಡಿಬಿ-ಎಂಜಿನ್ಗಳು ವಿಭಿನ್ನ ಡೇಟಾಬೇಸ್‌ಗಳನ್ನು ಹೇಗಾದರೂ ಶ್ರೇಣೀಕರಿಸಲಾಗಿದೆ ಮತ್ತು ನೀವು ಅವುಗಳನ್ನು ಪ್ರಕಾರದ ಮೂಲಕ ವೀಕ್ಷಿಸಬಹುದು:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿರುವ ವಿಧವಾಗಿದೆ ಸಮಯದ ಸರಣಿರು. ಗ್ರಾಫ್ ಡೇಟಾಬೇಸ್‌ಗಳು ಸಹ ಬೆಳೆಯುತ್ತಿವೆ, ಆದರೆ ಸಮಯದ ಸರಣಿಕಳೆದ ಕೆಲವು ವರ್ಷಗಳಿಂದ ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ. ಡೇಟಾಬೇಸ್‌ಗಳ ಈ ಕುಟುಂಬದ ವಿಶಿಷ್ಟ ಪ್ರತಿನಿಧಿಗಳು InfluxDB, ಪ್ರಮೀತಿಯಸ್, ಕೆಡಿಬಿ, ಟೈಮ್ಸ್ ಸ್ಕೇಲ್ಡಿಬಿ (ನಿರ್ಮಿಸಲಾಗಿದೆ PostgreSQL), ಪರಿಹಾರಗಳು ಅಮೆಜಾನ್. ಕ್ಲಿಕ್‌ಹೌಸ್ ಇಲ್ಲಿಯೂ ಬಳಸಬಹುದು, ಮತ್ತು ಬಳಸಲಾಗುತ್ತದೆ. ನಾನು ನಿಮಗೆ ಕೆಲವು ಸಾರ್ವಜನಿಕ ಉದಾಹರಣೆಗಳನ್ನು ನೀಡುತ್ತೇನೆ.

ಪ್ರವರ್ತಕರಲ್ಲಿ ಒಬ್ಬರು ಕಂಪನಿ ಕ್ಲೌಡ್ಫಲೇರ್ (ಸಿಡಿಎನ್- ಒದಗಿಸುವವರು). ಅವರು ತಮ್ಮ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಾರೆ ಸಿಡಿಎನ್ ಮೂಲಕ ಕ್ಲಿಕ್‌ಹೌಸ್ (ಡಿಎನ್ಎಸ್- ವಿನಂತಿಗಳು, HTTP-ಪ್ರಶ್ನೆಗಳು) ದೊಡ್ಡ ಹೊರೆಯೊಂದಿಗೆ - ಸೆಕೆಂಡಿಗೆ 6 ಮಿಲಿಯನ್ ಘಟನೆಗಳು. ಎಲ್ಲವೂ ಹಾದುಹೋಗುತ್ತದೆ ಕಾಫ್ಕ, ಹೋಗುತ್ತದೆ ಕ್ಲಿಕ್‌ಹೌಸ್, ಇದು ನೈಜ ಸಮಯದಲ್ಲಿ ಸಿಸ್ಟಮ್‌ನಲ್ಲಿ ಈವೆಂಟ್‌ಗಳ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳನ್ನು ನೋಡಲು ಅವಕಾಶವನ್ನು ಒದಗಿಸುತ್ತದೆ.

ಕಾಮ್ಕ್ಯಾಸ್ಟ್ - ಯುಎಸ್ಎಯಲ್ಲಿ ದೂರಸಂಪರ್ಕದಲ್ಲಿ ನಾಯಕರಲ್ಲಿ ಒಬ್ಬರು: ಇಂಟರ್ನೆಟ್, ಡಿಜಿಟಲ್ ಟೆಲಿವಿಷನ್, ಟೆಲಿಫೋನಿ. ಅವರು ಇದೇ ರೀತಿಯ ನಿಯಂತ್ರಣ ವ್ಯವಸ್ಥೆಯನ್ನು ರಚಿಸಿದರು ಸಿಡಿಎನ್ ಒಳಗೆ ಓಪನ್ ಸೋರ್ಸ್ ಯೋಜನೆ ಅಪಾಚೆ ಸಂಚಾರ ನಿಯಂತ್ರಣ ನಿಮ್ಮ ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು. ಕ್ಲಿಕ್‌ಹೌಸ್ ವಿಶ್ಲೇಷಣೆಗಾಗಿ ಬ್ಯಾಕೆಂಡ್ ಆಗಿ ಬಳಸಲಾಗುತ್ತದೆ.

ಪೆರ್ಕೋನಾ ನಿರ್ಮಿಸಲಾಗಿದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ನಿಮ್ಮ ಒಳಗೆ ಪಿಎಂಎಂವಿವಿಧ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಸಂಗ್ರಹಿಸಲು MySQL.

ನಿರ್ದಿಷ್ಟ ಅವಶ್ಯಕತೆಗಳು

ಸಮಯ-ಸರಣಿ ಡೇಟಾಬೇಸ್‌ಗಳು ತಮ್ಮದೇ ಆದ ನಿರ್ದಿಷ್ಟ ಅವಶ್ಯಕತೆಗಳನ್ನು ಹೊಂದಿವೆ.

  • ಅನೇಕ ಏಜೆಂಟ್‌ಗಳಿಂದ ತ್ವರಿತ ಅಳವಡಿಕೆ. ನಾವು ಅನೇಕ ಸ್ಟ್ರೀಮ್‌ಗಳಿಂದ ಡೇಟಾವನ್ನು ತ್ವರಿತವಾಗಿ ಸೇರಿಸಬೇಕಾಗಿದೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಅದರ ಎಲ್ಲಾ ಒಳಸೇರಿಸುವಿಕೆಗಳು ತಡೆರಹಿತವಾಗಿರುವುದರಿಂದ ಇದು ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಯಾವುದಾದರು ಸೇರಿಸಿ ಡಿಸ್ಕ್ನಲ್ಲಿ ಹೊಸ ಫೈಲ್ ಆಗಿದೆ, ಮತ್ತು ಸಣ್ಣ ಒಳಸೇರಿಸುವಿಕೆಯನ್ನು ಒಂದು ರೀತಿಯಲ್ಲಿ ಅಥವಾ ಇನ್ನೊಂದು ರೀತಿಯಲ್ಲಿ ಬಫರ್ ಮಾಡಬಹುದು. IN ಕ್ಲಿಕ್‌ಹೌಸ್ ಒಂದು ಸಮಯದಲ್ಲಿ ಒಂದು ಸಾಲಿನ ಬದಲಿಗೆ ದೊಡ್ಡ ಬ್ಯಾಚ್‌ಗಳಲ್ಲಿ ಡೇಟಾವನ್ನು ಸೇರಿಸುವುದು ಉತ್ತಮ.
  • ಹೊಂದಿಕೊಳ್ಳುವ ಯೋಜನೆ. ದಿ ಸಮಯ-ಸರಣಿ ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ಡೇಟಾ ರಚನೆಯನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ತಿಳಿದಿರುವುದಿಲ್ಲ. ನಿರ್ದಿಷ್ಟ ಅಪ್ಲಿಕೇಶನ್‌ಗಾಗಿ ಮೇಲ್ವಿಚಾರಣಾ ವ್ಯವಸ್ಥೆಯನ್ನು ನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಿದೆ, ಆದರೆ ನಂತರ ಅದನ್ನು ಮತ್ತೊಂದು ಅಪ್ಲಿಕೇಶನ್‌ಗೆ ಬಳಸುವುದು ಕಷ್ಟ. ಇದಕ್ಕೆ ಹೆಚ್ಚು ಹೊಂದಿಕೊಳ್ಳುವ ಯೋಜನೆಯ ಅಗತ್ಯವಿದೆ. ಕ್ಲಿಕ್‌ಹೌಸ್, ಇದು ಬಲವಾಗಿ ಟೈಪ್ ಮಾಡಿದ ಬೇಸ್ ಆಗಿದ್ದರೂ ಸಹ ಇದನ್ನು ಮಾಡಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.
  • ಸಮರ್ಥ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಡೇಟಾವನ್ನು ಮರೆತುಬಿಡುವುದು. ಸಾಮಾನ್ಯವಾಗಿ ಒಳಗೆ ಸಮಯ-ಸರಣಿ ದೊಡ್ಡ ಪ್ರಮಾಣದ ಡೇಟಾ, ಆದ್ದರಿಂದ ಅದನ್ನು ಸಾಧ್ಯವಾದಷ್ಟು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಸಂಗ್ರಹಿಸಬೇಕು. ಉದಾಹರಣೆಗೆ, ನಲ್ಲಿ InfluxDB ಉತ್ತಮ ಸಂಕೋಚನವು ಅದರ ಮುಖ್ಯ ಲಕ್ಷಣವಾಗಿದೆ. ಆದರೆ ಸಂಗ್ರಹಿಸುವುದರ ಜೊತೆಗೆ, ನೀವು ಹಳೆಯ ಡೇಟಾವನ್ನು "ಮರೆತು" ಮತ್ತು ಕೆಲವು ರೀತಿಯ ಮಾಡಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ ಡೌನ್ ಸ್ಯಾಂಪ್ಲಿಂಗ್ - ಒಟ್ಟು ಮೊತ್ತದ ಸ್ವಯಂಚಾಲಿತ ಎಣಿಕೆ.
  • ಒಟ್ಟುಗೂಡಿದ ಡೇಟಾದಲ್ಲಿ ತ್ವರಿತ ಪ್ರಶ್ನೆಗಳು. ಕೆಲವೊಮ್ಮೆ ಮಿಲಿಸೆಕೆಂಡುಗಳ ನಿಖರತೆಯೊಂದಿಗೆ ಕೊನೆಯ 5 ನಿಮಿಷಗಳನ್ನು ನೋಡಲು ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ, ಆದರೆ ಮಾಸಿಕ ಡೇಟಾದಲ್ಲಿ ನಿಮಿಷ ಅಥವಾ ಎರಡನೇ ಗ್ರ್ಯಾನ್ಯುಲಾರಿಟಿ ಅಗತ್ಯವಿರುವುದಿಲ್ಲ - ಸಾಮಾನ್ಯ ಅಂಕಿಅಂಶಗಳು ಸಾಕು. ಈ ರೀತಿಯ ಬೆಂಬಲವು ಅವಶ್ಯಕವಾಗಿದೆ, ಇಲ್ಲದಿದ್ದರೆ 3 ತಿಂಗಳ ವಿನಂತಿಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಬಹಳ ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಕ್ಲಿಕ್‌ಹೌಸ್.
  • ವಿನಂತಿಗಳು "ಕೊನೆಯ ಹಂತ, ಹಾಗೆ». ಇವುಗಳಿಗೆ ವಿಶಿಷ್ಟವಾಗಿದೆ ಸಮಯ-ಸರಣಿ ಪ್ರಶ್ನೆಗಳು: ಒಂದು ಕ್ಷಣದಲ್ಲಿ ಸಿಸ್ಟಮ್‌ನ ಕೊನೆಯ ಅಳತೆ ಅಥವಾ ಸ್ಥಿತಿಯನ್ನು ನೋಡಿ t. ಡೇಟಾಬೇಸ್‌ಗಾಗಿ ಇವುಗಳು ತುಂಬಾ ಆಹ್ಲಾದಕರ ಪ್ರಶ್ನೆಗಳಲ್ಲ, ಆದರೆ ನೀವು ಅವುಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
  • "ಗ್ಲೂಯಿಂಗ್" ಸಮಯದ ಸರಣಿ. ಸಮಯ-ಸರಣಿ ಒಂದು ಸಮಯದ ಸರಣಿಯಾಗಿದೆ. ಎರಡು ಸಮಯದ ಸರಣಿಗಳಿದ್ದರೆ, ಅವುಗಳನ್ನು ಹೆಚ್ಚಾಗಿ ಸಂಪರ್ಕಿಸಬೇಕು ಮತ್ತು ಪರಸ್ಪರ ಸಂಬಂಧಿಸಬೇಕಾಗುತ್ತದೆ. ಎಲ್ಲಾ ಡೇಟಾಬೇಸ್‌ಗಳಲ್ಲಿ ಇದನ್ನು ಮಾಡಲು ಅನುಕೂಲಕರವಾಗಿಲ್ಲ, ವಿಶೇಷವಾಗಿ ಜೋಡಿಸದ ಸಮಯ ಸರಣಿಯೊಂದಿಗೆ: ಇಲ್ಲಿ ಕೆಲವು ಸಮಯ ಬಿಂದುಗಳಿವೆ, ಇತರವುಗಳಿವೆ. ನೀವು ಸರಾಸರಿಯನ್ನು ಪರಿಗಣಿಸಬಹುದು, ಆದರೆ ಇದ್ದಕ್ಕಿದ್ದಂತೆ ಇನ್ನೂ ರಂಧ್ರ ಇರುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ.

ಈ ಅವಶ್ಯಕತೆಗಳನ್ನು ಹೇಗೆ ಪೂರೈಸಲಾಗುತ್ತದೆ ಎಂದು ನೋಡೋಣ ಕ್ಲಿಕ್‌ಹೌಸ್.

ಯೋಜನೆ

В ಕ್ಲಿಕ್‌ಹೌಸ್ ಯೋಜನೆ ಸಮಯ-ಸರಣಿ ಡೇಟಾದ ಕ್ರಮಬದ್ಧತೆಯ ಮಟ್ಟವನ್ನು ಅವಲಂಬಿಸಿ ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಮಾಡಬಹುದು. ನಾವು ಎಲ್ಲಾ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಮುಂಚಿತವಾಗಿ ತಿಳಿದಾಗ ನಿಯಮಿತ ಡೇಟಾದಲ್ಲಿ ಸಿಸ್ಟಮ್ ಅನ್ನು ನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಿದೆ. ಉದಾಹರಣೆಗೆ, ನಾನು ಇದನ್ನು ಮಾಡಿದ್ದೇನೆ ಕ್ಲೌಡ್ಫಲೇರ್ ಮೇಲ್ವಿಚಾರಣೆಯೊಂದಿಗೆ ಸಿಡಿಎನ್ ಉತ್ತಮ ಆಪ್ಟಿಮೈಸ್ಡ್ ಸಿಸ್ಟಮ್ ಆಗಿದೆ. ಸಂಪೂರ್ಣ ಮೂಲಸೌಕರ್ಯ ಮತ್ತು ವಿವಿಧ ಸೇವೆಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಹೆಚ್ಚು ಸಾಮಾನ್ಯ ವ್ಯವಸ್ಥೆಯನ್ನು ನೀವು ನಿರ್ಮಿಸಬಹುದು. ಅನಿಯಮಿತ ಡೇಟಾದ ಸಂದರ್ಭದಲ್ಲಿ, ನಾವು ಏನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಿದ್ದೇವೆ ಎಂದು ನಮಗೆ ಮುಂಚಿತವಾಗಿ ತಿಳಿದಿಲ್ಲ - ಮತ್ತು ಇದು ಬಹುಶಃ ಅತ್ಯಂತ ಸಾಮಾನ್ಯವಾದ ಪ್ರಕರಣವಾಗಿದೆ.

ನಿಯಮಿತ ಡೇಟಾ. ಕಾಲಮ್ಗಳು. ಯೋಜನೆಯು ಸರಳವಾಗಿದೆ - ಅಗತ್ಯವಿರುವ ಪ್ರಕಾರಗಳೊಂದಿಗೆ ಕಾಲಮ್ಗಳು:

CREATE TABLE cpu (
  created_date Date DEFAULT today(),  
  created_at DateTime DEFAULT now(),  
  time String,  
  tags_id UInt32,  /* join to dim_tag */
  usage_user Float64,  
  usage_system Float64,  
  usage_idle Float64,  
  usage_nice Float64,  
  usage_iowait Float64,  
  usage_irq Float64,  
  usage_softirq Float64,  
  usage_steal Float64,  
  usage_guest Float64,  
  usage_guest_nice Float64
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ಇದು ಕೆಲವು ರೀತಿಯ ಸಿಸ್ಟಮ್ ಲೋಡಿಂಗ್ ಚಟುವಟಿಕೆಯನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುವ ಸಾಮಾನ್ಯ ಕೋಷ್ಟಕವಾಗಿದೆ (ಬಳಕೆದಾರ, ವ್ಯವಸ್ಥೆ, ಐಡಲ್, ಸಂತೋಷವನ್ನು) ಸರಳ ಮತ್ತು ಅನುಕೂಲಕರ, ಆದರೆ ಹೊಂದಿಕೊಳ್ಳುವುದಿಲ್ಲ. ನಾವು ಹೆಚ್ಚು ಹೊಂದಿಕೊಳ್ಳುವ ಸ್ಕೀಮ್ ಅನ್ನು ಬಯಸಿದರೆ, ನಾವು ಅರೇಗಳನ್ನು ಬಳಸಬಹುದು.

ಅನಿಯಮಿತ ಡೇಟಾ. ಅರೇಗಳು:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  )
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

ರಚನೆ ನೆಸ್ಟೆಡ್ ಎರಡು ಸರಣಿಗಳಾಗಿವೆ: metrics.name и ಮೆಟ್ರಿಕ್ಸ್.ಮೌಲ್ಯ. ಇಲ್ಲಿ ನೀವು ಅಂತಹ ಅನಿಯಂತ್ರಿತ ಮಾನಿಟರಿಂಗ್ ಡೇಟಾವನ್ನು ಪ್ರತಿ ಈವೆಂಟ್‌ಗೆ ಹೆಸರುಗಳ ಒಂದು ಶ್ರೇಣಿ ಮತ್ತು ಅಳತೆಗಳ ಶ್ರೇಣಿಯಂತೆ ಸಂಗ್ರಹಿಸಬಹುದು. ಮತ್ತಷ್ಟು ಆಪ್ಟಿಮೈಸೇಶನ್ಗಾಗಿ, ಅಂತಹ ಒಂದು ರಚನೆಯ ಬದಲಿಗೆ, ನೀವು ಹಲವಾರು ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ಒಂದು ಫ್ಲೋಟ್-ಮೌಲ್ಯ, ಇನ್ನೊಂದು - ಫಾರ್ ಇಂಟ್- ಅರ್ಥ ಏಕೆಂದರೆ ಇಂಟ್ ನಾನು ಹೆಚ್ಚು ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಸಂಗ್ರಹಿಸಲು ಬಯಸುತ್ತೇನೆ.

ಆದರೆ ಅಂತಹ ರಚನೆಯನ್ನು ಪ್ರವೇಶಿಸಲು ಹೆಚ್ಚು ಕಷ್ಟ. ಮೊದಲು ಸೂಚ್ಯಂಕ ಮತ್ತು ನಂತರ ರಚನೆಯ ಮೌಲ್ಯಗಳನ್ನು ಹೊರತೆಗೆಯಲು ವಿಶೇಷ ಕಾರ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು ನೀವು ವಿಶೇಷ ನಿರ್ಮಾಣವನ್ನು ಬಳಸಬೇಕಾಗುತ್ತದೆ:

SELECT max(metrics.value[indexOf(metrics.name,'usage_user')]) FROM ...

ಆದರೆ ಇದು ಇನ್ನೂ ಸಾಕಷ್ಟು ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಅನಿಯಮಿತ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲು ಇನ್ನೊಂದು ಮಾರ್ಗವೆಂದರೆ ಸಾಲು.

ಅನಿಯಮಿತ ಡೇಟಾ. ತಂತಿಗಳು. ಈ ಸಾಂಪ್ರದಾಯಿಕ ವಿಧಾನದಲ್ಲಿ, ಸರಣಿಗಳಿಲ್ಲದೆ, ಹೆಸರುಗಳು ಮತ್ತು ಮೌಲ್ಯಗಳನ್ನು ಏಕಕಾಲದಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ. ಒಂದು ಸಾಧನದಿಂದ ಒಮ್ಮೆಗೆ 5 ಅಳತೆಗಳು ಬಂದರೆ, ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ 000 ಸಾಲುಗಳನ್ನು ರಚಿಸಲಾಗುತ್ತದೆ:

CREATE TABLE cpu_rlc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metric_name LowCardinality(String),  
  metric_value Float64
) ENGINE = MergeTree(created_date, (metric_name, tags_id, created_at), 8192);


SELECT 
    maxIf(metric_value, metric_name = 'usage_user'),
    ... 
FROM cpu_r
WHERE metric_name IN ('usage_user', ...)

ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದನ್ನು ನಿಭಾಯಿಸುತ್ತದೆ - ಇದು ವಿಶೇಷ ವಿಸ್ತರಣೆಗಳನ್ನು ಹೊಂದಿದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ SQL. ಉದಾಹರಣೆಗೆ maxIf - ಕೆಲವು ಷರತ್ತುಗಳನ್ನು ಪೂರೈಸಿದಾಗ ಮೆಟ್ರಿಕ್ ಮೂಲಕ ಗರಿಷ್ಠವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ವಿಶೇಷ ಕಾರ್ಯ. ನೀವು ಒಂದು ವಿನಂತಿಯಲ್ಲಿ ಅಂತಹ ಹಲವಾರು ಅಭಿವ್ಯಕ್ತಿಗಳನ್ನು ಬರೆಯಬಹುದು ಮತ್ತು ತಕ್ಷಣವೇ ಹಲವಾರು ಮೆಟ್ರಿಕ್‌ಗಳಿಗೆ ಮೌಲ್ಯವನ್ನು ಲೆಕ್ಕ ಹಾಕಬಹುದು.

ಮೂರು ವಿಧಾನಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡೋಣ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ವಿವರಗಳು

ಇಲ್ಲಿ ನಾನು ಕೆಲವು ಪರೀಕ್ಷಾ ಡೇಟಾ ಸೆಟ್‌ಗಾಗಿ "ಡಿಸ್ಕ್ ಡೇಟಾ ಗಾತ್ರ" ಅನ್ನು ಸೇರಿಸಿದ್ದೇನೆ. ಕಾಲಮ್‌ಗಳ ಸಂದರ್ಭದಲ್ಲಿ, ನಾವು ಚಿಕ್ಕ ಡೇಟಾ ಗಾತ್ರವನ್ನು ಹೊಂದಿದ್ದೇವೆ: ಗರಿಷ್ಠ ಸಂಕೋಚನ, ಗರಿಷ್ಠ ಪ್ರಶ್ನೆ ವೇಗ, ಆದರೆ ಎಲ್ಲವನ್ನೂ ಒಂದೇ ಬಾರಿಗೆ ದಾಖಲಿಸುವ ಮೂಲಕ ನಾವು ಪಾವತಿಸುತ್ತೇವೆ.

ರಚನೆಗಳ ಸಂದರ್ಭದಲ್ಲಿ, ಎಲ್ಲವೂ ಸ್ವಲ್ಪ ಕೆಟ್ಟದಾಗಿದೆ. ಡೇಟಾವನ್ನು ಇನ್ನೂ ಚೆನ್ನಾಗಿ ಸಂಕುಚಿತಗೊಳಿಸಲಾಗಿದೆ ಮತ್ತು ಅನಿಯಮಿತ ಮಾದರಿಯನ್ನು ಸಂಗ್ರಹಿಸಬಹುದು. ಆದರೆ ಕ್ಲಿಕ್‌ಹೌಸ್ - ಸ್ತಂಭಾಕಾರದ ಡೇಟಾಬೇಸ್, ಮತ್ತು ನಾವು ಎಲ್ಲವನ್ನೂ ಒಂದು ಶ್ರೇಣಿಯಲ್ಲಿ ಸಂಗ್ರಹಿಸಲು ಪ್ರಾರಂಭಿಸಿದಾಗ, ಅದು ಸಾಲಾಗಿ ಬದಲಾಗುತ್ತದೆ, ಮತ್ತು ನಾವು ದಕ್ಷತೆಯೊಂದಿಗೆ ನಮ್ಯತೆಗಾಗಿ ಪಾವತಿಸುತ್ತೇವೆ. ಯಾವುದೇ ಕಾರ್ಯಾಚರಣೆಗಾಗಿ, ನೀವು ಸಂಪೂರ್ಣ ಶ್ರೇಣಿಯನ್ನು ಮೆಮೊರಿಗೆ ಓದಬೇಕು, ನಂತರ ಅದರಲ್ಲಿ ಅಪೇಕ್ಷಿತ ಅಂಶವನ್ನು ಕಂಡುಹಿಡಿಯಿರಿ - ಮತ್ತು ರಚನೆಯು ಬೆಳೆದರೆ, ವೇಗವು ಕ್ಷೀಣಿಸುತ್ತದೆ.

ಈ ವಿಧಾನವನ್ನು ಬಳಸುವ ಕಂಪನಿಗಳಲ್ಲಿ ಒಂದರಲ್ಲಿ (ಉದಾಹರಣೆಗೆ, ಉಬರ್), ಸರಣಿಗಳನ್ನು 128 ಅಂಶಗಳ ತುಂಡುಗಳಾಗಿ ಕತ್ತರಿಸಲಾಗುತ್ತದೆ. 200 TB ಡೇಟಾ/ದಿನದ ಪರಿಮಾಣದೊಂದಿಗೆ ಹಲವಾರು ಸಾವಿರ ಮೆಟ್ರಿಕ್‌ಗಳಿಂದ ಡೇಟಾವನ್ನು ಒಂದು ಶ್ರೇಣಿಯಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುವುದಿಲ್ಲ, ಆದರೆ ವಿಶೇಷ ಶೇಖರಣಾ ತರ್ಕದೊಂದಿಗೆ 10 ಅಥವಾ 30 ಅರೇಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ.

ಸರಳವಾದ ವಿಧಾನವೆಂದರೆ ತಂತಿಗಳೊಂದಿಗೆ. ಆದರೆ ಡೇಟಾವನ್ನು ಕಳಪೆಯಾಗಿ ಸಂಕುಚಿತಗೊಳಿಸಲಾಗಿದೆ, ಟೇಬಲ್ ಗಾತ್ರವು ದೊಡ್ಡದಾಗಿದೆ ಮತ್ತು ಪ್ರಶ್ನೆಗಳು ಹಲವಾರು ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಆಧರಿಸಿದ್ದರೂ ಸಹ, ಕ್ಲಿಕ್‌ಹೌಸ್ ಅತ್ಯುತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದಿಲ್ಲ.

ಹೈಬ್ರಿಡ್ ಯೋಜನೆ

ನಾವು ಅರೇ ಸರ್ಕ್ಯೂಟ್ ಅನ್ನು ಆಯ್ಕೆ ಮಾಡಿದ್ದೇವೆ ಎಂದು ಭಾವಿಸೋಣ. ಆದರೆ ನಮ್ಮ ಹೆಚ್ಚಿನ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು ಬಳಕೆದಾರ ಮತ್ತು ಸಿಸ್ಟಂ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಮಾತ್ರ ತೋರಿಸುತ್ತವೆ ಎಂದು ನಮಗೆ ತಿಳಿದಿದ್ದರೆ, ನಾವು ಹೆಚ್ಚುವರಿಯಾಗಿ ಈ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಟೇಬಲ್ ಮಟ್ಟದಲ್ಲಿನ ಒಂದು ಶ್ರೇಣಿಯಿಂದ ಕಾಲಮ್‌ಗಳಾಗಿ ಈ ರೀತಿ ಮಾಡಬಹುದು:

CREATE TABLE cpu_alc (
  created_date Date,  
  created_at DateTime,  
  time String,  
  tags_id UInt32,  
  metrics Nested(
    name LowCardinality(String),  
    value Float64
  ),
  usage_user Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_user')],
  usage_system Float64 
             MATERIALIZED metrics.value[indexOf(metrics.name,'usage_system')]
) ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ಸೇರಿಸುವಾಗ ಕ್ಲಿಕ್‌ಹೌಸ್ ಅವುಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಎಣಿಸುತ್ತದೆ. ಈ ರೀತಿಯಾಗಿ ನೀವು ವ್ಯವಹಾರವನ್ನು ಸಂತೋಷದಿಂದ ಸಂಯೋಜಿಸಬಹುದು: ಯೋಜನೆಯು ಹೊಂದಿಕೊಳ್ಳುವ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿದೆ, ಆದರೆ ನಾವು ಹೆಚ್ಚಾಗಿ ಬಳಸುವ ಕಾಲಮ್‌ಗಳನ್ನು ಹೊರತೆಗೆಯುತ್ತೇವೆ. ಇದಕ್ಕೆ ಇನ್ಸರ್ಟ್ ಅನ್ನು ಬದಲಾಯಿಸುವ ಅಗತ್ಯವಿಲ್ಲ ಮತ್ತು ಇಟಿಎಲ್ಇದು ಅರೇಗಳನ್ನು ಟೇಬಲ್‌ಗೆ ಸೇರಿಸುವುದನ್ನು ಮುಂದುವರಿಸುತ್ತದೆ. ನಾವು ಮಾಡಿದ್ದೇವೆ ಪರ್ಯಾಯ ಟೇಬಲ್, ಒಂದೆರಡು ಸ್ಪೀಕರ್‌ಗಳನ್ನು ಸೇರಿಸಿದ್ದೇವೆ ಮತ್ತು ನೀವು ಈಗಿನಿಂದಲೇ ಬಳಸಲು ಪ್ರಾರಂಭಿಸಬಹುದಾದ ಹೈಬ್ರಿಡ್ ಮತ್ತು ವೇಗವಾದ ಸ್ಕೀಮ್ ಅನ್ನು ನಾವು ಪಡೆದುಕೊಂಡಿದ್ದೇವೆ.

ಕೋಡೆಕ್‌ಗಳು ಮತ್ತು ಸಂಕೋಚನ

ಗೆ ಸಮಯ-ಸರಣಿ ನೀವು ಡೇಟಾವನ್ನು ಎಷ್ಟು ಚೆನ್ನಾಗಿ ಪ್ಯಾಕ್ ಮಾಡುತ್ತೀರಿ ಎಂಬುದು ಮುಖ್ಯವಾಗುತ್ತದೆ ಏಕೆಂದರೆ ಮಾಹಿತಿಯ ಪ್ರಮಾಣವು ತುಂಬಾ ದೊಡ್ಡದಾಗಿರಬಹುದು. IN ಕ್ಲಿಕ್‌ಹೌಸ್ 1:10, 1:20, ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ಹೆಚ್ಚಿನ ಸಂಕೋಚನ ಪರಿಣಾಮವನ್ನು ಸಾಧಿಸಲು ಉಪಕರಣಗಳ ಒಂದು ಸೆಟ್ ಇದೆ. ಇದರರ್ಥ ಡಿಸ್ಕ್ನಲ್ಲಿ 1 TB ಅನ್ಪ್ಯಾಕ್ ಮಾಡಲಾದ ಡೇಟಾವು 50-100 GB ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ಚಿಕ್ಕ ಗಾತ್ರವು ಉತ್ತಮವಾಗಿದೆ, ಡೇಟಾವನ್ನು ವೇಗವಾಗಿ ಓದಬಹುದು ಮತ್ತು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಬಹುದು.

ಉನ್ನತ ಮಟ್ಟದ ಸಂಕೋಚನವನ್ನು ಸಾಧಿಸಲು, ಕ್ಲಿಕ್‌ಹೌಸ್ ಕೆಳಗಿನ ಕೊಡೆಕ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಉದಾಹರಣೆ ಕೋಷ್ಟಕ:

CREATE TABLE benchmark.cpu_codecs_lz4 (
    created_date Date DEFAULT today(), 
    created_at DateTime DEFAULT now() Codec(DoubleDelta, LZ4), 
    tags_id UInt32, 
    usage_user Float64 Codec(Gorilla, LZ4), 
    usage_system Float64 Codec(Gorilla, LZ4), 
    usage_idle Float64 Codec(Gorilla, LZ4), 
    usage_nice Float64 Codec(Gorilla, LZ4), 
    usage_iowait Float64 Codec(Gorilla, LZ4), 
    usage_irq Float64 Codec(Gorilla, LZ4), 
    usage_softirq Float64 Codec(Gorilla, LZ4), 
    usage_steal Float64 Codec(Gorilla, LZ4), 
    usage_guest Float64 Codec(Gorilla, LZ4), 
    usage_guest_nice Float64 Codec(Gorilla, LZ4), 
    additional_tags String DEFAULT ''
)
ENGINE = MergeTree(created_date, (tags_id, created_at), 8192);

ಇಲ್ಲಿ ನಾವು ಕೊಡೆಕ್ ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತೇವೆ ಡಬಲ್ ಡೆಲ್ಟಾ ಒಂದು ಸಂದರ್ಭದಲ್ಲಿ, ಎರಡನೆಯದರಲ್ಲಿ - ಗೊರಿಲ್ಲಾ, ಮತ್ತು ನಾವು ಖಂಡಿತವಾಗಿಯೂ ಹೆಚ್ಚಿನದನ್ನು ಸೇರಿಸುತ್ತೇವೆ LZ4 ಸಂಕೋಚನ. ಪರಿಣಾಮವಾಗಿ, ಡಿಸ್ಕ್ನಲ್ಲಿನ ಡೇಟಾದ ಗಾತ್ರವು ಬಹಳ ಕಡಿಮೆಯಾಗಿದೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಒಂದೇ ಡೇಟಾವು ಎಷ್ಟು ಜಾಗವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ತೋರಿಸುತ್ತದೆ, ಆದರೆ ವಿಭಿನ್ನ ಕೊಡೆಕ್‌ಗಳು ಮತ್ತು ಸಂಕುಚನಗಳನ್ನು ಬಳಸುತ್ತದೆ:

  • ಡಿಸ್ಕ್ನಲ್ಲಿ GZIP ಫೈಲ್ನಲ್ಲಿ;
  • ಕ್ಲಿಕ್‌ಹೌಸ್‌ನಲ್ಲಿ ಕೊಡೆಕ್‌ಗಳಿಲ್ಲದೆ, ಆದರೆ ZSTD ಕಂಪ್ರೆಷನ್‌ನೊಂದಿಗೆ;
  • ಕ್ಲಿಕ್‌ಹೌಸ್‌ನಲ್ಲಿ ಕೊಡೆಕ್‌ಗಳು ಮತ್ತು ಕಂಪ್ರೆಷನ್ LZ4 ಮತ್ತು ZSTD.

ಕೊಡೆಕ್‌ಗಳೊಂದಿಗಿನ ಕೋಷ್ಟಕಗಳು ಕಡಿಮೆ ಜಾಗವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತವೆ ಎಂದು ನೋಡಬಹುದು.

ಗಾತ್ರವು ವಿಷಯವಾಗಿದೆ

ಕಡಿಮೆ ಪ್ರಾಮುಖ್ಯತೆ ಇಲ್ಲ выбрать ಸರಿಯಾದ ಡೇಟಾ ಪ್ರಕಾರ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಮೇಲಿನ ಎಲ್ಲಾ ಉದಾಹರಣೆಗಳಲ್ಲಿ ನಾನು ಬಳಸಿದ್ದೇನೆ ಫ್ಲೋಟ್64. ಆದರೆ ನಾವು ಆರಿಸಿದರೆ ಫ್ಲೋಟ್32, ಆಗ ಅದು ಇನ್ನೂ ಉತ್ತಮವಾಗಿರುತ್ತದೆ. ಮೇಲೆ ಲಿಂಕ್ ಮಾಡಿದ ಲೇಖನದಲ್ಲಿ ಪರ್ಕೋನಾದ ವ್ಯಕ್ತಿಗಳು ಇದನ್ನು ಚೆನ್ನಾಗಿ ಪ್ರದರ್ಶಿಸಿದ್ದಾರೆ. ಕಾರ್ಯಕ್ಕೆ ಸೂಕ್ತವಾದ ಅತ್ಯಂತ ಕಾಂಪ್ಯಾಕ್ಟ್ ಪ್ರಕಾರವನ್ನು ಬಳಸುವುದು ಮುಖ್ಯವಾಗಿದೆ: ಪ್ರಶ್ನೆಯ ವೇಗಕ್ಕಿಂತ ಡಿಸ್ಕ್ ಗಾತ್ರಕ್ಕೆ ಇನ್ನೂ ಕಡಿಮೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದಕ್ಕೆ ಬಹಳ ಸೂಕ್ಷ್ಮ.

ನೀವು ಬಳಸಬಹುದಾದರೆ int32 вместо int64, ನಂತರ ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ಸುಮಾರು ಎರಡು ಪಟ್ಟು ಹೆಚ್ಚಳವನ್ನು ನಿರೀಕ್ಷಿಸಬಹುದು. ಡೇಟಾವು ಕಡಿಮೆ ಮೆಮೊರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಮತ್ತು ಎಲ್ಲಾ "ಅಂಕಗಣಿತ" ಹೆಚ್ಚು ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಆಂತರಿಕವಾಗಿ ಇದು ಅತ್ಯಂತ ಕಟ್ಟುನಿಟ್ಟಾಗಿ ಟೈಪ್ ಮಾಡಲಾದ ವ್ಯವಸ್ಥೆಯಾಗಿದೆ; ಇದು ಆಧುನಿಕ ವ್ಯವಸ್ಥೆಗಳು ಒದಗಿಸುವ ಎಲ್ಲಾ ಸಾಧ್ಯತೆಗಳನ್ನು ಗರಿಷ್ಠವಾಗಿ ಬಳಸಿಕೊಳ್ಳುತ್ತದೆ.

ಒಟ್ಟುಗೂಡಿಸುವಿಕೆ ಮತ್ತು ವಸ್ತು ವೀಕ್ಷಣೆಗಳು

ಒಟ್ಟುಗೂಡಿಸುವಿಕೆ ಮತ್ತು ವಸ್ತುನಿಷ್ಠ ವೀಕ್ಷಣೆಗಳು ವಿವಿಧ ಸಂದರ್ಭಗಳಲ್ಲಿ ಒಟ್ಟುಗೂಡಿಸಲು ನಿಮಗೆ ಅವಕಾಶ ನೀಡುತ್ತದೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಉದಾಹರಣೆಗೆ, ನೀವು ಒಟ್ಟುಗೂಡದ ಮೂಲ ಡೇಟಾವನ್ನು ಹೊಂದಿರಬಹುದು ಮತ್ತು ವಿಶೇಷ ಎಂಜಿನ್ ಮೂಲಕ ಸ್ವಯಂಚಾಲಿತ ಸಂಕಲನದೊಂದಿಗೆ ನೀವು ವಿವಿಧ ವಸ್ತುರೂಪದ ವೀಕ್ಷಣೆಗಳನ್ನು ಲಗತ್ತಿಸಬಹುದು ಸಮ್ಮಿಂಗ್‌ಮರ್ಜ್‌ಟ್ರೀ (SMT). SMT ಒಂದು ವಿಶೇಷ ಒಟ್ಟುಗೂಡಿಸುವ ಡೇಟಾ ರಚನೆಯಾಗಿದ್ದು ಅದು ಒಟ್ಟುಗಳನ್ನು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಲೆಕ್ಕಾಚಾರ ಮಾಡುತ್ತದೆ. ಕಚ್ಚಾ ಡೇಟಾವನ್ನು ಡೇಟಾಬೇಸ್‌ಗೆ ಸೇರಿಸಲಾಗುತ್ತದೆ, ಅದು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಒಟ್ಟುಗೂಡಿಸುತ್ತದೆ ಮತ್ತು ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳನ್ನು ತಕ್ಷಣವೇ ಬಳಸಬಹುದು.

ಟಿಟಿಎಲ್ - ಹಳೆಯ ಡೇಟಾವನ್ನು "ಮರೆತು"

ಇನ್ನು ಮುಂದೆ ಅಗತ್ಯವಿಲ್ಲದ ಡೇಟಾವನ್ನು "ಮರೆತಿರುವುದು" ಹೇಗೆ? ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದನ್ನು ಹೇಗೆ ಮಾಡಬೇಕೆಂದು ತಿಳಿದಿದೆ. ಕೋಷ್ಟಕಗಳನ್ನು ರಚಿಸುವಾಗ, ನೀವು ನಿರ್ದಿಷ್ಟಪಡಿಸಬಹುದು ಟಿಟಿಎಲ್ ಅಭಿವ್ಯಕ್ತಿಗಳು: ಉದಾಹರಣೆಗೆ, ನಾವು ನಿಮಿಷದ ಡೇಟಾವನ್ನು ಒಂದು ದಿನಕ್ಕೆ ಸಂಗ್ರಹಿಸುತ್ತೇವೆ, ದೈನಂದಿನ ಡೇಟಾವನ್ನು 30 ದಿನಗಳವರೆಗೆ ಸಂಗ್ರಹಿಸುತ್ತೇವೆ ಮತ್ತು ಸಾಪ್ತಾಹಿಕ ಅಥವಾ ಮಾಸಿಕ ಡೇಟಾವನ್ನು ಎಂದಿಗೂ ಮುಟ್ಟುವುದಿಲ್ಲ:

CREATE TABLE aggr_by_minute
…
TTL time + interval 1 day

CREATE TABLE aggr_by_day
…
TTL time + interval 30 day

CREATE TABLE aggr_by_week
…
/* no TTL */

ಬಹು ಹಂತದ - ಡಿಸ್ಕ್ಗಳಾದ್ಯಂತ ಡೇಟಾವನ್ನು ವಿಭಜಿಸಿ

ಈ ಕಲ್ಪನೆಯನ್ನು ಮತ್ತಷ್ಟು ತೆಗೆದುಕೊಂಡು, ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಬಹುದು ಕ್ಲಿಕ್‌ಹೌಸ್ ವಿವಿಧ ಸ್ಥಳಗಳಲ್ಲಿ. ನಾವು ಕಳೆದ ವಾರದ ಬಿಸಿ ಡೇಟಾವನ್ನು ಅತ್ಯಂತ ವೇಗದ ಸ್ಥಳೀಯದಲ್ಲಿ ಸಂಗ್ರಹಿಸಲು ಬಯಸುತ್ತೇವೆ ಎಂದು ಭಾವಿಸೋಣ SSD,, ಮತ್ತು ನಾವು ಇನ್ನೊಂದು ಸ್ಥಳದಲ್ಲಿ ಹೆಚ್ಚು ಐತಿಹಾಸಿಕ ಡೇಟಾವನ್ನು ಇರಿಸಿದ್ದೇವೆ. IN ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದು ಈಗ ಸಾಧ್ಯ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ನೀವು ಶೇಖರಣಾ ನೀತಿಯನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದು (ಶೇಖರಣಾ ನೀತಿ) ಆದ್ದರಿಂದ ಕ್ಲಿಕ್‌ಹೌಸ್ ಕೆಲವು ಷರತ್ತುಗಳನ್ನು ತಲುಪಿದ ನಂತರ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಡೇಟಾವನ್ನು ಮತ್ತೊಂದು ಸಂಗ್ರಹಣೆಗೆ ವರ್ಗಾಯಿಸುತ್ತದೆ.

ಆದರೆ ಅಷ್ಟೆ ಅಲ್ಲ. ನಿರ್ದಿಷ್ಟ ಕೋಷ್ಟಕದ ಮಟ್ಟದಲ್ಲಿ, ಡೇಟಾವು ಕೋಲ್ಡ್ ಸ್ಟೋರೇಜ್‌ಗೆ ಹೋದಾಗ ನಿಖರವಾಗಿ ನಿಯಮಗಳನ್ನು ನೀವು ವ್ಯಾಖ್ಯಾನಿಸಬಹುದು. ಉದಾಹರಣೆಗೆ, ಡೇಟಾವನ್ನು 7 ದಿನಗಳವರೆಗೆ ಅತ್ಯಂತ ವೇಗದ ಡಿಸ್ಕ್ನಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಹಳೆಯದಾಗಿರುವ ಎಲ್ಲವನ್ನೂ ನಿಧಾನಕ್ಕೆ ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ. ಇದು ಒಳ್ಳೆಯದು ಏಕೆಂದರೆ ವೆಚ್ಚವನ್ನು ನಿಯಂತ್ರಿಸುವಾಗ ಮತ್ತು ಕೋಲ್ಡ್ ಡೇಟಾದಲ್ಲಿ ಹಣವನ್ನು ವ್ಯರ್ಥ ಮಾಡದೆಯೇ ಸಿಸ್ಟಮ್ ಅನ್ನು ಗರಿಷ್ಠ ಕಾರ್ಯಕ್ಷಮತೆಯಲ್ಲಿ ಇರಿಸಿಕೊಳ್ಳಲು ಇದು ನಿಮ್ಮನ್ನು ಅನುಮತಿಸುತ್ತದೆ:

CREATE TABLE 
... 
TTL date + INTERVAL 7 DAY TO VOLUME 'cold_volume', 
    date + INTERVAL 180 DAY DELETE

ವಿಶಿಷ್ಟ ಲಕ್ಷಣಗಳು ಕ್ಲಿಕ್‌ಹೌಸ್

ಬಹುತೇಕ ಎಲ್ಲದರಲ್ಲೂ ಕ್ಲಿಕ್‌ಹೌಸ್ ಅಂತಹ "ಮುಖ್ಯಾಂಶಗಳು" ಇವೆ, ಆದರೆ ಅವುಗಳನ್ನು ಪ್ರತ್ಯೇಕತೆಯಿಂದ ಸರಿದೂಗಿಸಲಾಗುತ್ತದೆ - ಇದು ಇತರ ಡೇಟಾಬೇಸ್‌ಗಳಲ್ಲಿಲ್ಲ. ಉದಾಹರಣೆಗೆ, ಇಲ್ಲಿ ಕೆಲವು ವಿಶಿಷ್ಟ ವೈಶಿಷ್ಟ್ಯಗಳಿವೆ ಕ್ಲಿಕ್‌ಹೌಸ್:

  • ಅರೇಗಳು. ದಿ ಕ್ಲಿಕ್‌ಹೌಸ್ ಅರೇಗಳಿಗೆ ಉತ್ತಮ ಬೆಂಬಲ, ಹಾಗೆಯೇ ಅವುಗಳ ಮೇಲೆ ಸಂಕೀರ್ಣ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಸಾಮರ್ಥ್ಯ.
  • ಡೇಟಾ ರಚನೆಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸಲಾಗುತ್ತಿದೆ. ಇದು "ಕೊಲೆಗಾರ ವೈಶಿಷ್ಟ್ಯಗಳಲ್ಲಿ" ಒಂದಾಗಿದೆ ಕ್ಲಿಕ್‌ಹೌಸ್. ನಾವು ಡೇಟಾವನ್ನು ಒಟ್ಟುಗೂಡಿಸಲು ಬಯಸುವುದಿಲ್ಲ ಎಂದು ಯಾಂಡೆಕ್ಸ್‌ನ ವ್ಯಕ್ತಿಗಳು ಹೇಳುತ್ತಿದ್ದರೂ, ಎಲ್ಲವನ್ನೂ ಒಟ್ಟುಗೂಡಿಸಲಾಗಿದೆ ಕ್ಲಿಕ್‌ಹೌಸ್, ಏಕೆಂದರೆ ಇದು ವೇಗವಾಗಿ ಮತ್ತು ಅನುಕೂಲಕರವಾಗಿದೆ.
  • ವಸ್ತುರೂಪದ ವೀಕ್ಷಣೆಗಳು. ಡೇಟಾ ರಚನೆಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸುವುದರೊಂದಿಗೆ, ಭೌತಿಕ ವೀಕ್ಷಣೆಗಳು ನಿಮಗೆ ಅನುಕೂಲಕರವಾಗಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ ನೈಜ ಸಮಯ ಒಟ್ಟುಗೂಡಿಸುವಿಕೆ.
  • ಕ್ಲಿಕ್‌ಹೌಸ್ SQL. ಇದು ಭಾಷಾ ವಿಸ್ತರಣೆಯಾಗಿದೆ SQL ನಲ್ಲಿ ಮಾತ್ರ ಲಭ್ಯವಿರುವ ಕೆಲವು ಹೆಚ್ಚುವರಿ ಮತ್ತು ವಿಶೇಷ ವೈಶಿಷ್ಟ್ಯಗಳೊಂದಿಗೆ ಕ್ಲಿಕ್‌ಹೌಸ್. ಹಿಂದೆ, ಇದು ಒಂದು ಕಡೆ ವಿಸ್ತರಣೆಯಂತೆಯೇ ಮತ್ತು ಇನ್ನೊಂದು ಕಡೆ ಅನಾನುಕೂಲವಾಗಿತ್ತು. ಈಗ ಹೋಲಿಸಿದರೆ ಬಹುತೇಕ ಎಲ್ಲಾ ಅನಾನುಕೂಲತೆಗಳು SQL 92 ನಾವು ಅದನ್ನು ತೆಗೆದುಹಾಕಿದ್ದೇವೆ, ಈಗ ಅದು ಕೇವಲ ವಿಸ್ತರಣೆಯಾಗಿದೆ.
  • ಲಾಂಬ್ಡಾದೊಂದಿಗೆ- ಅಭಿವ್ಯಕ್ತಿಗಳು. ಅವರು ಇನ್ನೂ ಯಾವುದೇ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿದ್ದಾರೆಯೇ?
  • ML-ಬೆಂಬಲ. ಇದು ವಿಭಿನ್ನ ಡೇಟಾಬೇಸ್‌ಗಳಲ್ಲಿ ಲಭ್ಯವಿದೆ, ಕೆಲವು ಉತ್ತಮವಾಗಿದೆ, ಕೆಲವು ಕೆಟ್ಟದಾಗಿದೆ.
  • ಮುಕ್ತ ಸಂಪನ್ಮೂಲ. ನಾವು ವಿಸ್ತರಿಸಬಹುದು ಕ್ಲಿಕ್‌ಹೌಸ್ ಒಟ್ಟಿಗೆ. ಈಗ ಒಳಗೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಸುಮಾರು 500 ಕೊಡುಗೆದಾರರು, ಮತ್ತು ಈ ಸಂಖ್ಯೆ ನಿರಂತರವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ.

ಟ್ರಿಕಿ ಪ್ರಶ್ನೆಗಳು

В ಕ್ಲಿಕ್‌ಹೌಸ್ ಒಂದೇ ವಿಷಯವನ್ನು ಮಾಡಲು ಹಲವು ವಿಭಿನ್ನ ಮಾರ್ಗಗಳಿವೆ. ಉದಾಹರಣೆಗೆ, ನೀವು ಟೇಬಲ್‌ನಿಂದ ಕೊನೆಯ ಮೌಲ್ಯವನ್ನು ಮೂರು ವಿಭಿನ್ನ ರೀತಿಯಲ್ಲಿ ಹಿಂತಿರುಗಿಸಬಹುದು ಸಿಪಿಯು (ನಾಲ್ಕನೆಯದು ಸಹ ಇದೆ, ಆದರೆ ಇದು ಇನ್ನಷ್ಟು ವಿಲಕ್ಷಣವಾಗಿದೆ).

ಮೊದಲನೆಯದು ಅದನ್ನು ಮಾಡಲು ಎಷ್ಟು ಅನುಕೂಲಕರವಾಗಿದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ನೀವು ಅದನ್ನು ಪರಿಶೀಲಿಸಲು ಬಯಸಿದಾಗ ಪ್ರಶ್ನೆಗಳು ಟಪಲ್ ಉಪಪ್ರಶ್ನೆಯಲ್ಲಿದೆ. ಇತರ ಡೇಟಾಬೇಸ್‌ಗಳಲ್ಲಿ ನಾನು ವೈಯಕ್ತಿಕವಾಗಿ ತಪ್ಪಿಸಿಕೊಂಡ ವಿಷಯ ಇದು. ನಾನು ಯಾವುದನ್ನಾದರೂ ಉಪಪ್ರಶ್ನೆಯೊಂದಿಗೆ ಹೋಲಿಸಲು ಬಯಸಿದರೆ, ಇತರ ಡೇಟಾಬೇಸ್‌ಗಳಲ್ಲಿ ಅದರೊಂದಿಗೆ ಸ್ಕೇಲಾರ್ ಅನ್ನು ಮಾತ್ರ ಹೋಲಿಸಬಹುದು, ಆದರೆ ಹಲವಾರು ಕಾಲಮ್‌ಗಳಿಗೆ ನಾನು ಬರೆಯಬೇಕಾಗಿದೆ ಸೇರಿರಿ. ದಿ ಕ್ಲಿಕ್‌ಹೌಸ್ ನೀವು ಟುಪಲ್ ಅನ್ನು ಬಳಸಬಹುದು:

SELECT *
  FROM cpu 
 WHERE (tags_id, created_at) IN 
    (SELECT tags_id, max(created_at)
        FROM cpu 
        GROUP BY tags_id)

ಎರಡನೆಯ ವಿಧಾನವು ಅದೇ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತದೆ ಆದರೆ ಒಟ್ಟಾರೆ ಕಾರ್ಯವನ್ನು ಬಳಸುತ್ತದೆ argMax:

SELECT 
    argMax(usage_user), created_at),
    argMax(usage_system), created_at),
...
 FROM cpu 

В ಕ್ಲಿಕ್‌ಹೌಸ್ ಹಲವಾರು ಡಜನ್ ಒಟ್ಟು ಕಾರ್ಯಗಳಿವೆ, ಮತ್ತು ನೀವು ಕಾಂಬಿನೇಟರ್‌ಗಳನ್ನು ಬಳಸಿದರೆ, ಕಾಂಬಿನೇಟೋರಿಕ್ಸ್ ನಿಯಮಗಳ ಪ್ರಕಾರ ನೀವು ಅವುಗಳಲ್ಲಿ ಸುಮಾರು ಒಂದು ಸಾವಿರವನ್ನು ಪಡೆಯುತ್ತೀರಿ. ಆರ್ಗ್ಮ್ಯಾಕ್ಸ್ - ಗರಿಷ್ಠ ಮೌಲ್ಯವನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ಕಾರ್ಯಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ: ವಿನಂತಿಯು ಮೌಲ್ಯವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತದೆ ಬಳಕೆ_ಬಳಕೆದಾರ, ಇದರಲ್ಲಿ ಗರಿಷ್ಠ ಮೌಲ್ಯವನ್ನು ತಲುಪಲಾಗುತ್ತದೆ ರಚಿಸಲಾಗಿದೆ_at:

SELECT now() as created_at,
       cpu.*
  FROM (SELECT DISTINCT tags_id from cpu) base 
  ASOF LEFT JOIN cpu USING (tags_id, created_at)

ASOF ಸೇರಿಕೊಳ್ಳಿ - ವಿವಿಧ ಸಮಯಗಳೊಂದಿಗೆ "ಅಂಟಿಸುವ" ಸಾಲುಗಳು. ಇದು ಡೇಟಾಬೇಸ್‌ಗಳಿಗೆ ಮಾತ್ರ ಲಭ್ಯವಿರುವ ವಿಶಿಷ್ಟ ವೈಶಿಷ್ಟ್ಯವಾಗಿದೆ kdb+. ವಿಭಿನ್ನ ಸಮಯಗಳೊಂದಿಗೆ ಎರಡು ಸಮಯದ ಸರಣಿಗಳಿದ್ದರೆ, ASOF ಸೇರಿಕೊಳ್ಳಿ ಒಂದು ವಿನಂತಿಯಲ್ಲಿ ಅವುಗಳನ್ನು ಸರಿಸಲು ಮತ್ತು ವಿಲೀನಗೊಳಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಒಂದು ಸಮಯದ ಸರಣಿಯಲ್ಲಿನ ಪ್ರತಿ ಮೌಲ್ಯಕ್ಕೆ, ಇನ್ನೊಂದರಲ್ಲಿ ಹತ್ತಿರದ ಮೌಲ್ಯವು ಕಂಡುಬರುತ್ತದೆ ಮತ್ತು ಅವುಗಳನ್ನು ಒಂದೇ ಸಾಲಿನಲ್ಲಿ ಹಿಂತಿರುಗಿಸಲಾಗುತ್ತದೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಕಾರ್ಯಗಳು

ಮಾನದಂಡದಲ್ಲಿ SQL-2003 ನೀವು ಈ ರೀತಿ ಬರೆಯಬಹುದು:

SELECT origin,
       timestamp,
       timestamp -LAG(timestamp, 1) OVER (PARTITION BY origin ORDER BY timestamp) AS duration,
       timestamp -MIN(timestamp) OVER (PARTITION BY origin ORDER BY timestamp) AS startseq_duration,
       ROW_NUMBER() OVER (PARTITION BY origin ORDER BY timestamp) AS sequence,
       COUNT() OVER (PARTITION BY origin ORDER BY timestamp) AS nb
  FROM mytable
ORDER BY origin, timestamp;

В ಕ್ಲಿಕ್‌ಹೌಸ್ ನೀವು ಅದನ್ನು ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ - ಇದು ಮಾನದಂಡವನ್ನು ಬೆಂಬಲಿಸುವುದಿಲ್ಲ SQL-2003 ಮತ್ತು ಬಹುಶಃ ಅದನ್ನು ಎಂದಿಗೂ ಮಾಡುವುದಿಲ್ಲ. ಬದಲಾಗಿ, ಇನ್ ಕ್ಲಿಕ್‌ಹೌಸ್ ಈ ರೀತಿ ಬರೆಯುವುದು ವಾಡಿಕೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ನಾನು ಲ್ಯಾಂಬ್ಡಾಗಳಿಗೆ ಭರವಸೆ ನೀಡಿದ್ದೇನೆ - ಅವರು ಇಲ್ಲಿದ್ದಾರೆ!

ಇದು ಸ್ಟ್ಯಾಂಡರ್ಡ್‌ನಲ್ಲಿನ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಪ್ರಶ್ನೆಯ ಅನಲಾಗ್ ಆಗಿದೆ SQL-2003: ಅವನು ಎರಡರ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ಎಣಿಸುತ್ತಾನೆ ಸಮಯಮುದ್ರೆ, ಅವಧಿ, ಆರ್ಡಿನಲ್ ಸಂಖ್ಯೆ - ನಾವು ಸಾಮಾನ್ಯವಾಗಿ ವಿಶ್ಲೇಷಣಾತ್ಮಕ ಕಾರ್ಯಗಳನ್ನು ಪರಿಗಣಿಸುವ ಎಲ್ಲವೂ. IN ಕ್ಲಿಕ್‌ಹೌಸ್ ನಾವು ಅವುಗಳನ್ನು ಅರೇಗಳ ಮೂಲಕ ಎಣಿಕೆ ಮಾಡುತ್ತೇವೆ: ಮೊದಲು ನಾವು ಡೇಟಾವನ್ನು ಒಂದು ಶ್ರೇಣಿಯಲ್ಲಿ ಕುಗ್ಗಿಸುತ್ತೇವೆ, ಅದರ ನಂತರ ನಾವು ರಚನೆಯಲ್ಲಿ ನಮಗೆ ಬೇಕಾದ ಎಲ್ಲವನ್ನೂ ಮಾಡುತ್ತೇವೆ ಮತ್ತು ನಂತರ ನಾವು ಅದನ್ನು ಮತ್ತೆ ವಿಸ್ತರಿಸುತ್ತೇವೆ. ಇದು ತುಂಬಾ ಅನುಕೂಲಕರವಲ್ಲ, ಕನಿಷ್ಠ ಕ್ರಿಯಾತ್ಮಕ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಪ್ರೀತಿ ಅಗತ್ಯವಿರುತ್ತದೆ, ಆದರೆ ಇದು ತುಂಬಾ ಮೃದುವಾಗಿರುತ್ತದೆ.

ವೈಶಿಷ್ಟ್ಯತೆಗಳು

ಜೊತೆಗೆ, ರಲ್ಲಿ ಕ್ಲಿಕ್‌ಹೌಸ್ ಅನೇಕ ವಿಶೇಷ ಕಾರ್ಯಗಳು. ಉದಾಹರಣೆಗೆ, ಎಷ್ಟು ಸೆಷನ್‌ಗಳು ಏಕಕಾಲದಲ್ಲಿ ನಡೆಯುತ್ತಿವೆ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವುದು ಹೇಗೆ? ಒಂದು ವಿನಂತಿಯೊಂದಿಗೆ ಗರಿಷ್ಠ ಲೋಡ್ ಅನ್ನು ನಿರ್ಧರಿಸುವುದು ವಿಶಿಷ್ಟವಾದ ಮೇಲ್ವಿಚಾರಣೆ ಕಾರ್ಯವಾಗಿದೆ. IN ಕ್ಲಿಕ್‌ಹೌಸ್ ಈ ಉದ್ದೇಶಕ್ಕಾಗಿ ವಿಶೇಷ ಕಾರ್ಯವಿದೆ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಸಾಮಾನ್ಯವಾಗಿ, ಕ್ಲಿಕ್‌ಹೌಸ್ ಅನೇಕ ಉದ್ದೇಶಗಳಿಗಾಗಿ ವಿಶೇಷ ಕಾರ್ಯಗಳನ್ನು ಹೊಂದಿದೆ:

  • ರನ್ನಿಂಗ್ ಡಿಫರೆನ್ಸ್, ರನ್ನಿಂಗ್ ಕೂಡು, ನೆರೆಯ;
  • sumMap (ಕೀ, ಮೌಲ್ಯ);
  • timeSeriesGroupSum (uid, ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್, ಮೌಲ್ಯ);
  • timeSeriesGroupRateSum (uid, ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್, ಮೌಲ್ಯ);
  • skewPop, skewSamp, kurtPop, kurtSamp;
  • ತುಂಬುವಿಕೆಯೊಂದಿಗೆ / ಸಂಬಂಧಗಳೊಂದಿಗೆ;
  • ಸರಳ ಲೀನಿಯರ್ ರಿಗ್ರೆಷನ್, ಸ್ಟೊಕಾಸ್ಟಿಕ್ ಲೀನಿಯರ್ ರಿಗ್ರೆಷನ್.

ಇದು ಕಾರ್ಯಗಳ ಸಂಪೂರ್ಣ ಪಟ್ಟಿ ಅಲ್ಲ, ಒಟ್ಟು 500-600 ಇವೆ. ಸುಳಿವು: ಎಲ್ಲಾ ಕಾರ್ಯಗಳು ಕ್ಲಿಕ್‌ಹೌಸ್ ಸಿಸ್ಟಮ್ ಟೇಬಲ್‌ನಲ್ಲಿದೆ (ಎಲ್ಲವನ್ನೂ ದಾಖಲಿಸಲಾಗಿಲ್ಲ, ಆದರೆ ಎಲ್ಲವೂ ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ):

select * from system.functions order by name

ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದು ಸೇರಿದಂತೆ ತನ್ನ ಬಗ್ಗೆ ಸಾಕಷ್ಟು ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ ಲಾಗ್ ಕೋಷ್ಟಕಗಳು, query_log, ಟ್ರೇಸ್ ಲಾಗ್, ಡೇಟಾ ಬ್ಲಾಕ್‌ಗಳೊಂದಿಗೆ ಕಾರ್ಯಾಚರಣೆಗಳ ಲಾಗ್ (ಭಾಗ_ಲಾಗ್), ಮೆಟ್ರಿಕ್ಸ್ ಲಾಗ್ ಮತ್ತು ಸಿಸ್ಟಮ್ ಲಾಗ್, ಇದು ಸಾಮಾನ್ಯವಾಗಿ ಡಿಸ್ಕ್ಗೆ ಬರೆಯುತ್ತದೆ. ಲಾಗ್ ಮೆಟ್ರಿಕ್ಸ್ ಆಗಿದೆ ಸಮಯ-ಸರಣಿ в ಕ್ಲಿಕ್‌ಹೌಸ್ ವಾಸ್ತವವಾಗಿ ಕ್ಲಿಕ್‌ಹೌಸ್: ಡೇಟಾಬೇಸ್ ಸ್ವತಃ ಒಂದು ಪಾತ್ರವನ್ನು ವಹಿಸುತ್ತದೆ ಸಮಯ-ಸರಣಿ ಡೇಟಾಬೇಸ್‌ಗಳು, ಹೀಗೆ ಸ್ವತಃ "ತಿನ್ನುತ್ತವೆ".

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಇದು ಒಂದು ವಿಶಿಷ್ಟವಾದ ವಿಷಯವಾಗಿದೆ - ಏಕೆಂದರೆ ನಾವು ಉತ್ತಮ ಕೆಲಸವನ್ನು ಮಾಡುತ್ತೇವೆ ಸಮಯ-ಸರಣಿ, ನಮಗೆ ಬೇಕಾದ ಎಲ್ಲವನ್ನೂ ನಮ್ಮೊಳಗೆ ಏಕೆ ಸಂಗ್ರಹಿಸಬಾರದು? ನಮಗೆ ಅಗತ್ಯವಿಲ್ಲ ಪ್ರಮೀತಿಯಸ್, ನಾವು ಎಲ್ಲವನ್ನೂ ನಮ್ಮಲ್ಲೇ ಇಟ್ಟುಕೊಳ್ಳುತ್ತೇವೆ. ಸಂಪರ್ಕಗೊಂಡಿದೆ ಗ್ರಾಫಾನಾ ಮತ್ತು ನಾವು ನಮ್ಮನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತೇವೆ. ಆದಾಗ್ಯೂ, ವೇಳೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಬೀಳುತ್ತದೆ, ಏಕೆ ಎಂದು ನಾವು ನೋಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅವರು ಸಾಮಾನ್ಯವಾಗಿ ಹಾಗೆ ಮಾಡುವುದಿಲ್ಲ.

ದೊಡ್ಡ ಕ್ಲಸ್ಟರ್ ಅಥವಾ ಅನೇಕ ಚಿಕ್ಕವುಗಳು ಕ್ಲಿಕ್‌ಹೌಸ್

ಯಾವುದು ಉತ್ತಮ - ಒಂದು ದೊಡ್ಡ ಕ್ಲಸ್ಟರ್ ಅಥವಾ ಅನೇಕ ಸಣ್ಣ ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗಳು? ಸಾಂಪ್ರದಾಯಿಕ ವಿಧಾನ DWH ಪ್ರತಿ ಅಪ್ಲಿಕೇಶನ್‌ಗೆ ಸರ್ಕ್ಯೂಟ್‌ಗಳನ್ನು ನಿಗದಿಪಡಿಸುವ ದೊಡ್ಡ ಕ್ಲಸ್ಟರ್ ಆಗಿದೆ. ನಾವು ಡೇಟಾಬೇಸ್ ನಿರ್ವಾಹಕರ ಬಳಿಗೆ ಬಂದಿದ್ದೇವೆ - ನಮಗೆ ರೇಖಾಚಿತ್ರವನ್ನು ನೀಡಿ, ಮತ್ತು ಅವರು ನಮಗೆ ಒಂದನ್ನು ನೀಡಿದರು:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

В ಕ್ಲಿಕ್‌ಹೌಸ್ ನೀವು ಅದನ್ನು ವಿಭಿನ್ನವಾಗಿ ಮಾಡಬಹುದು. ನೀವು ಪ್ರತಿ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ನಿಮ್ಮದೇ ಆದ ರೀತಿಯಲ್ಲಿ ಮಾಡಬಹುದು ಕ್ಲಿಕ್‌ಹೌಸ್:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ನಮಗೆ ಇನ್ನು ಮುಂದೆ ದೊಡ್ಡ ದೈತ್ಯಾಕಾರದ ಅಗತ್ಯವಿಲ್ಲ DWH ಮತ್ತು ತಡೆಯಲಾಗದ ನಿರ್ವಾಹಕರು. ನಾವು ಪ್ರತಿ ಅಪ್ಲಿಕೇಶನ್‌ಗೆ ಅದರದೇ ಆದದನ್ನು ನೀಡಬಹುದು ಕ್ಲಿಕ್‌ಹೌಸ್, ಮತ್ತು ಡೆವಲಪರ್ ಅದನ್ನು ಸ್ವತಃ ಮಾಡಬಹುದು, ರಿಂದ ಕ್ಲಿಕ್‌ಹೌಸ್ ಸ್ಥಾಪಿಸಲು ತುಂಬಾ ಸುಲಭ ಮತ್ತು ಸಂಕೀರ್ಣ ಆಡಳಿತದ ಅಗತ್ಯವಿಲ್ಲ:

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಆದರೆ ನಮ್ಮಲ್ಲಿ ಬಹಳಷ್ಟು ಇದ್ದರೆ ಕ್ಲಿಕ್‌ಹೌಸ್, ಮತ್ತು ನೀವು ಇದನ್ನು ಆಗಾಗ್ಗೆ ಸ್ಥಾಪಿಸಬೇಕಾಗುತ್ತದೆ, ನಂತರ ನೀವು ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸಲು ಬಯಸುತ್ತೀರಿ. ಇದಕ್ಕಾಗಿ ನಾವು, ಉದಾಹರಣೆಗೆ, ಬಳಸಬಹುದು ಕುಬರ್ನೆಟ್ಸ್ и ಕ್ಲಿಕ್ಹೌಸ್- ಆಪರೇಟರ್. IN ಕುಬರ್ನೆಟ್ಸ್ ಕ್ಲಿಕ್‌ಹೌಸ್ ನೀವು ಅದನ್ನು "ಆನ್-ಕ್ಲಿಕ್" ಎಂದು ಹಾಕಬಹುದು: ನಾನು ಬಟನ್ ಅನ್ನು ಕ್ಲಿಕ್ ಮಾಡಬಹುದು, ಮ್ಯಾನಿಫೆಸ್ಟ್ ಅನ್ನು ರನ್ ಮಾಡಬಹುದು ಮತ್ತು ಡೇಟಾಬೇಸ್ ಸಿದ್ಧವಾಗಿದೆ. ನಾನು ತಕ್ಷಣವೇ ರೇಖಾಚಿತ್ರವನ್ನು ರಚಿಸಬಹುದು, ಅಲ್ಲಿ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಅಪ್‌ಲೋಡ್ ಮಾಡಲು ಪ್ರಾರಂಭಿಸಬಹುದು ಮತ್ತು 5 ನಿಮಿಷಗಳಲ್ಲಿ ನನ್ನ ಬಳಿ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಸಿದ್ಧವಾಗಿದೆ ಗ್ರಾಫಾನಾ. ಇದು ತುಂಬಾ ಸರಳವಾಗಿದೆ!

ಕೊನೆಯಲ್ಲಿ ಏನು?

ಆದ್ದರಿಂದ, ಕ್ಲಿಕ್‌ಹೌಸ್ - ಇದು:

  • ವೇಗವಾಗಿ. ಇದು ಎಲ್ಲರಿಗೂ ತಿಳಿದಿದೆ.
  • ಸರಳವಾಗಿ. ಸ್ವಲ್ಪ ವಿವಾದಾತ್ಮಕ, ಆದರೆ ಇದು ತರಬೇತಿಯಲ್ಲಿ ಕಷ್ಟ, ಯುದ್ಧದಲ್ಲಿ ಸುಲಭ ಎಂದು ನಾನು ನಂಬುತ್ತೇನೆ. ಹೇಗೆ ಎಂದು ನೀವು ಅರ್ಥಮಾಡಿಕೊಂಡರೆ ಕ್ಲಿಕ್‌ಹೌಸ್ ಇದು ಕೆಲಸ ಮಾಡುತ್ತದೆ, ನಂತರ ಎಲ್ಲವೂ ತುಂಬಾ ಸರಳವಾಗಿದೆ.
  • ಸಾರ್ವತ್ರಿಕವಾಗಿ. ಇದು ವಿಭಿನ್ನ ಸನ್ನಿವೇಶಗಳಿಗೆ ಸೂಕ್ತವಾಗಿದೆ: DWH, ಸಮಯ ಸರಣಿ, ಲಾಗ್ ಸಂಗ್ರಹಣೆ. ಆದರೆ ಹಾಗಲ್ಲ OLTP ಡೇಟಾಬೇಸ್, ಆದ್ದರಿಂದ ಸಣ್ಣ ಒಳಸೇರಿಸುವಿಕೆ ಮತ್ತು ಓದಲು ಪ್ರಯತ್ನಿಸಬೇಡಿ.
  • ಕುತೂಹಲಕಾರಿ. ಬಹುಶಃ ಜೊತೆಯಲ್ಲಿ ಕೆಲಸ ಮಾಡುವವನು ಕ್ಲಿಕ್‌ಹೌಸ್, ಒಳ್ಳೆಯ ಮತ್ತು ಕೆಟ್ಟ ಅರ್ಥದಲ್ಲಿ ಅನೇಕ ಆಸಕ್ತಿದಾಯಕ ಕ್ಷಣಗಳನ್ನು ಅನುಭವಿಸಿದೆ. ಉದಾಹರಣೆಗೆ, ಹೊಸ ಬಿಡುಗಡೆ ಹೊರಬಂದಿತು, ಎಲ್ಲವೂ ಕೆಲಸ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿತು. ಅಥವಾ ನೀವು ಎರಡು ದಿನಗಳ ಕಾಲ ಒಂದು ಕಾರ್ಯದೊಂದಿಗೆ ಹೋರಾಡಿದಾಗ, ಆದರೆ ಟೆಲಿಗ್ರಾಮ್ ಚಾಟ್‌ನಲ್ಲಿ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳಿದ ನಂತರ, ಕಾರ್ಯವನ್ನು ಎರಡು ನಿಮಿಷಗಳಲ್ಲಿ ಪರಿಹರಿಸಲಾಗಿದೆ. ಅಥವಾ ಲೆಶಾ ಮಿಲೋವಿಡೋವ್ ಅವರ ವರದಿಯಲ್ಲಿನ ಸಮ್ಮೇಳನದಂತೆ, ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ಕ್ಲಿಕ್‌ಹೌಸ್ ಪ್ರಸಾರವನ್ನು ಮುರಿಯಿತು ಹೈಲೋಡ್ ++. ಈ ರೀತಿಯ ವಿಷಯವು ಸಾರ್ವಕಾಲಿಕ ಸಂಭವಿಸುತ್ತದೆ ಮತ್ತು ನಮ್ಮ ಜೀವನವನ್ನು ಕಷ್ಟಕರವಾಗಿಸುತ್ತದೆ. ಕ್ಲಿಕ್‌ಹೌಸ್ ಪ್ರಕಾಶಮಾನವಾದ ಮತ್ತು ಆಸಕ್ತಿದಾಯಕ!

ನೀವು ಪ್ರಸ್ತುತಿಯನ್ನು ವೀಕ್ಷಿಸಬಹುದು ಇಲ್ಲಿ.

ಕ್ಲಿಕ್‌ಹೌಸ್‌ಗೆ ಸರಿಸಲಾಗುತ್ತಿದೆ: 3 ವರ್ಷಗಳ ನಂತರ

ಹೆಚ್ಚಿನ ಲೋಡ್ ಸಿಸ್ಟಮ್‌ಗಳ ಡೆವಲಪರ್‌ಗಳ ಬಹುನಿರೀಕ್ಷಿತ ಸಭೆ ಹೈಲೋಡ್ ++ ನವೆಂಬರ್ 9 ಮತ್ತು 10 ರಂದು ಸ್ಕೋಲ್ಕೊವೊದಲ್ಲಿ ನಡೆಯಲಿದೆ. ಅಂತಿಮವಾಗಿ, ಇದು ಆಫ್‌ಲೈನ್ ಕಾನ್ಫರೆನ್ಸ್ ಆಗಿರುತ್ತದೆ (ಎಲ್ಲಾ ಮುನ್ನೆಚ್ಚರಿಕೆಗಳಿದ್ದರೂ), ಹೈಲೋಡ್ ++ ನ ಶಕ್ತಿಯನ್ನು ಆನ್‌ಲೈನ್‌ನಲ್ಲಿ ಪ್ಯಾಕ್ ಮಾಡಲಾಗುವುದಿಲ್ಲ.

ಕಾನ್ಫರೆನ್ಸ್‌ಗಾಗಿ, ತಂತ್ರಜ್ಞಾನದ ಗರಿಷ್ಟ ಸಾಮರ್ಥ್ಯಗಳ ಕುರಿತು ನಾವು ನಿಮಗೆ ಪ್ರಕರಣಗಳನ್ನು ಹುಡುಕುತ್ತೇವೆ ಮತ್ತು ತೋರಿಸುತ್ತೇವೆ: Facebook, Yandex, VKontakte, Google ಮತ್ತು Amazon ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ನೀವು ಎರಡು ದಿನಗಳಲ್ಲಿ ಕಲಿಯಬಹುದಾದ ಏಕೈಕ ಸ್ಥಳವೆಂದರೆ HighLoad++.

2007 ರಿಂದ ಯಾವುದೇ ಅಡೆತಡೆಯಿಲ್ಲದೆ ನಮ್ಮ ಸಭೆಗಳನ್ನು ನಡೆಸುತ್ತಿರುವ ನಾವು ಈ ವರ್ಷ 14 ನೇ ಬಾರಿಗೆ ಭೇಟಿಯಾಗುತ್ತೇವೆ. ಈ ಸಮಯದಲ್ಲಿ, ಸಮ್ಮೇಳನವು 10 ಪಟ್ಟು ಬೆಳೆದಿದೆ; ಕಳೆದ ವರ್ಷ, ಪ್ರಮುಖ ಉದ್ಯಮದ ಈವೆಂಟ್ 3339 ಭಾಗವಹಿಸುವವರು, 165 ಸ್ಪೀಕರ್‌ಗಳು, ವರದಿಗಳು ಮತ್ತು ಸಭೆಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸಿತು ಮತ್ತು 16 ಟ್ರ್ಯಾಕ್‌ಗಳು ಏಕಕಾಲದಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿವೆ.
ಕಳೆದ ವರ್ಷ 20 ಬಸ್‌ಗಳು, 5280 ಲೀಟರ್ ಚಹಾ ಮತ್ತು ಕಾಫಿ, 1650 ಲೀಟರ್ ಹಣ್ಣು ಪಾನೀಯಗಳು ಮತ್ತು 10200 ಬಾಟಲಿಗಳು ನೀರಿನಿದ್ದವು. ಮತ್ತು ಇನ್ನೊಂದು 2640 ಕಿಲೋಗ್ರಾಂಗಳಷ್ಟು ಆಹಾರ, 16 ಪ್ಲೇಟ್‌ಗಳು ಮತ್ತು 000 ಕಪ್‌ಗಳು. ಅಂದಹಾಗೆ, ಮರುಬಳಕೆಯ ಕಾಗದದಿಂದ ಸಂಗ್ರಹಿಸಿದ ಹಣದಿಂದ ನಾವು 25 ಓಕ್ ಸಸಿಗಳನ್ನು ನೆಟ್ಟಿದ್ದೇವೆ :)

ನೀವು ಟಿಕೆಟ್ ಖರೀದಿಸಬಹುದು ಇಲ್ಲಿ, ಸಮ್ಮೇಳನದ ಬಗ್ಗೆ ಸುದ್ದಿ ಪಡೆಯಿರಿ - ಇಲ್ಲಿ, ಮತ್ತು ಎಲ್ಲಾ ಸಾಮಾಜಿಕ ನೆಟ್ವರ್ಕ್ಗಳಲ್ಲಿ ಮಾತನಾಡಿ: ಟೆಲಿಗ್ರಾಂ, ಫೇಸ್ಬುಕ್, Vkontakte и ಟ್ವಿಟರ್.

ಮೂಲ: www.habr.com

ಕಾಮೆಂಟ್ ಅನ್ನು ಸೇರಿಸಿ