ಕುಬರ್ನೆಟ್ಸ್‌ನಲ್ಲಿ ಲಾಗಿನ್ ಆಗುತ್ತಿದೆ: EFK vs PLG

ವಿತರಣಾ ವ್ಯವಸ್ಥೆಗಳ ಸಂಕೀರ್ಣತೆ ಹೆಚ್ಚಾದಂತೆ ಬೆಳೆಯುತ್ತಿರುವ ಕ್ಲೌಡ್ ಪರಿಹಾರಗಳಲ್ಲಿ ಮಾನಿಟರಿಂಗ್ ಬಹಳ ಮುಖ್ಯವಾದ ಅಂಶವಾಗಿದೆ. ಅವರ ನಡವಳಿಕೆಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಅವಶ್ಯಕ. ನಮಗೆ ಎಲ್ಲಾ ಸೇವೆಗಳಿಂದ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಬಹುದಾದ ಸ್ಕೇಲೆಬಲ್ ಪರಿಕರಗಳ ಅಗತ್ಯವಿದೆ - ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯ ವಿಶ್ಲೇಷಣೆ, ದೋಷ ಪ್ರದರ್ಶನ, ಲಭ್ಯತೆ ಮತ್ತು ಲಾಗ್‌ಗಳೊಂದಿಗೆ ಒಂದೇ ಇಂಟರ್‌ಫೇಸ್‌ನೊಂದಿಗೆ ತಜ್ಞರನ್ನು ಒದಗಿಸುತ್ತದೆ.

ಇದೇ ಉಪಕರಣಗಳು ಪರಿಣಾಮಕಾರಿ ಮತ್ತು ಉತ್ಪಾದಕವಾಗಿರಬೇಕು. ಈ ಲೇಖನದಲ್ಲಿ, ನಾವು ಎರಡು ಜನಪ್ರಿಯ ತಂತ್ರಜ್ಞಾನದ ಸ್ಟ್ಯಾಕ್‌ಗಳನ್ನು ನೋಡುತ್ತೇವೆ: EFK (Elasticsearch) ಮತ್ತು PLG (Loki) ಮತ್ತು ಅವುಗಳ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳು ಮತ್ತು ವ್ಯತ್ಯಾಸಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತೇವೆ.

EFK ಸ್ಟಾಕ್

ನೀವು ಈಗಾಗಲೇ ಅತ್ಯಂತ ಜನಪ್ರಿಯ ELK ಅಥವಾ EFK ಬಗ್ಗೆ ಕೇಳಿರಬಹುದು. ಸ್ಟಾಕ್ ಹಲವಾರು ವಿಭಿನ್ನ ಭಾಗಗಳನ್ನು ಒಳಗೊಂಡಿದೆ: ಸ್ಥಿತಿಸ್ಥಾಪಕ ಹುಡುಕಾಟ (ವಸ್ತು ಸಂಗ್ರಹಣೆ), ಲಾಗ್‌ಸ್ಟ್ಯಾಶ್ ಅಥವಾ ಫ್ಲೂಯೆಂಟ್‌ಡಿ (ಲಾಗ್ ಸಂಗ್ರಹಣೆ ಮತ್ತು ಒಟ್ಟುಗೂಡಿಸುವಿಕೆ), ಮತ್ತು ದೃಶ್ಯೀಕರಣಕ್ಕಾಗಿ ಕಿಬಾನಾ.

ಸಾಮಾನ್ಯ ಕೆಲಸದ ಹರಿವು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

Elasticsearch - ಹುಡುಕಾಟ ಮತ್ತು ನೈಜ-ಸಮಯದ ವಿಶ್ಲೇಷಣೆಗಳೊಂದಿಗೆ ವಸ್ತು ಸಂಗ್ರಹಣೆಯನ್ನು ವಿತರಿಸಲಾಗಿದೆ. ಲಾಗ್‌ಗಳಂತಹ ಅರೆ-ರಚನಾತ್ಮಕ ಡೇಟಾಗೆ ಅತ್ಯುತ್ತಮ ಪರಿಹಾರ. ಮಾಹಿತಿಯನ್ನು JSON ಡಾಕ್ಯುಮೆಂಟ್‌ಗಳಾಗಿ ಉಳಿಸಲಾಗಿದೆ, ನೈಜ ಸಮಯದಲ್ಲಿ ಇಂಡೆಕ್ಸ್ ಮಾಡಲಾಗಿದೆ ಮತ್ತು ಕ್ಲಸ್ಟರ್ ನೋಡ್‌ಗಳಾದ್ಯಂತ ವಿತರಿಸಲಾಗುತ್ತದೆ. ಒಂದು ತಲೆಕೆಳಗಾದ ಸೂಚ್ಯಂಕವನ್ನು ಬಳಸಲಾಗುತ್ತದೆ, ಪೂರ್ಣ-ಪಠ್ಯ ಹುಡುಕಾಟಕ್ಕಾಗಿ ಎಲ್ಲಾ ಅನನ್ಯ ಪದಗಳು ಮತ್ತು ಸಂಬಂಧಿತ ದಾಖಲೆಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ, ಇದು ಅಪಾಚೆ ಲುಸೀನ್ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಅನ್ನು ಆಧರಿಸಿದೆ.

ನಿರರ್ಗಳವಾಗಿ ಡಿ ದತ್ತಾಂಶ ಸಂಗ್ರಾಹಕವಾಗಿದ್ದು ಅದನ್ನು ಸಂಗ್ರಹಿಸುವಾಗ ಮತ್ತು ಸೇವಿಸುವಾಗ ಡೇಟಾವನ್ನು ಏಕೀಕರಿಸುತ್ತದೆ. ಇದು ಸಾಧ್ಯವಾದಷ್ಟು JSON ನಲ್ಲಿ ಡೇಟಾವನ್ನು ಸಂಘಟಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ಇದರ ವಾಸ್ತುಶಿಲ್ಪವು ವಿಸ್ತಾರವಾಗಿದೆ, ಇನ್ನೂ ಹೆಚ್ಚಿನವುಗಳಿವೆ ನೂರಾರು ವಿಭಿನ್ನ ವಿಸ್ತರಣೆಗಳು, ಸಮುದಾಯ-ಬೆಂಬಲಿತ, ಎಲ್ಲಾ ಸಂದರ್ಭಗಳಲ್ಲಿ.

ಕಿಬಾನಾ - ವಿವಿಧ ಹೆಚ್ಚುವರಿ ಸಾಮರ್ಥ್ಯಗಳೊಂದಿಗೆ ಸ್ಥಿತಿಸ್ಥಾಪಕ ಹುಡುಕಾಟಕ್ಕಾಗಿ ಡೇಟಾ ದೃಶ್ಯೀಕರಣ ಸಾಧನ, ಉದಾಹರಣೆಗೆ, ಸಮಯ ಸರಣಿ ವಿಶ್ಲೇಷಣೆ, ಗ್ರಾಫ್ ವಿಶ್ಲೇಷಣೆ, ಯಂತ್ರ ಕಲಿಕೆ ಮತ್ತು ಇನ್ನಷ್ಟು.

ಸ್ಥಿತಿಸ್ಥಾಪಕ ಹುಡುಕಾಟ ವಾಸ್ತುಶಿಲ್ಪ

ಸ್ಥಿತಿಸ್ಥಾಪಕ ಹುಡುಕಾಟ ಕ್ಲಸ್ಟರ್ ಡೇಟಾವನ್ನು ಅದರ ಎಲ್ಲಾ ನೋಡ್‌ಗಳಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗಿದೆ. ಒಂದು ಕ್ಲಸ್ಟರ್ ಲಭ್ಯತೆ ಮತ್ತು ಸ್ಥಿತಿಸ್ಥಾಪಕತ್ವವನ್ನು ಸುಧಾರಿಸಲು ಬಹು ನೋಡ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. ಯಾವುದೇ ನೋಡ್ ಕ್ಲಸ್ಟರ್‌ನ ಎಲ್ಲಾ ಪಾತ್ರಗಳನ್ನು ನಿರ್ವಹಿಸಬಲ್ಲದು, ಆದರೆ ದೊಡ್ಡ ಪ್ರಮಾಣದ-ಔಟ್ ನಿಯೋಜನೆಗಳಲ್ಲಿ, ನೋಡ್‌ಗಳಿಗೆ ವಿಶಿಷ್ಟವಾಗಿ ಪ್ರತ್ಯೇಕ ಕಾರ್ಯಗಳನ್ನು ನಿಗದಿಪಡಿಸಲಾಗುತ್ತದೆ.

ಕ್ಲಸ್ಟರ್ ನೋಡ್ ವಿಧಗಳು:

• ಮಾಸ್ಟರ್ ನೋಡ್ - ಕ್ಲಸ್ಟರ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ, ಕನಿಷ್ಠ ಮೂರು ಅಗತ್ಯವಿದೆ, ಒಂದು ಯಾವಾಗಲೂ ಸಕ್ರಿಯವಾಗಿರುತ್ತದೆ;
• ಡೇಟಾ ನೋಡ್ - ಸೂಚ್ಯಂಕ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ ಮತ್ತು ಅದರೊಂದಿಗೆ ವಿವಿಧ ಕಾರ್ಯಗಳನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ;
• ಇನ್ಜೆಸ್ಟ್ ನೋಡ್ - ಇಂಡೆಕ್ಸಿಂಗ್ ಮಾಡುವ ಮೊದಲು ಡೇಟಾವನ್ನು ಪರಿವರ್ತಿಸಲು ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ಆಯೋಜಿಸುತ್ತದೆ;
• ಸಮನ್ವಯ ನೋಡ್ - ರೂಟಿಂಗ್ ವಿನಂತಿಗಳು, ಹುಡುಕಾಟ ಪ್ರಕ್ರಿಯೆಯ ಹಂತವನ್ನು ಕಡಿಮೆಗೊಳಿಸುವುದು, ಸಾಮೂಹಿಕ ಸೂಚ್ಯಂಕವನ್ನು ಸಂಯೋಜಿಸುವುದು;
• ಎಚ್ಚರಿಕೆಯ ನೋಡ್ - ಎಚ್ಚರಿಕೆ ಕಾರ್ಯಗಳನ್ನು ಪ್ರಾರಂಭಿಸುವುದು;
• ಯಂತ್ರ ಕಲಿಕೆ ನೋಡ್ - ಸಂಸ್ಕರಣೆ ಯಂತ್ರ ಕಲಿಕೆ ಕಾರ್ಯಗಳು.

ಹೆಚ್ಚಿನ ಡೇಟಾ ಲಭ್ಯತೆಯನ್ನು ಸಾಧಿಸಲು ನೋಡ್‌ಗಳಾದ್ಯಂತ ಡೇಟಾವನ್ನು ಹೇಗೆ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಪುನರಾವರ್ತಿಸಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಕೆಳಗಿನ ರೇಖಾಚಿತ್ರವು ತೋರಿಸುತ್ತದೆ.

ಪ್ರತಿ ಪ್ರತಿಕೃತಿಯ ಡೇಟಾವನ್ನು ತಲೆಕೆಳಗಾದ ಸೂಚ್ಯಂಕದಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗಿದೆ, ಕೆಳಗಿನ ರೇಖಾಚಿತ್ರವು ಇದು ಹೇಗೆ ಸಂಭವಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ:

ಸೆಟ್ಟಿಂಗ್

ವಿವರಗಳನ್ನು ವೀಕ್ಷಿಸಬಹುದು ಇಲ್ಲಿ, ನಾನು ಹೆಲ್ಮ್ ಚಾರ್ಟ್ ಅನ್ನು ಬಳಸುತ್ತೇನೆ:

$ helm install efk-stack stable/elastic-stack --set logstash.enabled=false --set fluentd.enabled=true --set fluentd-elastics

PLG ಸ್ಟಾಕ್

ಗ್ರಾಫನಾ ಲೋಕಿ ಎಂದು ಕರೆಯಲ್ಪಡುವ ಈ ಸಂಕ್ಷಿಪ್ತ ರೂಪವನ್ನು ನೀವು ಕಂಡುಹಿಡಿಯಲಾಗದಿದ್ದರೆ ಆಶ್ಚರ್ಯಪಡಬೇಡಿ. ಯಾವುದೇ ಸಂದರ್ಭದಲ್ಲಿ, ಈ ಸ್ಟಾಕ್ ಜನಪ್ರಿಯತೆಯನ್ನು ಗಳಿಸುತ್ತಿದೆ ಏಕೆಂದರೆ ಇದು ಸಾಬೀತಾಗಿರುವ ತಾಂತ್ರಿಕ ಪರಿಹಾರಗಳನ್ನು ಬಳಸುತ್ತದೆ. ಜನಪ್ರಿಯ ದೃಶ್ಯೀಕರಣ ಸಾಧನವಾದ ಗ್ರಾಫನಾ ಬಗ್ಗೆ ನೀವು ಈಗಾಗಲೇ ಕೇಳಿರಬಹುದು. ಇದರ ರಚನೆಕಾರರು, ಪ್ರಮೀಥಿಯಸ್‌ನಿಂದ ಪ್ರೇರಿತರಾಗಿ, ಲೋಕಿ, ಸಮತಲವಾಗಿ ಸ್ಕೇಲೆಬಲ್, ಉನ್ನತ-ಕಾರ್ಯಕ್ಷಮತೆಯ ಲಾಗ್ ಒಟ್ಟುಗೂಡಿಸುವ ವ್ಯವಸ್ಥೆಯನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದರು. ಲೋಕಿ ಕೇವಲ ಮೆಟಾಡೇಟಾವನ್ನು ಸೂಚಿಕೆ ಮಾಡುತ್ತದೆ, ಜರ್ನಲ್‌ಗಳಲ್ಲ, ತಾಂತ್ರಿಕ ಪರಿಹಾರವನ್ನು ಬಳಸಲು ಸುಲಭ ಮತ್ತು ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿಯಾಗಿದೆ.

ಪ್ರೋಮ್ಟೇಲ್ - ಆಪರೇಟಿಂಗ್ ಸಿಸ್ಟಮ್‌ನಿಂದ ಲೋಕಿ ಕ್ಲಸ್ಟರ್‌ಗೆ ಲಾಗ್‌ಗಳನ್ನು ಕಳುಹಿಸುವ ಏಜೆಂಟ್. ಗ್ರಾಫಾನಾ ಲೋಕಿಯ ಡೇಟಾದ ಆಧಾರದ ಮೇಲೆ ದೃಶ್ಯೀಕರಣ ಸಾಧನವಾಗಿದೆ.

ಲೋಕಿಯು ಪ್ರಮೀತಿಯಸ್‌ನಂತೆಯೇ ಅದೇ ತತ್ವಗಳ ಮೇಲೆ ನಿರ್ಮಿಸಲ್ಪಟ್ಟಿದೆ, ಇದು ಕುಬರ್ನೆಟ್ಸ್ ಲಾಗ್‌ಗಳನ್ನು ಸಂಗ್ರಹಿಸಲು ಮತ್ತು ವಿಶ್ಲೇಷಿಸಲು ಸೂಕ್ತವಾಗಿರುತ್ತದೆ.

ಲೋಕಿ ವಾಸ್ತುಶಿಲ್ಪ

ಲೋಕಿಯನ್ನು ಒಂದೇ ಪ್ರಕ್ರಿಯೆಯಾಗಿ ಅಥವಾ ಬಹು ಪ್ರಕ್ರಿಯೆಗಳಾಗಿ ಚಲಾಯಿಸಬಹುದು, ಇದು ಸಮತಲ ಸ್ಕೇಲಿಂಗ್‌ಗೆ ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ.

ಇದು ಏಕಶಿಲೆಯ ಅಪ್ಲಿಕೇಶನ್‌ನಂತೆ ಅಥವಾ ಮೈಕ್ರೋ ಸರ್ವಿಸ್ ಆಗಿಯೂ ಕೆಲಸ ಮಾಡಬಹುದು. ಒಂದೇ ಪ್ರಕ್ರಿಯೆಯಾಗಿ ರನ್ನಿಂಗ್ ಸ್ಥಳೀಯ ಅಭಿವೃದ್ಧಿಗೆ ಅಥವಾ ಸಣ್ಣ ಮೇಲ್ವಿಚಾರಣೆಗೆ ಉಪಯುಕ್ತವಾಗಿದೆ. ಕೈಗಾರಿಕಾ ಅನುಷ್ಠಾನ ಮತ್ತು ಸ್ಕೇಲೆಬಲ್ ಕೆಲಸದ ಹೊರೆಗಾಗಿ, ಮೈಕ್ರೋ ಸರ್ವಿಸ್ ಆಯ್ಕೆಯನ್ನು ಬಳಸಲು ಶಿಫಾರಸು ಮಾಡಲಾಗಿದೆ. ಡೇಟಾವನ್ನು ಬರೆಯುವ ಮತ್ತು ಓದುವ ಮಾರ್ಗಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸಲಾಗಿದೆ, ಆದ್ದರಿಂದ ಅದನ್ನು ನುಣ್ಣಗೆ ಟ್ಯೂನ್ ಮಾಡಬಹುದು ಮತ್ತು ಅಗತ್ಯವಿರುವಂತೆ ಅಳೆಯಬಹುದು.

ವಿವರಗಳಿಗೆ ಹೋಗದೆ ಲಾಗ್ ಸಂಗ್ರಹ ವ್ಯವಸ್ಥೆಯ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ನೋಡೋಣ:

ಮತ್ತು ಇಲ್ಲಿ ವಿವರಣೆ (ಮೈಕ್ರೋ ಸರ್ವಿಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್):

ಘಟಕಗಳು:

ಪ್ರೋಮ್ಟೇಲ್ - ನೋಡ್‌ಗಳಲ್ಲಿ ಸ್ಥಾಪಿಸಲಾದ ಏಜೆಂಟ್ (ಸೇವೆಗಳ ಗುಂಪಾಗಿ), ಇದು ಕಾರ್ಯಗಳಿಂದ ಲಾಗ್‌ಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ ಮತ್ತು ಲಾಗ್‌ಗಳನ್ನು ಟ್ಯಾಗ್ ಮಾಡುವ ಮೆಟಾಡೇಟಾವನ್ನು ಪಡೆಯಲು ಕುಬರ್ನೆಟ್ಸ್ API ಅನ್ನು ಪ್ರವೇಶಿಸುತ್ತದೆ. ಇದು ನಂತರ ಮುಖ್ಯ ಲೋಕಿ ಸೇವೆಗೆ ಲಾಗ್ ಅನ್ನು ಕಳುಹಿಸುತ್ತದೆ. ಮೆಟಾಡೇಟಾ ಮ್ಯಾಪಿಂಗ್ ಪ್ರೊಮೆಥಿಯಸ್ನಂತೆಯೇ ಅದೇ ಟ್ಯಾಗಿಂಗ್ ನಿಯಮಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ.

ವಿತರಕರು - ಬಫರ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಸೇವಾ ವಿತರಕ. ಲಕ್ಷಾಂತರ ದಾಖಲೆಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲು, ಇದು ಒಳಬರುವ ಡೇಟಾವನ್ನು ಪ್ಯಾಕ್ ಮಾಡುತ್ತದೆ, ಅದು ಬಂದಂತೆ ಬ್ಲಾಕ್ಗಳಲ್ಲಿ ಕುಗ್ಗಿಸುತ್ತದೆ. ಹಲವಾರು ಡೇಟಾ ಸಿಂಕ್‌ಗಳು ಏಕಕಾಲದಲ್ಲಿ ಚಾಲನೆಯಲ್ಲಿವೆ, ಆದರೆ ಒಂದು ಒಳಬರುವ ಡೇಟಾ ಸ್ಟ್ರೀಮ್‌ಗೆ ಸೇರಿದ ಲಾಗ್‌ಗಳು ಅದರ ಎಲ್ಲಾ ಬ್ಲಾಕ್‌ಗಳಿಗೆ ಅವುಗಳಲ್ಲಿ ಒಂದರಲ್ಲಿ ಮಾತ್ರ ಗೋಚರಿಸಬೇಕು. ಇದನ್ನು ಸಿಂಕ್‌ಗಳ ರಿಂಗ್ ಮತ್ತು ಅನುಕ್ರಮ ಹ್ಯಾಶಿಂಗ್ ಆಗಿ ಆಯೋಜಿಸಲಾಗಿದೆ. ದೋಷ ಸಹಿಷ್ಣುತೆ ಮತ್ತು ಪುನರಾವರ್ತನೆಗಾಗಿ, ಇದನ್ನು n ಬಾರಿ ಮಾಡಲಾಗುತ್ತದೆ (3 ಕಾನ್ಫಿಗರ್ ಮಾಡದಿದ್ದರೆ).

ಇಂಜೆಸ್ಟರ್ - ಸೇವಾ ರಿಸೀವರ್. ಲಾಗ್‌ಗಳನ್ನು ಸೇರಿಸುವುದರೊಂದಿಗೆ ಡೇಟಾ ಬ್ಲಾಕ್‌ಗಳು ಸಂಕುಚಿತಗೊಳ್ಳುತ್ತವೆ. ಬ್ಲಾಕ್ ಸಾಕಷ್ಟು ಗಾತ್ರವನ್ನು ಹೊಂದಿದ ನಂತರ, ಬ್ಲಾಕ್ ಅನ್ನು ಡೇಟಾಬೇಸ್‌ಗೆ ಫ್ಲಶ್ ಮಾಡಲಾಗುತ್ತದೆ. ಮೆಟಾಡೇಟಾ ಸೂಚ್ಯಂಕಕ್ಕೆ ಹೋಗುತ್ತದೆ ಮತ್ತು ಲಾಗ್ ಬ್ಲಾಕ್‌ನಿಂದ ಡೇಟಾ ಚಂಕ್ಸ್‌ಗೆ ಹೋಗುತ್ತದೆ (ಸಾಮಾನ್ಯವಾಗಿ ವಸ್ತು ಸಂಗ್ರಹಣೆ). ಮರುಹೊಂದಿಸಿದ ನಂತರ, ರಿಸೀವರ್ ಹೊಸ ಬ್ಲಾಕ್ ಅನ್ನು ರಚಿಸುತ್ತದೆ, ಅಲ್ಲಿ ಹೊಸ ನಮೂದುಗಳನ್ನು ಸೇರಿಸಲಾಗುತ್ತದೆ.

ಸೂಚ್ಯಂಕ - ಡೇಟಾಬೇಸ್, ಡೈನಮೊಡಿಬಿ, ಕಸ್ಸಂದ್ರ, ಗೂಗಲ್ ಬಿಗ್‌ಟೇಬಲ್, ಇತ್ಯಾದಿ.

ಭಾಗಗಳು - ಸಂಕುಚಿತ ರೂಪದಲ್ಲಿ ಲಾಗ್ ಬ್ಲಾಕ್ಗಳನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ವಸ್ತು ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಸಂಗ್ರಹಿಸಲಾಗುತ್ತದೆ, ಉದಾಹರಣೆಗೆ, S3.

ಕ್ವೆರಿಯರ್ - ಎಲ್ಲಾ ಕೊಳಕು ಕೆಲಸಗಳನ್ನು ಮಾಡುವ ಓದುವ ಮಾರ್ಗ. ಇದು ಸಮಯ ಶ್ರೇಣಿ ಮತ್ತು ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್ ಅನ್ನು ನೋಡುತ್ತದೆ ಮತ್ತು ನಂತರ ಹೊಂದಾಣಿಕೆಗಳನ್ನು ಹುಡುಕಲು ಸೂಚ್ಯಂಕವನ್ನು ನೋಡುತ್ತದೆ. ಮುಂದೆ, ಇದು ಡೇಟಾದ ಬ್ಲಾಕ್ಗಳನ್ನು ಓದುತ್ತದೆ ಮತ್ತು ಫಲಿತಾಂಶವನ್ನು ಪಡೆಯಲು ಅವುಗಳನ್ನು ಫಿಲ್ಟರ್ ಮಾಡುತ್ತದೆ.

ಈಗ ಎಲ್ಲವನ್ನೂ ಕ್ರಿಯೆಯಲ್ಲಿ ನೋಡೋಣ.

ಸೆಟ್ಟಿಂಗ್

ಕುಬರ್ನೆಟ್ಸ್ನಲ್ಲಿ ಸ್ಥಾಪಿಸಲು ಸುಲಭವಾದ ಮಾರ್ಗವೆಂದರೆ ಹೆಲ್ಮ್ ಅನ್ನು ಬಳಸುವುದು. ನೀವು ಅದನ್ನು ಈಗಾಗಲೇ ಸ್ಥಾಪಿಸಿದ್ದೀರಿ ಮತ್ತು ಕಾನ್ಫಿಗರ್ ಮಾಡಿದ್ದೀರಿ ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ (ಮತ್ತು ಮೂರನೇ ಆವೃತ್ತಿ! ಅಂದಾಜು ಅನುವಾದಕ)

ರೆಪೊಸಿಟರಿಯನ್ನು ಸೇರಿಸಿ ಮತ್ತು ಸ್ಟಾಕ್ ಅನ್ನು ಸ್ಥಾಪಿಸಿ.

$ helm repo add loki https://grafana.github.io/loki/charts
$ helm repo update
$ helm upgrade --install loki loki/loki-stack --set grafana.enabled=true,prometheus.enabled=true,prometheus.alertmanager.persistentVolume.enabled=false,prometheus.server.persistentVolume.enabled=false

Etcd ಮೆಟ್ರಿಕ್‌ಗಳಿಗಾಗಿ Prometheus ಮತ್ತು Etcd ಪಾಡ್ ಲಾಗ್‌ಗಳಿಗಾಗಿ ಲೋಕಿಯಿಂದ ಡೇಟಾವನ್ನು ತೋರಿಸುವ ಉದಾಹರಣೆ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಕೆಳಗೆ ಇದೆ.

ಈಗ ಎರಡೂ ವ್ಯವಸ್ಥೆಗಳ ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಚರ್ಚಿಸೋಣ ಮತ್ತು ಅವುಗಳ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಪರಸ್ಪರ ಹೋಲಿಕೆ ಮಾಡೋಣ.

ಹೋಲಿಕೆ

ಪ್ರಶ್ನೆ ಭಾಷೆ

Elasticsearch ಪೂರ್ಣ-ಪಠ್ಯ ಹುಡುಕಾಟ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಒದಗಿಸಲು Query DSL ಮತ್ತು Lucene ಪ್ರಶ್ನೆ ಭಾಷೆಯನ್ನು ಬಳಸುತ್ತದೆ. ಇದು ವಿಶಾಲವಾದ ಆಪರೇಟರ್ ಬೆಂಬಲದೊಂದಿಗೆ ಸ್ಥಾಪಿತವಾದ, ಶಕ್ತಿಯುತ ಸರ್ಚ್ ಎಂಜಿನ್ ಆಗಿದೆ. ಇದರೊಂದಿಗೆ, ನೀವು ಸಂದರ್ಭದ ಮೂಲಕ ಹುಡುಕಬಹುದು ಮತ್ತು ಪ್ರಸ್ತುತತೆಯಿಂದ ವಿಂಗಡಿಸಬಹುದು.

ರಿಂಗ್‌ನ ಇನ್ನೊಂದು ಬದಿಯಲ್ಲಿ LogQL ಇದೆ, ಇದನ್ನು ಲೋಕಿಯಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ, ಇದು PromQL ನ ಉತ್ತರಾಧಿಕಾರಿಯಾಗಿದೆ (ಪ್ರಮೀತಿಯಸ್ ಪ್ರಶ್ನೆ ಭಾಷೆ). ಇದು ಲಾಗ್ ಡೇಟಾವನ್ನು ಫಿಲ್ಟರ್ ಮಾಡಲು ಮತ್ತು ಆಯ್ಕೆ ಮಾಡಲು ಲಾಗ್ ಟ್ಯಾಗ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. ವಿವರಿಸಿದಂತೆ ಕೆಲವು ನಿರ್ವಾಹಕರು ಮತ್ತು ಅಂಕಗಣಿತವನ್ನು ಬಳಸಲು ಸಾಧ್ಯವಿದೆ ಇಲ್ಲಿ, ಆದರೆ ಸಾಮರ್ಥ್ಯಗಳ ವಿಷಯದಲ್ಲಿ ಇದು ಸ್ಥಿತಿಸ್ಥಾಪಕ ಭಾಷೆಗಿಂತ ಹಿಂದುಳಿದಿದೆ.

ಲೋಕಿಯಲ್ಲಿನ ಪ್ರಶ್ನೆಗಳು ಟ್ಯಾಗ್‌ಗಳೊಂದಿಗೆ ಸಂಯೋಜಿತವಾಗಿರುವುದರಿಂದ, ಅವು ಮೆಟ್ರಿಕ್‌ಗಳೊಂದಿಗೆ ಪರಸ್ಪರ ಸಂಬಂಧ ಹೊಂದಲು ಸುಲಭವಾಗಿದೆ ಮತ್ತು ಪರಿಣಾಮವಾಗಿ, ಅವು ಕಾರ್ಯಾಚರಣೆಯ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಸಂಘಟಿಸಲು ಸುಲಭವಾಗಿದೆ.

ಸ್ಕೇಲೆಬಿಲಿಟಿ

ಎರಡೂ ಸ್ಟ್ಯಾಕ್‌ಗಳು ಅಡ್ಡಲಾಗಿ ಸ್ಕೇಲೆಬಲ್ ಆಗಿರುತ್ತವೆ, ಆದರೆ ಲೋಕಿ ಅದನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತದೆ ಏಕೆಂದರೆ ಇದು ಪ್ರತ್ಯೇಕ ಓದುವ ಮತ್ತು ಬರೆಯುವ ಮಾರ್ಗಗಳು ಮತ್ತು ಮೈಕ್ರೋಸರ್ವೀಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಹೊಂದಿದೆ. ಲೋಕಿ ನಿಮ್ಮ ಅಗತ್ಯಗಳಿಗೆ ಸರಿಹೊಂದುವಂತೆ ಕಸ್ಟಮೈಸ್ ಮಾಡಬಹುದು ಮತ್ತು ಲಾಗ್ ಡೇಟಾದ ದೊಡ್ಡ ಪರಿಮಾಣಗಳಿಗೆ ಬಳಸಬಹುದು.

ಬಹುತ್ವ

OPEX ಸಂಕ್ಷೇಪಣದಲ್ಲಿ ಕ್ಲಸ್ಟರ್ ಮಲ್ಟಿಟೆನೆನ್ಸಿ ಒಂದು ಸಾಮಾನ್ಯ ವಿಷಯವಾಗಿದೆ, ಎರಡೂ ಸ್ಟ್ಯಾಕ್‌ಗಳು ಮಲ್ಟಿಟೆನೆನ್ಸಿಯನ್ನು ಒದಗಿಸುತ್ತವೆ. ಸ್ಥಿತಿಸ್ಥಾಪಕ ಹುಡುಕಾಟಕ್ಕಾಗಿ ಹಲವಾರು ಇವೆ ಮಾರ್ಗಗಳು ಕ್ಲೈಂಟ್ ಪ್ರತ್ಯೇಕತೆ: ಪ್ರತಿ ಕ್ಲೈಂಟ್‌ಗೆ ಪ್ರತ್ಯೇಕ ಸೂಚ್ಯಂಕ, ಕ್ಲೈಂಟ್ ಆಧಾರಿತ ರೂಟಿಂಗ್, ಅನನ್ಯ ಕ್ಲೈಂಟ್ ಕ್ಷೇತ್ರಗಳು, ಹುಡುಕಾಟ ಫಿಲ್ಟರ್‌ಗಳು. ಲೋಕಿ ಹೊಂದಿದ್ದಾರೆ ಬೆಂಬಲ HTTP X-Scope-OrgID ಹೆಡರ್ ರೂಪದಲ್ಲಿ.

ವೆಚ್ಚ

ಲೋಕಿಯು ದತ್ತಾಂಶವನ್ನು ಸೂಚ್ಯಂಕ ಮಾಡುವುದಿಲ್ಲ, ಕೇವಲ ಮೆಟಾಡೇಟಾದ ಕಾರಣದಿಂದ ಸಾಕಷ್ಟು ವೆಚ್ಚದಾಯಕವಾಗಿದೆ. ಇದು ಸಾಧಿಸುತ್ತದೆ ಸಂಗ್ರಹಣೆಯಲ್ಲಿ ಉಳಿತಾಯ ಮತ್ತು ಮೆಮೊರಿ (ಸಂಗ್ರಹ), ಏಕೆಂದರೆ ವಸ್ತು ಸಂಗ್ರಹಣೆಯು ಬ್ಲಾಕ್ ಸ್ಟೋರೇಜ್‌ಗಿಂತ ಅಗ್ಗವಾಗಿದೆ, ಇದನ್ನು Elasticsearch ಕ್ಲಸ್ಟರ್‌ಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ.

ತೀರ್ಮಾನಕ್ಕೆ

EFK ಸ್ಟಾಕ್ ಅನ್ನು ವಿವಿಧ ಉದ್ದೇಶಗಳಿಗಾಗಿ ಬಳಸಬಹುದು, ಇದು ಗರಿಷ್ಠ ನಮ್ಯತೆ ಮತ್ತು ವಿಶ್ಲೇಷಣೆ, ದೃಶ್ಯೀಕರಣ ಮತ್ತು ಪ್ರಶ್ನೆಗಳಿಗೆ ವೈಶಿಷ್ಟ್ಯ-ಸಮೃದ್ಧವಾದ ಕಿಬಾನಾ ಇಂಟರ್ಫೇಸ್ ಅನ್ನು ಒದಗಿಸುತ್ತದೆ. ಯಂತ್ರ ಕಲಿಕೆಯ ಸಾಮರ್ಥ್ಯಗಳಿಂದ ಇದನ್ನು ಇನ್ನಷ್ಟು ಹೆಚ್ಚಿಸಬಹುದು.

ಲೋಕಿ ಸ್ಟಾಕ್ ಅದರ ಮೆಟಾಡೇಟಾ ಅನ್ವೇಷಣೆಯ ಕಾರ್ಯವಿಧಾನದ ಕಾರಣದಿಂದಾಗಿ ಕುಬರ್ನೆಟ್ಸ್ ಪರಿಸರ ವ್ಯವಸ್ಥೆಯಲ್ಲಿ ಉಪಯುಕ್ತವಾಗಿದೆ. ಗ್ರಾಫಾನಾ ಮತ್ತು ಲಾಗ್‌ಗಳಲ್ಲಿನ ಸಮಯದ ಸರಣಿಯ ಆಧಾರದ ಮೇಲೆ ನೀವು ಮೇಲ್ವಿಚಾರಣೆಗಾಗಿ ಡೇಟಾವನ್ನು ಸುಲಭವಾಗಿ ಪರಸ್ಪರ ಸಂಬಂಧಿಸಬಹುದು.

ವೆಚ್ಚ ಮತ್ತು ದೀರ್ಘಾವಧಿಯ ಲಾಗ್ ಸಂಗ್ರಹಣೆಗೆ ಬಂದಾಗ, ಲೋಕಿ ಕ್ಲೌಡ್ ಪರಿಹಾರಗಳಿಗೆ ಅತ್ಯುತ್ತಮ ಪ್ರವೇಶ ಬಿಂದುವಾಗಿದೆ.

ಮಾರುಕಟ್ಟೆಯಲ್ಲಿ ಹೆಚ್ಚಿನ ಪರ್ಯಾಯಗಳಿವೆ - ಕೆಲವು ನಿಮಗೆ ಉತ್ತಮವಾಗಬಹುದು. ಉದಾಹರಣೆಗೆ, GKE ಅತ್ಯುತ್ತಮವಾದ ಮೇಲ್ವಿಚಾರಣಾ ಪರಿಹಾರವನ್ನು ಒದಗಿಸುವ Stackdriver ಏಕೀಕರಣವನ್ನು ಹೊಂದಿದೆ. ಈ ಲೇಖನದಲ್ಲಿ ನಮ್ಮ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ ನಾವು ಅವುಗಳನ್ನು ಸೇರಿಸಲಿಲ್ಲ.

ಉಲ್ಲೇಖಗಳು:

• https://github.com/grafana/loki/blob/master/docs/overview/comparisons.md
• https://www.elastic.co/blog/found-elasticsearch-from-the-bottom-up
• https://www.elastic.co/blog/found-elasticsearch-in-production/

ಲೇಖನವನ್ನು ಉದ್ಯೋಗಿಗಳಿಂದ ಹಬ್ರ್‌ಗಾಗಿ ಅನುವಾದಿಸಲಾಗಿದೆ ಮತ್ತು ಸಿದ್ಧಪಡಿಸಲಾಗಿದೆ ಸ್ಲರ್ಮ್ ತರಬೇತಿ ಕೇಂದ್ರ - ತೀವ್ರವಾದ ಕೋರ್ಸ್‌ಗಳು, ವೀಡಿಯೊ ಕೋರ್ಸ್‌ಗಳು ಮತ್ತು ಅಭ್ಯಾಸ ಮಾಡುವ ತಜ್ಞರಿಂದ ಕಾರ್ಪೊರೇಟ್ ತರಬೇತಿ (ಕುಬರ್ನೆಟ್ಸ್, ಡೆವೊಪ್ಸ್, ಡಾಕರ್, ಅನ್ಸಿಬಲ್, ಸೆಫ್, ಎಸ್‌ಆರ್‌ಇ, ಅಗೈಲ್)

ಮೂಲ: www.habr.com