ನರ ನೆಟ್‌ವರ್ಕ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ ಗೋಚರಿಸುವಿಕೆಯ ಮೌಲ್ಯಮಾಪನಕ್ಕಾಗಿ ಸೇವಾ ವಾಸ್ತುಶಿಲ್ಪದ ಸಾಮಾನ್ಯ ಅವಲೋಕನ

ಪ್ರವೇಶ

ಹಾಯ್!

ಈ ಲೇಖನದಲ್ಲಿ ನಾನು ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಪ್ರಾಜೆಕ್ಟ್‌ಗಾಗಿ ಮೈಕ್ರೊ ಸರ್ವಿಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ನಿರ್ಮಿಸುವ ನನ್ನ ಅನುಭವವನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತೇನೆ.

ವಾಸ್ತುಶಿಲ್ಪದ ಅವಶ್ಯಕತೆಗಳ ಬಗ್ಗೆ ಮಾತನಾಡೋಣ, ವಿವಿಧ ರಚನಾತ್ಮಕ ರೇಖಾಚಿತ್ರಗಳನ್ನು ನೋಡೋಣ, ಸಿದ್ಧಪಡಿಸಿದ ವಾಸ್ತುಶಿಲ್ಪದ ಪ್ರತಿಯೊಂದು ಘಟಕಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿ ಮತ್ತು ಪರಿಹಾರದ ತಾಂತ್ರಿಕ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ಸಹ ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ.

ಓದುವುದನ್ನು ಆನಂದಿಸಿ!

ಸಮಸ್ಯೆ ಮತ್ತು ಅದರ ಪರಿಹಾರದ ಬಗ್ಗೆ ಕೆಲವು ಪದಗಳು

ಫೋಟೋವನ್ನು ಆಧರಿಸಿ ಹತ್ತು-ಪಾಯಿಂಟ್ ಪ್ರಮಾಣದಲ್ಲಿ ವ್ಯಕ್ತಿಯ ಆಕರ್ಷಣೆಯನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುವುದು ಮುಖ್ಯ ಆಲೋಚನೆಯಾಗಿದೆ.

ಈ ಲೇಖನದಲ್ಲಿ ನಾವು ಬಳಸಿದ ನರ ನೆಟ್‌ವರ್ಕ್‌ಗಳು ಮತ್ತು ಡೇಟಾ ತಯಾರಿಕೆ ಮತ್ತು ತರಬೇತಿಯ ಪ್ರಕ್ರಿಯೆ ಎರಡನ್ನೂ ವಿವರಿಸುವುದರಿಂದ ದೂರ ಹೋಗುತ್ತೇವೆ. ಆದಾಗ್ಯೂ, ಕೆಳಗಿನ ಪ್ರಕಟಣೆಗಳಲ್ಲಿ ಒಂದರಲ್ಲಿ, ನಾವು ಖಂಡಿತವಾಗಿಯೂ ಆಳವಾದ ಮಟ್ಟದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಹಿಂತಿರುಗುತ್ತೇವೆ.

ಈಗ ನಾವು ಉನ್ನತ ಮಟ್ಟದಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಹೋಗುತ್ತೇವೆ ಮತ್ತು ಒಟ್ಟಾರೆ ಪ್ರಾಜೆಕ್ಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಸಂದರ್ಭದಲ್ಲಿ ಮೈಕ್ರೊ ಸರ್ವೀಸ್‌ಗಳ ಪರಸ್ಪರ ಕ್ರಿಯೆಯ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತೇವೆ. 

ಆಕರ್ಷಣೆಯ ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್‌ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವಾಗ, ಕಾರ್ಯವನ್ನು ಈ ಕೆಳಗಿನ ಘಟಕಗಳಾಗಿ ವಿಭಜಿಸಲಾಗಿದೆ:

1. ಫೋಟೋಗಳಲ್ಲಿ ಮುಖಗಳನ್ನು ಆಯ್ಕೆಮಾಡುವುದು
2. ಪ್ರತಿ ವ್ಯಕ್ತಿಯ ರೇಟಿಂಗ್
3. ಫಲಿತಾಂಶವನ್ನು ನಿರೂಪಿಸಿ

ಮೊದಲನೆಯದು ಪೂರ್ವ-ತರಬೇತಿ ಪಡೆದ ಪಡೆಗಳಿಂದ ಪರಿಹರಿಸಲ್ಪಡುತ್ತದೆ MTCNN. ಎರಡನೆಯದಕ್ಕೆ, ಪೈಟೋರ್ಚ್‌ನಲ್ಲಿ ಕನ್ವಲ್ಯೂಷನಲ್ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಅನ್ನು ಬಳಸಿ ತರಬೇತಿ ನೀಡಲಾಯಿತು ResNet34 - ಸಮತೋಲನದಿಂದ "ಗುಣಮಟ್ಟ / ಸಿಪಿಯುನಲ್ಲಿನ ನಿರ್ಣಯದ ವೇಗ"

ಮೌಲ್ಯಮಾಪನ ಪೈಪ್ಲೈನ್ನ ಕ್ರಿಯಾತ್ಮಕ ರೇಖಾಚಿತ್ರ

ಪ್ರಾಜೆಕ್ಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅವಶ್ಯಕತೆಗಳ ವಿಶ್ಲೇಷಣೆ

ಜೀವನ ಚಕ್ರದಲ್ಲಿ ML ಮಾದರಿ ನಿಯೋಜನೆಯ ವಾಸ್ತುಶಿಲ್ಪ ಮತ್ತು ಯಾಂತ್ರೀಕೃತಗೊಂಡ ಕೆಲಸದ ಯೋಜನೆಯ ಹಂತಗಳು ಹೆಚ್ಚಾಗಿ ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುವ ಮತ್ತು ಸಂಪನ್ಮೂಲ-ಸೇವಿಸುವವುಗಳಾಗಿವೆ.

ML ಯೋಜನೆಯ ಜೀವನ ಚಕ್ರ

ಈ ಯೋಜನೆಯು ಇದಕ್ಕೆ ಹೊರತಾಗಿಲ್ಲ - ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಆನ್‌ಲೈನ್ ಸೇವೆಗೆ ಸುತ್ತುವ ನಿರ್ಧಾರವನ್ನು ತೆಗೆದುಕೊಳ್ಳಲಾಗಿದೆ, ಇದು ವಾಸ್ತುಶಿಲ್ಪದಲ್ಲಿ ನಮ್ಮನ್ನು ಮುಳುಗಿಸುವ ಅಗತ್ಯವಿದೆ. ಕೆಳಗಿನ ಮೂಲಭೂತ ಅವಶ್ಯಕತೆಗಳನ್ನು ಗುರುತಿಸಲಾಗಿದೆ:

1. ಏಕೀಕೃತ ಲಾಗ್ ಸಂಗ್ರಹಣೆ - ಎಲ್ಲಾ ಸೇವೆಗಳು ಒಂದೇ ಸ್ಥಳದಲ್ಲಿ ದಾಖಲೆಗಳನ್ನು ಬರೆಯಬೇಕು, ಅವುಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಅನುಕೂಲಕರವಾಗಿರಬೇಕು
2. ಮೌಲ್ಯಮಾಪನ ಸೇವೆಯ ಸಮತಲ ಸ್ಕೇಲಿಂಗ್ ಸಾಧ್ಯತೆ - ಹೆಚ್ಚಾಗಿ ಅಡಚಣೆಯಾಗಿದೆ
3. ಪ್ರತಿ ಚಿತ್ರವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲು ಅದೇ ಪ್ರಮಾಣದ ಪ್ರೊಸೆಸರ್ ಸಂಪನ್ಮೂಲಗಳನ್ನು ಹಂಚಬೇಕು, ಇದು ನಿರ್ಣಯಕ್ಕಾಗಿ ಸಮಯದ ವಿತರಣೆಯಲ್ಲಿ ಹೊರಗಿನವರನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.
4. ನಿರ್ದಿಷ್ಟ ಸೇವೆಗಳು ಮತ್ತು ಒಟ್ಟಾರೆಯಾಗಿ ಸ್ಟಾಕ್ ಎರಡರ ವೇಗದ (ಮರು) ನಿಯೋಜನೆ
5. ಅಗತ್ಯವಿದ್ದರೆ, ವಿವಿಧ ಸೇವೆಗಳಲ್ಲಿ ಸಾಮಾನ್ಯ ವಸ್ತುಗಳನ್ನು ಬಳಸುವ ಸಾಮರ್ಥ್ಯ

ವಾಸ್ತುಶಿಲ್ಪ

ಅವಶ್ಯಕತೆಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಿದ ನಂತರ, ಮೈಕ್ರೊ ಸರ್ವಿಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಬಹುತೇಕ ಸಂಪೂರ್ಣವಾಗಿ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ ಎಂಬುದು ಸ್ಪಷ್ಟವಾಯಿತು.

ಅನಗತ್ಯ ತಲೆನೋವು ತೊಡೆದುಹಾಕಲು, ಟೆಲಿಗ್ರಾಮ್ API ಅನ್ನು ಮುಂಭಾಗವಾಗಿ ಆಯ್ಕೆ ಮಾಡಲಾಗಿದೆ.

ಮೊದಲಿಗೆ, ಸಿದ್ಧಪಡಿಸಿದ ವಾಸ್ತುಶಿಲ್ಪದ ರಚನಾತ್ಮಕ ರೇಖಾಚಿತ್ರವನ್ನು ನೋಡೋಣ, ನಂತರ ಪ್ರತಿಯೊಂದು ಘಟಕಗಳ ವಿವರಣೆಗೆ ಮುಂದುವರಿಯಿರಿ ಮತ್ತು ಯಶಸ್ವಿ ಇಮೇಜ್ ಸಂಸ್ಕರಣೆಯ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಸಹ ಔಪಚಾರಿಕವಾಗಿಸೋಣ.

ಸಿದ್ಧಪಡಿಸಿದ ವಾಸ್ತುಶಿಲ್ಪದ ರಚನಾತ್ಮಕ ರೇಖಾಚಿತ್ರ

ರೇಖಾಚಿತ್ರದ ಪ್ರತಿಯೊಂದು ಅಂಶಗಳ ಬಗ್ಗೆ ಹೆಚ್ಚು ವಿವರವಾಗಿ ಮಾತನಾಡೋಣ, ಅವುಗಳನ್ನು ಚಿತ್ರ ಮೌಲ್ಯಮಾಪನ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಏಕ ಜವಾಬ್ದಾರಿ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಮೈಕ್ರೋ ಸರ್ವಿಸ್ "ಅಟ್ರೈ-ಟೆಲಿಗ್ರಾಮ್-ಬೋಟ್"

ಈ ಮೈಕ್ರೊ ಸರ್ವಿಸ್ ಟೆಲಿಗ್ರಾಮ್ API ನೊಂದಿಗೆ ಎಲ್ಲಾ ಸಂವಹನಗಳನ್ನು ಒಳಗೊಂಡಿದೆ. 2 ಮುಖ್ಯ ಸನ್ನಿವೇಶಗಳಿವೆ: ಕಸ್ಟಮ್ ಇಮೇಜ್‌ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದು ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್‌ನ ಫಲಿತಾಂಶದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದು. ಸಾಮಾನ್ಯ ಪರಿಭಾಷೆಯಲ್ಲಿ ಎರಡೂ ಸನ್ನಿವೇಶಗಳನ್ನು ನೋಡೋಣ.

ಚಿತ್ರದೊಂದಿಗೆ ಕಸ್ಟಮ್ ಸಂದೇಶವನ್ನು ಸ್ವೀಕರಿಸುವಾಗ:

1. ಕೆಳಗಿನ ತಪಾಸಣೆಗಳನ್ನು ಒಳಗೊಂಡಿರುವ ಶೋಧನೆಯನ್ನು ನಡೆಸಲಾಗುತ್ತದೆ:
   • ಅತ್ಯುತ್ತಮ ಚಿತ್ರದ ಗಾತ್ರದ ಲಭ್ಯತೆ
   • ಈಗಾಗಲೇ ಸರದಿಯಲ್ಲಿರುವ ಬಳಕೆದಾರರ ಚಿತ್ರಗಳ ಸಂಖ್ಯೆ
2. ಆರಂಭಿಕ ಫಿಲ್ಟರಿಂಗ್ ಅನ್ನು ಹಾದುಹೋಗುವಾಗ, ಚಿತ್ರವನ್ನು ಡಾಕರ್ ಪರಿಮಾಣದಲ್ಲಿ ಉಳಿಸಲಾಗುತ್ತದೆ
3. "to_estimate" ಸರದಿಯಲ್ಲಿ ಕಾರ್ಯವನ್ನು ಉತ್ಪಾದಿಸಲಾಗುತ್ತದೆ, ಇದು ಇತರ ವಿಷಯಗಳ ಜೊತೆಗೆ, ನಮ್ಮ ಪರಿಮಾಣದಲ್ಲಿರುವ ಚಿತ್ರದ ಮಾರ್ಗವನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ
4. ಮೇಲಿನ ಹಂತಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಪೂರ್ಣಗೊಳಿಸಿದರೆ, ಬಳಕೆದಾರರು ಅಂದಾಜು ಇಮೇಜ್ ಪ್ರೊಸೆಸಿಂಗ್ ಸಮಯದೊಂದಿಗೆ ಸಂದೇಶವನ್ನು ಸ್ವೀಕರಿಸುತ್ತಾರೆ, ಇದನ್ನು ಸರದಿಯಲ್ಲಿರುವ ಕಾರ್ಯಗಳ ಸಂಖ್ಯೆಯನ್ನು ಆಧರಿಸಿ ಲೆಕ್ಕಹಾಕಲಾಗುತ್ತದೆ. ದೋಷ ಸಂಭವಿಸಿದಲ್ಲಿ, ಏನು ತಪ್ಪಾಗಿದೆ ಎಂಬುದರ ಕುರಿತು ಮಾಹಿತಿಯೊಂದಿಗೆ ಸಂದೇಶವನ್ನು ಕಳುಹಿಸುವ ಮೂಲಕ ಬಳಕೆದಾರರಿಗೆ ಸ್ಪಷ್ಟವಾಗಿ ತಿಳಿಸಲಾಗುತ್ತದೆ.

ಅಲ್ಲದೆ, ಈ ಮೈಕ್ರೊ ಸರ್ವಿಸ್, ಸೆಲರಿ ಕೆಲಸಗಾರನಂತೆ, "ಆಫ್ಟರ್_ಎಸ್ಟಿಮೇಟ್" ಕ್ಯೂ ಅನ್ನು ಕೇಳುತ್ತದೆ, ಇದು ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಹಾದುಹೋಗುವ ಕಾರ್ಯಗಳಿಗಾಗಿ ಉದ್ದೇಶಿಸಲಾಗಿದೆ.

"after_estimate" ನಿಂದ ಹೊಸ ಕಾರ್ಯವನ್ನು ಸ್ವೀಕರಿಸುವಾಗ:

1. ಚಿತ್ರವನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿದರೆ, ನಾವು ಫಲಿತಾಂಶವನ್ನು ಬಳಕೆದಾರರಿಗೆ ಕಳುಹಿಸುತ್ತೇವೆ; ಇಲ್ಲದಿದ್ದರೆ, ದೋಷದ ಬಗ್ಗೆ ನಾವು ಸೂಚಿಸುತ್ತೇವೆ.
2. ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್‌ನ ಫಲಿತಾಂಶದ ಚಿತ್ರವನ್ನು ತೆಗೆದುಹಾಕಲಾಗುತ್ತಿದೆ

ಮೌಲ್ಯಮಾಪನ ಮೈಕ್ರೋ ಸರ್ವಿಸ್ "ಅಟ್ರೈ-ಎಸ್ಟಿಮೇಟರ್"

ಈ ಮೈಕ್ರೊ ಸರ್ವಿಸ್ ಸೆಲರಿ ಕೆಲಸಗಾರ ಮತ್ತು ಇಮೇಜ್ ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್‌ಗೆ ಸಂಬಂಧಿಸಿದ ಎಲ್ಲವನ್ನೂ ಆವರಿಸುತ್ತದೆ. ಇಲ್ಲಿ ಕೇವಲ ಒಂದು ಕಾರ್ಯ ಅಲ್ಗಾರಿದಮ್ ಇದೆ - ಅದನ್ನು ವಿಶ್ಲೇಷಿಸೋಣ.

"to_estimate" ನಿಂದ ಹೊಸ ಕಾರ್ಯವನ್ನು ಸ್ವೀಕರಿಸುವಾಗ:

1. ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಚಿತ್ರವನ್ನು ರನ್ ಮಾಡೋಣ:
   1. ಚಿತ್ರವನ್ನು ಮೆಮೊರಿಗೆ ಲೋಡ್ ಮಾಡಲಾಗುತ್ತಿದೆ
   2. ನಾವು ಚಿತ್ರವನ್ನು ಅಗತ್ಯವಿರುವ ಗಾತ್ರಕ್ಕೆ ತರುತ್ತೇವೆ
   3. ಎಲ್ಲಾ ಮುಖಗಳನ್ನು ಕಂಡುಹಿಡಿಯುವುದು (MTCNN)
   4. ನಾವು ಎಲ್ಲಾ ಮುಖಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತೇವೆ (ಕೊನೆಯ ಹಂತದಲ್ಲಿ ಕಂಡುಬರುವ ಮುಖಗಳನ್ನು ನಾವು ಬ್ಯಾಚ್‌ಗೆ ಸುತ್ತಿಕೊಳ್ಳುತ್ತೇವೆ ಮತ್ತು ResNet34 ಅನ್ನು ನಿರ್ಣಯಿಸುತ್ತೇವೆ)
   5. ಅಂತಿಮ ಚಿತ್ರವನ್ನು ನಿರೂಪಿಸಿ
      1. ಬೌಂಡಿಂಗ್ ಪೆಟ್ಟಿಗೆಗಳನ್ನು ಸೆಳೆಯೋಣ
      2. ರೇಟಿಂಗ್‌ಗಳನ್ನು ಚಿತ್ರಿಸುವುದು
2. ಕಸ್ಟಮ್ (ಮೂಲ) ಚಿತ್ರವನ್ನು ಅಳಿಸಲಾಗುತ್ತಿದೆ
3. ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್‌ನಿಂದ ಔಟ್‌ಪುಟ್ ಅನ್ನು ಉಳಿಸಲಾಗುತ್ತಿದೆ
4. ನಾವು ಕಾರ್ಯವನ್ನು "ಆಫ್ಟರ್_ಎಸ್ಟಿಮೇಟ್" ಕ್ಯೂನಲ್ಲಿ ಇರಿಸಿದ್ದೇವೆ, ಇದನ್ನು ಮೇಲೆ ಚರ್ಚಿಸಿದ "ಅಟ್ರೈ-ಟೆಲಿಗ್ರಾಮ್-ಬೋಟ್" ಮೈಕ್ರೊ ಸರ್ವಿಸ್ ಆಲಿಸುತ್ತದೆ.

ಗ್ರೇಲಾಗ್ (+ ಮೊಂಗೋಡಿಬಿ + ಸ್ಥಿತಿಸ್ಥಾಪಕ ಹುಡುಕಾಟ)

ಗ್ರೇಲಾಗ್ ಕೇಂದ್ರೀಕೃತ ಲಾಗ್ ನಿರ್ವಹಣೆಗೆ ಪರಿಹಾರವಾಗಿದೆ. ಈ ಯೋಜನೆಯಲ್ಲಿ, ಅದರ ಉದ್ದೇಶಿತ ಉದ್ದೇಶಕ್ಕಾಗಿ ಇದನ್ನು ಬಳಸಲಾಯಿತು.

ಆಯ್ಕೆಯು ಅವನ ಮೇಲೆ ಬಿದ್ದಿತು, ಮತ್ತು ಸಾಮಾನ್ಯವಾದ ಮೇಲೆ ಅಲ್ಲ ELK ಸ್ಟ್ಯಾಕ್, ಪೈಥಾನ್‌ನಿಂದ ಅದರೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವ ಅನುಕೂಲಕ್ಕಾಗಿ. GELFTCPHandler ಅನ್ನು ಪ್ಯಾಕೇಜ್‌ನಿಂದ ಸೇರಿಸುವುದು ಮಾತ್ರ ಗ್ರೇಲಾಗ್‌ಗೆ ಲಾಗ್ ಮಾಡಲು ನೀವು ಮಾಡಬೇಕಾಗಿರುವುದು ಬೂದುಬಣ್ಣದ ನಮ್ಮ ಪೈಥಾನ್ ಮೈಕ್ರೋ ಸರ್ವೀಸ್‌ನ ಉಳಿದ ರೂಟ್ ಲಾಗರ್ ಹ್ಯಾಂಡ್ಲರ್‌ಗಳಿಗೆ.

ಈ ಹಿಂದೆ ELK ಸ್ಟಾಕ್‌ನೊಂದಿಗೆ ಮಾತ್ರ ಕೆಲಸ ಮಾಡಿದ ವ್ಯಕ್ತಿಯಾಗಿ, ಗ್ರೇಲಾಗ್‌ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವಾಗ ನಾನು ಒಟ್ಟಾರೆ ಸಕಾರಾತ್ಮಕ ಅನುಭವವನ್ನು ಹೊಂದಿದ್ದೇನೆ. ಗ್ರೇಲಾಗ್ ವೆಬ್ ಇಂಟರ್‌ಫೇಸ್‌ಗಿಂತ ಕಿಬಾನಾ ವೈಶಿಷ್ಟ್ಯಗಳಲ್ಲಿನ ಶ್ರೇಷ್ಠತೆಯು ಖಿನ್ನತೆಯನ್ನು ಉಂಟುಮಾಡುವ ಏಕೈಕ ವಿಷಯವಾಗಿದೆ.

ಮೊಲ ಎಂಕ್ಯೂ

ಮೊಲ ಎಂಕ್ಯೂ AMQP ಪ್ರೋಟೋಕಾಲ್ ಆಧಾರಿತ ಸಂದೇಶ ಬ್ರೋಕರ್ ಆಗಿದೆ.

ಈ ಯೋಜನೆಯಲ್ಲಿ ಇದನ್ನು ಬಳಸಲಾಗಿದೆ ಅತ್ಯಂತ ಸ್ಥಿರ ಮತ್ತು ಸಮಯ-ಪರೀಕ್ಷಿತ ಸೆಲರಿಗಾಗಿ ಬ್ರೋಕರ್ ಮತ್ತು ಬಾಳಿಕೆ ಬರುವ ಮೋಡ್‌ನಲ್ಲಿ ಕೆಲಸ ಮಾಡಿದರು.

ಕೆಂಪು

ಕೆಂಪು ಪ್ರಮುಖ ಮೌಲ್ಯದ ಡೇಟಾ ರಚನೆಗಳೊಂದಿಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುವ NoSQL DBMS ಆಗಿದೆ

ಕೆಲವೊಮ್ಮೆ ವಿವಿಧ ಪೈಥಾನ್ ಮೈಕ್ರೋಸರ್ವಿಸ್‌ಗಳಲ್ಲಿ ಕೆಲವು ಡೇಟಾ ರಚನೆಗಳನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಸಾಮಾನ್ಯ ವಸ್ತುಗಳನ್ನು ಬಳಸುವ ಅವಶ್ಯಕತೆಯಿದೆ.

ಉದಾಹರಣೆಗೆ, ರೆಡಿಸ್ "telegram_user_id => ಸರದಿಯಲ್ಲಿರುವ ಸಕ್ರಿಯ ಕಾರ್ಯಗಳ ಸಂಖ್ಯೆ" ಫಾರ್ಮ್‌ನ ಹ್ಯಾಶ್‌ಮ್ಯಾಪ್ ಅನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ, ಇದು ಒಬ್ಬ ಬಳಕೆದಾರರಿಂದ ವಿನಂತಿಗಳ ಸಂಖ್ಯೆಯನ್ನು ನಿರ್ದಿಷ್ಟ ಮೌಲ್ಯಕ್ಕೆ ಮಿತಿಗೊಳಿಸಲು ಮತ್ತು ಆ ಮೂಲಕ DoS ದಾಳಿಯನ್ನು ತಡೆಯಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.

ಯಶಸ್ವಿ ಚಿತ್ರ ಸಂಸ್ಕರಣೆಯ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಔಪಚಾರಿಕಗೊಳಿಸೋಣ

1. ಬಳಕೆದಾರರು ಟೆಲಿಗ್ರಾಮ್ ಬೋಟ್‌ಗೆ ಚಿತ್ರವನ್ನು ಕಳುಹಿಸುತ್ತಾರೆ
2. "attrai-telegram-bot" ಟೆಲಿಗ್ರಾಮ್ API ನಿಂದ ಸಂದೇಶವನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಪಾರ್ಸ್ ಮಾಡುತ್ತದೆ
3. ಚಿತ್ರದೊಂದಿಗಿನ ಕಾರ್ಯವನ್ನು ಅಸಮಕಾಲಿಕ ಸರತಿಗೆ ಸೇರಿಸಲಾಗುತ್ತದೆ “to_estimate”
4. ಯೋಜಿತ ಮೌಲ್ಯಮಾಪನ ಸಮಯದೊಂದಿಗೆ ಬಳಕೆದಾರರು ಸಂದೇಶವನ್ನು ಸ್ವೀಕರಿಸುತ್ತಾರೆ
5. "ಅಟ್ರೈ-ಎಸ್ಟಿಮೇಟರ್" "ಟು_ಎಸ್ಟಿಮೇಟ್" ಸರದಿಯಿಂದ ಕಾರ್ಯವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಪೈಪ್‌ಲೈನ್ ಮೂಲಕ ಅಂದಾಜುಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಕಾರ್ಯವನ್ನು "ಆಫ್ಟರ್_ಎಸ್ಟಿಮೇಟ್" ಕ್ಯೂಗೆ ಉತ್ಪಾದಿಸುತ್ತದೆ
6. "attrai-telegram-bot" "ಆಫ್ಟರ್_ಎಸ್ಟಿಮೇಟ್" ಸರದಿಯನ್ನು ಕೇಳುತ್ತದೆ, ಫಲಿತಾಂಶವನ್ನು ಬಳಕೆದಾರರಿಗೆ ಕಳುಹಿಸುತ್ತದೆ

DevOps

ಅಂತಿಮವಾಗಿ, ವಾಸ್ತುಶಿಲ್ಪವನ್ನು ಪರಿಶೀಲಿಸಿದ ನಂತರ, ನೀವು ಅಷ್ಟೇ ಆಸಕ್ತಿದಾಯಕ ಭಾಗಕ್ಕೆ ಹೋಗಬಹುದು - DevOps

ಡಾಕರ್ ಸ್ವಾರ್ಮ್

 

ಡಾಕರ್ ಸ್ವಾರ್ಮ್  — ಕ್ಲಸ್ಟರಿಂಗ್ ಸಿಸ್ಟಮ್, ಅದರ ಕಾರ್ಯವನ್ನು ಡಾಕರ್ ಇಂಜಿನ್‌ನಲ್ಲಿ ಅಳವಡಿಸಲಾಗಿದೆ ಮತ್ತು ಬಾಕ್ಸ್‌ನ ಹೊರಗೆ ಲಭ್ಯವಿದೆ.

"ಸ್ವರ್ಮ್" ಅನ್ನು ಬಳಸಿ, ನಮ್ಮ ಕ್ಲಸ್ಟರ್ನಲ್ಲಿರುವ ಎಲ್ಲಾ ನೋಡ್ಗಳನ್ನು 2 ವಿಧಗಳಾಗಿ ವಿಂಗಡಿಸಬಹುದು - ಕೆಲಸಗಾರ ಮತ್ತು ವ್ಯವಸ್ಥಾಪಕ. ಮೊದಲ ವಿಧದ ಯಂತ್ರಗಳಲ್ಲಿ, ಕಂಟೇನರ್‌ಗಳ ಗುಂಪುಗಳನ್ನು (ಸ್ಟ್ಯಾಕ್‌ಗಳು) ನಿಯೋಜಿಸಲಾಗಿದೆ, ಎರಡನೇ ಪ್ರಕಾರದ ಯಂತ್ರಗಳು ಸ್ಕೇಲಿಂಗ್, ಬ್ಯಾಲೆನ್ಸಿಂಗ್ ಮತ್ತು ಇತರ ತಂಪಾದ ವೈಶಿಷ್ಟ್ಯಗಳು. ನಿರ್ವಾಹಕರು ಸಹ ಪೂರ್ವನಿಯೋಜಿತವಾಗಿ ಕೆಲಸಗಾರರಾಗಿದ್ದಾರೆ.

ಒಬ್ಬ ಲೀಡರ್ ಮ್ಯಾನೇಜರ್ ಮತ್ತು ಮೂವರು ಕೆಲಸಗಾರರನ್ನು ಹೊಂದಿರುವ ಕ್ಲಸ್ಟರ್

ಕನಿಷ್ಠ ಸಂಭವನೀಯ ಕ್ಲಸ್ಟರ್ ಗಾತ್ರವು 1 ನೋಡ್ ಆಗಿದೆ; ಒಂದೇ ಯಂತ್ರವು ಏಕಕಾಲದಲ್ಲಿ ಲೀಡರ್ ಮ್ಯಾನೇಜರ್ ಮತ್ತು ಕೆಲಸಗಾರನಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಯೋಜನೆಯ ಗಾತ್ರ ಮತ್ತು ದೋಷ ಸಹಿಷ್ಣುತೆಗೆ ಕನಿಷ್ಠ ಅವಶ್ಯಕತೆಗಳನ್ನು ಆಧರಿಸಿ, ಈ ವಿಧಾನವನ್ನು ಬಳಸಲು ನಿರ್ಧರಿಸಲಾಯಿತು.

ಮುಂದೆ ನೋಡುವುದಾದರೆ, ಜೂನ್ ಮಧ್ಯದಲ್ಲಿ ಮೊದಲ ಉತ್ಪಾದನಾ ವಿತರಣೆಯ ನಂತರ, ಈ ಕ್ಲಸ್ಟರ್ ಸಂಸ್ಥೆಯೊಂದಿಗೆ ಯಾವುದೇ ಸಮಸ್ಯೆಗಳಿಲ್ಲ ಎಂದು ನಾನು ಹೇಳುತ್ತೇನೆ (ಆದರೆ ಅಂತಹ ಸಂಸ್ಥೆಯು ಯಾವುದೇ ಮಧ್ಯಮ-ದೊಡ್ಡ ಮಟ್ಟದಲ್ಲಿ ಯಾವುದೇ ರೀತಿಯಲ್ಲಿ ಸ್ವೀಕಾರಾರ್ಹವಾಗಿದೆ ಎಂದು ಇದರ ಅರ್ಥವಲ್ಲ ಯೋಜನೆಗಳು, ದೋಷ ಸಹಿಷ್ಣುತೆಯ ಅವಶ್ಯಕತೆಗಳಿಗೆ ಒಳಪಟ್ಟಿರುತ್ತವೆ).

ಡಾಕರ್ ಸ್ಟಾಕ್

ಸಮೂಹ ಮೋಡ್‌ನಲ್ಲಿ, ಸ್ಟಾಕ್‌ಗಳನ್ನು ನಿಯೋಜಿಸಲು ಅವನು ಜವಾಬ್ದಾರನಾಗಿರುತ್ತಾನೆ (ಡಾಕರ್ ಸೇವೆಗಳ ಸೆಟ್‌ಗಳು) ಡಾಕರ್ ಸ್ಟಾಕ್

ಇದು ಡಾಕರ್-ಕಂಪೋಸ್ ಸಂರಚನೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಹೆಚ್ಚುವರಿಯಾಗಿ ನಿಯೋಜಿಸಲು ಆಯ್ಕೆಗಳನ್ನು ಬಳಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.  

ಉದಾಹರಣೆಗೆ, ಈ ನಿಯತಾಂಕಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ಪ್ರತಿಯೊಂದು ಮೌಲ್ಯಮಾಪನ ಮೈಕ್ರೋಸರ್ವೀಸ್ ನಿದರ್ಶನಗಳಿಗೆ ಸಂಪನ್ಮೂಲಗಳು ಸೀಮಿತವಾಗಿವೆ (ನಾವು N ನಿದರ್ಶನಗಳಿಗೆ N ಕೋರ್ಗಳನ್ನು ನಿಯೋಜಿಸುತ್ತೇವೆ, ಮೈಕ್ರೋಸರ್ವಿಸ್ನಲ್ಲಿಯೇ ನಾವು PyTorch ಬಳಸುವ ಕೋರ್ಗಳ ಸಂಖ್ಯೆಯನ್ನು ಒಂದಕ್ಕೆ ಮಿತಿಗೊಳಿಸುತ್ತೇವೆ)

attrai_estimator:
  image: 'erqups/attrai_estimator:1.2'
  deploy:
    replicas: 4
    resources:
      limits:
        cpus: '4'
    restart_policy:
      condition: on-failure
      …

ರೆಡಿಸ್, ರ್ಯಾಬಿಟ್‌ಎಮ್‌ಕ್ಯೂ ಮತ್ತು ಗ್ರೇಲಾಗ್ ಸ್ಟೇಟ್‌ಫುಲ್ ಸೇವೆಗಳು ಮತ್ತು ಅವುಗಳನ್ನು "ಅಟ್ರೈ-ಎಸ್ಟಿಮೇಟರ್" ನಂತೆ ಸುಲಭವಾಗಿ ಅಳೆಯಲಾಗುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ಗಮನಿಸುವುದು ಮುಖ್ಯವಾಗಿದೆ.

ಪ್ರಶ್ನೆಯನ್ನು ಮುನ್ಸೂಚಿಸುವುದು - ಕುಬರ್ನೆಟ್ಸ್ ಏಕೆ ಅಲ್ಲ?

ಸಣ್ಣ ಮತ್ತು ಮಧ್ಯಮ ಗಾತ್ರದ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳಲ್ಲಿ ಕುಬರ್ನೆಟ್ಸ್ ಅನ್ನು ಬಳಸುವುದು ಓವರ್‌ಹೆಡ್ ಎಂದು ತೋರುತ್ತದೆ; ಡಾಕರ್ ಸ್ವಾರ್ಮ್‌ನಿಂದ ಅಗತ್ಯವಿರುವ ಎಲ್ಲಾ ಕಾರ್ಯಗಳನ್ನು ಪಡೆಯಬಹುದು, ಇದು ಕಂಟೇನರ್ ಆರ್ಕೆಸ್ಟ್ರೇಟರ್‌ಗೆ ಸಾಕಷ್ಟು ಬಳಕೆದಾರ ಸ್ನೇಹಿಯಾಗಿದೆ ಮತ್ತು ಪ್ರವೇಶಕ್ಕೆ ಕಡಿಮೆ ತಡೆಗೋಡೆಯನ್ನು ಹೊಂದಿದೆ.

ಮೂಲಸೌಕರ್ಯ

ಇವೆಲ್ಲವನ್ನೂ ಈ ಕೆಳಗಿನ ಗುಣಲಕ್ಷಣಗಳೊಂದಿಗೆ VDS ನಲ್ಲಿ ನಿಯೋಜಿಸಲಾಗಿದೆ:

• CPU: 4 ಕೋರ್ Intel® Xeon® Gold 5120 CPU @ 2.20GHz
• ರಾಮ್: 8 ಜಿಬಿ
• SSD: 160GB

ಸ್ಥಳೀಯ ಲೋಡ್ ಪರೀಕ್ಷೆಯ ನಂತರ, ಬಳಕೆದಾರರ ಗಂಭೀರ ಒಳಹರಿವಿನೊಂದಿಗೆ, ಈ ಯಂತ್ರವು ಸಾಕಾಗುತ್ತದೆ ಎಂದು ತೋರುತ್ತಿದೆ.

ಆದರೆ, ನಿಯೋಜನೆಯ ನಂತರ, ನಾನು ಸಿಐಎಸ್‌ನಲ್ಲಿನ ಅತ್ಯಂತ ಜನಪ್ರಿಯ ಇಮೇಜ್‌ಬೋರ್ಡ್‌ಗಳಿಗೆ ಲಿಂಕ್ ಅನ್ನು ಪೋಸ್ಟ್ ಮಾಡಿದ್ದೇನೆ (ಹೌದು, ಅದೇ ಒಂದು), ಅದರ ನಂತರ ಜನರು ಆಸಕ್ತಿ ಹೊಂದಿದ್ದರು ಮತ್ತು ಕೆಲವೇ ಗಂಟೆಗಳಲ್ಲಿ ಸೇವೆಯು ಹತ್ತಾರು ಸಾವಿರ ಚಿತ್ರಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿತು. ಅದೇ ಸಮಯದಲ್ಲಿ, ಗರಿಷ್ಠ ಕ್ಷಣಗಳಲ್ಲಿ, CPU ಮತ್ತು RAM ಸಂಪನ್ಮೂಲಗಳನ್ನು ಅರ್ಧದಷ್ಟು ಬಳಸಲಾಗಲಿಲ್ಲ.

ಇನ್ನೂ ಕೆಲವು ಗ್ರಾಫಿಕ್ಸ್

ದಿನದ ಆಧಾರದ ಮೇಲೆ ನಿಯೋಜನೆಯಿಂದ ಅನನ್ಯ ಬಳಕೆದಾರರ ಸಂಖ್ಯೆ ಮತ್ತು ಮೌಲ್ಯಮಾಪನ ವಿನಂತಿಗಳು

ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್ ನಿರ್ಣಯ ಸಮಯದ ವಿತರಣೆ

ಸಂಶೋಧನೆಗಳು

ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಹೇಳುವುದಾದರೆ, ಕಂಟೇನರ್‌ಗಳ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್‌ನ ವಾಸ್ತುಶಿಲ್ಪ ಮತ್ತು ವಿಧಾನವು ತಮ್ಮನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಸಮರ್ಥಿಸಿಕೊಂಡಿದೆ ಎಂದು ನಾನು ಹೇಳಬಲ್ಲೆ - ಗರಿಷ್ಠ ಕ್ಷಣಗಳಲ್ಲಿ ಸಹ ಯಾವುದೇ ಹನಿಗಳು ಅಥವಾ ಸಂಸ್ಕರಣೆಯ ಸಮಯದಲ್ಲಿ ಕುಗ್ಗುವಿಕೆ ಇರಲಿಲ್ಲ. 

ತಮ್ಮ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ಸಿಪಿಯುನಲ್ಲಿ ನರಮಂಡಲದ ನೈಜ-ಸಮಯದ ತೀರ್ಮಾನವನ್ನು ಬಳಸುವ ಸಣ್ಣ ಮತ್ತು ಮಧ್ಯಮ ಗಾತ್ರದ ಯೋಜನೆಗಳು ಈ ಲೇಖನದಲ್ಲಿ ವಿವರಿಸಿದ ಅಭ್ಯಾಸಗಳನ್ನು ಯಶಸ್ವಿಯಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳಬಹುದು ಎಂದು ನಾನು ಭಾವಿಸುತ್ತೇನೆ.

ಆರಂಭದಲ್ಲಿ ಲೇಖನವು ಉದ್ದವಾಗಿದೆ ಎಂದು ನಾನು ಸೇರಿಸುತ್ತೇನೆ, ಆದರೆ ದೀರ್ಘ ಓದುವಿಕೆಯನ್ನು ಪೋಸ್ಟ್ ಮಾಡದಿರಲು, ಈ ಲೇಖನದಲ್ಲಿ ಕೆಲವು ಅಂಶಗಳನ್ನು ಬಿಟ್ಟುಬಿಡಲು ನಾನು ನಿರ್ಧರಿಸಿದೆ - ನಾವು ಮುಂದಿನ ಪ್ರಕಟಣೆಗಳಲ್ಲಿ ಅವುಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತೇವೆ.

ನೀವು ಟೆಲಿಗ್ರಾಮ್‌ನಲ್ಲಿ ಬೋಟ್ ಅನ್ನು ಇರಿಯಬಹುದು - @AttraiBot, ಇದು ಕನಿಷ್ಠ 2020 ರ ಶರತ್ಕಾಲದ ಅಂತ್ಯದವರೆಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಯಾವುದೇ ಬಳಕೆದಾರರ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಲಾಗಿಲ್ಲ ಎಂದು ನಾನು ನಿಮಗೆ ನೆನಪಿಸುತ್ತೇನೆ - ಮೂಲ ಚಿತ್ರಗಳು ಅಥವಾ ಮೌಲ್ಯಮಾಪನ ಪೈಪ್‌ಲೈನ್‌ನ ಫಲಿತಾಂಶಗಳು - ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿದ ನಂತರ ಎಲ್ಲವನ್ನೂ ಕೆಡವಲಾಗುತ್ತದೆ.

ಮೂಲ: www.habr.com