ನರ ಜಾಲಗಳು. ಇದೆಲ್ಲ ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ?

ಲೇಖನವು ಎರಡು ಭಾಗಗಳನ್ನು ಒಳಗೊಂಡಿದೆ:

  1. ನನಗೆ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ಹೆಚ್ಚು ಅರ್ಥವಾಗುವ ಲಿಂಕ್‌ಗಳೊಂದಿಗೆ ಇಮೇಜ್‌ಗಳು ಮತ್ತು ಇಮೇಜ್ ಸೆಗ್ಮೆಂಟೇಶನ್‌ನಲ್ಲಿ ವಸ್ತು ಪತ್ತೆಗಾಗಿ ಕೆಲವು ನೆಟ್‌ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಸಂಕ್ಷಿಪ್ತ ವಿವರಣೆ. ನಾನು ವೀಡಿಯೊ ವಿವರಣೆಗಳನ್ನು ಮತ್ತು ಮೇಲಾಗಿ ರಷ್ಯನ್ ಭಾಷೆಯಲ್ಲಿ ಆಯ್ಕೆ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿದೆ.
  2. ಎರಡನೇ ಭಾಗವು ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಅಭಿವೃದ್ಧಿಯ ದಿಕ್ಕನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಪ್ರಯತ್ನವಾಗಿದೆ. ಮತ್ತು ಅವುಗಳ ಆಧಾರದ ಮೇಲೆ ತಂತ್ರಜ್ಞಾನಗಳು.

ನರ ಜಾಲಗಳು. ಇದೆಲ್ಲ ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ?

ಚಿತ್ರ 1 - ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ಸುಲಭವಲ್ಲ

ಆಂಡ್ರಾಯ್ಡ್ ಫೋನ್‌ನಲ್ಲಿ ವಸ್ತು ವರ್ಗೀಕರಣ ಮತ್ತು ಪತ್ತೆಗಾಗಿ ಎರಡು ಡೆಮೊ ಅಪ್ಲಿಕೇಶನ್‌ಗಳನ್ನು ಮಾಡುವ ಮೂಲಕ ಇದು ಪ್ರಾರಂಭವಾಯಿತು:

  • ಬ್ಯಾಕ್ ಎಂಡ್ ಡೆಮೊ, ಸರ್ವರ್‌ನಲ್ಲಿ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿದಾಗ ಮತ್ತು ಫೋನ್‌ಗೆ ರವಾನಿಸಿದಾಗ. ಮೂರು ವಿಧದ ಕರಡಿಗಳ ಚಿತ್ರ ವರ್ಗೀಕರಣ: ಕಂದು, ಕಪ್ಪು ಮತ್ತು ಟೆಡ್ಡಿ.
  • ಫ್ರಂಟ್-ಎಂಡ್ ಡೆಮೊಫೋನ್‌ನಲ್ಲಿಯೇ ಡೇಟಾವನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಿದಾಗ. ಮೂರು ವಿಧದ ವಸ್ತುಗಳ ಪತ್ತೆ (ವಸ್ತು ಪತ್ತೆ): ಹ್ಯಾಝೆಲ್ನಟ್ಸ್, ಅಂಜೂರದ ಹಣ್ಣುಗಳು ಮತ್ತು ದಿನಾಂಕಗಳು.

ಚಿತ್ರದ ವರ್ಗೀಕರಣದ ಕಾರ್ಯಗಳ ನಡುವೆ ವ್ಯತ್ಯಾಸವಿದೆ, ಚಿತ್ರದಲ್ಲಿನ ವಸ್ತು ಪತ್ತೆ ಮತ್ತು ಚಿತ್ರ ವಿಭಜನೆ. ಆದ್ದರಿಂದ, ಯಾವ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳು ಚಿತ್ರಗಳಲ್ಲಿನ ವಸ್ತುಗಳನ್ನು ಪತ್ತೆ ಮಾಡುತ್ತವೆ ಮತ್ತು ಯಾವವುಗಳನ್ನು ವಿಭಾಗಿಸಬಹುದು ಎಂಬುದನ್ನು ಕಂಡುಹಿಡಿಯುವ ಅವಶ್ಯಕತೆಯಿದೆ. ನನಗೆ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ಹೆಚ್ಚು ಅರ್ಥವಾಗುವ ಲಿಂಕ್‌ಗಳೊಂದಿಗೆ ವಾಸ್ತುಶಿಲ್ಪಗಳ ಕೆಳಗಿನ ಉದಾಹರಣೆಗಳನ್ನು ನಾನು ಕಂಡುಕೊಂಡಿದ್ದೇನೆ:

  • ಆರ್-ಸಿಎನ್‌ಎನ್ ಆಧಾರಿತ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಸರಣಿ (Rಜೊತೆ ಪ್ರದೇಶಗಳು Cಆನ್ವಲ್ಯೂಷನ್ Nಯುರಲ್ Networks ವೈಶಿಷ್ಟ್ಯಗಳು): R-CNN, ಫಾಸ್ಟ್ R-CNN, ವೇಗವಾದ R-CNN, ಮಾಸ್ಕ್ R-CNN. ಚಿತ್ರದಲ್ಲಿನ ವಸ್ತುವನ್ನು ಪತ್ತೆಹಚ್ಚಲು, ರೀಜನ್ ಪ್ರೊಪೋಸಲ್ ನೆಟ್‌ವರ್ಕ್ (RPN) ಕಾರ್ಯವಿಧಾನವನ್ನು ಬಳಸಿಕೊಂಡು ಬೌಂಡಿಂಗ್ ಬಾಕ್ಸ್‌ಗಳನ್ನು ಹಂಚಲಾಗುತ್ತದೆ. ಆರಂಭದಲ್ಲಿ, RPN ಬದಲಿಗೆ ನಿಧಾನವಾದ ಆಯ್ದ ಹುಡುಕಾಟ ಕಾರ್ಯವಿಧಾನವನ್ನು ಬಳಸಲಾಯಿತು. ನಂತರ ಆಯ್ದ ಸೀಮಿತ ಪ್ರದೇಶಗಳನ್ನು ವರ್ಗೀಕರಣಕ್ಕಾಗಿ ಸಾಂಪ್ರದಾಯಿಕ ನರಮಂಡಲದ ಇನ್‌ಪುಟ್‌ಗೆ ನೀಡಲಾಗುತ್ತದೆ. R-CNN ಆರ್ಕಿಟೆಕ್ಚರ್ ಸೀಮಿತ ಪ್ರದೇಶಗಳ ಮೇಲೆ ಸ್ಪಷ್ಟವಾದ "ಫಾರ್" ಲೂಪ್‌ಗಳನ್ನು ಹೊಂದಿದೆ, ಅಲೆಕ್ಸ್‌ನೆಟ್ ಆಂತರಿಕ ನೆಟ್‌ವರ್ಕ್ ಮೂಲಕ ಒಟ್ಟು 2000 ರನ್‌ಗಳನ್ನು ಹೊಂದಿದೆ. ಸ್ಪಷ್ಟವಾದ "ಫಾರ್" ಲೂಪ್‌ಗಳು ಇಮೇಜ್ ಪ್ರೊಸೆಸಿಂಗ್ ವೇಗವನ್ನು ನಿಧಾನಗೊಳಿಸುತ್ತದೆ. ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಪ್ರತಿ ಹೊಸ ಆವೃತ್ತಿಯೊಂದಿಗೆ ಆಂತರಿಕ ನರಮಂಡಲದ ಮೂಲಕ ಚಾಲನೆಯಲ್ಲಿರುವ ಸ್ಪಷ್ಟವಾದ ಲೂಪ್‌ಗಳ ಸಂಖ್ಯೆಯು ಕಡಿಮೆಯಾಗುತ್ತದೆ ಮತ್ತು ವೇಗವನ್ನು ಹೆಚ್ಚಿಸಲು ಮತ್ತು ಮಾಸ್ಕ್ R-CNN ನಲ್ಲಿ ಆಬ್ಜೆಕ್ಟ್ ಡಿಟೆಕ್ಷನ್‌ನ ಕಾರ್ಯವನ್ನು ಆಬ್ಜೆಕ್ಟ್ ಸೆಗ್ಮೆಂಟೇಶನ್‌ನೊಂದಿಗೆ ಬದಲಾಯಿಸಲು ಡಜನ್ಗಟ್ಟಲೆ ಇತರ ಬದಲಾವಣೆಗಳನ್ನು ಮಾಡಲಾಗುತ್ತದೆ.
  • ಯೋಲೊ (You Oಸರಿಯಾಗಿ Lಓಕ್ Once) ಮೊಬೈಲ್ ಸಾಧನಗಳಲ್ಲಿ ನೈಜ ಸಮಯದಲ್ಲಿ ವಸ್ತುಗಳನ್ನು ಗುರುತಿಸಿದ ಮೊದಲ ನರಮಂಡಲವಾಗಿದೆ. ವಿಶಿಷ್ಟ ವೈಶಿಷ್ಟ್ಯ: ಒಂದೇ ಓಟದಲ್ಲಿ ವಸ್ತುಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುವುದು (ಕೇವಲ ಒಮ್ಮೆ ನೋಡಿ). ಅಂದರೆ, YOLO ಆರ್ಕಿಟೆಕ್ಚರ್‌ನಲ್ಲಿ ಯಾವುದೇ ಸ್ಪಷ್ಟವಾದ "ಫಾರ್" ಲೂಪ್‌ಗಳಿಲ್ಲ, ಅದಕ್ಕಾಗಿಯೇ ನೆಟ್‌ವರ್ಕ್ ತ್ವರಿತವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಉದಾಹರಣೆಗೆ, ಈ ಸಾದೃಶ್ಯ: NumPy ನಲ್ಲಿ, ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ನೊಂದಿಗೆ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸುವಾಗ, ಯಾವುದೇ ಸ್ಪಷ್ಟವಾದ "ಫಾರ್" ಲೂಪ್‌ಗಳಿಲ್ಲ, NumPy ನಲ್ಲಿ ಸಿ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಯ ಮೂಲಕ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಕೆಳಗಿನ ಹಂತಗಳಲ್ಲಿ ಅಳವಡಿಸಲಾಗಿದೆ. YOLO ಪೂರ್ವನಿರ್ಧರಿತ ವಿಂಡೋಗಳ ಗ್ರಿಡ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಒಂದೇ ವಸ್ತುವನ್ನು ಅನೇಕ ಬಾರಿ ವ್ಯಾಖ್ಯಾನಿಸುವುದನ್ನು ತಡೆಯಲು, ವಿಂಡೋ ಅತಿಕ್ರಮಣ ಗುಣಾಂಕವನ್ನು (IoU) ಬಳಸಲಾಗುತ್ತದೆ. Iಛೇದಕ oVer Uನಿಯಾನ್). ಈ ವಾಸ್ತುಶಿಲ್ಪವು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ಹೆಚ್ಚಿನದನ್ನು ಹೊಂದಿದೆ ದೃಢತೆ: ಒಂದು ಮಾದರಿಯು ಛಾಯಾಚಿತ್ರಗಳ ಮೇಲೆ ತರಬೇತಿ ನೀಡಬಹುದು ಆದರೆ ಕೈಯಿಂದ ಬಿಡಿಸಿದ ವರ್ಣಚಿತ್ರಗಳಲ್ಲಿ ಇನ್ನೂ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ.
  • SSD, (Sತೊಡೆಸಂದು Sಬಿಸಿ ಮಲ್ಟಿಬಾಕ್ಸ್ Detector) - YOLO ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಅತ್ಯಂತ ಯಶಸ್ವಿ "ಹ್ಯಾಕ್‌ಗಳು" ಅನ್ನು ಬಳಸಲಾಗುತ್ತದೆ (ಉದಾಹರಣೆಗೆ, ಗರಿಷ್ಠವಲ್ಲದ ನಿಗ್ರಹ) ಮತ್ತು ನರಮಂಡಲವನ್ನು ವೇಗವಾಗಿ ಮತ್ತು ಹೆಚ್ಚು ನಿಖರವಾಗಿ ಕೆಲಸ ಮಾಡಲು ಹೊಸದನ್ನು ಸೇರಿಸಲಾಗುತ್ತದೆ. ವಿಶಿಷ್ಟ ವೈಶಿಷ್ಟ್ಯ: ಇಮೇಜ್ ಪಿರಮಿಡ್‌ನಲ್ಲಿ ನೀಡಲಾದ ವಿಂಡೋಗಳ ಗ್ರಿಡ್ (ಡೀಫಾಲ್ಟ್ ಬಾಕ್ಸ್) ಅನ್ನು ಬಳಸಿಕೊಂಡು ಒಂದು ರನ್‌ನಲ್ಲಿ ವಸ್ತುಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುವುದು. ಚಿತ್ರ ಪಿರಮಿಡ್ ಅನ್ನು ಸತತ ಕನ್ವಲ್ಯೂಷನ್ ಮತ್ತು ಪೂಲಿಂಗ್ ಕಾರ್ಯಾಚರಣೆಗಳ ಮೂಲಕ ಕನ್ವಲ್ಯೂಷನ್ ಟೆನ್ಸರ್‌ಗಳಲ್ಲಿ ಎನ್ಕೋಡ್ ಮಾಡಲಾಗಿದೆ (ಗರಿಷ್ಠ-ಪೂಲಿಂಗ್ ಕಾರ್ಯಾಚರಣೆಯೊಂದಿಗೆ, ಪ್ರಾದೇಶಿಕ ಆಯಾಮವು ಕಡಿಮೆಯಾಗುತ್ತದೆ). ಈ ರೀತಿಯಾಗಿ, ದೊಡ್ಡ ಮತ್ತು ಸಣ್ಣ ಎರಡೂ ವಸ್ತುಗಳನ್ನು ಒಂದು ನೆಟ್ವರ್ಕ್ ರನ್ನಲ್ಲಿ ನಿರ್ಧರಿಸಲಾಗುತ್ತದೆ.
  • MobileSSD (ಮೊಬೈಲ್NetV2+ SSD,) ಎರಡು ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಸಂಯೋಜನೆಯಾಗಿದೆ. ಮೊದಲ ನೆಟ್ವರ್ಕ್ MobileNetV2 ತ್ವರಿತವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ಗುರುತಿಸುವಿಕೆಯ ನಿಖರತೆಯನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. MobileNetV2 ಅನ್ನು VGG-16 ಬದಲಿಗೆ ಬಳಸಲಾಗುತ್ತದೆ, ಇದನ್ನು ಮೂಲತಃ ಬಳಸಲಾಗುತ್ತಿತ್ತು ಮೂಲ ಲೇಖನ. ಎರಡನೇ SSD ನೆಟ್ವರ್ಕ್ ಚಿತ್ರದಲ್ಲಿನ ವಸ್ತುಗಳ ಸ್ಥಳವನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.
  • ಸ್ಕ್ವೀಝ್‌ನೆಟ್ - ಅತ್ಯಂತ ಚಿಕ್ಕದಾದ ಆದರೆ ನಿಖರವಾದ ನರಮಂಡಲ. ಸ್ವತಃ, ಇದು ವಸ್ತು ಪತ್ತೆ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುವುದಿಲ್ಲ. ಆದಾಗ್ಯೂ, ಇದನ್ನು ವಿವಿಧ ವಾಸ್ತುಶಿಲ್ಪಗಳ ಸಂಯೋಜನೆಯಲ್ಲಿ ಬಳಸಬಹುದು. ಮತ್ತು ಮೊಬೈಲ್ ಸಾಧನಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ವಿಶಿಷ್ಟ ಲಕ್ಷಣವೆಂದರೆ ಡೇಟಾವನ್ನು ಮೊದಲು ನಾಲ್ಕು 1×1 ಕನ್ವಲ್ಯೂಷನಲ್ ಫಿಲ್ಟರ್‌ಗಳಾಗಿ ಸಂಕುಚಿತಗೊಳಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ನಾಲ್ಕು 1×1 ಮತ್ತು ನಾಲ್ಕು 3×3 ಕನ್ವಲ್ಯೂಷನಲ್ ಫಿಲ್ಟರ್‌ಗಳಾಗಿ ವಿಸ್ತರಿಸಲಾಗುತ್ತದೆ. ಡೇಟಾ ಕಂಪ್ರೆಷನ್-ವಿಸ್ತರಣೆಯ ಅಂತಹ ಒಂದು ಪುನರಾವರ್ತನೆಯನ್ನು "ಫೈರ್ ಮಾಡ್ಯೂಲ್" ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.
  • ಡೀಪ್ ಲ್ಯಾಬ್ (ಸೆಮ್ಯಾಂಟಿಕ್ ಇಮೇಜ್ ಸೆಗ್ಮೆಂಟೇಶನ್ ವಿತ್ ಡೀಪ್ ಕನ್ವಲ್ಯೂಷನಲ್ ನೆಟ್ಸ್) - ಚಿತ್ರದಲ್ಲಿನ ವಸ್ತುಗಳ ವಿಭಾಗ. ವಾಸ್ತುಶೈಲಿಯ ವಿಶಿಷ್ಟ ಲಕ್ಷಣವೆಂದರೆ ಡಿಲೇಟೆಡ್ ಕನ್ವಲ್ಯೂಷನ್, ಇದು ಪ್ರಾದೇಶಿಕ ರೆಸಲ್ಯೂಶನ್ ಅನ್ನು ಸಂರಕ್ಷಿಸುತ್ತದೆ. ಗ್ರಾಫಿಕಲ್ ಪ್ರಾಬಬಿಲಿಸ್ಟಿಕ್ ಮಾದರಿಯನ್ನು (ಷರತ್ತುಬದ್ಧ ಯಾದೃಚ್ಛಿಕ ಕ್ಷೇತ್ರ) ಬಳಸಿಕೊಂಡು ಫಲಿತಾಂಶಗಳ ನಂತರದ ಪ್ರಕ್ರಿಯೆಯ ಹಂತವು ಇದನ್ನು ಅನುಸರಿಸುತ್ತದೆ, ಇದು ವಿಭಾಗದಲ್ಲಿ ಸಣ್ಣ ಶಬ್ದವನ್ನು ತೆಗೆದುಹಾಕಲು ಮತ್ತು ವಿಭಜಿತ ಚಿತ್ರದ ಗುಣಮಟ್ಟವನ್ನು ಸುಧಾರಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. "ಗ್ರಾಫಿಕಲ್ ಪ್ರಾಬಬಿಲಿಸ್ಟಿಕ್ ಮಾಡೆಲ್" ಎಂಬ ಅಸಾಧಾರಣ ಹೆಸರಿನ ಹಿಂದೆ ಸಾಂಪ್ರದಾಯಿಕ ಗಾಸಿಯನ್ ಫಿಲ್ಟರ್ ಅನ್ನು ಮರೆಮಾಡಲಾಗಿದೆ, ಇದು ಐದು ಅಂಕಗಳಿಂದ ಅಂದಾಜು ಮಾಡಲ್ಪಟ್ಟಿದೆ.
  • ಸಾಧನವನ್ನು ಕಂಡುಹಿಡಿಯಲು ಪ್ರಯತ್ನಿಸಿದೆ ರಿಫೈನ್ಡೆಟ್ (ಸಿಂಗಲ್-ಶಾಟ್ ಸಂಸ್ಕರಿಸುಆಬ್ಜೆಕ್ಟ್‌ಗಾಗಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಡಿಟೆಕ್ಟಿವ್ಎಕ್ಷನ್), ಆದರೆ ನನಗೆ ಹೆಚ್ಚು ಅರ್ಥವಾಗಲಿಲ್ಲ.
  • "ಗಮನ" ತಂತ್ರಜ್ಞಾನವು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ನಾನು ನೋಡಿದೆ: ವೀಡಿಯೊ1, ವೀಡಿಯೊ2, ವೀಡಿಯೊ3. "ಗಮನ" ವಾಸ್ತುಶಿಲ್ಪದ ವಿಶಿಷ್ಟ ಲಕ್ಷಣವೆಂದರೆ ಚಿತ್ರದಲ್ಲಿ ಹೆಚ್ಚಿದ ಗಮನದ ಪ್ರದೇಶಗಳ ಸ್ವಯಂಚಾಲಿತ ಆಯ್ಕೆಯಾಗಿದೆ (RoI, Rವಲಯಗಳು of Iಆಸಕ್ತಿ) ಅಟೆನ್ಶನ್ ಯೂನಿಟ್ ಎಂಬ ನರಮಂಡಲವನ್ನು ಬಳಸುವುದು. ಹೆಚ್ಚಿದ ಗಮನದ ಪ್ರದೇಶಗಳು ಬೌಂಡಿಂಗ್ ಪೆಟ್ಟಿಗೆಗಳಿಗೆ ಹೋಲುತ್ತವೆ, ಆದರೆ ಅವುಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಅವುಗಳು ಚಿತ್ರದಲ್ಲಿ ಸ್ಥಿರವಾಗಿಲ್ಲ ಮತ್ತು ಅಸ್ಪಷ್ಟವಾದ ಗಡಿಗಳನ್ನು ಹೊಂದಿರಬಹುದು. ನಂತರ, ಹೆಚ್ಚಿದ ಗಮನದ ಪ್ರದೇಶಗಳಿಂದ, ಚಿಹ್ನೆಗಳನ್ನು (ವೈಶಿಷ್ಟ್ಯಗಳು) ಪ್ರತ್ಯೇಕಿಸಲಾಗುತ್ತದೆ, ಇವುಗಳನ್ನು ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳೊಂದಿಗೆ ಮರುಕಳಿಸುವ ನರಮಂಡಲಗಳಿಗೆ "ಫೀಡ್" ಮಾಡಲಾಗುತ್ತದೆ. LSDM, GRU ಅಥವಾ ವೆನಿಲ್ಲಾ RNN. ಪುನರಾವರ್ತಿತ ನರಮಂಡಲಗಳು ಅನುಕ್ರಮದಲ್ಲಿ ವೈಶಿಷ್ಟ್ಯಗಳ ಸಂಬಂಧವನ್ನು ವಿಶ್ಲೇಷಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ. ಪುನರಾವರ್ತಿತ ನರಮಂಡಲಗಳನ್ನು ಆರಂಭದಲ್ಲಿ ಪಠ್ಯವನ್ನು ಇತರ ಭಾಷೆಗಳಿಗೆ ಭಾಷಾಂತರಿಸಲು ಮತ್ತು ಈಗ ಅನುವಾದಕ್ಕಾಗಿ ಬಳಸಲಾಗುತ್ತಿತ್ತು ಪಠ್ಯಕ್ಕೆ ಚಿತ್ರಗಳು и ಚಿತ್ರಕ್ಕೆ ಪಠ್ಯ.

ನಾವು ಈ ವಾಸ್ತುಶಿಲ್ಪಗಳನ್ನು ಅನ್ವೇಷಿಸುವಾಗ ನನಗೆ ಏನೂ ಅರ್ಥವಾಗುತ್ತಿಲ್ಲ ಎಂದು ನಾನು ಅರಿತುಕೊಂಡೆ. ಮತ್ತು ನನ್ನ ನರಮಂಡಲವು ಗಮನ ಕಾರ್ಯವಿಧಾನದೊಂದಿಗೆ ಸಮಸ್ಯೆಗಳನ್ನು ಹೊಂದಿದೆ ಎಂದು ಅಲ್ಲ. ಈ ಎಲ್ಲಾ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ರಚನೆಯು ಕೆಲವು ರೀತಿಯ ಬೃಹತ್ ಹ್ಯಾಕಥಾನ್‌ನಂತಿದೆ, ಅಲ್ಲಿ ಲೇಖಕರು ಹ್ಯಾಕ್‌ಗಳಲ್ಲಿ ಸ್ಪರ್ಧಿಸುತ್ತಾರೆ. ಕಷ್ಟಕರವಾದ ಸಾಫ್ಟ್‌ವೇರ್ ಸಮಸ್ಯೆಗೆ ಹ್ಯಾಕ್ ತ್ವರಿತ ಪರಿಹಾರವಾಗಿದೆ. ಅಂದರೆ, ಈ ಎಲ್ಲಾ ವಾಸ್ತುಶಿಲ್ಪಗಳ ನಡುವೆ ಯಾವುದೇ ಗೋಚರ ಮತ್ತು ಅರ್ಥವಾಗುವ ತಾರ್ಕಿಕ ಸಂಪರ್ಕವಿಲ್ಲ. ಅವರನ್ನು ಒಂದುಗೂಡಿಸುವ ಎಲ್ಲವುಗಳು ಅವರು ಪರಸ್ಪರ ಎರವಲು ಪಡೆಯುವ ಅತ್ಯಂತ ಯಶಸ್ವಿ ಹ್ಯಾಕ್‌ಗಳ ಗುಂಪಾಗಿದೆ, ಜೊತೆಗೆ ಎಲ್ಲರಿಗೂ ಸಾಮಾನ್ಯವಾಗಿದೆ ಮುಚ್ಚಿದ-ಲೂಪ್ ಕನ್ವಲ್ಯೂಷನ್ ಕಾರ್ಯಾಚರಣೆ (ದೋಷ backpropagation, backpropagation). ಸಂ ವ್ಯವಸ್ಥೆಗಳ ಚಿಂತನೆ! ಏನನ್ನು ಬದಲಾಯಿಸಬೇಕು ಮತ್ತು ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಸಾಧನೆಗಳನ್ನು ಹೇಗೆ ಉತ್ತಮಗೊಳಿಸಬೇಕು ಎಂಬುದು ಸ್ಪಷ್ಟವಾಗಿಲ್ಲ.

ಭಿನ್ನತೆಗಳ ನಡುವಿನ ತಾರ್ಕಿಕ ಸಂಪರ್ಕದ ಕೊರತೆಯ ಪರಿಣಾಮವಾಗಿ, ಅವುಗಳನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವುದು ಮತ್ತು ಆಚರಣೆಯಲ್ಲಿ ಅನ್ವಯಿಸುವುದು ಅತ್ಯಂತ ಕಷ್ಟಕರವಾಗಿದೆ. ಇದು ವಿಘಟಿತ ಜ್ಞಾನ. ಅತ್ಯುತ್ತಮವಾಗಿ, ಕೆಲವು ಆಸಕ್ತಿದಾಯಕ ಮತ್ತು ಅನಿರೀಕ್ಷಿತ ಕ್ಷಣಗಳನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳಲಾಗುತ್ತದೆ, ಆದರೆ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಮತ್ತು ಗ್ರಹಿಸಲಾಗದ ಹೆಚ್ಚಿನವುಗಳು ಕೆಲವೇ ದಿನಗಳಲ್ಲಿ ಸ್ಮರಣೆಯಿಂದ ಕಣ್ಮರೆಯಾಗುತ್ತವೆ. ಒಂದು ವಾರದಲ್ಲಿ ನೀವು ಕನಿಷ್ಠ ವಾಸ್ತುಶಾಸ್ತ್ರದ ಹೆಸರನ್ನು ನೆನಪಿಸಿಕೊಂಡರೆ ಒಳ್ಳೆಯದು. ಆದರೆ ಹಲವಾರು ಗಂಟೆಗಳು ಮತ್ತು ಕೆಲಸದ ದಿನಗಳು ಸಹ ಲೇಖನಗಳನ್ನು ಓದಲು ಮತ್ತು ವಿಮರ್ಶೆ ವೀಡಿಯೊಗಳನ್ನು ವೀಕ್ಷಿಸಲು ಕಳೆದವು!

ನರ ಜಾಲಗಳು. ಇದೆಲ್ಲ ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ?

ಚಿತ್ರ 2 - ನರಮಂಡಲದ ಝೂ

ವೈಜ್ಞಾನಿಕ ಲೇಖನಗಳ ಹೆಚ್ಚಿನ ಲೇಖಕರು, ನನ್ನ ವೈಯಕ್ತಿಕ ಅಭಿಪ್ರಾಯದಲ್ಲಿ, ಈ ವಿಘಟಿತ ಜ್ಞಾನವನ್ನು ಸಹ ಓದುಗರು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಿರುವ ಎಲ್ಲವನ್ನೂ ಮಾಡುತ್ತಾರೆ. ಆದರೆ "ತೆಳುವಾದ ಗಾಳಿಯಿಂದ" ತೆಗೆದುಕೊಳ್ಳಲಾದ ಸೂತ್ರಗಳೊಂದಿಗೆ ಹತ್ತು ಸಾಲಿನ ವಾಕ್ಯಗಳಲ್ಲಿ ಭಾಗವಹಿಸುವ ನುಡಿಗಟ್ಟುಗಳು ಪ್ರತ್ಯೇಕ ಲೇಖನಕ್ಕೆ ಒಂದು ವಿಷಯವಾಗಿದೆ (ಸಮಸ್ಯೆ ಪ್ರಕಟಿಸಿ ಅಥವಾ ನಾಶವಾಗುತ್ತವೆ).

ಈ ಕಾರಣಕ್ಕಾಗಿ, ನರಮಂಡಲವನ್ನು ಬಳಸಿಕೊಂಡು ಮಾಹಿತಿಯನ್ನು ವ್ಯವಸ್ಥಿತಗೊಳಿಸುವ ಅವಶ್ಯಕತೆಯಿದೆ ಮತ್ತು ಹೀಗಾಗಿ, ತಿಳುವಳಿಕೆ ಮತ್ತು ಕಂಠಪಾಠದ ಗುಣಮಟ್ಟವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ, ವೈಯಕ್ತಿಕ ತಂತ್ರಜ್ಞಾನಗಳು ಮತ್ತು ಕೃತಕ ನರ ಜಾಲಗಳ ವಾಸ್ತುಶಿಲ್ಪಗಳ ವಿಶ್ಲೇಷಣೆಯ ಮುಖ್ಯ ವಿಷಯವು ಈ ಕೆಳಗಿನ ಕಾರ್ಯವಾಗಿದೆ: ಅದು ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ ಎಂದು ಕಂಡುಹಿಡಿಯಿರಿ, ಮತ್ತು ಪ್ರತ್ಯೇಕವಾಗಿ ಯಾವುದೇ ನಿರ್ದಿಷ್ಟ ನರಮಂಡಲದ ಸಾಧನವಲ್ಲ.

ಇದೆಲ್ಲ ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ? ಮುಖ್ಯ ಫಲಿತಾಂಶಗಳು:

  • ಕಳೆದ ಎರಡು ವರ್ಷಗಳಲ್ಲಿ ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಸ್ಟಾರ್ಟ್‌ಅಪ್‌ಗಳ ಸಂಖ್ಯೆ ತೀವ್ರವಾಗಿ ಕುಸಿಯಿತು. ಸಂಭವನೀಯ ಕಾರಣ: "ನರ ಜಾಲಗಳು ಇನ್ನು ಮುಂದೆ ಹೊಸದೇನಲ್ಲ."
  • ಸರಳವಾದ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಲು ಯಾರಾದರೂ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ನರಮಂಡಲವನ್ನು ರಚಿಸಬಹುದು. ಇದನ್ನು ಮಾಡಲು, "ಮಾದರಿ ಮೃಗಾಲಯ" ದಿಂದ ಸಿದ್ಧ ಮಾದರಿಯನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ ಮತ್ತು ನರಮಂಡಲದ ಕೊನೆಯ ಪದರವನ್ನು ತರಬೇತಿ ಮಾಡಿ (ವರ್ಗಾವಣೆ ಕಲಿಕೆ) ನಿಂದ ಸಿದ್ದಪಡಿಸಿದ ಡೇಟಾ Google ಡೇಟಾಸೆಟ್ ಹುಡುಕಾಟ ಅಥವಾ ನಿಂದ 25 ಸಾವಿರ ಕಾಗಲ್ ಡೇಟಾಸೆಟ್‌ಗಳು ಉಚಿತವಾಗಿ ಕ್ಲೌಡ್ ಜುಪಿಟರ್ ನೋಟ್‌ಬುಕ್.
  • ನರಗಳ ಜಾಲಗಳ ದೊಡ್ಡ ತಯಾರಕರು ರಚಿಸಲು ಪ್ರಾರಂಭಿಸಿದರು "ಮಾದರಿ ಪ್ರಾಣಿಸಂಗ್ರಹಾಲಯಗಳು" (ಮಾದರಿ ಮೃಗಾಲಯ). ಅವುಗಳನ್ನು ಬಳಸಿಕೊಂಡು ನೀವು ತ್ವರಿತವಾಗಿ ವಾಣಿಜ್ಯ ಅಪ್ಲಿಕೇಶನ್ ಅನ್ನು ರಚಿಸಬಹುದು: TF ಹಬ್ ಟೆನ್ಸರ್‌ಫ್ಲೋಗಾಗಿ, ಎಂಎಂಡಿಟೆಕ್ಷನ್ PyTorch ಗಾಗಿ, ಡಿಟೆಕ್ಟ್ರಾನ್ ಕೆಫೆ 2 ಗಾಗಿ, ಚೈನರ್-ಮಾಡೆಲ್ಝೂ ಚೈನರ್ ಮತ್ತು другие.
  • ನರಮಂಡಲಗಳು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿವೆ ನೈಜ ಸಮಯ ಮೊಬೈಲ್ ಸಾಧನಗಳಲ್ಲಿ (ನೈಜ-ಸಮಯ). ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 10 ರಿಂದ 50 ಫ್ರೇಮ್‌ಗಳು.
  • ಫೋನ್‌ಗಳಲ್ಲಿ (TF ಲೈಟ್), ಬ್ರೌಸರ್‌ಗಳಲ್ಲಿ (TF.js) ಮತ್ತು ಇನ್‌ನಲ್ಲಿ ನರಮಂಡಲದ ಬಳಕೆ ಗೃಹೋಪಯೋಗಿ ವಸ್ತುಗಳು (ಐಒಟಿ, Iಇಂಟರ್ನೆಟ್ of Tಹಿಂಗ್ಸ್). ವಿಶೇಷವಾಗಿ ಹಾರ್ಡ್‌ವೇರ್ ಮಟ್ಟದಲ್ಲಿ (ನರ ವೇಗವರ್ಧಕಗಳು) ಈಗಾಗಲೇ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುವ ಫೋನ್‌ಗಳಲ್ಲಿ.
  • “ಪ್ರತಿಯೊಂದು ಸಾಧನ, ಬಟ್ಟೆಯ ವಸ್ತು ಮತ್ತು ಬಹುಶಃ ಆಹಾರವೂ ಇರುತ್ತದೆ IP-v6 ವಿಳಾಸ ಮತ್ತು ಪರಸ್ಪರ ಸಂವಹನ" - ಸೆಬಾಸ್ಟಿಯನ್ ಥ್ರೂನ್.
  • ಯಂತ್ರ ಕಲಿಕೆಯ ಕುರಿತು ಪ್ರಕಟಣೆಗಳ ಸಂಖ್ಯೆಯು ಬೆಳೆಯಲು ಪ್ರಾರಂಭಿಸಿದೆ ಮೂರ್ ಕಾನೂನನ್ನು ಮೀರುತ್ತದೆ (ಪ್ರತಿ ಎರಡು ವರ್ಷಗಳಿಗೊಮ್ಮೆ ದ್ವಿಗುಣಗೊಳ್ಳುತ್ತದೆ) 2015 ರಿಂದ. ನಿಸ್ಸಂಶಯವಾಗಿ, ಲೇಖನಗಳನ್ನು ವಿಶ್ಲೇಷಿಸಲು ನಮಗೆ ನರಮಂಡಲದ ಅಗತ್ಯವಿದೆ.
  • ಕೆಳಗಿನ ತಂತ್ರಜ್ಞಾನಗಳು ಜನಪ್ರಿಯತೆಯನ್ನು ಗಳಿಸುತ್ತಿವೆ:
    • ಪೈಟೋರ್ಚ್ - ಜನಪ್ರಿಯತೆಯು ವೇಗವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ ಮತ್ತು ಟೆನ್ಸರ್‌ಫ್ಲೋ ಅನ್ನು ಹಿಂದಿಕ್ಕುತ್ತಿರುವಂತೆ ತೋರುತ್ತಿದೆ.
    • ಹೈಪರ್ಪ್ಯಾರಾಮೀಟರ್ಗಳ ಸ್ವಯಂಚಾಲಿತ ಆಯ್ಕೆ ಆಟೋಎಂಎಲ್ - ಜನಪ್ರಿಯತೆ ಸರಾಗವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ.
    • ನಿಖರತೆಯಲ್ಲಿ ಕ್ರಮೇಣ ಇಳಿಕೆ ಮತ್ತು ಲೆಕ್ಕಾಚಾರದ ವೇಗದಲ್ಲಿ ಹೆಚ್ಚಳ: ಅಸ್ಪಷ್ಟ ತರ್ಕ, ಕ್ರಮಾವಳಿಗಳು ಹೆಚ್ಚಿಸುವುದು, ನಿಖರವಾದ (ಅಂದಾಜು) ಲೆಕ್ಕಾಚಾರಗಳು, ಕ್ವಾಂಟೀಕರಣ (ನರ ಜಾಲದ ತೂಕವನ್ನು ಪೂರ್ಣಾಂಕಗಳಾಗಿ ಪರಿವರ್ತಿಸಿದಾಗ ಮತ್ತು ಪ್ರಮಾಣೀಕರಿಸಿದಾಗ), ನರ ವೇಗವರ್ಧಕಗಳು.
    • ಅನುವಾದ ಪಠ್ಯಕ್ಕೆ ಚಿತ್ರಗಳು и ಚಿತ್ರಕ್ಕೆ ಪಠ್ಯ.
    • ಸೃಷ್ಟಿ ವೀಡಿಯೊದಿಂದ 3D ವಸ್ತುಗಳು, ಈಗ ನೈಜ ಸಮಯದಲ್ಲಿ.
    • DL ನ ಮುಖ್ಯ ವಿಷಯವೆಂದರೆ ಬಹಳಷ್ಟು ಡೇಟಾ ಇದೆ, ಆದರೆ ಅದನ್ನು ಸಂಗ್ರಹಿಸುವುದು ಮತ್ತು ಲೇಬಲ್ ಮಾಡುವುದು ಸುಲಭವಲ್ಲ. ಆದ್ದರಿಂದ, ಮಾರ್ಕ್ಅಪ್ ಆಟೊಮೇಷನ್ ಅಭಿವೃದ್ಧಿಗೊಳ್ಳುತ್ತಿದೆ (ಸ್ವಯಂಚಾಲಿತ ಟಿಪ್ಪಣಿ) ನರ ಜಾಲಗಳನ್ನು ಬಳಸುವ ನರಮಂಡಲಗಳಿಗೆ.
  • ನರಮಂಡಲದೊಂದಿಗೆ, ಕಂಪ್ಯೂಟರ್ ಸೈನ್ಸ್ ಇದ್ದಕ್ಕಿದ್ದಂತೆ ಆಯಿತು ಪ್ರಾಯೋಗಿಕ ವಿಜ್ಞಾನ ಮತ್ತು ಹುಟ್ಟಿಕೊಂಡಿತು ಪುನರುತ್ಪಾದನೆ ಬಿಕ್ಕಟ್ಟು.
  • ಕಂಪ್ಯೂಟಿಂಗ್ ಮಾರುಕಟ್ಟೆ ಮೌಲ್ಯವಾದಾಗ ಐಟಿ ಹಣ ಮತ್ತು ನರ ಜಾಲಗಳ ಜನಪ್ರಿಯತೆಯು ಏಕಕಾಲದಲ್ಲಿ ಹೊರಹೊಮ್ಮಿತು. ಆರ್ಥಿಕತೆಯು ಚಿನ್ನ ಮತ್ತು ಕರೆನ್ಸಿ ಆರ್ಥಿಕತೆಯಿಂದ ಬದಲಾಗುತ್ತಿದೆ ಚಿನ್ನ-ಕರೆನ್ಸಿ-ಕಂಪ್ಯೂಟಿಂಗ್. ನನ್ನ ಲೇಖನವನ್ನು ನೋಡಿ ಅರ್ಥಶಾಸ್ತ್ರ ಮತ್ತು ಐಟಿ ಹಣದ ನೋಟಕ್ಕೆ ಕಾರಣ.

ಕ್ರಮೇಣ ಹೊಸದು ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ ML/DL ಪ್ರೋಗ್ರಾಮಿಂಗ್ ವಿಧಾನ (ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ & ಡೀಪ್ ಲರ್ನಿಂಗ್), ಇದು ತರಬೇತಿ ಪಡೆದ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ಮಾದರಿಗಳ ಗುಂಪಿನಂತೆ ಪ್ರೋಗ್ರಾಂ ಅನ್ನು ಪ್ರತಿನಿಧಿಸುವುದನ್ನು ಆಧರಿಸಿದೆ.

ನರ ಜಾಲಗಳು. ಇದೆಲ್ಲ ಎಲ್ಲಿಗೆ ಹೋಗುತ್ತಿದೆ?

ಚಿತ್ರ 3 - ಹೊಸ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ವಿಧಾನವಾಗಿ ML/DL

ಆದಾಗ್ಯೂ, ಅದು ಎಂದಿಗೂ ಕಾಣಿಸಲಿಲ್ಲ "ನರ ಜಾಲ ಸಿದ್ಧಾಂತ", ಅದರೊಳಗೆ ನೀವು ವ್ಯವಸ್ಥಿತವಾಗಿ ಯೋಚಿಸಬಹುದು ಮತ್ತು ಕೆಲಸ ಮಾಡಬಹುದು. ಈಗ "ಸಿದ್ಧಾಂತ" ಎಂದು ಕರೆಯುವುದು ಪ್ರಾಯೋಗಿಕ, ಹ್ಯೂರಿಸ್ಟಿಕ್ ಅಲ್ಗಾರಿದಮ್‌ಗಳು.

ನನ್ನ ಮತ್ತು ಇತರ ಸಂಪನ್ಮೂಲಗಳಿಗೆ ಲಿಂಕ್‌ಗಳು:

ನಿಮ್ಮ ಗಮನಕ್ಕೆ ಧನ್ಯವಾದಗಳು!

ಮೂಲ: www.habr.com

ಕಾಮೆಂಟ್ ಅನ್ನು ಸೇರಿಸಿ