ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಯಾವುದೇ ದೊಡ್ಡ ಡೇಟಾ ಕಾರ್ಯಾಚರಣೆಗೆ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟಿಂಗ್ ಶಕ್ತಿಯ ಅಗತ್ಯವಿರುತ್ತದೆ. ಡೇಟಾಬೇಸ್‌ನಿಂದ ಹಡೂಪ್‌ಗೆ ಡೇಟಾದ ವಿಶಿಷ್ಟ ಚಲನೆಯು ವಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಬಹುದು ಅಥವಾ ವಿಮಾನದ ರೆಕ್ಕೆಯಷ್ಟು ವೆಚ್ಚವಾಗಬಹುದು. ಕಾಯಲು ಮತ್ತು ಹಣವನ್ನು ಖರ್ಚು ಮಾಡಲು ಬಯಸುವುದಿಲ್ಲವೇ? ವಿವಿಧ ವೇದಿಕೆಗಳಲ್ಲಿ ಲೋಡ್ ಅನ್ನು ಸಮತೋಲನಗೊಳಿಸಿ. ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಒಂದು ಮಾರ್ಗವಾಗಿದೆ.

ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ ಉತ್ಪನ್ನಗಳ ಅಭಿವೃದ್ಧಿ ಮತ್ತು ಆಡಳಿತಕ್ಕಾಗಿ ರಷ್ಯಾದ ಪ್ರಮುಖ ತರಬೇತುದಾರ ಅಲೆಕ್ಸಿ ಅನಾನ್ಯೆವ್ ಅವರನ್ನು ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ ಬಿಗ್ ಡೇಟಾ ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್ (ಬಿಡಿಎಂ) ನಲ್ಲಿ ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಕಾರ್ಯದ ಕುರಿತು ಮಾತನಾಡಲು ನಾನು ಕೇಳಿದೆ. ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ ಉತ್ಪನ್ನಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ನೀವು ಎಂದಾದರೂ ಕಲಿತಿದ್ದೀರಾ? ಹೆಚ್ಚಾಗಿ, ಪವರ್‌ಸೆಂಟರ್‌ನ ಮೂಲಭೂತ ಅಂಶಗಳನ್ನು ನಿಮಗೆ ಹೇಳಿದ ಅಲೆಕ್ಸಿ ಮತ್ತು ಮ್ಯಾಪಿಂಗ್‌ಗಳನ್ನು ಹೇಗೆ ನಿರ್ಮಿಸುವುದು ಎಂದು ವಿವರಿಸಿದರು.

ಅಲೆಕ್ಸಿ ಅನನೇವ್, ಡಿಐಎಸ್ ಗ್ರೂಪ್‌ನಲ್ಲಿ ತರಬೇತಿ ಮುಖ್ಯಸ್ಥ

ಪುಶ್‌ಡೌನ್ ಎಂದರೇನು?

ನಿಮ್ಮಲ್ಲಿ ಅನೇಕರು ಈಗಾಗಲೇ ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ ಬಿಗ್ ಡೇಟಾ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ (BDM) ಬಗ್ಗೆ ಪರಿಚಿತರಾಗಿರುವಿರಿ. ಉತ್ಪನ್ನವು ವಿಭಿನ್ನ ಮೂಲಗಳಿಂದ ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಸಂಯೋಜಿಸಬಹುದು, ವಿಭಿನ್ನ ಸಿಸ್ಟಮ್‌ಗಳ ನಡುವೆ ಅದನ್ನು ಚಲಿಸಬಹುದು, ಅದಕ್ಕೆ ಸುಲಭ ಪ್ರವೇಶವನ್ನು ಒದಗಿಸುತ್ತದೆ, ಅದನ್ನು ಪ್ರೊಫೈಲ್ ಮಾಡಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ ಮತ್ತು ಇನ್ನಷ್ಟು.
ಬಲಗೈಯಲ್ಲಿ, BDM ಅದ್ಭುತಗಳನ್ನು ಮಾಡಬಹುದು: ಕಾರ್ಯಗಳನ್ನು ತ್ವರಿತವಾಗಿ ಮತ್ತು ಕನಿಷ್ಠ ಕಂಪ್ಯೂಟಿಂಗ್ ಸಂಪನ್ಮೂಲಗಳೊಂದಿಗೆ ಪೂರ್ಣಗೊಳಿಸಲಾಗುತ್ತದೆ.

ನಿಮಗೂ ಅದು ಬೇಕೇ? ವಿವಿಧ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳಲ್ಲಿ ಕಂಪ್ಯೂಟಿಂಗ್ ಲೋಡ್ ಅನ್ನು ವಿತರಿಸಲು BDM ನಲ್ಲಿ ಪುಶ್‌ಡೌನ್ ವೈಶಿಷ್ಟ್ಯವನ್ನು ಬಳಸಲು ತಿಳಿಯಿರಿ. ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಸ್ಕ್ರಿಪ್ಟ್ ಆಗಿ ಪರಿವರ್ತಿಸಲು ಮತ್ತು ಈ ಸ್ಕ್ರಿಪ್ಟ್ ರನ್ ಆಗುವ ಪರಿಸರವನ್ನು ಆಯ್ಕೆ ಮಾಡಲು ಪುಷ್ಡೌನ್ ತಂತ್ರಜ್ಞಾನವು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಈ ಆಯ್ಕೆಯು ವಿಭಿನ್ನ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳ ಸಾಮರ್ಥ್ಯವನ್ನು ಸಂಯೋಜಿಸಲು ಮತ್ತು ಅವುಗಳ ಗರಿಷ್ಠ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ.

ಸ್ಕ್ರಿಪ್ಟ್ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಪರಿಸರವನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು, ನೀವು ಪುಶ್‌ಡೌನ್ ಪ್ರಕಾರವನ್ನು ಆರಿಸಬೇಕಾಗುತ್ತದೆ. ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಹಡೂಪ್‌ನಲ್ಲಿ ಚಲಾಯಿಸಬಹುದು ಅಥವಾ ಮೂಲ ಮತ್ತು ಸಿಂಕ್ ನಡುವೆ ಭಾಗಶಃ ವಿತರಿಸಬಹುದು. 4 ಸಂಭವನೀಯ ಪುಶ್‌ಡೌನ್ ವಿಧಗಳಿವೆ. ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಸ್ಕ್ರಿಪ್ಟ್ (ಸ್ಥಳೀಯ) ಆಗಿ ಪರಿವರ್ತಿಸಬೇಕಾಗಿಲ್ಲ. ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಮೂಲದಲ್ಲಿ (ಮೂಲ) ಅಥವಾ ಸಂಪೂರ್ಣವಾಗಿ ಮೂಲದಲ್ಲಿ (ಪೂರ್ಣ) ಸಾಧ್ಯವಾದಷ್ಟು ನಿರ್ವಹಿಸಬಹುದು. ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಹಡೂಪ್ ಸ್ಕ್ರಿಪ್ಟ್ ಆಗಿ ಪರಿವರ್ತಿಸಬಹುದು (ಯಾವುದೂ ಇಲ್ಲ).

ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್

ಪಟ್ಟಿ ಮಾಡಲಾದ 4 ಪ್ರಕಾರಗಳನ್ನು ವಿವಿಧ ರೀತಿಯಲ್ಲಿ ಸಂಯೋಜಿಸಬಹುದು - ಸಿಸ್ಟಮ್‌ನ ನಿರ್ದಿಷ್ಟ ಅಗತ್ಯಗಳಿಗಾಗಿ ಪುಶ್‌ಡೌನ್ ಅನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಬಹುದು. ಉದಾಹರಣೆಗೆ, ಅದರ ಸ್ವಂತ ಸಾಮರ್ಥ್ಯಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಡೇಟಾಬೇಸ್ನಿಂದ ಡೇಟಾವನ್ನು ಹೊರತೆಗೆಯಲು ಇದು ಹೆಚ್ಚು ಸೂಕ್ತವಾಗಿದೆ. ಮತ್ತು ಡೇಟಾಬೇಸ್ ಅನ್ನು ಓವರ್‌ಲೋಡ್ ಮಾಡದಂತೆ ಹಡೂಪ್ ಬಳಸಿ ಡೇಟಾವನ್ನು ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ.

ಮೂಲ ಮತ್ತು ಗಮ್ಯಸ್ಥಾನ ಎರಡೂ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿರುವಾಗ ಪ್ರಕರಣವನ್ನು ಪರಿಗಣಿಸೋಣ, ಮತ್ತು ರೂಪಾಂತರ ಕಾರ್ಯಗತಗೊಳಿಸುವ ವೇದಿಕೆಯನ್ನು ಆಯ್ಕೆ ಮಾಡಬಹುದು: ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಅವಲಂಬಿಸಿ, ಇದು ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ, ಡೇಟಾಬೇಸ್ ಸರ್ವರ್ ಅಥವಾ ಹಡೂಪ್ ಆಗಿರುತ್ತದೆ. ಅಂತಹ ಉದಾಹರಣೆಯು ಈ ಕಾರ್ಯವಿಧಾನದ ಕಾರ್ಯಾಚರಣೆಯ ತಾಂತ್ರಿಕ ಭಾಗವನ್ನು ಹೆಚ್ಚು ನಿಖರವಾಗಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಸ್ವಾಭಾವಿಕವಾಗಿ, ನಿಜ ಜೀವನದಲ್ಲಿ, ಈ ಪರಿಸ್ಥಿತಿಯು ಉದ್ಭವಿಸುವುದಿಲ್ಲ, ಆದರೆ ಕ್ರಿಯಾತ್ಮಕತೆಯನ್ನು ಪ್ರದರ್ಶಿಸಲು ಇದು ಸೂಕ್ತವಾಗಿರುತ್ತದೆ.

ಒಂದೇ ಒರಾಕಲ್ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಎರಡು ಕೋಷ್ಟಕಗಳನ್ನು ಓದಲು ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ತೆಗೆದುಕೊಳ್ಳೋಣ. ಮತ್ತು ಓದುವ ಫಲಿತಾಂಶಗಳನ್ನು ಅದೇ ಡೇಟಾಬೇಸ್‌ನಲ್ಲಿ ಟೇಬಲ್‌ನಲ್ಲಿ ದಾಖಲಿಸಲು ಅವಕಾಶ ಮಾಡಿಕೊಡಿ. ಮ್ಯಾಪಿಂಗ್ ಯೋಜನೆ ಈ ರೀತಿ ಇರುತ್ತದೆ:

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ BDM 10.2.1 ನಲ್ಲಿ ಮ್ಯಾಪಿಂಗ್ ರೂಪದಲ್ಲಿ ಇದು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಪುಶ್‌ಡೌನ್ ಪ್ರಕಾರ - ಸ್ಥಳೀಯ

ನಾವು ಪುಶ್‌ಡೌನ್ ಸ್ಥಳೀಯ ಪ್ರಕಾರವನ್ನು ಆರಿಸಿದರೆ, ನಂತರ ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ ಸರ್ವರ್‌ನಲ್ಲಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ. ಡೇಟಾವನ್ನು ಒರಾಕಲ್ ಸರ್ವರ್‌ನಿಂದ ಓದಲಾಗುತ್ತದೆ, ಇನ್ಫರ್ಮ್ಯಾಟಿಕಾ ಸರ್ವರ್‌ಗೆ ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ, ಅಲ್ಲಿ ರೂಪಾಂತರಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಹಡೂಪ್‌ಗೆ ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ. ಬೇರೆ ರೀತಿಯಲ್ಲಿ ಹೇಳುವುದಾದರೆ, ನಾವು ಸಾಮಾನ್ಯ ETL ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪಡೆಯುತ್ತೇವೆ.

ಪುಶ್‌ಡೌನ್ ಪ್ರಕಾರ - ಮೂಲ

ಮೂಲ ಪ್ರಕಾರವನ್ನು ಆಯ್ಕೆಮಾಡುವಾಗ, ಡೇಟಾಬೇಸ್ ಸರ್ವರ್ (DB) ಮತ್ತು Hadoop ನಡುವೆ ನಮ್ಮ ಪ್ರಕ್ರಿಯೆಯನ್ನು ವಿತರಿಸಲು ನಾವು ಅವಕಾಶವನ್ನು ಪಡೆಯುತ್ತೇವೆ. ಈ ಸೆಟ್ಟಿಂಗ್‌ನೊಂದಿಗೆ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸಿದಾಗ, ಕೋಷ್ಟಕಗಳಿಂದ ಡೇಟಾವನ್ನು ಹಿಂಪಡೆಯಲು ವಿನಂತಿಗಳನ್ನು ಡೇಟಾಬೇಸ್‌ಗೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ. ಮತ್ತು ಉಳಿದವುಗಳನ್ನು ಹಡೂಪ್‌ನಲ್ಲಿ ಹಂತಗಳ ರೂಪದಲ್ಲಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ.
ಮರಣದಂಡನೆ ರೇಖಾಚಿತ್ರವು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ರನ್ಟೈಮ್ ಪರಿಸರವನ್ನು ಹೊಂದಿಸುವ ಉದಾಹರಣೆಯನ್ನು ಕೆಳಗೆ ನೀಡಲಾಗಿದೆ.

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಈ ಸಂದರ್ಭದಲ್ಲಿ, ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಎರಡು ಹಂತಗಳಲ್ಲಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ. ಅದರ ಸೆಟ್ಟಿಂಗ್‌ಗಳಲ್ಲಿ ಅದು ಸ್ಕ್ರಿಪ್ಟ್ ಆಗಿ ಮಾರ್ಪಟ್ಟಿರುವುದನ್ನು ನಾವು ನೋಡುತ್ತೇವೆ ಅದನ್ನು ಮೂಲಕ್ಕೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ. ಇದಲ್ಲದೆ, ಕೋಷ್ಟಕಗಳನ್ನು ಸಂಯೋಜಿಸುವುದು ಮತ್ತು ಡೇಟಾವನ್ನು ಪರಿವರ್ತಿಸುವುದನ್ನು ಮೂಲದಲ್ಲಿ ಅತಿಕ್ರಮಿಸಿದ ಪ್ರಶ್ನೆಯ ರೂಪದಲ್ಲಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ.
ಕೆಳಗಿನ ಚಿತ್ರದಲ್ಲಿ, ನಾವು BDM ನಲ್ಲಿ ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ನೋಡುತ್ತೇವೆ ಮತ್ತು ಮೂಲದಲ್ಲಿ ಮರು ವ್ಯಾಖ್ಯಾನಿಸಲಾದ ಪ್ರಶ್ನೆಯನ್ನು ನೋಡುತ್ತೇವೆ.

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಈ ಕಾನ್ಫಿಗರೇಶನ್‌ನಲ್ಲಿ ಹಡೂಪ್‌ನ ಪಾತ್ರವನ್ನು ಡೇಟಾದ ಹರಿವನ್ನು ನಿರ್ವಹಿಸಲು - ಅದನ್ನು ಸಂಘಟಿಸಲು ಕಡಿಮೆಗೊಳಿಸಲಾಗುತ್ತದೆ. ಪ್ರಶ್ನೆಯ ಫಲಿತಾಂಶವನ್ನು ಹಡೂಪ್‌ಗೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ. ಓದುವಿಕೆ ಪೂರ್ಣಗೊಂಡ ನಂತರ, ಹಡೂಪ್‌ನಿಂದ ಫೈಲ್ ಅನ್ನು ಸಿಂಕ್‌ಗೆ ಬರೆಯಲಾಗುತ್ತದೆ.

ಪುಶ್‌ಡೌನ್ ಪ್ರಕಾರ - ಪೂರ್ಣ

ನೀವು ಪೂರ್ಣ ಪ್ರಕಾರವನ್ನು ಆಯ್ಕೆ ಮಾಡಿದಾಗ, ಮ್ಯಾಪಿಂಗ್ ಸಂಪೂರ್ಣವಾಗಿ ಡೇಟಾಬೇಸ್ ಪ್ರಶ್ನೆಯಾಗಿ ಬದಲಾಗುತ್ತದೆ. ಮತ್ತು ವಿನಂತಿಯ ಫಲಿತಾಂಶವನ್ನು ಹಡೂಪ್‌ಗೆ ಕಳುಹಿಸಲಾಗುತ್ತದೆ. ಅಂತಹ ಪ್ರಕ್ರಿಯೆಯ ರೇಖಾಚಿತ್ರವನ್ನು ಕೆಳಗೆ ಪ್ರಸ್ತುತಪಡಿಸಲಾಗಿದೆ.

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಉದಾಹರಣೆ ಸೆಟಪ್ ಅನ್ನು ಕೆಳಗೆ ತೋರಿಸಲಾಗಿದೆ.

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಪರಿಣಾಮವಾಗಿ, ನಾವು ಹಿಂದಿನದಕ್ಕೆ ಹೋಲುವ ಆಪ್ಟಿಮೈಸ್ಡ್ ಮ್ಯಾಪಿಂಗ್ ಅನ್ನು ಪಡೆಯುತ್ತೇವೆ. ಒಂದೇ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಎಲ್ಲಾ ತರ್ಕವನ್ನು ರಿಸೀವರ್‌ಗೆ ಅದರ ಅಳವಡಿಕೆಯನ್ನು ಅತಿಕ್ರಮಿಸುವ ರೂಪದಲ್ಲಿ ವರ್ಗಾಯಿಸಲಾಗುತ್ತದೆ. ಆಪ್ಟಿಮೈಸ್ಡ್ ಮ್ಯಾಪಿಂಗ್‌ನ ಉದಾಹರಣೆಯನ್ನು ಕೆಳಗೆ ನೀಡಲಾಗಿದೆ.

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಇಲ್ಲಿ, ಹಿಂದಿನ ಪ್ರಕರಣದಂತೆ, ಹಡೂಪ್ ಕಂಡಕ್ಟರ್ ಪಾತ್ರವನ್ನು ವಹಿಸುತ್ತದೆ. ಆದರೆ ಇಲ್ಲಿ ಮೂಲವನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಓದಲಾಗುತ್ತದೆ, ಮತ್ತು ನಂತರ ಡೇಟಾ ಸಂಸ್ಕರಣಾ ತರ್ಕವನ್ನು ರಿಸೀವರ್ ಮಟ್ಟದಲ್ಲಿ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ.

ಪುಶ್‌ಡೌನ್ ಪ್ರಕಾರವು ಶೂನ್ಯವಾಗಿದೆ

ಸರಿ, ಕೊನೆಯ ಆಯ್ಕೆಯು ಪುಶ್‌ಡೌನ್ ಪ್ರಕಾರವಾಗಿದೆ, ಅದರೊಳಗೆ ನಮ್ಮ ಮ್ಯಾಪಿಂಗ್ ಹಡೂಪ್ ಸ್ಕ್ರಿಪ್ಟ್ ಆಗಿ ಬದಲಾಗುತ್ತದೆ.

ಆಪ್ಟಿಮೈಸ್ ಮಾಡಿದ ಮ್ಯಾಪಿಂಗ್ ಈಗ ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:

ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಅಗ್ಗವಾಗಿ ಮತ್ತು ತ್ವರಿತವಾಗಿ ಸರಿಸಲು, ಅಪ್‌ಲೋಡ್ ಮಾಡುವುದು ಮತ್ತು ಸಂಯೋಜಿಸುವುದು ಹೇಗೆ? ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ಎಂದರೇನು?

ಇಲ್ಲಿ ಮೂಲ ಫೈಲ್‌ಗಳಿಂದ ಡೇಟಾವನ್ನು ಮೊದಲು ಹಡೂಪ್‌ನಲ್ಲಿ ಓದಲಾಗುತ್ತದೆ. ನಂತರ, ತನ್ನದೇ ಆದ ವಿಧಾನಗಳನ್ನು ಬಳಸಿ, ಈ ಎರಡು ಫೈಲ್ಗಳನ್ನು ಸಂಯೋಜಿಸಲಾಗುತ್ತದೆ. ಇದರ ನಂತರ, ಡೇಟಾವನ್ನು ಪರಿವರ್ತಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಡೇಟಾಬೇಸ್‌ಗೆ ಅಪ್‌ಲೋಡ್ ಮಾಡಲಾಗುತ್ತದೆ.

ಪುಶ್‌ಡೌನ್ ಆಪ್ಟಿಮೈಸೇಶನ್ ತತ್ವಗಳನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಮೂಲಕ, ದೊಡ್ಡ ಡೇಟಾದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ನೀವು ಅನೇಕ ಪ್ರಕ್ರಿಯೆಗಳನ್ನು ಬಹಳ ಪರಿಣಾಮಕಾರಿಯಾಗಿ ಸಂಘಟಿಸಬಹುದು. ಹೀಗಾಗಿ, ಇತ್ತೀಚಿಗೆ, ಒಂದು ದೊಡ್ಡ ಕಂಪನಿಯು ಕೆಲವೇ ವಾರಗಳಲ್ಲಿ, ಶೇಖರಣೆಯಿಂದ ಹಡೂಪ್‌ಗೆ ದೊಡ್ಡ ಡೇಟಾವನ್ನು ಡೌನ್‌ಲೋಡ್ ಮಾಡಿದೆ, ಅದು ಹಿಂದೆ ಹಲವಾರು ವರ್ಷಗಳಿಂದ ಸಂಗ್ರಹಿಸಿದೆ.

ಮೂಲ: www.habr.com

ಕಾಮೆಂಟ್ ಅನ್ನು ಸೇರಿಸಿ