ಕಳೆದ ವರ್ಷ ಅಪಾಚೆ ಹಡೂಪ್‌ಗೆ ದೊಡ್ಡ ಬದಲಾವಣೆಗಳ ವರ್ಷವಾಗಿತ್ತು ಎಂಬುದು ಬಹುಶಃ ರಹಸ್ಯವಲ್ಲ. ಕಳೆದ ವರ್ಷ, ಕ್ಲೌಡೆರಾ ಮತ್ತು ಹಾರ್ಟನ್‌ವರ್ಕ್ಸ್ ವಿಲೀನಗೊಂಡವು (ಮೂಲಭೂತವಾಗಿ, ಎರಡನೆಯದನ್ನು ಸ್ವಾಧೀನಪಡಿಸಿಕೊಳ್ಳುವುದು), ಮತ್ತು ಗಂಭೀರ ಹಣಕಾಸಿನ ಸಮಸ್ಯೆಗಳಿಂದ ಮ್ಯಾಪ್‌ಆರ್ ಅನ್ನು ಹೆವ್ಲೆಟ್ ಪ್ಯಾಕರ್ಡ್‌ಗೆ ಮಾರಾಟ ಮಾಡಲಾಯಿತು. ಮತ್ತು ಕೆಲವು ವರ್ಷಗಳ ಹಿಂದೆ, ಆವರಣದ ಸ್ಥಾಪನೆಗಳ ಸಂದರ್ಭದಲ್ಲಿ, ಕ್ಲೌಡೆರಾ ಮತ್ತು ಹಾರ್ಟನ್‌ವರ್ಕ್ಸ್ ನಡುವೆ ಆಯ್ಕೆಯನ್ನು ಹೆಚ್ಚಾಗಿ ಮಾಡಬೇಕಾಗಿದ್ದರೆ, ಇಂದು, ಅಯ್ಯೋ, ನಮಗೆ ಈ ಆಯ್ಕೆ ಇಲ್ಲ. ಮತ್ತೊಂದು ಆಶ್ಚರ್ಯವೆಂದರೆ ಕ್ಲೌಡೆರಾ ಈ ವರ್ಷದ ಫೆಬ್ರವರಿಯಲ್ಲಿ ತನ್ನ ವಿತರಣೆಯ ಬೈನರಿ ಅಸೆಂಬ್ಲಿಗಳನ್ನು ಸಾರ್ವಜನಿಕ ಭಂಡಾರಕ್ಕೆ ಬಿಡುಗಡೆ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸುವುದಾಗಿ ಘೋಷಿಸಿತು ಮತ್ತು ಅವು ಈಗ ಪಾವತಿಸಿದ ಚಂದಾದಾರಿಕೆಯ ಮೂಲಕ ಮಾತ್ರ ಲಭ್ಯವಿವೆ. ಸಹಜವಾಗಿ, 2019 ರ ಅಂತ್ಯದ ಮೊದಲು ಬಿಡುಗಡೆಯಾದ CDH ಮತ್ತು HDP ಯ ಇತ್ತೀಚಿನ ಆವೃತ್ತಿಗಳನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಲು ಇನ್ನೂ ಸಾಧ್ಯವಿದೆ ಮತ್ತು ಅವುಗಳಿಗೆ ಒಂದರಿಂದ ಎರಡು ವರ್ಷಗಳವರೆಗೆ ಬೆಂಬಲವನ್ನು ನಿರೀಕ್ಷಿಸಲಾಗಿದೆ. ಆದರೆ ಮುಂದೆ ಏನು ಮಾಡಬೇಕು? ಹಿಂದೆ ಚಂದಾದಾರಿಕೆಗಾಗಿ ಪಾವತಿಸಿದವರಿಗೆ, ಏನೂ ಬದಲಾಗಿಲ್ಲ. ಮತ್ತು ವಿತರಣೆಯ ಪಾವತಿಸಿದ ಆವೃತ್ತಿಗೆ ಬದಲಾಯಿಸಲು ಬಯಸದವರಿಗೆ, ಆದರೆ ಕ್ಲಸ್ಟರ್ ಘಟಕಗಳ ಇತ್ತೀಚಿನ ಆವೃತ್ತಿಗಳು, ಹಾಗೆಯೇ ಪ್ಯಾಚ್‌ಗಳು ಮತ್ತು ಇತರ ನವೀಕರಣಗಳನ್ನು ಸ್ವೀಕರಿಸಲು ಇನ್ನೂ ಬಯಸುತ್ತಿರುವವರಿಗೆ, ನಾವು ಈ ಲೇಖನವನ್ನು ಸಿದ್ಧಪಡಿಸಿದ್ದೇವೆ. ಅದರಲ್ಲಿ ನಾವು ಈ ಪರಿಸ್ಥಿತಿಯಿಂದ ಹೊರಬರಲು ಸಂಭವನೀಯ ಆಯ್ಕೆಗಳನ್ನು ಪರಿಗಣಿಸುತ್ತೇವೆ.
ಲೇಖನವು ಹೆಚ್ಚು ವಿಮರ್ಶೆಯಾಗಿದೆ. ಇದು ವಿತರಣೆಗಳ ಹೋಲಿಕೆ ಮತ್ತು ಅವುಗಳ ವಿವರವಾದ ವಿಶ್ಲೇಷಣೆಯನ್ನು ಹೊಂದಿರುವುದಿಲ್ಲ ಮತ್ತು ಅವುಗಳನ್ನು ಸ್ಥಾಪಿಸಲು ಮತ್ತು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಯಾವುದೇ ಪಾಕವಿಧಾನಗಳಿಲ್ಲ. ಏನಾಗುವುದೆಂದು? ಅರೆನಾಡಾಟಾ ಹಡೂಪ್‌ನಂತಹ ವಿತರಣೆಯ ಬಗ್ಗೆ ನಾವು ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಮಾತನಾಡುತ್ತೇವೆ, ಇದು ಲಭ್ಯತೆಯಿಂದಾಗಿ ನಮ್ಮ ಗಮನಕ್ಕೆ ಅರ್ಹವಾಗಿದೆ, ಇದು ಇಂದು ಬಹಳ ಅಪರೂಪ. ತದನಂತರ ನಾವು ವೆನಿಲ್ಲಾ ಹಡೂಪ್ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತೇವೆ, ಮುಖ್ಯವಾಗಿ ಅಪಾಚೆ ಬಿಗ್ಟಾಪ್ ಬಳಸಿ ಅದನ್ನು ಹೇಗೆ "ಬೇಯಿಸಬಹುದು" ಎಂಬುದರ ಕುರಿತು. ಸಿದ್ಧವಾಗಿದೆಯೇ? ನಂತರ ಬೆಕ್ಕಿಗೆ ಸ್ವಾಗತ.
ಅರೆನಾಡಾಟಾ ಹಡೂಪ್
ಇದು ಸಂಪೂರ್ಣವಾಗಿ ಹೊಸ ಮತ್ತು ಇನ್ನೂ, ದೇಶೀಯ ಅಭಿವೃದ್ಧಿಯ ಕಡಿಮೆ-ತಿಳಿದಿರುವ ವಿತರಣಾ ಕಿಟ್ ಆಗಿದೆ. ದುರದೃಷ್ಟವಶಾತ್, ಹಬ್ರೆಯಲ್ಲಿ ಮಾತ್ರ ಇದೆ .
ಹೆಚ್ಚಿನ ಮಾಹಿತಿಯನ್ನು ಅಧಿಕೃತವಾಗಿ ಕಾಣಬಹುದು ಯೋಜನೆ. ವಿತರಣೆಯ ಇತ್ತೀಚಿನ ಆವೃತ್ತಿಗಳು ಆವೃತ್ತಿ 3.1.2 ಗಾಗಿ Hadoop 3 ಮತ್ತು ಆವೃತ್ತಿ 2.8.5 ಗಾಗಿ 2 ಅನ್ನು ಆಧರಿಸಿವೆ.
ಮಾರ್ಗಸೂಚಿಯ ಬಗ್ಗೆ ಮಾಹಿತಿಯನ್ನು ಕಾಣಬಹುದು .
ಅರೆನಾಡಾಟಾ ಕ್ಲಸ್ಟರ್ ಮ್ಯಾನೇಜರ್ ಇಂಟರ್ಫೇಸ್
ಅರೆನಾಡೇಟಾದ ಪ್ರಮುಖ ಉತ್ಪನ್ನವಾಗಿದೆ , ಇದನ್ನು ವಿವಿಧ ಕಂಪನಿಯ ಸಾಫ್ಟ್‌ವೇರ್ ಪರಿಹಾರಗಳನ್ನು ಸ್ಥಾಪಿಸಲು, ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಮತ್ತು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ಬಳಸಲಾಗುತ್ತದೆ. ADCM ಅನ್ನು ಉಚಿತವಾಗಿ ವಿತರಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಅದರ ಕಾರ್ಯವನ್ನು ಬಂಡಲ್‌ಗಳನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ವಿಸ್ತರಿಸಲಾಗುತ್ತದೆ, ಇದು ಅನ್ಸಿಬಲ್-ಪ್ಲೇಬುಕ್‌ಗಳ ಗುಂಪಾಗಿದೆ. ಕಟ್ಟುಗಳನ್ನು ಎರಡು ವಿಧಗಳಾಗಿ ವಿಂಗಡಿಸಲಾಗಿದೆ: ಉದ್ಯಮ ಮತ್ತು ಸಮುದಾಯ. ಎರಡನೆಯದು ಅರೆನಾಡಾಟಾ ವೆಬ್‌ಸೈಟ್‌ನಿಂದ ಉಚಿತ ಡೌನ್‌ಲೋಡ್‌ಗೆ ಲಭ್ಯವಿದೆ. ನಿಮ್ಮ ಸ್ವಂತ ಬಂಡಲ್ ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲು ಮತ್ತು ಅದನ್ನು ADCM ಗೆ ಸಂಪರ್ಕಿಸಲು ಸಹ ಸಾಧ್ಯವಿದೆ.
ಹಡೂಪ್ 3 ರ ನಿಯೋಜನೆ ಮತ್ತು ನಿರ್ವಹಣೆಗಾಗಿ, ಬಂಡಲ್‌ನ ಸಮುದಾಯ ಆವೃತ್ತಿಯನ್ನು ADCM ಜೊತೆಗೆ ನೀಡಲಾಗುತ್ತದೆ, ಆದರೆ ಹಡೂಪ್ 2 ಗಾಗಿ ಮಾತ್ರ ಇದೆ ಪರ್ಯಾಯವಾಗಿ. ಪ್ಯಾಕೇಜ್ಗಳೊಂದಿಗೆ ರೆಪೊಸಿಟರಿಗಳಿಗೆ ಸಂಬಂಧಿಸಿದಂತೆ, ಅವುಗಳು ಸಾರ್ವಜನಿಕ ಪ್ರವೇಶಕ್ಕೆ ತೆರೆದಿರುತ್ತವೆ, ಅವುಗಳನ್ನು ಕ್ಲಸ್ಟರ್ನ ಎಲ್ಲಾ ಘಟಕಗಳಿಗೆ ಸಾಮಾನ್ಯ ರೀತಿಯಲ್ಲಿ ಡೌನ್ಲೋಡ್ ಮಾಡಬಹುದು ಮತ್ತು ಸ್ಥಾಪಿಸಬಹುದು. ಒಟ್ಟಾರೆಯಾಗಿ, ವಿತರಣೆಯು ತುಂಬಾ ಆಸಕ್ತಿದಾಯಕವಾಗಿದೆ. ಕ್ಲೌಡೆರಾ ಮ್ಯಾನೇಜರ್ ಮತ್ತು ಅಂಬಾರಿಯಂತಹ ಪರಿಹಾರಗಳಿಗೆ ಒಗ್ಗಿಕೊಂಡಿರುವವರು ಮತ್ತು ADCM ಅನ್ನು ಇಷ್ಟಪಡುವವರು ಇರುತ್ತಾರೆ ಎಂದು ನನಗೆ ಖಾತ್ರಿಯಿದೆ. ಕೆಲವರಿಗೆ, ವಿತರಣೆಯು ದೊಡ್ಡ ಪ್ಲಸ್ ಆಗಿರುತ್ತದೆ ಆಮದು ಪರ್ಯಾಯಕ್ಕಾಗಿ.
ನಾವು ಅನಾನುಕೂಲಗಳ ಬಗ್ಗೆ ಮಾತನಾಡಿದರೆ, ಅವರು ಎಲ್ಲಾ ಇತರ ಹಡೂಪ್ ವಿತರಣೆಗಳಂತೆಯೇ ಇರುತ್ತದೆ. ಅವುಗಳೆಂದರೆ:
- "ಮಾರಾಟಗಾರರ ಲಾಕ್-ಇನ್" ಎಂದು ಕರೆಯಲ್ಪಡುವ. ಕ್ಲೌಡೆರಾ ಮತ್ತು ಹಾರ್ಟನ್‌ವರ್ಕ್ಸ್‌ನ ಉದಾಹರಣೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು, ಕಂಪನಿಯ ನೀತಿಯನ್ನು ಬದಲಾಯಿಸುವ ಅಪಾಯ ಯಾವಾಗಲೂ ಇದೆ ಎಂದು ನಾವು ಈಗಾಗಲೇ ಅರಿತುಕೊಂಡಿದ್ದೇವೆ.
- ಅಪಾಚೆ ಅಪ್‌ಸ್ಟ್ರೀಮ್‌ಗಿಂತ ಗಮನಾರ್ಹ ವಿಳಂಬ.
ವೆನಿಲ್ಲಾ ಹಡೂಪ್
ನಿಮಗೆ ತಿಳಿದಿರುವಂತೆ, Hadoop ಒಂದು ಏಕಶಿಲೆಯ ಉತ್ಪನ್ನವಲ್ಲ, ಆದರೆ, ವಾಸ್ತವವಾಗಿ, ಅದರ ವಿತರಿಸಿದ ಫೈಲ್ ಸಿಸ್ಟಮ್ HDFS ಸುತ್ತಲಿನ ಸೇವೆಗಳ ಸಂಪೂರ್ಣ ಗ್ಯಾಲಕ್ಸಿ. ಕೆಲವೇ ಜನರು ಒಂದು ಫೈಲ್ ಕ್ಲಸ್ಟರ್ ಅನ್ನು ಸಾಕಷ್ಟು ಹೊಂದಿರುತ್ತಾರೆ. ಕೆಲವು ಹೈವ್ ಅಗತ್ಯವಿದೆ, ಇತರರು Presto, ಮತ್ತು ನಂತರ HBase ಮತ್ತು ಫೀನಿಕ್ಸ್ ಹೆಚ್ಚು ಬಳಸಲಾಗುತ್ತದೆ; ಆರ್ಕೆಸ್ಟ್ರೇಶನ್ ಮತ್ತು ಡೇಟಾ ಲೋಡಿಂಗ್‌ಗಾಗಿ, ಊಜೀ, ಸ್ಕೂಪ್ ಮತ್ತು ಫ್ಲೂಮ್ ಕೆಲವೊಮ್ಮೆ ಕಂಡುಬರುತ್ತವೆ. ಮತ್ತು ಭದ್ರತೆಯ ಸಮಸ್ಯೆ ಉದ್ಭವಿಸಿದರೆ, ರೇಂಜರ್ ಜೊತೆಯಲ್ಲಿ ಕೆರ್ಬರೋಸ್ ತಕ್ಷಣವೇ ಮನಸ್ಸಿಗೆ ಬರುತ್ತದೆ.
ಹಡೂಪ್ ಘಟಕಗಳ ಬೈನರಿ ಆವೃತ್ತಿಗಳು ಟಾರ್‌ಬಾಲ್‌ಗಳ ರೂಪದಲ್ಲಿ ಪ್ರತಿಯೊಂದು ಪರಿಸರ ವ್ಯವಸ್ಥೆಯ ಯೋಜನೆಗಳ ವೆಬ್‌ಸೈಟ್‌ನಲ್ಲಿ ಲಭ್ಯವಿದೆ. ನೀವು ಅವುಗಳನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಬಹುದು ಮತ್ತು ಅನುಸ್ಥಾಪನೆಯನ್ನು ಪ್ರಾರಂಭಿಸಬಹುದು, ಆದರೆ ಒಂದು ಷರತ್ತಿನೊಂದಿಗೆ: "ಕಚ್ಚಾ" ಬೈನರಿಗಳಿಂದ ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಜೋಡಿಸುವುದರ ಜೊತೆಗೆ, ನೀವು ಹೆಚ್ಚಾಗಿ ಮಾಡಲು ಬಯಸುತ್ತೀರಿ, ಪ್ರತಿಯೊಂದಕ್ಕೂ ಡೌನ್ಲೋಡ್ ಮಾಡಿದ ಆವೃತ್ತಿಯ ಘಟಕಗಳ ಹೊಂದಾಣಿಕೆಯಲ್ಲಿ ನಿಮಗೆ ಯಾವುದೇ ವಿಶ್ವಾಸವಿರುವುದಿಲ್ಲ. ಇತರೆ. ಅಪಾಚೆ ಬಿಗ್ಟಾಪ್ ಬಳಸಿ ನಿರ್ಮಿಸುವುದು ಆದ್ಯತೆಯ ಆಯ್ಕೆಯಾಗಿದೆ. ಅಪಾಚೆ ಮಾವೆನ್ ರೆಪೊಸಿಟರಿಗಳಿಂದ ನಿರ್ಮಿಸಲು, ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸಲು ಮತ್ತು ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಬಿಗ್ಟಾಪ್ ನಿಮಗೆ ಅನುಮತಿಸುತ್ತದೆ. ಆದರೆ, ನಮಗೆ ಬಹಳ ಮುಖ್ಯವಾದದ್ದು, ಬಿಗ್ಟಾಪ್ ಪರಸ್ಪರ ಹೊಂದಿಕೊಳ್ಳುವ ಘಟಕಗಳ ಆ ಆವೃತ್ತಿಗಳನ್ನು ಜೋಡಿಸುತ್ತದೆ. ನಾವು ಅದರ ಬಗ್ಗೆ ಹೆಚ್ಚು ವಿವರವಾಗಿ ಕೆಳಗೆ ಮಾತನಾಡುತ್ತೇವೆ.
ಅಪಾಚೆ ಬಿಗ್ಟಾಪ್
ಅಪಾಚೆ ಬಿಗ್ಟಾಪ್ ಅನೇಕವನ್ನು ನಿರ್ಮಿಸಲು, ಪ್ಯಾಕೇಜಿಂಗ್ ಮಾಡಲು ಮತ್ತು ಪರೀಕ್ಷಿಸಲು ಒಂದು ಸಾಧನವಾಗಿದೆ
ಹಡೂಪ್ ಮತ್ತು ಗ್ರೀನ್‌ಪ್ಲಮ್‌ನಂತಹ ಮುಕ್ತ ಮೂಲ ಯೋಜನೆಗಳು. ಬಿಗ್ಟಾಪ್ ಸಾಕಷ್ಟು ಹೊಂದಿದೆ
ಬಿಡುಗಡೆ ಮಾಡುತ್ತದೆ. ಬರೆಯುವ ಸಮಯದಲ್ಲಿ, ಇತ್ತೀಚಿನ ಸ್ಥಿರ ಬಿಡುಗಡೆ ಆವೃತ್ತಿ 1.4 ಆಗಿತ್ತು,
ಮತ್ತು ಮಾಸ್ಟರ್ ನಲ್ಲಿ 1.5 ಇತ್ತು. ಬಿಡುಗಡೆಗಳ ವಿಭಿನ್ನ ಆವೃತ್ತಿಗಳು ವಿಭಿನ್ನ ಆವೃತ್ತಿಗಳನ್ನು ಬಳಸುತ್ತವೆ
ಘಟಕಗಳು. ಉದಾಹರಣೆಗೆ, 1.4 ಹಡೂಪ್ ಕೋರ್ ಘಟಕಗಳು ಆವೃತ್ತಿ 2.8.5 ಮತ್ತು ಮಾಸ್ಟರ್‌ನಲ್ಲಿವೆ
2.10.0. ಬೆಂಬಲಿತ ಘಟಕಗಳ ಸಂಯೋಜನೆಯು ಸಹ ಬದಲಾಗುತ್ತಿದೆ. ಯಾವುದೋ ಹಳೆಯದು ಮತ್ತು
ನವೀಕರಿಸಲಾಗದವು ದೂರ ಹೋಗುತ್ತದೆ, ಮತ್ತು ಅದರ ಸ್ಥಳದಲ್ಲಿ ಹೊಸದು ಬರುತ್ತದೆ, ಹೆಚ್ಚು ಬೇಡಿಕೆ, ಮತ್ತು
ಇದು ಅಪಾಚೆ ಕುಟುಂಬದಿಂದಲೇ ಆಗಿರಬೇಕು ಎಂದೇನೂ ಅಲ್ಲ.
ಇದರ ಜೊತೆಗೆ, ಬಿಗ್ಟಾಪ್ ಅನೇಕವನ್ನು ಹೊಂದಿದೆ .
ನಾವು ಬಿಗ್‌ಟಾಪ್‌ನೊಂದಿಗೆ ಪರಿಚಯವಾಗಲು ಪ್ರಾರಂಭಿಸಿದಾಗ, ಇತರ ಅಪಾಚೆ ಯೋಜನೆಗಳು, ಹರಡುವಿಕೆ ಮತ್ತು ಜನಪ್ರಿಯತೆ ಮತ್ತು ಅತ್ಯಂತ ಸಣ್ಣ ಸಮುದಾಯಕ್ಕೆ ಹೋಲಿಸಿದರೆ ಅದರ ಸಾಧಾರಣತೆಯಿಂದ ನಾವು ಮೊದಲು ಆಶ್ಚರ್ಯಚಕಿತರಾಗಿದ್ದೇವೆ. ಉತ್ಪನ್ನದ ಬಗ್ಗೆ ಕನಿಷ್ಠ ಮಾಹಿತಿಯಿದೆ ಮತ್ತು ಫೋರಮ್‌ಗಳು ಮತ್ತು ಮೇಲಿಂಗ್ ಪಟ್ಟಿಗಳಲ್ಲಿ ಉದ್ಭವಿಸಿದ ಸಮಸ್ಯೆಗಳಿಗೆ ಪರಿಹಾರಗಳನ್ನು ಹುಡುಕುವುದರಿಂದ ಏನನ್ನೂ ನೀಡಲಾಗುವುದಿಲ್ಲ ಎಂದು ಇದು ಅನುಸರಿಸುತ್ತದೆ. ಮೊದಲಿಗೆ, ಉಪಕರಣದ ವೈಶಿಷ್ಟ್ಯಗಳಿಂದಾಗಿ ವಿತರಣೆಯ ಸಂಪೂರ್ಣ ಜೋಡಣೆಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ನಮಗೆ ಕಷ್ಟಕರವಾದ ಕೆಲಸವಾಗಿದೆ, ಆದರೆ ನಾವು ಸ್ವಲ್ಪ ಸಮಯದ ನಂತರ ಈ ಬಗ್ಗೆ ಮಾತನಾಡುತ್ತೇವೆ.
ಟೀಸರ್‌ನಂತೆ, ಒಂದು ಸಮಯದಲ್ಲಿ ಲಿನಕ್ಸ್ ಬ್ರಹ್ಮಾಂಡದ ಜೆಂಟೂ ಮತ್ತು ಎಲ್‌ಎಫ್‌ಎಸ್‌ನಂತಹ ಯೋಜನೆಗಳಲ್ಲಿ ಆಸಕ್ತಿ ಹೊಂದಿದ್ದವರು ಈ ವಿಷಯದೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವುದು ನಾಸ್ಟಾಲ್ಜಿಕಲ್‌ನಿಂದ ಆಹ್ಲಾದಕರವಾಗಿರುತ್ತದೆ ಮತ್ತು ನಾವೇ ಹುಡುಕುತ್ತಿರುವ (ಅಥವಾ ಬರೆಯುವ) ಆ “ಮಹಾಕಾವ್ಯ” ಸಮಯವನ್ನು ನೆನಪಿಸಿಕೊಳ್ಳಬಹುದು. ಹೊಸ ಪ್ಯಾಚ್‌ಗಳೊಂದಿಗೆ ಮೊಜಿಲ್ಲಾವನ್ನು ebuilds ಮತ್ತು ನಿಯಮಿತವಾಗಿ ಮರುನಿರ್ಮಿಸುತ್ತವೆ.
ಬಿಗ್‌ಟಾಪ್‌ನ ದೊಡ್ಡ ಪ್ರಯೋಜನವೆಂದರೆ ಅದನ್ನು ಆಧರಿಸಿದ ಪರಿಕರಗಳ ಮುಕ್ತತೆ ಮತ್ತು ಬಹುಮುಖತೆ. ಇದು ಗ್ರೇಡಲ್ ಮತ್ತು ಅಪಾಚೆ ಮಾವೆನ್ ಅನ್ನು ಆಧರಿಸಿದೆ. ಆಂಡ್ರಾಯ್ಡ್ ಅನ್ನು ನಿರ್ಮಿಸಲು ಗೂಗಲ್ ಬಳಸುವ ಸಾಧನವಾಗಿ ಗ್ರೇಡಲ್ ಸಾಕಷ್ಟು ಪ್ರಸಿದ್ಧವಾಗಿದೆ. ಇದು ಹೊಂದಿಕೊಳ್ಳುವ, ಮತ್ತು ಅವರು ಹೇಳಿದಂತೆ, "ಯುದ್ಧ-ಪರೀಕ್ಷಿತ." ಅಪಾಚೆಯಲ್ಲಿಯೇ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಲು ಮಾವೆನ್ ಪ್ರಮಾಣಿತ ಸಾಧನವಾಗಿದೆ, ಮತ್ತು ಅದರ ಹೆಚ್ಚಿನ ಉತ್ಪನ್ನಗಳನ್ನು ಮಾವೆನ್ ಮೂಲಕ ಬಿಡುಗಡೆ ಮಾಡುವುದರಿಂದ, ಇಲ್ಲಿಯೂ ಅದು ಇಲ್ಲದೆ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. POM (ಪ್ರಾಜೆಕ್ಟ್ ಆಬ್ಜೆಕ್ಟ್ ಮಾದರಿ) ಗೆ ಗಮನ ಕೊಡುವುದು ಯೋಗ್ಯವಾಗಿದೆ - ನಿಮ್ಮ ಪ್ರಾಜೆಕ್ಟ್‌ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು ಮಾವೆನ್‌ಗೆ ಅಗತ್ಯವಿರುವ ಎಲ್ಲವನ್ನೂ ವಿವರಿಸುವ “ಮೂಲಭೂತ” xml ಫೈಲ್, ಅದರ ಸುತ್ತಲೂ ಎಲ್ಲಾ ಕೆಲಸಗಳನ್ನು ನಿರ್ಮಿಸಲಾಗಿದೆ. ನಿಖರವಾಗಿ ನಲ್ಲಿ
ಮಾವೆನ್‌ನ ಭಾಗಗಳು ಮತ್ತು ಮೊದಲ ಬಾರಿಗೆ ಬಿಗ್ಟಾಪ್ ಬಳಕೆದಾರರು ಸಾಮಾನ್ಯವಾಗಿ ಎದುರಿಸುವ ಕೆಲವು ಅಡಚಣೆಗಳಿವೆ.
ಅಭ್ಯಾಸ
ಹಾಗಾದರೆ ನೀವು ಎಲ್ಲಿಂದ ಪ್ರಾರಂಭಿಸಬೇಕು? ಡೌನ್ಲೋಡ್ ಪುಟಕ್ಕೆ ಹೋಗಿ ಮತ್ತು ಇತ್ತೀಚಿನ ಸ್ಥಿರ ಆವೃತ್ತಿಯನ್ನು ಆರ್ಕೈವ್ ಆಗಿ ಡೌನ್ಲೋಡ್ ಮಾಡಿ. ಅಲ್ಲಿ ಬಿಗ್ಟಾಪ್ ಸಂಗ್ರಹಿಸಿದ ಬೈನರಿ ಕಲಾಕೃತಿಗಳನ್ನು ಸಹ ನೀವು ಕಾಣಬಹುದು. ಮೂಲಕ, ಸಾಮಾನ್ಯ ಪ್ಯಾಕೇಜ್ ಮ್ಯಾನೇಜರ್‌ಗಳಲ್ಲಿ, YUM ಮತ್ತು APT ಅನ್ನು ಬೆಂಬಲಿಸಲಾಗುತ್ತದೆ.
ಪರ್ಯಾಯವಾಗಿ, ನೀವು ಇತ್ತೀಚಿನ ಸ್ಥಿರ ಬಿಡುಗಡೆಯನ್ನು ನೇರವಾಗಿ ಡೌನ್ಲೋಡ್ ಮಾಡಬಹುದು
ಗಿಥಬ್:
$ git clone --branch branch-1.4 https://github.com/apache/bigtop.git"ಬಿಗ್ಟಾಪ್" ನಲ್ಲಿ ಕ್ಲೋನಿಂಗ್...
remote: Enumerating objects: 46, done.
remote: Counting objects: 100% (46/46), done.
remote: Compressing objects: 100% (41/41), done.
remote: Total 40217 (delta 14), reused 10 (delta 1), pack-reused 40171
Получение объектов: 100% (40217/40217), 43.54 MiB | 1.05 MiB/s, готово.
Определение изменений: 100% (20503/20503), готово.
Updating files: 100% (1998/1998), готово.ಪರಿಣಾಮವಾಗಿ ./bigtop ಡೈರೆಕ್ಟರಿಯು ಈ ರೀತಿ ಕಾಣುತ್ತದೆ:
./bigtop-bigpetstore - ಡೆಮೊ ಅಪ್ಲಿಕೇಶನ್‌ಗಳು, ಸಿಂಥೆಟಿಕ್ ಉದಾಹರಣೆಗಳು
./bigtop-ci - CI ಉಪಕರಣಗಳು, ಜೆಂಕಿನ್ಸ್
./bigtop-data-generators - ಡೇಟಾ ಉತ್ಪಾದನೆ, ಸಿಂಥೆಟಿಕ್ಸ್, ಹೊಗೆ ಪರೀಕ್ಷೆಗಳಿಗೆ, ಇತ್ಯಾದಿ.
./bigtop-deploy - ನಿಯೋಜನೆ ಉಪಕರಣಗಳು
./bigtop-packages - ಸಂರಚನೆಗಳು, ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳು, ಜೋಡಣೆಗಾಗಿ ಪ್ಯಾಚ್‌ಗಳು, ಉಪಕರಣದ ಮುಖ್ಯ ಭಾಗ
./bigtop-test-framework - ಪರೀಕ್ಷಾ ಚೌಕಟ್ಟು
./bigtop-tests - ಪರೀಕ್ಷೆಗಳು ಸ್ವತಃ, ಲೋಡ್ ಮತ್ತು ಹೊಗೆ
./bigtop_toolchain - ಜೋಡಣೆಗಾಗಿ ಪರಿಸರ, ಉಪಕರಣವು ಕೆಲಸ ಮಾಡಲು ಪರಿಸರವನ್ನು ಸಿದ್ಧಪಡಿಸುವುದು
./build - ವರ್ಕಿಂಗ್ ಡೈರೆಕ್ಟರಿಯನ್ನು ನಿರ್ಮಿಸಿ
./dl - ಡೌನ್ಲೋಡ್ ಮಾಡಿದ ಮೂಲಗಳಿಗಾಗಿ ಡೈರೆಕ್ಟರಿ
./docker - ಡಾಕರ್ ಚಿತ್ರಗಳಲ್ಲಿ ನಿರ್ಮಿಸುವುದು, ಪರೀಕ್ಷೆ
./gradle - ಗ್ರೇಡಲ್ ಕಾನ್ಫಿಗರ್
./output - ನಿರ್ಮಾಣ ಕಲಾಕೃತಿಗಳು ಹೋಗುವ ಡೈರೆಕ್ಟರಿ
./provisioner - ನಿಬಂಧನೆ
ಈ ಹಂತದಲ್ಲಿ ನಮಗೆ ಅತ್ಯಂತ ಆಸಕ್ತಿದಾಯಕ ವಿಷಯವೆಂದರೆ ಮುಖ್ಯ ಸಂರಚನೆ ./bigtop/bigtop.bom, ಇದರಲ್ಲಿ ನಾವು ಎಲ್ಲಾ ಬೆಂಬಲಿತ ಘಟಕಗಳನ್ನು ಆವೃತ್ತಿಗಳೊಂದಿಗೆ ನೋಡುತ್ತೇವೆ. ಇಲ್ಲಿ ನಾವು ಉತ್ಪನ್ನದ ವಿಭಿನ್ನ ಆವೃತ್ತಿಯನ್ನು ನಿರ್ದಿಷ್ಟಪಡಿಸಬಹುದು (ನಾವು ಇದ್ದಕ್ಕಿದ್ದಂತೆ ಅದನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಯತ್ನಿಸಲು ಬಯಸಿದರೆ) ಅಥವಾ ನಿರ್ಮಾಣ ಆವೃತ್ತಿಯನ್ನು (ಉದಾಹರಣೆಗೆ, ನಾವು ಗಮನಾರ್ಹವಾದ ಪ್ಯಾಚ್ ಅನ್ನು ಸೇರಿಸಿದರೆ).
ಉಪ ಡೈರೆಕ್ಟರಿಯು ಸಹ ಹೆಚ್ಚಿನ ಆಸಕ್ತಿಯನ್ನು ಹೊಂದಿದೆ ./bigtop/bigtop-packages, ಅವುಗಳೊಂದಿಗೆ ಘಟಕಗಳು ಮತ್ತು ಪ್ಯಾಕೇಜುಗಳನ್ನು ಜೋಡಿಸುವ ಪ್ರಕ್ರಿಯೆಗೆ ನೇರವಾಗಿ ಸಂಬಂಧಿಸಿದೆ.
ಆದ್ದರಿಂದ, ನಾವು ಆರ್ಕೈವ್ ಅನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡಿದ್ದೇವೆ, ಅದನ್ನು ಅನ್ಪ್ಯಾಕ್ ಮಾಡಿದ್ದೇವೆ ಅಥವಾ ಗಿಥಬ್‌ನಿಂದ ಕ್ಲೋನ್ ಮಾಡಿದ್ದೇವೆ, ನಾವು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಬಹುದೇ?
ಇಲ್ಲ, ಮೊದಲು ಪರಿಸರವನ್ನು ಸಿದ್ಧಪಡಿಸೋಣ.
ಪರಿಸರವನ್ನು ಸಿದ್ಧಪಡಿಸುವುದು
ಮತ್ತು ಇಲ್ಲಿ ನಮಗೆ ಒಂದು ಸಣ್ಣ ಹಿಮ್ಮೆಟ್ಟುವಿಕೆ ಬೇಕು. ಯಾವುದೇ ಹೆಚ್ಚು ಅಥವಾ ಕಡಿಮೆ ಸಂಕೀರ್ಣ ಉತ್ಪನ್ನವನ್ನು ನಿರ್ಮಿಸಲು, ನಿಮಗೆ ಒಂದು ನಿರ್ದಿಷ್ಟ ಪರಿಸರ ಬೇಕು - ನಮ್ಮ ಸಂದರ್ಭದಲ್ಲಿ, ಇದು JDK, ಅದೇ ಹಂಚಿದ ಲೈಬ್ರರಿಗಳು, ಹೆಡರ್ ಫೈಲ್‌ಗಳು, ಇತ್ಯಾದಿ, ಉಪಕರಣಗಳು, ಉದಾಹರಣೆಗೆ, ಇರುವೆ, ಐವಿ 2 ಮತ್ತು ಇನ್ನಷ್ಟು. ಬಿಗ್‌ಟಾಪ್‌ಗೆ ಅಗತ್ಯವಿರುವ ಪರಿಸರವನ್ನು ಪಡೆಯುವ ಆಯ್ಕೆಗಳಲ್ಲಿ ಒಂದಾದ ಬಿಲ್ಡ್ ಹೋಸ್ಟ್‌ನಲ್ಲಿ ಅಗತ್ಯ ಘಟಕಗಳನ್ನು ಸ್ಥಾಪಿಸುವುದು. ನಾನು ಕಾಲಾನುಕ್ರಮದಲ್ಲಿ ತಪ್ಪಾಗಿರಬಹುದು, ಆದರೆ ಆವೃತ್ತಿ 1.0 ನೊಂದಿಗೆ ಪೂರ್ವ-ಕಾನ್ಫಿಗರ್ ಮಾಡಿದ ಮತ್ತು ಪ್ರವೇಶಿಸಬಹುದಾದ ಡಾಕರ್ ಚಿತ್ರಗಳಲ್ಲಿ ನಿರ್ಮಿಸುವ ಆಯ್ಕೆಯೂ ಇದೆ ಎಂದು ತೋರುತ್ತದೆ, ಅದನ್ನು ಇಲ್ಲಿ ಕಾಣಬಹುದು.
ಪರಿಸರವನ್ನು ಸಿದ್ಧಪಡಿಸಲು, ಇದಕ್ಕೆ ಸಹಾಯಕರಿದ್ದಾರೆ - ಬೊಂಬೆ.
ನೀವು ಈ ಕೆಳಗಿನ ಆಜ್ಞೆಗಳನ್ನು ಬಳಸಬಹುದು, ರೂಟ್ ಡೈರೆಕ್ಟರಿಯಿಂದ ರನ್ ಮಾಡಿ
ಉಪಕರಣ, ./bigtop:
./gradlew toolchain
./gradlew toolchain-devtools
./gradlew toolchain-puppetmodules
ಅಥವಾ ನೇರವಾಗಿ ಬೊಂಬೆಯ ಮೂಲಕ:
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::installer"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::deployment-tools"
puppet apply --modulepath=<path_to_bigtop> -e "include bigtop_toolchain::development-tools"ದುರದೃಷ್ಟವಶಾತ್, ಈ ಹಂತದಲ್ಲಿ ಈಗಾಗಲೇ ತೊಂದರೆಗಳು ಉಂಟಾಗಬಹುದು. ಬಿಲ್ಡ್ ಹೋಸ್ಟ್‌ನಲ್ಲಿ ನವೀಕೃತವಾಗಿ ಬೆಂಬಲಿತ ವಿತರಣೆಯನ್ನು ಬಳಸುವುದು ಅಥವಾ ಡಾಕರ್ ಮಾರ್ಗವನ್ನು ಪ್ರಯತ್ನಿಸುವುದು ಇಲ್ಲಿ ಸಾಮಾನ್ಯ ಸಲಹೆಯಾಗಿದೆ.
ಅಸೆಂಬ್ಲಿ
ನಾವು ಏನು ಸಂಗ್ರಹಿಸಲು ಪ್ರಯತ್ನಿಸಬಹುದು? ಈ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರವನ್ನು ಆಜ್ಞೆಯ ಔಟ್ಪುಟ್ ಮೂಲಕ ನೀಡಲಾಗುವುದು
./gradlew tasks
ಪ್ಯಾಕೇಜ್ ಕಾರ್ಯಗಳ ವಿಭಾಗದಲ್ಲಿ ಬಿಗ್‌ಟಾಪ್‌ನ ಅಂತಿಮ ಕಲಾಕೃತಿಗಳಾಗಿರುವ ಹಲವಾರು ಉತ್ಪನ್ನಗಳಿವೆ.
ಅವುಗಳನ್ನು -rpm ಅಥವಾ -pkg-ind ಪ್ರತ್ಯಯದಿಂದ ಗುರುತಿಸಬಹುದು (ಕಟ್ಟಡದ ಸಂದರ್ಭದಲ್ಲಿ
ಡಾಕರ್‌ನಲ್ಲಿ). ನಮ್ಮ ಸಂದರ್ಭದಲ್ಲಿ, ಅತ್ಯಂತ ಆಸಕ್ತಿದಾಯಕವೆಂದರೆ ಹಡೂಪ್.
ನಮ್ಮ ನಿರ್ಮಾಣ ಸರ್ವರ್‌ನ ಪರಿಸರದಲ್ಲಿ ನಿರ್ಮಿಸಲು ಪ್ರಯತ್ನಿಸೋಣ:
./gradlew hadoop-rpmಬಿಗ್ಟಾಪ್ ಸ್ವತಃ ನಿರ್ದಿಷ್ಟ ಘಟಕಕ್ಕೆ ಅಗತ್ಯವಾದ ಮೂಲಗಳನ್ನು ಡೌನ್ಲೋಡ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಜೋಡಣೆಯನ್ನು ಪ್ರಾರಂಭಿಸುತ್ತದೆ. ಹೀಗಾಗಿ, ಉಪಕರಣದ ಕಾರ್ಯಾಚರಣೆಯು ಮಾವೆನ್ ರೆಪೊಸಿಟರಿಗಳು ಮತ್ತು ಇತರ ಮೂಲಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ, ಅಂದರೆ, ಇದಕ್ಕೆ ಇಂಟರ್ನೆಟ್ ಪ್ರವೇಶದ ಅಗತ್ಯವಿದೆ.
ಕಾರ್ಯಾಚರಣೆಯ ಸಮಯದಲ್ಲಿ, ಪ್ರಮಾಣಿತ ಔಟ್ಪುಟ್ ಅನ್ನು ಉತ್ಪಾದಿಸಲಾಗುತ್ತದೆ. ಕೆಲವೊಮ್ಮೆ ಅದು ಮತ್ತು ದೋಷ ಸಂದೇಶಗಳು ಏನು ತಪ್ಪಾಗಿದೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ನಿಮಗೆ ಸಹಾಯ ಮಾಡಬಹುದು. ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ನೀವು ಹೆಚ್ಚುವರಿ ಮಾಹಿತಿಯನ್ನು ಪಡೆಯಬೇಕು. ಈ ಸಂದರ್ಭದಲ್ಲಿ ವಾದಗಳನ್ನು ಸೇರಿಸುವುದು ಯೋಗ್ಯವಾಗಿದೆ --info ಅಥವಾ --debug, ಮತ್ತು ಸಹ ಉಪಯುಕ್ತವಾಗಬಹುದು –stacktrace. ಮೇಲಿಂಗ್ ಪಟ್ಟಿಗಳಿಗೆ ನಂತರದ ಪ್ರವೇಶಕ್ಕಾಗಿ ಡೇಟಾ ಸೆಟ್ ಅನ್ನು ರಚಿಸಲು ಅನುಕೂಲಕರ ಮಾರ್ಗವಿದೆ, ಕೀ --scan.
ಅದರ ಸಹಾಯದಿಂದ, ಬಿಗ್ಟಾಪ್ ಎಲ್ಲಾ ಮಾಹಿತಿಯನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ ಮತ್ತು ಅದನ್ನು ಗ್ರ್ಯಾಡಿಲ್‌ನಲ್ಲಿ ಇರಿಸುತ್ತದೆ, ನಂತರ ಅದು ಲಿಂಕ್ ಅನ್ನು ನೀಡುತ್ತದೆ,
ಇದನ್ನು ಅನುಸರಿಸುವ ಮೂಲಕ, ಅಸೆಂಬ್ಲಿ ಏಕೆ ವಿಫಲವಾಗಿದೆ ಎಂಬುದನ್ನು ಸಮರ್ಥ ವ್ಯಕ್ತಿ ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ.
ಈ ಆಯ್ಕೆಯು ಬಳಕೆದಾರರ ಹೆಸರುಗಳು, ನೋಡ್‌ಗಳು, ಪರಿಸರ ವೇರಿಯಬಲ್‌ಗಳು, ಇತ್ಯಾದಿಗಳಂತಹ ನಿಮಗೆ ಬೇಡವಾದ ಮಾಹಿತಿಯನ್ನು ಬಹಿರಂಗಪಡಿಸಬಹುದು ಎಂಬುದನ್ನು ದಯವಿಟ್ಟು ಗಮನಿಸಿ, ಆದ್ದರಿಂದ ಜಾಗರೂಕರಾಗಿರಿ.
ಅಸೆಂಬ್ಲಿಗೆ ಅಗತ್ಯವಾದ ಯಾವುದೇ ಘಟಕಗಳನ್ನು ಪಡೆಯಲು ಅಸಮರ್ಥತೆಯ ಪರಿಣಾಮವೆಂದರೆ ಆಗಾಗ್ಗೆ ದೋಷಗಳು. ವಿಶಿಷ್ಟವಾಗಿ, ಮೂಲಗಳಲ್ಲಿ ಏನನ್ನಾದರೂ ಸರಿಪಡಿಸಲು ಪ್ಯಾಚ್ ಅನ್ನು ರಚಿಸುವ ಮೂಲಕ ನೀವು ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸಬಹುದು, ಉದಾಹರಣೆಗೆ, ಮೂಲಗಳ ಮೂಲ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ pom.xml ನಲ್ಲಿ ವಿಳಾಸಗಳು. ಸೂಕ್ತವಾದ ಡೈರೆಕ್ಟರಿಯಲ್ಲಿ ರಚಿಸುವ ಮತ್ತು ಇರಿಸುವ ಮೂಲಕ ಇದನ್ನು ಮಾಡಲಾಗುತ್ತದೆ ./bigtop/bigtop-packages/src/common/oozie/ ಪ್ಯಾಚ್, ಉದಾಹರಣೆಗೆ, ರೂಪದಲ್ಲಿ patch2-fix.diff.
--- a/pom.xml
+++ b/pom.xml
@@ -136,7 +136,7 @@
<repositories>
<repository>
<id>central</id>
- <url>http://repo1.maven.org/maven2</url>
+ <url>https://repo1.maven.org/maven2</url>
<snapshots>
<enabled>false</enabled>
</snapshots>
ಹೆಚ್ಚಾಗಿ, ಈ ಲೇಖನವನ್ನು ಓದುವ ಸಮಯದಲ್ಲಿ, ಮೇಲಿನ ಪರಿಹಾರವನ್ನು ನೀವೇ ಮಾಡಬೇಕಾಗಿಲ್ಲ.
ಅಸೆಂಬ್ಲಿ ಕಾರ್ಯವಿಧಾನಕ್ಕೆ ಯಾವುದೇ ಪ್ಯಾಚ್‌ಗಳು ಮತ್ತು ಬದಲಾವಣೆಗಳನ್ನು ಪರಿಚಯಿಸುವಾಗ, ಕ್ಲೀನಪ್ ಆಜ್ಞೆಯನ್ನು ಬಳಸಿಕೊಂಡು ನೀವು ಅಸೆಂಬ್ಲಿಯನ್ನು "ರೀಸೆಟ್" ಮಾಡಬೇಕಾಗಬಹುದು:
./gradlew hadoop-clean
> Task :hadoop_vardefines
> Task :hadoop-clean
BUILD SUCCESSFUL in 5s
2 actionable tasks: 2 executedಈ ಕಾರ್ಯಾಚರಣೆಯು ಈ ಘಟಕದ ಜೋಡಣೆಗೆ ಎಲ್ಲಾ ಬದಲಾವಣೆಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ, ಅದರ ನಂತರ ಜೋಡಣೆಯನ್ನು ಮತ್ತೆ ನಿರ್ವಹಿಸಲಾಗುತ್ತದೆ. ಈ ಸಮಯದಲ್ಲಿ ನಾವು ಯೋಜನೆಯನ್ನು ಡಾಕರ್ ಚಿತ್ರದಲ್ಲಿ ನಿರ್ಮಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತೇವೆ:
./gradlew -POS=centos-7 -Pprefix=1.2.1 hadoop-pkg-ind
> Task :hadoop-pkg-ind
Building 1.2.1 hadoop-pkg on centos-7 in Docker...
+++ dirname ./bigtop-ci/build.sh
++ cd ./bigtop-ci/..
++ pwd
+ BIGTOP_HOME=/tmp/bigtop
+ '[' 6 -eq 0 ']'
+ [[ 6 -gt 0 ]]
+ key=--prefix
+ case $key in
+ PREFIX=1.2.1
+ shift
+ shift
+ [[ 4 -gt 0 ]]
+ key=--os
+ case $key in
+ OS=centos-7
+ shift
+ shift
+ [[ 2 -gt 0 ]]
+ key=--target
+ case $key in
+ TARGET=hadoop-pkg
+ shift
+ shift
+ [[ 0 -gt 0 ]]
+ '[' -z x ']'
+ '[' -z x ']'
+ '[' '' == true ']'
+ IMAGE_NAME=bigtop/slaves:1.2.1-centos-7
++ uname -m
+ ARCH=x86_64
+ '[' x86_64 '!=' x86_64 ']'
++ docker run -d bigtop/slaves:1.2.1-centos-7 /sbin/init
+
CONTAINER_ID=0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8
+ trap 'docker rm -f
0ce5ac5ca955b822a3e6c5eb3f477f0a152cd27d5487680f77e33fbe66b5bed8' EXIT
....
много вывода
....
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-namenode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-secondarynamenode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-zkfc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-journalnode-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-datanode-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-httpfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-resourcemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-nodemanager-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-proxyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-yarn-timelineserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-mapreduce-historyserver-2.8.5-
1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-client-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-conf-pseudo-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-doc-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-libhdfs-devel-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-hdfs-fuse-2.8.5-1.el7.x86_64.rpm
Wrote: /bigtop/build/hadoop/rpm/RPMS/x86_64/hadoop-debuginfo-2.8.5-1.el7.x86_64.rpm
+ umask 022
+ cd /bigtop/build/hadoop/rpm//BUILD
+ cd hadoop-2.8.5-src
+ /usr/bin/rm -rf /bigtop/build/hadoop/rpm/BUILDROOT/hadoop-2.8.5-1.el7.x86_64
Executing(%clean): /bin/sh -e /var/tmp/rpm-tmp.uQ2FCn
+ exit 0
+ umask 022
Executing(--clean): /bin/sh -e /var/tmp/rpm-tmp.CwDb22
+ cd /bigtop/build/hadoop/rpm//BUILD
+ rm -rf hadoop-2.8.5-src
+ exit 0
[ant:touch] Creating /bigtop/build/hadoop/.rpm
:hadoop-rpm (Thread[Task worker for ':',5,main]) completed. Took 38 mins 1.151 secs.
:hadoop-pkg (Thread[Task worker for ':',5,main]) started.
> Task :hadoop-pkg
Task ':hadoop-pkg' is not up-to-date because:
Task has not declared any outputs despite executing actions.
:hadoop-pkg (Thread[Task worker for ':',5,main]) completed. Took 0.0 secs.
BUILD SUCCESSFUL in 40m 37s
6 actionable tasks: 6 executed
+ RESULT=0
+ mkdir -p output
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/build .
+ docker cp
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb:/bigtop/output .
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
+ '[' 0 -ne 0 ']'
+ docker rm -f ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
Error: No such container:
ac46014fd9501bdc86b6c67d08789fbdc6ee46a2645550ff6b6712f7d02ffebb
BUILD SUCCESSFUL in 41m 24s
1 actionable task: 1 executedನಿರ್ಮಾಣವನ್ನು CentOS ಅಡಿಯಲ್ಲಿ ನಡೆಸಲಾಯಿತು, ಆದರೆ ಉಬುಂಟು ಅಡಿಯಲ್ಲಿ ಸಹ ಮಾಡಬಹುದು:
./gradlew -POS=ubuntu-16.04 -Pprefix=1.2.1 hadoop-pkg-indವಿವಿಧ ಲಿನಕ್ಸ್ ವಿತರಣೆಗಳಿಗಾಗಿ ಪ್ಯಾಕೇಜ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುವುದರ ಜೊತೆಗೆ, ಉಪಕರಣವು ಸಂಕಲಿಸಿದ ಪ್ಯಾಕೇಜ್ಗಳೊಂದಿಗೆ ರೆಪೊಸಿಟರಿಯನ್ನು ರಚಿಸಬಹುದು, ಉದಾಹರಣೆಗೆ:
./gradlew yumನೀವು ಹೊಗೆ ಪರೀಕ್ಷೆಗಳು ಮತ್ತು ಡಾಕರ್‌ನಲ್ಲಿ ನಿಯೋಜನೆ ಬಗ್ಗೆ ಸಹ ನೆನಪಿಸಿಕೊಳ್ಳಬಹುದು.
ಮೂರು ನೋಡ್‌ಗಳ ಸಮೂಹವನ್ನು ರಚಿಸಿ:
./gradlew -Pnum_instances=3 docker-provisionerಮೂರು ನೋಡ್‌ಗಳ ಕ್ಲಸ್ಟರ್‌ನಲ್ಲಿ ಹೊಗೆ ಪರೀಕ್ಷೆಗಳನ್ನು ಚಲಾಯಿಸಿ:
./gradlew -Pnum_instances=3 -Prun_smoke_tests docker-provisionerಕ್ಲಸ್ಟರ್ ಅನ್ನು ಅಳಿಸಿ:
./gradlew docker-provisioner-destroyಡಾಕರ್ ಕಂಟೇನರ್‌ಗಳ ಒಳಗೆ ಸಂಪರ್ಕಿಸಲು ಆಜ್ಞೆಗಳನ್ನು ಪಡೆಯಿರಿ:
./gradlew docker-provisioner-sshಸ್ಥಿತಿಯನ್ನು ತೋರಿಸು:
./gradlew docker-provisioner-statusದಸ್ತಾವೇಜನ್ನು ನಿಯೋಜನೆ ಕಾರ್ಯಗಳ ಕುರಿತು ನೀವು ಇನ್ನಷ್ಟು ಓದಬಹುದು.
ನಾವು ಪರೀಕ್ಷೆಗಳ ಬಗ್ಗೆ ಮಾತನಾಡಿದರೆ, ಅವುಗಳಲ್ಲಿ ಸಾಕಷ್ಟು ದೊಡ್ಡ ಸಂಖ್ಯೆಯಿದೆ, ಮುಖ್ಯವಾಗಿ ಹೊಗೆ ಮತ್ತು ಏಕೀಕರಣ. ಅವರ ವಿಶ್ಲೇಷಣೆ ಈ ಲೇಖನದ ವ್ಯಾಪ್ತಿಯನ್ನು ಮೀರಿದೆ. ವಿತರಣಾ ಕಿಟ್ ಅನ್ನು ಜೋಡಿಸುವುದು ಮೊದಲ ನೋಟದಲ್ಲಿ ತೋರುವಷ್ಟು ಕಷ್ಟಕರವಾದ ಕೆಲಸವಲ್ಲ ಎಂದು ನಾನು ಹೇಳುತ್ತೇನೆ. ನಮ್ಮ ಉತ್ಪಾದನೆಯಲ್ಲಿ ನಾವು ಬಳಸುವ ಎಲ್ಲಾ ಘಟಕಗಳ ಮೇಲೆ ಪರೀಕ್ಷೆಗಳನ್ನು ಜೋಡಿಸಲು ಮತ್ತು ಉತ್ತೀರ್ಣರಾಗಲು ನಾವು ನಿರ್ವಹಿಸುತ್ತಿದ್ದೇವೆ ಮತ್ತು ಪರೀಕ್ಷಾ ಪರಿಸರದಲ್ಲಿ ಅವುಗಳನ್ನು ನಿಯೋಜಿಸಲು ಮತ್ತು ಮೂಲಭೂತ ಕಾರ್ಯಾಚರಣೆಗಳನ್ನು ನಿರ್ವಹಿಸಲು ನಮಗೆ ಯಾವುದೇ ಸಮಸ್ಯೆಗಳಿಲ್ಲ.
ಬಿಗ್‌ಟಾಪ್‌ನಲ್ಲಿ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಘಟಕಗಳ ಜೊತೆಗೆ, ನಿಮ್ಮ ಸ್ವಂತ ಸಾಫ್ಟ್‌ವೇರ್ ಅಭಿವೃದ್ಧಿಯನ್ನು ಸಹ ಸೇರಿಸಲು ಸಾಧ್ಯವಿದೆ. ಇದೆಲ್ಲವೂ ಸಂಪೂರ್ಣವಾಗಿ ಸ್ವಯಂಚಾಲಿತವಾಗಿದೆ ಮತ್ತು CI/CD ಪರಿಕಲ್ಪನೆಗೆ ಹೊಂದಿಕೊಳ್ಳುತ್ತದೆ.
ತೀರ್ಮಾನಕ್ಕೆ
ನಿಸ್ಸಂಶಯವಾಗಿ, ಈ ರೀತಿಯಲ್ಲಿ ಸಂಕಲಿಸಿದ ವಿತರಣೆಯನ್ನು ತಕ್ಷಣವೇ ಉತ್ಪಾದನೆಗೆ ಕಳುಹಿಸಬಾರದು. ನಿಮ್ಮ ವಿತರಣೆಯನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ಬೆಂಬಲಿಸಲು ನಿಜವಾದ ಅಗತ್ಯವಿದ್ದರೆ, ನೀವು ಇದರಲ್ಲಿ ಹಣ ಮತ್ತು ಸಮಯವನ್ನು ಹೂಡಿಕೆ ಮಾಡಬೇಕಾಗುತ್ತದೆ ಎಂದು ನೀವು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಬೇಕು.
ಆದಾಗ್ಯೂ, ಸರಿಯಾದ ವಿಧಾನ ಮತ್ತು ವೃತ್ತಿಪರ ತಂಡದೊಂದಿಗೆ ಸಂಯೋಜನೆಯೊಂದಿಗೆ, ವಾಣಿಜ್ಯ ಪರಿಹಾರಗಳಿಲ್ಲದೆ ಮಾಡಲು ಸಾಕಷ್ಟು ಸಾಧ್ಯವಿದೆ.
ಬಿಗ್ಟಾಪ್ ಯೋಜನೆಯು ಅಭಿವೃದ್ಧಿಯ ಅಗತ್ಯತೆಯಲ್ಲಿದೆ ಮತ್ತು ಇಂದು ಸಕ್ರಿಯವಾಗಿ ಅಭಿವೃದ್ಧಿಗೊಳ್ಳುತ್ತಿಲ್ಲ ಎಂದು ಗಮನಿಸುವುದು ಮುಖ್ಯ. ಹಡೂಪ್ 3 ಅದರಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳುವ ನಿರೀಕ್ಷೆಯೂ ಅಸ್ಪಷ್ಟವಾಗಿದೆ, ನೀವು ಹಡೂಪ್ 3 ಅನ್ನು ನಿರ್ಮಿಸುವ ನಿಜವಾದ ಅಗತ್ಯವನ್ನು ಹೊಂದಿದ್ದರೆ, ನೀವು ನೋಡಬಹುದು ಅರೆನಾಡಾಟಾದಿಂದ, ಇದರಲ್ಲಿ ಪ್ರಮಾಣಿತದ ಜೊತೆಗೆ
ಹಲವಾರು ಹೆಚ್ಚುವರಿ ಘಟಕಗಳಿವೆ (ರೇಂಜರ್, ನಾಕ್ಸ್, ನಿಫೈ).
ರೋಸ್ಟೆಲೆಕಾಮ್‌ಗೆ ಸಂಬಂಧಿಸಿದಂತೆ, ನಮಗೆ ಬಿಗ್ಟಾಪ್ ಇಂದು ಪರಿಗಣಿಸಲ್ಪಡುವ ಆಯ್ಕೆಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ. ನಾವು ಅದನ್ನು ಆರಿಸುತ್ತೇವೆಯೋ ಇಲ್ಲವೋ, ಸಮಯ ಹೇಳುತ್ತದೆ.
ಅನುಬಂಧ
ಅಸೆಂಬ್ಲಿಯಲ್ಲಿ ಹೊಸ ಘಟಕವನ್ನು ಸೇರಿಸಲು, ನೀವು ಅದರ ವಿವರಣೆಯನ್ನು bigtop.bom ಮತ್ತು ./bigtop-packages ಗೆ ಸೇರಿಸುವ ಅಗತ್ಯವಿದೆ. ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಘಟಕಗಳೊಂದಿಗೆ ಸಾದೃಶ್ಯದ ಮೂಲಕ ನೀವು ಇದನ್ನು ಮಾಡಲು ಪ್ರಯತ್ನಿಸಬಹುದು. ಅದನ್ನು ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿ. ಇದು ಮೊದಲ ನೋಟದಲ್ಲಿ ತೋರುವಷ್ಟು ಕಷ್ಟವಲ್ಲ.
ನೀವು ಏನು ಯೋಚಿಸುತ್ತೀರಿ? ಕಾಮೆಂಟ್‌ಗಳಲ್ಲಿ ನಿಮ್ಮ ಅಭಿಪ್ರಾಯವನ್ನು ನೋಡಲು ನಾವು ಸಂತೋಷಪಡುತ್ತೇವೆ ಮತ್ತು ನಿಮ್ಮ ಗಮನಕ್ಕೆ ಧನ್ಯವಾದಗಳು!
ಲೇಖನವನ್ನು ರೋಸ್ಟೆಲೆಕಾಮ್ ಡೇಟಾ ಮ್ಯಾನೇಜ್ಮೆಂಟ್ ತಂಡವು ಸಿದ್ಧಪಡಿಸಿದೆ
ಮೂಲ: www.habr.com