ಈ ಲೇಖನವು KDPV ಯಲ್ಲಿ ನೀವು ನೋಡುವ ಸರಳ ಮತ್ತು ವೇಗವಾದ ಡೇಟಾ ಅನ್ವೇಷಣೆ ಸಾಧನದ ಕುರಿತು ಮಾತನಾಡುತ್ತದೆ. ಕುತೂಹಲಕಾರಿಯಾಗಿ, ವೇಲ್ ಅನ್ನು ರಿಮೋಟ್ ಗಿಟ್ ಸರ್ವರ್‌ನಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಕಟ್ ಅಡಿಯಲ್ಲಿ ವಿವರಗಳು.
Airbnb ನ ಡೇಟಾ ಡಿಸ್ಕವರಿ ಟೂಲ್ ನನ್ನ ಜೀವನವನ್ನು ಹೇಗೆ ಬದಲಾಯಿಸಿತು
ನನ್ನ ವೃತ್ತಿಜೀವನದಲ್ಲಿ, ಕೆಲವು ಮೋಜಿನ ಸಮಸ್ಯೆಗಳ ಮೇಲೆ ಕೆಲಸ ಮಾಡಲು ನಾನು ಸಾಕಷ್ಟು ಅದೃಷ್ಟಶಾಲಿಯಾಗಿದ್ದೇನೆ: MIT ಯಲ್ಲಿ ನನ್ನ ಪದವಿಯನ್ನು ಮಾಡುವಾಗ ನಾನು ಹರಿವಿನ ಗಣಿತವನ್ನು ಅಧ್ಯಯನ ಮಾಡಿದ್ದೇನೆ, ಹೆಚ್ಚುತ್ತಿರುವ ಮಾದರಿಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡಿದ್ದೇನೆ ಮತ್ತು ತೆರೆದ ಮೂಲ ಯೋಜನೆಯೊಂದಿಗೆ Wayfair ನಲ್ಲಿ, ಮತ್ತು Airbnb ನಲ್ಲಿ ಹೊಸ ಮುಖಪುಟದ ಗುರಿ ಮಾದರಿಗಳು ಮತ್ತು CUPED ಸುಧಾರಣೆಗಳನ್ನು ಅಳವಡಿಸಲಾಗಿದೆ. ಆದರೆ ಈ ಎಲ್ಲಾ ಕೆಲಸಗಳು ಎಂದಿಗೂ ಮನಮೋಹಕವಾಗಿರಲಿಲ್ಲ-ವಾಸ್ತವವಾಗಿ, ನಾನು ಹೆಚ್ಚಾಗಿ ನನ್ನ ಹೆಚ್ಚಿನ ಸಮಯವನ್ನು ಹುಡುಕಲು, ಸಂಶೋಧನೆ ಮಾಡಲು ಮತ್ತು ಡೇಟಾವನ್ನು ಮೌಲ್ಯೀಕರಿಸಲು ಕಳೆದಿದ್ದೇನೆ. ಇದು ಕೆಲಸದಲ್ಲಿ ನಿರಂತರ ಸ್ಥಿತಿಯಾಗಿದ್ದರೂ, ನಾನು Airbnb ಅನ್ನು ತಲುಪುವವರೆಗೆ ಇದು ಒಂದು ಸಮಸ್ಯೆ ಎಂದು ನನಗೆ ಸಂಭವಿಸಲಿಲ್ಲ, ಅಲ್ಲಿ ಅದನ್ನು ಡೇಟಾ ಅನ್ವೇಷಣೆ ಸಾಧನದೊಂದಿಗೆ ಪರಿಹರಿಸಲಾಗಿದೆ - .
ನಾನು {{data}} ಅನ್ನು ಎಲ್ಲಿ ಕಂಡುಹಿಡಿಯಬಹುದು? ಡೇಟಾ ಪೋರ್ಟಲ್.
ಈ ಅಂಕಣದ ಅರ್ಥವೇನು? ಡೇಟಾ ಪೋರ್ಟಲ್.
ಇಂದು {{ಮೆಟ್ರಿಕ್}} ಹೇಗಿದೆ? ಡೇಟಾ ಪೋರ್ಟಲ್.
ಜೀವನದ ಅರ್ಥವೇನು? IN ಡೇಟಾ ಪೋರ್ಟಲ್, ಬಹುಶಃ.
ಸರಿ, ನೀವು ಚಿತ್ರವನ್ನು ಪ್ರಸ್ತುತಪಡಿಸಿದ್ದೀರಿ. ಡೇಟಾವನ್ನು ಹುಡುಕುವುದು ಮತ್ತು ಅದರ ಅರ್ಥವೇನು, ಅದನ್ನು ಹೇಗೆ ರಚಿಸಲಾಗಿದೆ ಮತ್ತು ಅದನ್ನು ಹೇಗೆ ಬಳಸುವುದು ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಲು ಕೆಲವೇ ನಿಮಿಷಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ, ಗಂಟೆಗಳಲ್ಲ. ಟಿಪ್ಪಣಿಗಳನ್ನು ಅಗೆಯುವುದು, ಪುನರಾವರ್ತಿತ SQL ಪ್ರಶ್ನೆಗಳನ್ನು ಬರೆಯುವುದು ಮತ್ತು ಸ್ಲಾಕ್‌ನಲ್ಲಿ ಸಹೋದ್ಯೋಗಿಗಳನ್ನು ಉಲ್ಲೇಖಿಸುವ ಬದಲು ಸರಳ ತೀರ್ಮಾನಗಳು ಅಥವಾ ಹೊಸ ಅಲ್ಗಾರಿದಮ್‌ಗಳನ್ನು (... ಅಥವಾ ಡೇಟಾದ ಬಗ್ಗೆ ಯಾದೃಚ್ಛಿಕ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು) ನಾನು ನನ್ನ ಸಮಯವನ್ನು ಕಳೆಯಬಹುದು. ಹೊಂದಿತ್ತು.
ಸಮಸ್ಯೆ ಏನು?
ನನ್ನ ಹೆಚ್ಚಿನ ಸ್ನೇಹಿತರು ಅಂತಹ ಸಾಧನಕ್ಕೆ ಪ್ರವೇಶವನ್ನು ಹೊಂದಿಲ್ಲ ಎಂದು ನಾನು ಅರಿತುಕೊಂಡೆ. ಕೆಲವು ಕಂಪನಿಗಳು ಡಾಟಾಪೋರ್ಟಲ್‌ನಂತಹ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಟೂಲ್ ಅನ್ನು ನಿರ್ಮಿಸಲು ಮತ್ತು ನಿರ್ವಹಿಸಲು ಬೃಹತ್ ಸಂಪನ್ಮೂಲಗಳನ್ನು ವಿನಿಯೋಗಿಸಲು ಸಿದ್ಧವಾಗಿವೆ. ಮತ್ತು ಕೆಲವು ತೆರೆದ ಮೂಲ ಪರಿಹಾರಗಳಿದ್ದರೂ, ಅವುಗಳನ್ನು ಅಳೆಯಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ, ಮೀಸಲಾದ DevOps ಇಂಜಿನಿಯರ್ ಇಲ್ಲದೆ ಹೊಂದಿಸಲು ಮತ್ತು ನಿರ್ವಹಿಸಲು ಕಷ್ಟವಾಗುತ್ತದೆ. ಹಾಗಾಗಿ ಹೊಸದನ್ನು ರಚಿಸಲು ನಿರ್ಧರಿಸಿದೆ.
ತಿಮಿಂಗಿಲ: ಒಂದು ಮೂರ್ಖತನದ ಸರಳ ಡೇಟಾ ಅನ್ವೇಷಣೆ ಸಾಧನ
ಮತ್ತು ಹೌದು, ಮೂರ್ಖತನದಿಂದ ಸರಳವಾಗಿ ನಾನು ಮೂರ್ಖತನದಿಂದ ಸರಳವಾಗಿದೆ. ತಿಮಿಂಗಿಲವು ಕೇವಲ ಎರಡು ಘಟಕಗಳನ್ನು ಹೊಂದಿದೆ:
- ಮೆಟಾಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸಿ ಅದನ್ನು ಮಾರ್ಕ್‌ಡೌನ್‌ನಲ್ಲಿ ಫಾರ್ಮ್ಯಾಟ್ ಮಾಡುವ ಪೈಥಾನ್ ಲೈಬ್ರರಿ.
- ಈ ಡೇಟಾದ ಮೂಲಕ ಹುಡುಕಲು ರಸ್ಟ್ ಕಮಾಂಡ್ ಲೈನ್ ಇಂಟರ್ಫೇಸ್.
ನಿರ್ವಹಣೆಗಾಗಿ ಆಂತರಿಕ ಮೂಲಸೌಕರ್ಯದ ದೃಷ್ಟಿಕೋನದಿಂದ, ಬಹಳಷ್ಟು ಪಠ್ಯ ಫೈಲ್ಗಳು ಮತ್ತು ಪಠ್ಯವನ್ನು ನವೀಕರಿಸುವ ಪ್ರೋಗ್ರಾಂ ಮಾತ್ರ ಇವೆ. ಅಷ್ಟೆ, ಆದ್ದರಿಂದ Github ನಂತಹ git ಸರ್ವರ್‌ನಲ್ಲಿ ಹೋಸ್ಟ್ ಮಾಡುವುದು ಕ್ಷುಲ್ಲಕವಾಗಿದೆ. ಕಲಿಯಲು ಯಾವುದೇ ಹೊಸ ಪ್ರಶ್ನೆ ಭಾಷೆ ಇಲ್ಲ, ನಿರ್ವಹಣೆ ಮೂಲಸೌಕರ್ಯವಿಲ್ಲ, ಬ್ಯಾಕಪ್‌ಗಳಿಲ್ಲ. ಎಲ್ಲರಿಗೂ Git ತಿಳಿದಿದೆ, ಆದ್ದರಿಂದ ಸಿಂಕ್ ಮಾಡುವುದು ಮತ್ತು ಸಹಯೋಗವು ಉಚಿತವಾಗಿದೆ. ಕ್ರಿಯಾತ್ಮಕತೆಯನ್ನು ಹತ್ತಿರದಿಂದ ನೋಡೋಣ .
ಪೂರ್ಣ ವೈಶಿಷ್ಟ್ಯಗೊಳಿಸಿದ git-ಆಧಾರಿತ GUI
ರಿಮೋಟ್ ಗಿಟ್ ಸರ್ವರ್‌ನ ಸಾಗರದಲ್ಲಿ ಈಜಲು ತಿಮಿಂಗಿಲವನ್ನು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. ಅವನು ಕಾನ್ಫಿಗರ್ ಮಾಡಬಹುದಾದ: ಕೆಲವು ಸಂಪರ್ಕಗಳನ್ನು ವಿವರಿಸಿ, Github ಕ್ರಿಯೆಗಳ ಸ್ಕ್ರಿಪ್ಟ್ ಅನ್ನು ನಕಲಿಸಿ (ಅಥವಾ ನಿಮ್ಮ ಆಯ್ಕೆ ಮಾಡಿದ CI/CD ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಾಗಿ ಒಂದನ್ನು ಬರೆಯಿರಿ) ಮತ್ತು ನೀವು ಈಗಿನಿಂದಲೇ ಡೇಟಾ ಅನ್ವೇಷಣೆ ವೆಬ್ ಉಪಕರಣವನ್ನು ಹೊಂದಿರುತ್ತೀರಿ. Github ನಲ್ಲಿ ನೇರವಾಗಿ ನಿಮ್ಮ ಸ್ಪ್ರೆಡ್‌ಶೀಟ್‌ಗಳನ್ನು ಹುಡುಕಲು, ವೀಕ್ಷಿಸಲು, ಡಾಕ್ಯುಮೆಂಟ್ ಮಾಡಲು ಮತ್ತು ಹಂಚಿಕೊಳ್ಳಲು ನಿಮಗೆ ಸಾಧ್ಯವಾಗುತ್ತದೆ.
ಗಿಥಬ್ ಕ್ರಿಯೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು ರಚಿಸಲಾದ ಸ್ಟಬ್ ಟೇಬಲ್‌ನ ಉದಾಹರಣೆ. ಪೂರ್ಣ ಕೆಲಸ ಡೆಮೊ .
ನಿಮ್ಮ ರೆಪೊಸಿಟರಿಗಾಗಿ ಮಿಂಚಿನ ವೇಗದ CLI ಹುಡುಕಾಟ
ನಿಮ್ಮ ಟೇಬಲ್‌ಗಳಾದ್ಯಂತ ಶಕ್ತಿಯುತ, ಮಿಲಿಸೆಕೆಂಡ್ ಲುಕಪ್‌ಗಳನ್ನು ಒದಗಿಸುವ ಆಜ್ಞಾ ಸಾಲಿನಲ್ಲಿ ತಿಮಿಂಗಿಲವು ಜೀವಿಸುತ್ತದೆ ಮತ್ತು ಉಸಿರಾಡುತ್ತದೆ. ಲಕ್ಷಾಂತರ ಟೇಬಲ್‌ಗಳಿದ್ದರೂ ಸಹ, ನಾವು ಕೆಲವು ಬುದ್ಧಿವಂತ ಹಿಡಿದಿಟ್ಟುಕೊಳ್ಳುವ ಕಾರ್ಯವಿಧಾನಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಮತ್ತು ರಸ್ಟ್‌ನಲ್ಲಿ ಬ್ಯಾಕೆಂಡ್ ಅನ್ನು ಮರುನಿರ್ಮಾಣ ಮಾಡುವ ಮೂಲಕ ತಿಮಿಂಗಿಲವನ್ನು ನಂಬಲಾಗದಷ್ಟು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸಾಧಿಸುವಲ್ಲಿ ಯಶಸ್ವಿಯಾಗಿದ್ದೇವೆ. ನೀವು ಯಾವುದೇ ಹುಡುಕಾಟ ವಿಳಂಬವನ್ನು ಗಮನಿಸುವುದಿಲ್ಲ [ಹಲೋ ಗೂಗಲ್ ಡಿಎಸ್].
ವೇಲ್ ಡೆಮೊ, ಮಿಲಿಯನ್ ಟೇಬಲ್ ಲುಕಪ್.
ಮೆಟ್ರಿಕ್‌ಗಳ ಸ್ವಯಂಚಾಲಿತ ಲೆಕ್ಕಾಚಾರ [ಬೀಟಾದಲ್ಲಿ]
ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಯಾಗಿ ನನ್ನ ಕನಿಷ್ಠ ಮೆಚ್ಚಿನ ವಿಷಯವೆಂದರೆ ಬಳಸುತ್ತಿರುವ ಡೇಟಾದ ಗುಣಮಟ್ಟವನ್ನು ಪರಿಶೀಲಿಸಲು ಒಂದೇ ರೀತಿಯ ಪ್ರಶ್ನೆಗಳನ್ನು ಮತ್ತೆ ಮತ್ತೆ ಚಾಲನೆ ಮಾಡುವುದು. ನಿಮ್ಮ ಮೆಟಾಡೇಟಾ ಕ್ಲೀನಪ್ ಪೈಪ್‌ಲೈನ್‌ಗಳ ಜೊತೆಗೆ ರನ್ ಮಾಡಲು ನಿಗದಿಪಡಿಸಲಾದ ಸರಳ SQL ನಲ್ಲಿ ಮೆಟ್ರಿಕ್‌ಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ ಸಾಮರ್ಥ್ಯವನ್ನು ವೇಲ್ ಬೆಂಬಲಿಸುತ್ತದೆ. ಸ್ಟಬ್ ಟೇಬಲ್‌ನೊಳಗೆ YAML ಮೆಟ್ರಿಕ್ಸ್ ಬ್ಲಾಕ್ ಅನ್ನು ವಿವರಿಸಿ, ಮತ್ತು ವೇಲ್ ಸ್ವಯಂಚಾಲಿತವಾಗಿ ವೇಳಾಪಟ್ಟಿಯಲ್ಲಿ ರನ್ ಆಗುತ್ತದೆ ಮತ್ತು ಮೆಟ್ರಿಕ್‌ಗಳಲ್ಲಿ ನೆಸ್ಟೆಡ್ ಪ್ರಶ್ನೆಗಳನ್ನು ರನ್ ಮಾಡುತ್ತದೆ.
```metrics
metric-name:
sql: |
select count(*) from table
```
ಗಿಥಬ್‌ನೊಂದಿಗೆ ಸಂಯೋಜಿತವಾಗಿ, ಈ ವಿಧಾನವು ತಿಮಿಂಗಿಲವು ಮೆಟ್ರಿಕ್ ವ್ಯಾಖ್ಯಾನಗಳಿಗೆ ಸತ್ಯದ ಸುಲಭವಾದ ಕೇಂದ್ರ ಮೂಲವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಎಂದರ್ಥ. ತಿಮಿಂಗಿಲವು "~/ ನಲ್ಲಿ ಟೈಮ್‌ಸ್ಟ್ಯಾಂಪ್‌ನೊಂದಿಗೆ ಮೌಲ್ಯಗಳನ್ನು ಸಹ ಉಳಿಸುತ್ತದೆ. ತಿಮಿಂಗಿಲ/ಮೆಟ್ರಿಕ್ಸ್" ನೀವು ಕೆಲವು ಚಾರ್ಟಿಂಗ್ ಅಥವಾ ಹೆಚ್ಚು ಆಳವಾದ ಸಂಶೋಧನೆ ಮಾಡಲು ಬಯಸಿದರೆ.
ಭವಿಷ್ಯ
ತಿಮಿಂಗಿಲದ ನಮ್ಮ ಪೂರ್ವ-ಬಿಡುಗಡೆ ಆವೃತ್ತಿಗಳ ಬಳಕೆದಾರರೊಂದಿಗೆ ಮಾತನಾಡಿದ ನಂತರ, ಜನರಿಗೆ ಹೆಚ್ಚಿನ ಕ್ರಿಯಾತ್ಮಕತೆಯ ಅಗತ್ಯವಿದೆ ಎಂದು ನಾವು ಅರಿತುಕೊಂಡಿದ್ದೇವೆ. ಟೇಬಲ್ ಲುಕಪ್ ಟೂಲ್ ಏಕೆ? ಮೆಟ್ರಿಕ್ಸ್ ಹುಡುಕಾಟ ಸಾಧನ ಏಕೆ ಅಲ್ಲ? ಏಕೆ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತಿಲ್ಲ? ಏಕೆ SQL ಪ್ರಶ್ನೆ ಎಕ್ಸಿಕ್ಯೂಶನ್ ಟೂಲ್ ಅಲ್ಲ? ತಿಮಿಂಗಿಲ v1 ಅನ್ನು ಮೂಲತಃ ಸರಳ CLI ಕಂಪ್ಯಾನಿಯನ್ ಸಾಧನವಾಗಿ ಕಲ್ಪಿಸಲಾಗಿತ್ತು Dataportal/Amundsen, ಇದು ಈಗಾಗಲೇ ಪೂರ್ಣ-ವೈಶಿಷ್ಟ್ಯದ ಸ್ವತಂತ್ರ ವೇದಿಕೆಯಾಗಿ ವಿಕಸನಗೊಂಡಿದೆ ಮತ್ತು ಇದು ಡೇಟಾ ಸೈಂಟಿಸ್ಟ್‌ನ ಟೂಲ್‌ಕಿಟ್‌ನ ಅವಿಭಾಜ್ಯ ಅಂಗವಾಗಲಿದೆ ಎಂದು ನಾವು ಭಾವಿಸುತ್ತೇವೆ.
ಅಭಿವೃದ್ಧಿ ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ನೀವು ಏನನ್ನಾದರೂ ನೋಡಲು ಬಯಸಿದರೆ, ನಮ್ಮೊಂದಿಗೆ ಸೇರಿಕೊಳ್ಳಿ , ನಲ್ಲಿ ಸಮಸ್ಯೆಗಳನ್ನು ತೆರೆಯಿರಿ ಅಥವಾ ನೇರವಾಗಿ ಸಂಪರ್ಕಿಸಿ . ನಾವು ಈಗಾಗಲೇ ಹಲವಾರು ಉತ್ತಮ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಹೊಂದಿದ್ದೇವೆ - ಜಿಂಜಾ ಟೆಂಪ್ಲೇಟ್‌ಗಳು, ಬುಕ್‌ಮಾರ್ಕ್‌ಗಳು, ಹುಡುಕಾಟ ಫಿಲ್ಟರ್‌ಗಳು, ಸ್ಲಾಕ್ ಎಚ್ಚರಿಕೆಗಳು, ಜುಪಿಟರ್ ಏಕೀಕರಣ, ಮೆಟ್ರಿಕ್‌ಗಳಿಗಾಗಿ CLI ಡ್ಯಾಶ್‌ಬೋರ್ಡ್ ಸಹ - ಆದರೆ ನಿಮ್ಮ ಇನ್‌ಪುಟ್ ಅನ್ನು ನಾವು ಇಷ್ಟಪಡುತ್ತೇವೆ.
ತೀರ್ಮಾನಕ್ಕೆ
ವೇಲ್ ಅನ್ನು ಡಾಟಾಫ್ರೇಮ್ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ ಮತ್ತು ನಿರ್ವಹಿಸುತ್ತಿದೆ, ನಾನು ಇತ್ತೀಚೆಗೆ ಇತರ ಜನರೊಂದಿಗೆ ಸಹ-ಸ್ಥಾಪಿಸುವ ಸಂತೋಷವನ್ನು ಹೊಂದಿದ್ದ ಸ್ಟಾರ್ಟಪ್. ತಿಮಿಂಗಿಲವನ್ನು ದತ್ತಾಂಶ ವಿಜ್ಞಾನಿಗಳಿಗಾಗಿ ತಯಾರಿಸಿದರೆ, ಡೇಟಾಫ್ರೇಮ್ ಅನ್ನು ಡೇಟಾ ವಿಜ್ಞಾನಿಗಳಿಗಾಗಿ ತಯಾರಿಸಲಾಗುತ್ತದೆ. ನಿಮ್ಮಲ್ಲಿ ಹೆಚ್ಚು ನಿಕಟವಾಗಿ ಸಹಯೋಗಿಸಲು ಬಯಸುವವರಿಗೆ, ಮುಕ್ತವಾಗಿರಿ ನಾವು ನಿಮ್ಮನ್ನು ಕಾಯುವ ಪಟ್ಟಿಗೆ ಸೇರಿಸುತ್ತೇವೆ.
ಮತ್ತು ಪ್ರೋಮೋ ಕೋಡ್ ಮೂಲಕ HABR, ಬ್ಯಾನರ್‌ನಲ್ಲಿ ಸೂಚಿಸಲಾದ ರಿಯಾಯಿತಿಗೆ ನೀವು ಹೆಚ್ಚುವರಿ 10% ಪಡೆಯಬಹುದು.
ಹೆಚ್ಚಿನ ಕೋರ್ಸ್‌ಗಳು
ವೈಶಿಷ್ಟ್ಯಗೊಳಿಸಿದ ಲೇಖನಗಳು
ಮೂಲ: www.habr.com