ఈ వ్యాసం ఒక సరళమైన మరియు వేగవంతమైన డేటా డిస్కవరీ సాధనాన్ని వివరిస్తుంది, దీనిని మీరు KDPVలో పనిచేయడాన్ని చూడవచ్చు. ఆసక్తికరంగా, వేల్ (Whale) ఒక రిమోట్ గిట్ సర్వర్లో హోస్ట్ చేయడానికి రూపొందించబడింది. వివరాలు కింద ఉన్నాయి.
Airbnb యొక్క డేటా డిస్కవరీ టూల్ నా జీవితాన్ని ఎలా మార్చింది
నా కెరీర్లో, కొన్ని సరదా సమస్యలపై పనిచేసే అదృష్టం నాకు కలిగింది: నేను MITలో నా PhD సమయంలో ఫ్లో మ్యాథమెటిక్స్ అధ్యయనం చేశాను, ఇంక్రిమెంటల్ మోడల్స్పై పనిచేశాను మరియు ఒక ఓపెన్-సోర్స్ ప్రాజెక్ట్తో కలిసి పనిచేశాను. వేఫేర్లో, అలాగే ఎయిర్బిఎన్బిలో కొత్త హోమ్పేజ్ టార్గెటింగ్ మోడల్స్ మరియు CUPED మెరుగుదలలను అమలు చేశాను. కానీ ఈ పని అంతా ఎప్పుడూ ఆకర్షణీయంగా ఉండేది కాదు—నిజానికి, నేను నా ఎక్కువ సమయాన్ని డేటాను వెతకడానికి, అధ్యయనం చేయడానికి మరియు ధృవీకరించడానికి గడిపేవాడిని. పనిలో ఇది నిరంతరం జరిగేదే అయినప్పటికీ, నేను ఎయిర్బిఎన్బికి వచ్చే వరకు అదొక సమస్య అని నాకు అనిపించలేదు, అక్కడ ఒక డేటా డిస్కవరీ టూల్తో దాన్ని పరిష్కరించారు— .
నేను {{data}}ను ఎక్కడ కనుగొనగలను? డేటాపోర్టల్.
ఈ కాలమ్ అర్థం ఏమిటి? డేటాపోర్టల్.
ఈరోజు {{metric}} ఎలా ఉంది? డేటాపోర్టల్.
జీవితానికి అర్థం ఏమిటి? డేటాపోర్టల్బహుశా.
సరే, మీకు విషయం అర్థమైంది. డేటాను కనుగొనడం, దాని అర్థం ఏమిటో, అది ఎలా సృష్టించబడిందో, మరియు దానిని ఎలా ఉపయోగించాలో అర్థం చేసుకోవడం—వీటన్నింటికీ గంటలు కాదు, కేవలం నిమిషాలు మాత్రమే పడుతుంది. నోట్స్ చదవడం, పదే పదే SQL క్వెరీలు రాయడం, మరియు వేరొకరి వద్ద ఇప్పటికే ఉన్న సందర్భాన్ని తిరిగి సృష్టించడానికి స్లాక్లో సహోద్యోగులను ప్రస్తావించడం వంటి వాటికి బదులుగా, నేను నా సమయాన్ని సులభమైన ముగింపులు తీసుకోవడానికి, లేదా కొత్త అల్గారిథమ్లను అభివృద్ధి చేయడానికి (లేదా డేటా గురించిన యాదృచ్ఛిక ప్రశ్నలకు సమాధానమివ్వడానికి) వెచ్చించగలను.
సమస్య ఏమిటి?
నా స్నేహితులలో చాలా మందికి ఇలాంటి సాధనం అందుబాటులో లేదని నేను గ్రహించాను. డేటాపోర్టల్ వంటి ప్లాట్ఫారమ్ను నిర్మించడానికి మరియు నిర్వహించడానికి భారీ వనరులను కేటాయించడానికి కొన్ని కంపెనీలు మాత్రమే ఇష్టపడతాయి. మరియు అనేక ఓపెన్-సోర్స్ పరిష్కారాలు ఉన్నప్పటికీ, అవి సాధారణంగా స్కేలబిలిటీ కోసం రూపొందించబడ్డాయి, దీనివల్ల ప్రత్యేక డెవ్ఆప్స్ ఇంజనీర్ లేకుండా సెటప్ మరియు నిర్వహణ కష్టమవుతుంది. అందుకే నేను కొత్తగా ఏదైనా నిర్మించాలని నిర్ణయించుకున్నాను.
వేల్: అత్యంత సరళమైన డేటా డిస్కవరీ సాధనం
అవును, చాలా సులభం అంటే నిజంగానే చాలా సులభం. తిమింగలంలో కేవలం రెండు భాగాలు మాత్రమే ఉన్నాయి:
- మెటాడేటాను సేకరించి, దానిని మార్క్డౌన్గా ఫార్మాట్ చేసే ఒక పైథాన్ లైబ్రరీ.
- ఈ డేటాను శోధించడానికి ఒక రస్ట్ కమాండ్ లైన్ ఇంటర్ఫేస్.
అంతర్గత మౌలిక సదుపాయాల పరంగా చూస్తే, కేవలం కొన్ని టెక్స్ట్ ఫైల్స్ మరియు వాటిని అప్డేట్ చేసే ఒక ప్రోగ్రామ్ మాత్రమే ఉంటాయి. అంతే, కాబట్టి గిట్హబ్ వంటి గిట్ సర్వర్లో హోస్ట్ చేయడం చాలా తేలిక. నేర్చుకోవడానికి కొత్త క్వెరీ లాంగ్వేజ్ లేదు, నిర్వహణ మౌలిక సదుపాయాలు లేవు, బ్యాకప్లు లేవు. గిట్ అందరికీ తెలుసు, కాబట్టి సింక్రొనైజేషన్ మరియు కొలాబరేషన్ ఉచితంగానే లభిస్తాయి. దీని కార్యాచరణను మరింత నిశితంగా పరిశీలిద్దాం. .
గిట్ ఆధారంగా పనిచేసే పూర్తిస్థాయి GUI
రిమోట్ గిట్ సర్వర్ అనే సముద్రంలో ప్రయాణించడానికి వేల్ రూపొందించబడింది. అనుకూలీకరించదగినది: కొన్ని కనెక్షన్లను నిర్వచించండి, గిట్హబ్ యాక్షన్స్ స్క్రిప్ట్ను కాపీ చేయండి (లేదా మీరు ఎంచుకున్న CI/CD ప్లాట్ఫారమ్ కోసం ఒకదాన్ని వ్రాయండి), మరియు మీకు తక్షణమే వెబ్ ఆధారిత డేటా డిస్కవరీ సాధనం లభిస్తుంది. మీరు మీ పట్టికలను నేరుగా గిట్హబ్లో శోధించవచ్చు, ప్రివ్యూ చేయవచ్చు, డాక్యుమెంట్ చేయవచ్చు మరియు పంచుకోవచ్చు.
గిట్హబ్ యాక్షన్లను ఉపయోగించి రూపొందించిన ప్లేస్హోల్డర్ టేబుల్కు ఇది ఒక ఉదాహరణ. పూర్తి వర్కింగ్ డెమో అందుబాటులో ఉంది. .
మీ రిపోజిటరీ అంతటా మెరుపు వేగంతో CLI శోధన
వేల్ కమాండ్ లైన్లోనే పూర్తిగా పనిచేస్తుంది, మీ టేబుల్స్లో శక్తివంతమైన, మిల్లీసెకన్ల వేగంతో సెర్చ్లను అందిస్తుంది. లక్షలాది టేబుల్స్ ఉన్నప్పటికీ, కొన్ని తెలివైన క్యాషింగ్ మెకానిజమ్స్ను ఉపయోగించి మరియు బ్యాకెండ్ను రస్ట్లో పునర్నిర్మించడం ద్వారా, మేము వేల్ను అద్భుతమైన పనితీరు గలదిగా చేయగలిగాము. సెర్చ్లలో మీరు ఎలాంటి లాగ్ను గమనించరు [హలో, గూగుల్ DS].
వేల్ డెమో, పది లక్షల పట్టికలలో శోధించండి.
స్వయంచాలక మెట్రిక్స్ గణన [బీటాలో]
ఒక డేటా సైంటిస్ట్గా, నేను ఉపయోగిస్తున్న డేటా నాణ్యతను తనిఖీ చేయడానికి ఒకే రకమైన క్వెరీలను పదే పదే అమలు చేయడం నాకు అస్సలు ఇష్టం ఉండదు. వేల్ (Whale) సాధారణ SQLలో మెట్రిక్స్ను నిర్వచించడానికి మద్దతు ఇస్తుంది, ఇవి మీ మెటాడేటా క్లీనప్ పైప్లైన్లతో పాటు షెడ్యూల్ చేయబడతాయి. ఒక స్టబ్ టేబుల్ లోపల YAML ఫార్మాట్లో ఒక మెట్రిక్స్ బ్లాక్ను నిర్వచించండి, అప్పుడు వేల్ ఆ మెట్రిక్స్ బ్లాక్లో పొందుపరిచిన క్వెరీలను ఒక షెడ్యూల్ ప్రకారం ఆటోమేటిక్గా అమలు చేస్తుంది.
```metrics
metric-name:
sql: |
select count(*) from table
```
గిట్హబ్తో కలిపి, ఈ విధానం వల్ల వేల్ మెట్రిక్ నిర్వచనాల కోసం ఒక తేలికపాటి, ప్రామాణికమైన కేంద్రంగా పనిచేయగలదు. ఒకవేళ మీరు గ్రాఫ్ను సృష్టించాలనుకున్నా లేదా మరింత లోతుగా పరిశీలించాలనుకున్నా, వేల్ విలువలను టైమ్స్టాంప్తో పాటు "~/.whale/metrics" డైరెక్టరీలో నిల్వ చేస్తుంది.
భవిష్యత్తు
వేల్ యొక్క మా ప్రీ-రిలీజ్ వెర్షన్ల వినియోగదారులతో మాట్లాడిన తర్వాత, ప్రజలు మరిన్ని ఫంక్షనాలిటీలను కోరుకుంటున్నారని మేము గ్రహించాము. టేబుల్ సెర్చ్ టూల్ ఎందుకు? మెట్రిక్స్ సెర్చ్ టూల్ ఎందుకు కాదు? మానిటరింగ్ టూల్ ఎందుకు కాదు? SQL క్వెరీ ఎగ్జిక్యూషన్ టూల్ ఎందుకు కాదు? వాస్తవానికి వేల్ v1 ఒక సాధారణ CLI కంపానియన్ టూల్గా రూపొందించబడినప్పటికీ. Dataportal/Amundsenఇది ఇప్పటికే పూర్తిస్థాయిలో పనిచేసే స్వతంత్ర ప్లాట్ఫారమ్గా అభివృద్ధి చెందింది, మరియు ఇది డేటా సైంటిస్ట్ టూల్కిట్లో ఒక అంతర్భాగంగా మారుతుందని మేము ఆశిస్తున్నాము.
మీరు అభివృద్ధిలో చూడాలనుకుంటున్నది ఏదైనా ఉంటే, దయచేసి మాతో చేరండి. , ఓపెన్ ఇష్యూస్ ఆన్ లేదా మమ్మల్ని నేరుగా సంప్రదించండి మా వద్ద ఇప్పటికే జింజా టెంప్లేట్లు, బుక్మార్క్లు, సెర్చ్ ఫిల్టర్లు, స్లాక్ నోటిఫికేషన్లు, జూపిటర్ ఇంటిగ్రేషన్, మెట్రిక్స్ కోసం ఒక CLI డాష్బోర్డ్ వంటి అనేక ఉత్తేజకరమైన ఫీచర్లు ఉన్నాయి—అయినప్పటికీ, మేము మీ నుండి అభిప్రాయాలను వినడానికి ఇష్టపడతాము.
తీర్మానం
వేల్ను డేటాఫ్రేమ్ అభివృద్ధి చేసి, మద్దతు అందిస్తోంది. ఇది నేను ఇటీవల ఇతరులతో కలిసి స్థాపించిన ఒక స్టార్టప్. వేల్ను డేటా సైంటిస్టుల కోసం రూపొందించగా, డేటాఫ్రేమ్ను డేటా టీమ్ల కోసం రూపొందించారు. మరింత సన్నిహితంగా కలిసి పనిచేయాలనుకునే వారు, మాతో చేరడానికి సంకోచించకండి. మేము మిమ్మల్ని నిరీక్షణ జాబితాలో చేర్చుతాము.
మరియు ప్రోమో కోడ్తో HABRబ్యానర్పై సూచించిన తగ్గింపుతో పాటు, మీరు అదనంగా 10% పొందవచ్చు.
మరిన్ని కోర్సులు
ఫీచర్ చేసిన కథనాలు
మూలం: www.habr.com
