ఈ కథనం మీరు KDPVలో చూసే సరళమైన మరియు వేగవంతమైన డేటా ఆవిష్కరణ సాధనం గురించి మాట్లాడుతుంది. ఆసక్తికరంగా, వేల్ రిమోట్ గిట్ సర్వర్‌లో హోస్ట్ చేయడానికి రూపొందించబడింది. కట్ కింద వివరాలు.
Airbnb యొక్క డేటా డిస్కవరీ టూల్ నా జీవితాన్ని ఎలా మార్చింది
నా కెరీర్‌లో, నేను కొన్ని సరదా సమస్యలపై పని చేసే అదృష్టం కలిగి ఉన్నాను: నేను MITలో డిగ్రీ చేస్తున్నప్పుడు ఫ్లో గణితాన్ని అభ్యసించాను, ఇంక్రిమెంటల్ మోడల్స్‌లో మరియు ఓపెన్ సోర్స్ ప్రాజెక్ట్‌తో పనిచేశాను. Wayfair వద్ద, మరియు Airbnb వద్ద కొత్త హోమ్‌పేజీ లక్ష్య నమూనాలు మరియు CUPED మెరుగుదలలను అమలు చేసింది. కానీ ఈ పనులన్నీ ఎప్పుడూ ఆకర్షణీయంగా లేవు-వాస్తవానికి, నేను తరచుగా డేటాను శోధించడం, పరిశోధించడం మరియు ధృవీకరించడం కోసం నా సమయాన్ని ఎక్కువగా గడిపాను. ఇది పనిలో స్థిరమైన స్థితి అయినప్పటికీ, నేను Airbnbకి చేరుకునే వరకు ఇది ఒక సమస్య అని నాకు అనిపించలేదు, అక్కడ డేటా డిస్కవరీ టూల్‌తో పరిష్కరించబడుతుంది - .
నేను {{data}}ని ఎక్కడ కనుగొనగలను? డేటాపోర్టల్.
ఈ కాలమ్ అంటే ఏమిటి? డేటాపోర్టల్.
ఈ రోజు {{మెట్రిక్}} ఎలా ఉంది? డేటాపోర్టల్.
జీవిత భావం అంటే ఏమిటి? IN డేటాపోర్టల్, బహుశా.
సరే, మీరు చిత్రాన్ని అందించారు. డేటాను కనుగొనడం మరియు దాని అర్థం ఏమిటో అర్థం చేసుకోవడం, ఇది ఎలా సృష్టించబడింది మరియు ఎలా ఉపయోగించాలో అన్నింటికీ కేవలం కొన్ని నిమిషాలు పడుతుంది, గంటలు కాదు. నేను గమనికలను త్రవ్వడం, పునరావృతమయ్యే SQL ప్రశ్నలను వ్రాయడం మరియు స్లాక్‌లో సహోద్యోగులను ప్రస్తావించడం కంటే సాధారణ ముగింపులు లేదా కొత్త అల్గారిథమ్‌లు (... లేదా డేటా గురించి యాదృచ్ఛిక ప్రశ్నలకు సమాధానం ఇవ్వడం) కోసం నా సమయాన్ని వెచ్చించగలను. కలిగి ఉంది.
సమస్య ఏమిటి?
నా స్నేహితుల్లో చాలామందికి అలాంటి సాధనం అందుబాటులో లేదని నేను గ్రహించాను. డేటాపోర్టల్ వంటి ప్లాట్‌ఫారమ్ సాధనాన్ని నిర్మించడానికి మరియు నిర్వహించడానికి కొన్ని కంపెనీలు భారీ వనరులను కేటాయించడానికి సిద్ధంగా ఉన్నాయి. మరియు కొన్ని ఓపెన్ సోర్స్ సొల్యూషన్‌లు ఉన్నప్పటికీ, అవి స్కేల్‌గా రూపొందించబడ్డాయి, అంకితమైన DevOps ఇంజనీర్ లేకుండా సెటప్ చేయడం మరియు నిర్వహించడం కష్టతరం చేస్తుంది. కాబట్టి నేను కొత్తదాన్ని సృష్టించాలని నిర్ణయించుకున్నాను.
వేల్: ఒక తెలివితక్కువ సాధారణ డేటా ఆవిష్కరణ సాధనం
మరియు అవును, తెలివితక్కువగా సరళంగా నా ఉద్దేశ్యం తెలివితక్కువదని. తిమింగలం కేవలం రెండు భాగాలను మాత్రమే కలిగి ఉంటుంది:
- మెటాడేటాను సేకరించి మార్క్‌డౌన్‌లో ఫార్మాట్ చేసే పైథాన్ లైబ్రరీ.
- ఈ డేటా ద్వారా శోధించడానికి రస్ట్ కమాండ్ లైన్ ఇంటర్‌ఫేస్.
నిర్వహణ కోసం అంతర్గత మౌలిక సదుపాయాల దృక్కోణం నుండి, చాలా టెక్స్ట్ ఫైల్‌లు మరియు టెక్స్ట్‌ను అప్‌డేట్ చేసే ప్రోగ్రామ్ మాత్రమే ఉన్నాయి. అంతే, కాబట్టి Github వంటి git సర్వర్‌లో హోస్ట్ చేయడం చిన్నవిషయం. నేర్చుకోవడానికి కొత్త ప్రశ్న భాష లేదు, నిర్వహణ మౌలిక సదుపాయాలు లేవు, బ్యాకప్‌లు లేవు. Git అందరికీ తెలుసు, కాబట్టి సమకాలీకరణ మరియు సహకారం ఉచితం. కార్యాచరణను నిశితంగా పరిశీలిద్దాం .
పూర్తి ఫీచర్ చేయబడిన git-ఆధారిత GUI
వేల్ రిమోట్ గిట్ సర్వర్ యొక్క సముద్రంలో ఈత కొట్టడానికి రూపొందించబడింది. అతను కాన్ఫిగర్ చేయదగినవి: కొన్ని కనెక్షన్‌లను నిర్వచించండి, Github చర్యల స్క్రిప్ట్‌ను కాపీ చేయండి (లేదా మీరు ఎంచుకున్న CI/CD ప్లాట్‌ఫారమ్ కోసం ఒకదాన్ని వ్రాయండి) మరియు మీరు వెంటనే డేటా డిస్కవరీ వెబ్ సాధనాన్ని కలిగి ఉంటారు. మీరు Githubలో నేరుగా మీ స్ప్రెడ్‌షీట్‌లను శోధించగలరు, వీక్షించగలరు, డాక్యుమెంట్ చేయగలరు మరియు భాగస్వామ్యం చేయగలరు.
గితుబ్ చర్యలను ఉపయోగించి రూపొందించబడిన స్టబ్ టేబుల్ యొక్క ఉదాహరణ. పూర్తి పని డెమో .
మీ రిపోజిటరీ కోసం మెరుపు వేగవంతమైన CLI శోధన
వేల్ కమాండ్ లైన్‌లో నివసిస్తుంది మరియు శ్వాస తీసుకుంటుంది, మీ టేబుల్‌ల అంతటా శక్తివంతమైన, మిల్లీసెకన్ల శోధనలను అందిస్తుంది. మిలియన్ల కొద్దీ టేబుల్‌లు ఉన్నప్పటికీ, మేము కొన్ని తెలివైన కాషింగ్ మెకానిజమ్‌లను ఉపయోగించడం ద్వారా మరియు రస్ట్‌లో బ్యాకెండ్‌ను పునర్నిర్మించడం ద్వారా తిమింగలం అద్భుతమైన పనితీరును ప్రదర్శించగలిగాము. మీరు శోధన ఆలస్యం ఏదీ గమనించలేరు [హలో Google DS].
వేల్ డెమో, మిలియన్ టేబుల్ లుకప్.
కొలమానాల స్వయంచాలక గణన [బీటాలో]
డేటా సైంటిస్ట్‌గా నాకు కనీసం ఇష్టమైన వాటిలో ఒకటి, ఉపయోగించిన డేటా నాణ్యతను తనిఖీ చేయడానికి ఒకే ప్రశ్నలను మళ్లీ మళ్లీ అమలు చేస్తోంది. వేల్ మీ మెటాడేటా క్లీనప్ పైప్‌లైన్‌లతో పాటు అమలు చేయడానికి షెడ్యూల్ చేయబడిన సాదా SQLలో కొలమానాలను నిర్వచించే సామర్థ్యానికి మద్దతు ఇస్తుంది. స్టబ్ టేబుల్ లోపల YAML మెట్రిక్స్ బ్లాక్‌ని నిర్వచించండి మరియు వేల్ ఆటోమేటిక్‌గా షెడ్యూల్‌లో రన్ అవుతుంది మరియు మెట్రిక్‌లలో నిక్షిప్తమైన ప్రశ్నలను అమలు చేస్తుంది.
```metrics
metric-name:
sql: |
select count(*) from table
```
గితుబ్‌తో కలిపి, ఈ విధానం అంటే తిమింగలం మెట్రిక్ నిర్వచనాల కోసం సత్యానికి సులభమైన కేంద్ర వనరుగా ఉపయోగపడుతుంది. వేల్ "~/లో టైమ్‌స్టాంప్‌తో పాటు విలువలను కూడా సేవ్ చేస్తుంది. వేల్/మెట్రిక్స్" మీరు కొంత చార్టింగ్ లేదా మరింత లోతైన పరిశోధన చేయాలనుకుంటే.
భవిష్యత్తు
వేల్ యొక్క మా ప్రీ-రిలీజ్ వెర్షన్‌ల వినియోగదారులతో మాట్లాడిన తర్వాత, ప్రజలకు మరింత కార్యాచరణ అవసరమని మేము గ్రహించాము. టేబుల్ లుకప్ టూల్ ఎందుకు? కొలమానాల శోధన సాధనం ఎందుకు కాదు? ఎందుకు పర్యవేక్షణ లేదు? SQL ప్రశ్న అమలు సాధనం ఎందుకు కాదు? వేల్ v1 నిజానికి ఒక సాధారణ CLI సహచర సాధనంగా భావించబడింది Dataportal/Amundsen, ఇది ఇప్పటికే పూర్తి-ఫీచర్ ఉన్న స్వతంత్ర ప్లాట్‌ఫారమ్‌గా పరిణామం చెందింది మరియు ఇది డేటా సైంటిస్ట్ టూల్‌కిట్‌లో అంతర్భాగంగా మారుతుందని మేము ఆశిస్తున్నాము.
మీరు అభివృద్ధి ప్రక్రియలో ఏదైనా చూడాలనుకుంటే, మాలో చేరండి , వద్ద సమస్యలను తెరవండి లేదా నేరుగా కూడా సంప్రదించండి . మేము ఇప్పటికే అనేక అద్భుతమైన ఫీచర్‌లను కలిగి ఉన్నాము - జింజా టెంప్లేట్‌లు, బుక్‌మార్క్‌లు, శోధన ఫిల్టర్‌లు, స్లాక్ అలర్ట్‌లు, జూపిటర్ ఇంటిగ్రేషన్, కొలమానాల కోసం CLI డాష్‌బోర్డ్ కూడా - కానీ మేము మీ ఇన్‌పుట్‌ను ఇష్టపడతాము.
తీర్మానం
వేల్ డేటాఫ్రేమ్ ద్వారా అభివృద్ధి చేయబడింది మరియు నిర్వహించబడుతుంది, నేను ఇటీవల ఇతర వ్యక్తులతో సహ-స్థాపన చేయడంలో ఆనందాన్ని పొందిన స్టార్టప్. వేల్ డేటా సైంటిస్టుల కోసం తయారు చేయబడినప్పుడు, డేటాఫ్రేమ్ డేటా సైంటిస్టుల కోసం తయారు చేయబడింది. మీలో మరింత సన్నిహితంగా సహకరించాలనుకునే వారి కోసం, సంకోచించకండి మేము మిమ్మల్ని వెయిటింగ్ లిస్ట్‌కి జోడిస్తాము.
మరియు ప్రోమో కోడ్ ద్వారా HABR, మీరు బ్యానర్‌పై సూచించిన తగ్గింపుకు అదనంగా 10% పొందవచ్చు.
మరిన్ని కోర్సులు
ఫీచర్ చేసిన కథనాలు
మూలం: www.habr.com