🥇በዌል እንዴት በፍጥነት እና በቀላሉ ዳታ መፈለግ እንደሚቻል

ይህ ጽሑፍ በ KDPV ላይ ስለሚያዩት ቀላሉ እና ፈጣኑ የውሂብ ማግኛ መሣሪያ ይናገራል። የሚገርመው፣ ዌል በሩቅ git አገልጋይ ላይ እንዲስተናገድ ተደርጎ የተሰራ ነው። በቆርጡ ስር ዝርዝሮች.

የኤርቢንብ ዳታ ማግኛ መሣሪያ እንዴት ሕይወቴን እንደለወጠው

በሙያዬ፣ በአንዳንድ አዝናኝ ችግሮች ላይ ለመስራት እድለኛ ነኝ፡ በ MIT ዲግሪዬን ስሰራ የፍሰት ሂሳብን አጠናሁ፣ በተጨመሩ ሞዴሎች ላይ እና በክፍት ምንጭ ፕሮጀክት ሰራሁ። pylift በ Wayfair፣ እና አዲስ መነሻ ገጽ ኢላማ ሞዴሎችን እና የCUPED ማሻሻያዎችን በAirbnb ተተግብሯል። ነገር ግን ይህ ሁሉ ስራ በጭራሽ ማራኪ አልነበረም—በእርግጥ፣ ብዙ ጊዜዬን በመፈለግ፣ በመመርመር እና መረጃን በማረጋገጥ አሳልፍ ነበር። ምንም እንኳን ይህ በስራ ላይ የማያቋርጥ ሁኔታ ቢሆንም ፣ ወደ ኤርቢንቢ እስክደርስ ድረስ ይህ ጉዳይ በመረጃ ማግኛ መሳሪያ እስኪፈታ ድረስ ለእኔ አልደረሰብኝም - ዳታፖርታል.

{{data}}ን የት ማግኘት እችላለሁ? ዳታፖርታል.
ይህ አምድ ምን ማለት ነው? ዳታፖርታል.
{{metric}} ዛሬ እንዴት እየሰራ ነው? ዳታፖርታል.
የሕይወት ስሜት ምንድን ነው? ውስጥ ዳታፖርታል, ምናልባት.

እሺ፣ ምስሉን አቅርበሃል። መረጃን መፈለግ እና ምን ማለት እንደሆነ መረዳት፣እንዴት እንደተፈጠረ እና እንዴት እንደሚጠቀሙበት መረዳት ጥቂት ደቂቃዎችን እንጂ ሰአታትን አይወስድም። ማስታወሻዎችን ከመቆፈር፣ ተደጋጋሚ የSQL መጠይቆችን ከመፃፍ እና ባልደረባዎችን በSlack ላይ ከመጥቀስ ይልቅ ቀላል መደምደሚያዎችን ወይም አዲስ ስልተ ቀመሮችን (… ወይም ስለ ውሂቡ የዘፈቀደ ጥያቄዎችን በመመለስ) ጊዜዬን ማሳለፍ እችል ነበር። ነበረው።

ምንድነው ችግሩ?

አብዛኞቹ ጓደኞቼ እንደዚህ አይነት መሳሪያ እንደሌላቸው ተረዳሁ። እንደ ዳታፖርታል ያለ የመድረክ መሳሪያን ለመገንባት እና ለማቆየት ብዙ ሀብቶችን ለማዋል ጥቂት ኩባንያዎች ፈቃደኞች ናቸው። እና ጥቂት ክፍት ምንጭ መፍትሄዎች ቢኖሩም፣ እነሱ ለመመዘን የተነደፉ ናቸው፣ ያለ ቁርጠኛ ዴቭኦፕስ መሐንዲስ ማዋቀር እና ማቆየት አስቸጋሪ ያደርገዋል። ስለዚህ አዲስ ነገር ለመፍጠር ወሰንኩ.

ዌል፡ ደደብ ቀላል የመረጃ ማግኛ መሳሪያ

እና አዎ፣ በሞኝነት ቀላል ማለቴ ሞኝነት ቀላል ነው። ዓሣ ነባሪው ሁለት አካላት ብቻ ነው ያለው።

ሜታዳታ የሚሰበስብ እና በማርክ ዳውን ውስጥ የሚቀርፀው የፓይዘን ቤተ-መጽሐፍት።
በዚህ ውሂብ ውስጥ ለመፈለግ ዝገት የትእዛዝ መስመር በይነገጽ።

ለጥገና ከውስጥ መሠረተ ልማት አንጻር ብዙ የጽሑፍ ፋይሎች እና ጽሑፉን የሚያዘምኑ ፕሮግራሞች ብቻ አሉ። ያ ነው፣ ስለዚህ እንደ Github ባሉ git አገልጋይ ላይ ማስተናገድ ተራ ነገር ነው። ለመማር አዲስ የመጠይቅ ቋንቋ የለም፣ ምንም የአስተዳደር መሠረተ ልማት የለም፣ ምንም ምትኬ የለም። Gitን ሁሉም ሰው ያውቃል፣ ስለዚህ ማመሳሰል እና ትብብር ነጻ ነው። ተግባራዊነቱን ጠለቅ ብለን እንመርምር ዌል v1.0.

ሙሉ ተለይቶ የቀረበ git-based GUI

ዌል የተነደፈው በርቀት የጂት አገልጋይ ውቅያኖስ ውስጥ ለመዋኘት ነው። እሱ በጣም ቀላል ሊዋቀር የሚችል፡ አንዳንድ ግንኙነቶችን ይግለጹ፣ የ Github Actions ስክሪፕትን ይቅዱ (ወይም ለመረጡት CI/CD መድረክ አንዱን ይፃፉ) እና ወዲያውኑ የውሂብ ማግኛ የድር መሳሪያ ይኖርዎታል። የተመን ሉሆችዎን በ Github ላይ መፈለግ፣ ማየት፣ መመዝገብ እና ማጋራት ይችላሉ።

Github Actions ን በመጠቀም የመነጨ የስታስቲክ ሠንጠረዥ ምሳሌ። ሙሉ የስራ ማሳያ በዚህ ክፍል ውስጥ ይመልከቱ.

መብረቅ ፈጣን CLI ማከማቻዎን ይፈልጉ

ዌል በትእዛዝ መስመር ላይ ይኖራል እና ይተነፍሳል፣ ይህም በጠረጴዛዎችዎ ላይ ኃይለኛ እና ሚሊሰከንድ ፍለጋዎችን ያቀርባል። በሚሊዮኖች የሚቆጠሩ ጠረጴዛዎች ቢኖሩም፣ አንዳንድ ብልህ የሆኑ የመሸጎጫ ዘዴዎችን በመጠቀም እና እንዲሁም በሩስት ውስጥ ያለውን የኋላ ክፍል በመገንባት ዌልን በሚያስደንቅ ሁኔታ አፈፃፀም ችለናል። ምንም የፍለጋ መዘግየት አያስተውሉም [ሄሎ Google DS]።

የዌል ማሳያ፣ ሚሊዮን የጠረጴዛ ፍለጋ።

የመለኪያዎች ራስ-ሰር ስሌት [በቤታ]

እንደ ዳታ ሳይንቲስት በጣም ከምወዳቸው ነገሮች አንዱ ጥቅም ላይ የዋለውን የውሂብ ጥራት ለመፈተሽ ብቻ ተመሳሳይ ጥያቄዎችን ደጋግሞ እየሮጠ ነው። ዌል ከእርስዎ ሜታዳታ ማጽጃ ቧንቧዎች ጋር አብሮ እንዲሄድ የታቀደውን በSQL ውስጥ መለኪያዎችን የመግለጽ ችሎታን ይደግፋል። የ YAML ሜትሪክስ ቋት ውስጥ ያለውን ክፍል ይግለጹ እና ዌል በራስ-ሰር በጊዜ መርሐግብር ይሠራል እና በመለኪያዎች ውስጥ የተቀመጡ ጥያቄዎችን ያሂዳል።

```metrics
metric-name:
  sql: |
    select count(*) from table
```

ከ Github ጋር ተደምሮ፣ ይህ አካሄድ ዓሣ ነባሪ ለሜትሪክ ፍቺዎች ቀላል ማዕከላዊ የእውነት ምንጭ ሆኖ ሊያገለግል ይችላል። ዌል በ "~/" ውስጥ ካለው የጊዜ ማህተም ጋር እሴቶቹን እንኳን ይቆጥባል። whale/metrics" አንዳንድ ቻርቲንግ ወይም የበለጠ ጥልቅ ምርምር ማድረግ ከፈለጉ።

የወደፊቱን

የቅድመ-መለቀቅ የዓሣ ነባሪ ሥሪታችንን ተጠቃሚዎችን ካነጋገርን በኋላ፣ ሰዎች ተጨማሪ ተግባር እንደሚያስፈልጋቸው ተገነዘብን። ለምን የጠረጴዛ ፍለጋ መሳሪያ? ለምን ሜትሪክስ መፈለጊያ መሳሪያ አይሆንም? ለምን አይከታተልም? ለምን የ SQL መጠይቅ ማስፈጸሚያ መሳሪያ አይሆንም? ዌል v1 በመጀመሪያ የተፀነሰው እንደ ቀላል የ CLI ተጓዳኝ መሣሪያ ነው። Dataportal/Amundsen, እሱ ቀድሞውኑ ወደ ሙሉ-ተለይቶ ራሱን የቻለ መድረክ ተሻሽሏል, እና የውሂብ ሳይንቲስት መሣሪያ ስብስብ ዋና አካል እንደሚሆን ተስፋ እናደርጋለን.

በልማት ሂደት ውስጥ ማየት የሚፈልጉት ነገር ካለ የእኛን ይቀላቀሉ ወደ Slack ማህበረሰብጉዳዮችን በ ላይ ይክፈቱ የፊልሙወይም በቀጥታ ያነጋግሩ LinkedIn. እኛ አስቀድመን በርካታ ጥሩ ባህሪያት አሉን - የጂንጃ አብነቶች ፣ ዕልባቶች ፣ የፍለጋ ማጣሪያዎች ፣ Slack ማንቂያዎች ፣ ጁፒተር ውህደት ፣ ሌላው ቀርቶ CLI ዳሽቦርድ ለመለካቶች - ግን የእርስዎን ግብአት እንወዳለን።

መደምደሚያ

ዌል የተገነባው እና የሚንከባከበው በዳታ ፍሬም ነው፣ ይህ ጅምር ከሌሎች ሰዎች ጋር በቅርቡ በመመሥረት ደስ ብሎኛል። ዌል የተሰራው ለመረጃ ሳይንቲስቶች ሲሆን ዳታ ፍሬም የተሰራው ለመረጃ ሳይንቲስቶች ነው። የበለጠ በቅርበት መተባበር ለምትፈልጉ፣ ነፃነት ይሰማዎ አድራሻወደ ተጠባባቂው ዝርዝር ውስጥ እንጨምርሃለን።

እና በማስተዋወቂያ ኮድ HABR, በባነር ላይ ለተጠቀሰው ቅናሽ ተጨማሪ 10% ማግኘት ይችላሉ.

ተጨማሪ ኮርሶች

ተለይተው የቀረቡ ጽሑፎች

ምንጭ: hab.com

በ Whale በፍጥነት እና በቀላሉ መረጃን እንዴት መፈለግ እንደሚቻል