🥇როგორ სწრაფად და მარტივად მოძებნოთ მონაცემები Whale

ეს სტატია საუბრობს მონაცემთა აღმოჩენის უმარტივეს და სწრაფ ინსტრუმენტზე, რომლის მუშაობასაც ხედავთ KDPV-ზე. საინტერესოა, რომ Whale შექმნილია დისტანციური git სერვერის ჰოსტინგისთვის. დეტალები ჭრილის ქვეშ.

როგორ შეცვალა ჩემი ცხოვრება Airbnb-ის მონაცემთა აღმოჩენის ინსტრუმენტმა

ჩემს კარიერაში სიამოვნებით ვიმუშავე რამდენიმე სახალისო პრობლემაზე: ვსწავლობდი ნაკადის მათემატიკას MIT-ში სწავლის დროს, ვმუშაობდი ინკრემენტულ მოდელებზე და ღია კოდის პროექტზე. პილიფტი Wayfair-ში და დანერგა საწყისი გვერდის ახალი მიზნობრივი მოდელები და CUPED გაუმჯობესებები Airbnb-ში. მაგრამ მთელი ეს ნამუშევარი არასოდეს ყოფილა მომხიბვლელი - ფაქტობრივად, ხშირად დროის უმეტეს ნაწილს ვატარებდი მონაცემების ძიებაში, კვლევასა და შემოწმებაში. მიუხედავად იმისა, რომ ეს მუდმივი მდგომარეობა იყო, არ მიფიქრია, რომ ეს იყო პრობლემა მანამ, სანამ არ მივედი Airbnb-ში, სადაც ის მოგვარდა მონაცემთა აღმოჩენის ხელსაწყოთი - მონაცემთა პორტალი.

სად ვიპოვო {{მონაცემები}}? მონაცემთა პორტალი.
რას ნიშნავს ეს სვეტი? მონაცემთა პორტალი.
როგორ არის დღეს {{metric}}? მონაცემთა პორტალი.
რა არის ცხოვრების გრძნობა? IN მონაცემთა პორტალი, ალბათ.

კარგი, თქვენ წარმოადგინეთ სურათი. მონაცემების მოძიებას და იმის გაგებას, თუ რას ნიშნავს ეს, როგორ შეიქმნა და როგორ გამოვიყენოთ ეს ყველაფერი მხოლოდ რამდენიმე წუთს სჭირდება და არა საათს. მე შემეძლო დროის დახარჯვა მარტივი დასკვნების, ან ახალი ალგორითმების გამოტანაში (… ან ვუპასუხო შემთხვევით კითხვებს მონაცემების შესახებ), ვიდრე ჩანაწერების გათხრა, განმეორებითი SQL მოთხოვნების დაწერა და კოლეგების ხსენება Slack-ზე კონტექსტის ხელახლა შესაქმნელად. ჰქონდა.

Რა პრობლემაა?

მივხვდი, რომ ჩემი მეგობრების უმეტესობას არ ჰქონდა წვდომა ასეთ ინსტრუმენტზე. რამდენიმე კომპანიას სურს დაუთმოს უზარმაზარი რესურსები ისეთი პლატფორმის ინსტრუმენტის შექმნასა და შენარჩუნებას, როგორიცაა Dataportal. და მიუხედავად იმისა, რომ არსებობს რამდენიმე ღია კოდის გადაწყვეტა, ისინი, როგორც წესი, შემუშავებულია მასშტაბურად, რაც ართულებს დაყენებას და შენარჩუნებას სპეციალური DevOps ინჟინრის გარეშე. ამიტომ გადავწყვიტე შემექმნა რაღაც ახალი.

Whale: სულელურად მარტივი მონაცემთა აღმოჩენის ინსტრუმენტი

და დიახ, უბრალო სისულელემდე ვგულისხმობ უბრალო სისულელეს. ვეშაპს აქვს მხოლოდ ორი კომპონენტი:

პითონის ბიბლიოთეკა, რომელიც აგროვებს მეტამონაცემებს და აფორმებს მას MarkDown-ში.
Rust ბრძანების ხაზის ინტერფეისი ამ მონაცემების საძიებლად.

შენარჩუნების შიდა ინფრასტრუქტურის თვალსაზრისით, არსებობს მხოლოდ ბევრი ტექსტური ფაილი და პროგრამა, რომელიც განაახლებს ტექსტს. ეს არის ის, ასე რომ ჰოსტინგი Git სერვერზე, როგორიცაა Github, ტრივიალურია. არც ახალი შეკითხვის ენა, არც მართვის ინფრასტრუქტურა, არც სარეზერვო ასლები. ყველამ იცის Git, ამიტომ სინქრონიზაცია და თანამშრომლობა უფასოა. მოდით უფრო ახლოს მივხედოთ ფუნქციონირებას ვეშაპი v1.0.

სრული გამორჩეული git-ზე დაფუძნებული GUI

Whale შექმნილია დისტანციური git სერვერის ოკეანეში ბანაობისთვის. ის ძალიან მარტივია კონფიგურირებადი: განსაზღვრეთ რამდენიმე კავშირი, დააკოპირეთ Github Actions სკრიპტი (ან დაწერეთ ერთი თქვენს მიერ არჩეული CI/CD პლატფორმისთვის) და დაუყოვნებლივ გექნებათ მონაცემთა აღმოჩენის ვებ ინსტრუმენტი. თქვენ შეძლებთ მოძებნოთ, ნახოთ, დოკუმენტირება და გააზიაროთ თქვენი ცხრილები პირდაპირ Github-ზე.

მაგიდის მაგალითი, რომელიც გენერირებულია Github მოქმედებების გამოყენებით. სრული სამუშაო დემო ვერსია იხილეთ ამ განყოფილებაში.

ელვისებური სწრაფი CLI მოძებნეთ თქვენი საცავი

ვეშაპი ცხოვრობს და სუნთქავს ბრძანების სტრიქონზე, რაც უზრუნველყოფს მძლავრ, მილიწამის ძიებას თქვენს მაგიდებზე. მილიონობით ცხრილის პირობებშიც კი, ჩვენ მოვახერხეთ ვეშაპის წარმოუდგენლად ეფექტურობა, ქეშირების ჭკვიანური მექანიზმების გამოყენებით და ასევე Rust-ის ზურგის აღდგენით. თქვენ ვერ შეამჩნევთ ძიების შეფერხებას [გამარჯობა Google DS].

ვეშაპის დემო ვერსია, მილიონი მაგიდის ძიება.

მეტრიკის ავტომატური გაანგარიშება [ბეტაში]

ჩემი, როგორც მონაცემთა მეცნიერის, ერთ-ერთი ყველაზე ნაკლებად საყვარელი რამ არის იგივე მოთხოვნების გაშვება ისევ და ისევ, მხოლოდ გამოყენებული მონაცემების ხარისხის შესამოწმებლად. Whale მხარს უჭერს უბრალო SQL-ში მეტრიკის განსაზღვრის უნარს, რომელიც დაგეგმილი იქნება თქვენი მეტამონაცემების გასუფთავების მილსადენებთან ერთად. განსაზღვრეთ YAML მეტრიკის ბლოკი სათაური ცხრილის შიგნით და Whale ავტომატურად იმუშავებს განრიგზე და განახორციელებს მეტრიკაში ჩადგმულ შეკითხვებს.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

Github-თან ერთად, ეს მიდგომა ნიშნავს, რომ ვეშაპი შეიძლება იყოს სიმართლის მარტივი ცენტრალური წყარო მეტრულ განმარტებებში. Whale კი ინახავს მნიშვნელობებს დროის ნიშნულთან ერთად "~/-ში. ვეშაპი / მეტრიკა" თუ გსურთ გააკეთოთ დიაგრამები ან უფრო სიღრმისეული კვლევა.

მომავალი

ვეშაპის ჩვენი წინასწარი გამოშვების ვერსიების მომხმარებლებთან საუბრის შემდეგ მივხვდით, რომ ხალხს მეტი ფუნქციონირება სჭირდებოდა. რატომ არის ცხრილის საძიებელი ინსტრუმენტი? რატომ არ არის მეტრიკის საძიებო ინსტრუმენტი? რატომ არ ხდება მონიტორინგი? რატომ არ არის SQL შეკითხვის შესრულების ინსტრუმენტი? მიუხედავად იმისა, რომ whale v1 თავდაპირველად გამიზნული იყო მარტივი CLI კომპანიონი ინსტრუმენტი Dataportal/Amundsen, ის უკვე გადაიქცა სრულფასოვან დამოუკიდებელ პლატფორმად და ვიმედოვნებთ, რომ გახდება Data Scientist-ის ინსტრუმენტარიუმის განუყოფელი ნაწილი.

თუ რაიმეს ნახვა გსურთ განვითარების პროცესში, შემოგვიერთდით სლეკის საზოგადოებას, გახსენით Issues at Githubან თუნდაც პირდაპირ დაუკავშირდით LinkedIn. ჩვენ უკვე გვაქვს მრავალი მაგარი ფუნქცია - Jinja შაბლონები, სანიშნეები, საძიებო ფილტრები, Slack გაფრთხილებები, Jupyter-ის ინტეგრაცია, თუნდაც CLI საინფორმაციო დაფა მეტრიკებისთვის - მაგრამ ჩვენ გვსიამოვნებს თქვენი შეყვანა.

დასკვნა

Whale შემუშავებულია და ინარჩუნებს Dataframe-ს, სტარტაპს, რომლის დაარსების სიამოვნება ახლახანს მქონდა სხვა ადამიანებთან ერთად. მიუხედავად იმისა, რომ ვეშაპი შექმნილია მონაცემთა მეცნიერებისთვის, Dataframe შექმნილია მონაცემთა მეცნიერებისთვის. მათთვის, ვისაც სურს უფრო მჭიდრო თანამშრომლობა, მოგერიდებათ მისამართიჩვენ დაგამატებთ მოლოდინში.

და პრომო კოდით HABR, შეგიძლიათ მიიღოთ დამატებითი 10% ბანერზე მითითებულ ფასდაკლებაზე.

მეტი კურსები

რჩეული სტატიები

წყარო: www.habr.com

როგორ მოძებნოთ მონაცემები სწრაფად და მარტივად Whale-ით