Ин мақола дар бораи соддатарин ва зудтарин воситаи кашфи маълумот, ки кори онро шумо дар KDPV мебинед, сӯҳбат мекунад. Ҷолиб он аст, ки кит барои ҷойгир кардани сервери дурдасти git тарҳрезӣ шудааст. Тафсилот дар зери бурида.
Чӣ тавр воситаи кашфи маълумот Airbnb ҳаёти маро тағир дод
Дар карераи худ ман аз кор кардан дар баъзе мушкилоти ҷолиб лаззат бурдам: ман ҳангоми гирифтани дараҷаи худ дар MIT математикаи ҷараёнро омӯхтам, дар моделҳои афзоянда ва бо лоиҳаи кушодаасос кор кардам дар Wayfair ва моделҳои нави мақсадноки саҳифаи хонагӣ ва такмилдиҳии CUPED дар Airbnb татбиқ карда шуданд. Аммо ин ҳама кор ҳеҷ гоҳ ҷолиб набуд - дар асл, ман аксар вақт вақти зиёди худро барои ҷустуҷӯ, таҳқиқ ва тасдиқи маълумот сарф мекардам. Гарчанде ки ин як ҳолати доимӣ дар ҷои кор буд, ба фикрам намеомад, ки ин масъала то он даме ки ман ба Airbnb расидам, ки он бо воситаи кашфи маълумот ҳал карда шуд - .
{{дата}}-ро аз куҷо ёфта метавонам? портали маълумот.
Ин сутун чӣ маъно дорад? портали маълумот.
{{metric}} имрӯз чӣ гуна аст? портали маълумот.
Ҳисси ҳаёт чист? ДАР портали маълумот, шояд.
Хуб, шумо тасвирро пешниҳод кардед. Ҷустуҷӯи маълумот ва фаҳмидани он, ки он чӣ маъно дорад, чӣ гуна офарида шудааст ва чӣ тавр истифода бурдани он ҳама чанд дақиқа лозим аст, на соат. Ман метавонистам вақти худро барои баровардани хулосаҳои оддӣ ё алгоритмҳои нав (… ё ба саволҳои тасодуфӣ дар бораи маълумот) сарф кунам, ба ҷои кофтани қайдҳо, навиштани дархостҳои такрории SQL ва зикри ҳамкасбон дар Slack барои кӯшиш ва дубора эҷод кардани контекст. дошт.
Мушкилот дар чист?
Ман фаҳмидам, ки аксари дӯстонам ба чунин асбоб дастрасӣ надоранд. Теъдоди ками ширкатҳо омодаанд, ки захираҳои бузургро барои сохтан ва нигоҳдории абзори платформа ба монанди Dataportal сарф кунанд. Ва дар ҳоле ки чанд ҳалли сарчашмаи кушода вуҷуд дорад, онҳо одатан барои миқёс тарҳрезӣ мешаванд ва насб ва нигоҳдории бидуни муҳандиси DevOps-ро душвор мегардонад. Аз ин рӯ, ман қарор додам, ки чизи нав эҷод кунам.
Whale: Воситаи беақлона соддаи кашфи маълумот
Ва ҳа, бо аблаҳона содда ман дар назар дорам, ки беақл содда. Наҳанг танҳо ду ҷузъ дорад:
- Китобхонаи Python, ки метамаълумотҳоро ҷамъоварӣ мекунад ва онро дар MarkDown формат мекунад.
- Интерфейси сатри фармони Rust барои ҷустуҷӯ тавассути ин маълумот.
Аз нуқтаи назари инфрасохтори дохилӣ барои нигоҳдорӣ, танҳо шумораи зиёди файлҳои матнӣ ва барномае мавҷуд аст, ки матнро нав мекунад. Ҳамин аст, бинобар ин хостинг дар сервери git ба монанди Github ночиз аст. Ягон забони нави дархост барои омӯхтан, инфрасохтори идоракунӣ, нусхабардорӣ нест. Ҳама Git-ро медонанд, аз ин рӯ ҳамоҳангсозӣ ва ҳамкорӣ ройгон аст. Биёед ба функсияҳо муфассалтар назар андозем .
GUI-и мукаммали бар асоси git
Whale барои шиноварӣ дар уқёнуси сервери дурдаст тарҳрезӣ шудааст. У танзимшаванда: баъзе пайвастҳоро муайян кунед, скрипти Github Actions -ро нусхабардорӣ кунед (ё барои платформаи интихобкардаи CI/CD якеро нависед) ва шумо дарҳол як воситаи веби кашфи маълумот хоҳед дошт. Шумо метавонед ҷадвалҳои электронии худро мустақиман дар Github ҷустуҷӯ, дидан, ҳуҷҷатгузорӣ ва мубодила кунед.
Намунаи ҷадвали ноустувор бо истифода аз Амалҳои Github тавлидшуда. Намоиши пурраи корӣ .
Ҷустуҷӯи босуръати CLI барои анбори худ
Whale дар сатри фармон зиндагӣ ва нафас мегирад, ки ҷустуҷӯҳои пурқувват ва миллисонияро дар мизҳои шумо таъмин мекунад. Ҳатто бо миллионҳо ҷадвалҳо, мо тавонистем, ки бо истифода аз баъзе механизмҳои кэшкунии оқилона ва инчунин аз нав барқарор кардани ақибмонда дар Rust китро ба таври бениҳоят иҷрокунанда созем. Шумо ягон таъхири ҷустуҷӯро мушоҳида намекунед [салом Google DS].
Намоиши наҳанг, ҷустуҷӯи миллионҳо ҷадвал.
Ҳисобкунии худкори ченакҳо [дар бета]
Яке аз чизҳои дӯстдоштаи ман ҳамчун олими маълумот ин аст, ки ҳамон як дархостҳоро такрор ба такрор иҷро кунад, то сифати маълумоти истифодашавандаро тафтиш кунад. Whale қобилияти муайян кардани ченакҳоро дар SQL оддӣ дастгирӣ мекунад, ки дар якҷоягӣ бо лӯлаҳои тозакунии метамаълумоти шумо ба нақша гирифта мешаванд. Дар дохили ҷадвали ноустувор блоки метрикаи YAML-ро муайян кунед ва Whale ба таври худкор дар ҷадвал кор мекунад ва дархостҳои дар метрика ҷойгиршударо иҷро мекунад.
```metrics
metric-name:
sql: |
select count(*) from table
```
Дар якҷоягӣ бо Github, ин равиш маънои онро дорад, ки наҳанг метавонад ҳамчун манбаи осони марказии ҳақиқат барои таърифҳои метрикӣ хидмат кунад. Whale ҳатто арзишҳоро дар якҷоягӣ бо тамғаи вақт дар "~/. наҳанг/метрика" агар шумо хоҳед, ки диаграмма ё таҳқиқоти амиқтар анҷом диҳед.
Дар оянда
Пас аз сӯҳбат бо корбарони версияҳои пеш аз нашри кит, мо фаҳмидем, ки одамон ба функсияҳои бештар ниёз доранд. Чаро асбоби ҷустуҷӯи ҷадвал? Чаро воситаи ҷустуҷӯи метрикӣ нест? Чаро назорат намекунанд? Чаро воситаи иҷрои дархости SQL нест? Дар ҳоле ки Whale v1 дар ибтидо ҳамчун як воситаи оддии ҳамсафари CLI таҳия шуда буд Dataportal/Amundsen, он аллакай ба як платформаи мустақили мукаммал табдил ёфтааст ва мо умедворем, ки он як қисми ҷудонашавандаи асбобҳои Data Scientist мегардад.
Агар шумо чизеро дар раванди рушд дидан хоҳед, ба мо ҳамроҳ шавед , Масъалаҳоро кушоед ё ҳатто бевосита тамос гиред . Мо аллакай як қатор хусусиятҳои ҷолиб дорем - қолибҳои Jinja, хатчӯбҳо, филтрҳои ҷустуҷӯ, огоҳиҳои Slack, ҳамгироии Jupyter, ҳатто як панели CLI барои ченакҳо - аммо мо саҳми шуморо дӯст медорем.
хулоса
Whale аз ҷониби Dataframe, як стартап таҳия ва нигоҳдорӣ мешавад, ки ман ба наздикӣ аз таъсиси ҳамкорӣ бо одамони дигар лаззат бурдам. Дар ҳоле ки кит барои олимони маълумот сохта шудааст, Dataframe барои олимони маълумот сохта шудааст. Барои касоне аз шумо, ки мехоҳанд зичтар ҳамкорӣ кунанд, озод ҳис кунед мо шуморо ба рӯйхати интизорӣ илова мекунем.
Ва бо рамзи промо ХАБР, шумо метавонед ба тахфифи дар баннер нишондодашуда 10 фоизи иловагй гиред.
Курсҳои бештар
Мақолаҳои пешниҳодшуда
Манбаъ: will.com