Бул макалада сиз KDPVде көргөн эң жөнөкөй жана эң ылдам маалымат табуу куралы жөнүндө сөз болот. Кызыгы, кит алыскы гит серверинде жайгаштыруу үчүн иштелип чыккан. Кесилгендин астында майда-чүйдөсүнө чейин.
Airbnb'тин Маалыматтарды табуу куралы менин жашоомду кантип өзгөрттү
Карьерамда мен кээ бир кызыктуу маселелердин үстүндө иштөөдөн ырахат алдым: мен MITде даражамды окуп жатканда агымдык математиканы окудум, кошумча моделдердин үстүндө иштедим жана ачык булак долбоору менен иштедим. Wayfair'де жана Airbnb'де жаңы башкы баракчаны максаттуу моделдерин жана CUPED жакшыртууларын ишке ашырды. Бирок бул иштердин баары эч качан жаркыраган эмес — чындыгында, мен көп убактымды маалыматтарды издөөгө, изилдөөгө жана текшерүүгө жумшадым. Бул жумушта туруктуу абал болсо да, бул маселе Airbnbге жеткенге чейин менин оюма келген эмес, ал жерде маалымат табуу куралы менен чечилди - .
{{дата}} кайдан тапсам болот? маалымат порталы.
Бул тилке эмнени билдирет? маалымат порталы.
{{metric}} бүгүн кандай абалда? маалымат порталы.
Жашоо сезими деген эмне? IN маалымат порталы, балким.
Макул, сиз сүрөттү тартууладыңыз. Маалыматтарды табуу жана анын эмнени билдирерин, кантип түзүлгөнүн жана аларды кантип колдонууну түшүнүү бир нече саатты эмес, бир нече мүнөттү талап кылат. Мен убактымды жөнөкөй корутундуларды же жаңы алгоритмдерди чыгарууга (...же маалыматтар боюнча туш келди суроолорго жооп берүүгө) өткөрө алам, тескерисинче, ноталарды казып, кайталануучу SQL сурамдарын жазууга жана Slack'теги кесиптештерим жөнүндө сөз кылууга эмес. .
көйгөй эмнеде?
Мен досторумдун көбүнүн мындай куралга мүмкүнчүлүгү жок экенин түшүндүм. Бир нече компаниялар Dataportal сыяктуу платформа куралын курууга жана колдоого чоң ресурстарды жумшоого даяр. Бир нече ачык булактуу чечимдер бар болсо да, алар масштабдуу болуп иштелип чыккандыктан, атайын DevOps инженерисиз орнотууну жана тейлөөнү кыйындатат. Ошентип, мен жаңы нерсе жаратууну чечтим.
Кит: Акылсыз жөнөкөй маалымат табуу куралы
Ооба, акылсыздык менен жөнөкөй деп мен акылсыздык менен жөнөкөй деп жатам. Кит эки гана компоненттен турат:
- Метаберилиштерди чогултуучу жана аны MarkDown'да форматтаган Python китепканасы.
- Бул дайындар аркылуу издөө үчүн Rust буйрук сабы интерфейси.
Техникалык тейлөө үчүн ички инфраструктуранын көз карашынан алганда, текст файлдары жана текстти жаңыртуучу программа гана көп. Мына ушундай, андыктан Github сыяктуу гит серверинде хостинг кылуу анча деле маанилүү эмес. Үйрөнүү үчүн жаңы суроо тили, башкаруу инфраструктурасы, резервдик көчүрмөлөр жок. Гитти баары билет, андыктан синхрондоштуруу жана кызматташуу акысыз. Келгиле, функцияны кененирээк карап чыгалы .
Толук өзгөчөлөнгөн git негизиндеги GUI
Whale алыскы гит серверинин океанында сүзүү үчүн иштелип чыккан. Ал конфигурациялануучу: кээ бир туташууларды аныктаңыз, Github Actions скриптин көчүрүңүз (же сиз тандаган CI/CD платформасы үчүн бирин жазыңыз) жана сизде дароо маалымат табуу веб куралы болот. Электрондук жадыбалдарыңызды түздөн-түз Github аркылуу издеп, көрүп, документтештирип жана бөлүшө аласыз.
Github Аракеттерин колдонуу менен түзүлгөн stub таблицанын мисалы. Толук жумушчу демо .
Репозиторийиңизди чагылгандай ылдам CLI издөө
Кит команда сабында жашап жана дем алып, таблицаларыңызда күчтүү, миллисекунддук издөөлөрдү камсыз кылат. Миллиондогон үстөлдөргө карабастан, биз кээ бир акылдуу кэштөө механизмдерин колдонуу менен, ошондой эле Rust'тун арткы бөлүгүн калыбына келтирүү менен китти укмуштуудай аткара алдык. Издөөнүн кечигүүсүн байкабай каласыз [hello Google DS].
Кит демо, миллион стол издөө.
Метрикаларды автоматтык түрдө эсептөө [бета версиясында]
Маалымат таануучу катары менин эң жакшы көргөн нерселеримдин бири - колдонулган маалыматтардын сапатын текшерүү үчүн бир эле суроону кайра-кайра аткаруу. Whale метадайындарды тазалоо түтүктөрүңүз менен бирге иштөөгө пландаштырылган жөнөкөй SQLде метрикаларды аныктоо мүмкүнчүлүгүн колдойт. Таблицанын ичиндеги YAML метрика блогун аныктаңыз, ошондо Whale автоматтык түрдө график боюнча иштейт жана метрикага салынган сурамдарды аткарат.
```metrics
metric-name:
sql: |
select count(*) from table
```
Github менен бирге, бул ыкма кит метрикалык аныктамалар үчүн чындыктын жөнөкөй борбордук булагы катары кызмат кыла алат дегенди билдирет. Whale атүгүл "~/" ичиндеги убакыт белгиси менен баалуулуктарды сактайт. кит/метрика" дегенди тандаңыз, эгер сиз диаграмманы түзүүнү же тереңирээк изилдөөнү кааласаңыз.
болочок
Биздин киттин релизге чейинки версияларынын колдонуучулары менен сүйлөшкөндөн кийин, биз адамдарга көбүрөөк функция керек экенин түшүндүк. Эмне үчүн стол издөө куралы? Эмне үчүн метрикалык издөө куралы эмес? Эмнеге мониторинг жүргүзбөйт? Эмне үчүн SQL сурамдарын аткаруу куралы эмес? Whale v1 башында жөнөкөй CLI шерик куралы катары иштелип чыккан Dataportal/Amundsen, ал буга чейин толук өзгөчөлөнгөн өз алдынча платформага айланган жана ал Data Scientist'тин инструменттеринин ажырагыс бөлүгү болуп калат деп үмүттөнөбүз.
Эгерде сиз иштеп чыгуу процессинде көргүңүз келген нерсе болсо, бизге кошулуңуз , Маселелерди дарегинде ачыңыз же ал тургай түз байланыш . Бизде мурунтан эле бир катар сонун функциялар бар - Jinja шаблондору, кыстармалар, издөө чыпкалары, Slack эскертүүлөрү, Jupyter интеграциясы, жада калса метрика үчүн CLI тактасы - бирок биз сиздин салымыңызды каалайбыз.
жыйынтыктоо
Whaleди Dataframe стартап иштеп чыгат жана тейлейт, мен жакында башка адамдар менен биргелешип негиздөөдөн ырахат алдым. Кит маалымат илимпоздору үчүн жасалса, Dataframe маалымат таануучулар үчүн жасалган. Көбүрөөк кызматташууну каалагандар үчүн, тартынбаңыз биз сизди күтүү тизмесине кошобуз.
Жана промо код менен ХАБР, баннерде көрсөтүлгөн арзандатууга кошумча 10% ала аласыз.
Көбүрөөк курстар
Өзгөчөлөнгөн макалалар
Source: www.habr.com