🥇របៀបស្វែងរកទិន្នន័យរហ័ស និងងាយស្រួលដោយប្រើ Whale

សម្ភារៈនេះពិពណ៌នាអំពីឧបករណ៍ស្វែងរកទិន្នន័យដ៏សាមញ្ញ និងលឿនបំផុត ដែលជាការងារដែលអ្នកឃើញនៅលើ KDPV ។ គួរឱ្យចាប់អារម្មណ៍ត្រីបាឡែនត្រូវបានរចនាឡើងដើម្បីបង្ហោះនៅលើម៉ាស៊ីនមេ git ពីចម្ងាយ។ ព័ត៌មានលម្អិតនៅក្រោមការកាត់។

របៀបដែលឧបករណ៍ស្វែងរកទិន្នន័យរបស់ Airbnb បានផ្លាស់ប្តូរជីវិតរបស់ខ្ញុំ

ខ្ញុំមានសំណាងគ្រប់គ្រាន់ដើម្បីធ្វើការលើបញ្ហារីករាយមួយចំនួននៅក្នុងអាជីពរបស់ខ្ញុំ៖ ខ្ញុំបានសិក្សាគណិតវិទ្យាតាមខ្សែ ខណៈពេលដែលទទួលបានសញ្ញាបត្រនៅ MIT ធ្វើការលើគំរូបន្ថែម និងគម្រោងប្រភពបើកចំហ។ ការលើក នៅ Wayfair ក៏ដូចជាការអនុវត្តគំរូកំណត់គោលដៅទំព័រដើមថ្មី និងការកែលម្អ CUPED នៅ Airbnb ។ ប៉ុន្តែការងារទាំងអស់នេះមិនដែលអស្ចារ្យទេ - តាមពិតទៅ ខ្ញុំបានចំណាយពេលភាគច្រើនក្នុងការស្រាវជ្រាវ សិក្សា និងផ្ទៀងផ្ទាត់ទិន្នន័យ។ ទោះបីជានេះជាលក្ខខណ្ឌថេរនៅកន្លែងធ្វើការក៏ដោយ វាមិនបានកើតឡើងចំពោះខ្ញុំទេថានេះជាបញ្ហារហូតដល់ខ្ញុំទៅដល់ Airbnb ជាកន្លែងដែលវាត្រូវបានដោះស្រាយដោយប្រើឧបករណ៍ស្វែងរកទិន្នន័យ - វិបផតថលទិន្នន័យ.

តើខ្ញុំអាចរក {{data}} នៅឯណា? វិបផតថលទិន្នន័យ.
តើជួរឈរនេះមានន័យយ៉ាងណា? វិបផតថលទិន្នន័យ.
តើ {{metric}} ធ្វើដូចម្តេចនៅថ្ងៃនេះ? វិបផតថលទិន្នន័យ.
តើអារម្មណ៍នៃជីវិតគឺជាអ្វី? IN វិបផតថលទិន្នន័យប្រហែល។

មិនអីទេ អ្នកបានទទួលរូបភាពហើយ។ ការស្វែងរកទិន្នន័យ និងការយល់ដឹងអំពីអត្ថន័យ របៀបដែលវាត្រូវបានបង្កើត និងរបៀបប្រើប្រាស់វាទាំងអស់ត្រូវចំណាយពេលប៉ុន្មាននាទី មិនមែនរាប់ម៉ោងនោះទេ។ ខ្ញុំអាចចំណាយពេលវេលារបស់ខ្ញុំក្នុងការបង្កើតការសន្និដ្ឋានសាមញ្ញ ឬក្បួនដោះស្រាយថ្មី (... ឬឆ្លើយសំណួរចៃដន្យអំពីទិន្នន័យ) ជាជាងការនិយាយតាមកំណត់ចំណាំ សរសេរសំណួរ SQL ដដែលៗ និងនិយាយអំពីសហសេវិកនៅលើ Slack ដើម្បីព្យាយាមបង្កើតបរិបទឡើងវិញ ដែលនរណាម្នាក់ផ្សេងទៀត មានរួចហើយ។

មានបញ្ហាអ្វី?

ខ្ញុំបានដឹងថាមិត្តភក្តិរបស់ខ្ញុំភាគច្រើនមិនមានសិទ្ធិចូលប្រើឧបករណ៍បែបនេះទេ។ ក្រុមហ៊ុនមួយចំនួនចង់លះបង់ធនធានដ៏ធំដើម្បីបង្កើត និងថែរក្សាឧបករណ៍វេទិកាដូចជា Dataportal ជាដើម។ ហើយខណៈពេលដែលមានដំណោះស្រាយប្រភពបើកចំហជាច្រើនដែលអាចប្រើបាន ពួកវាជាធម្មតាត្រូវបានរចនាឡើងដើម្បីធ្វើមាត្រដ្ឋាន ធ្វើឱ្យការដំឡើង និងការថែទាំមានការលំបាកដោយមិនមានវិស្វករ DevOps ដែលខិតខំប្រឹងប្រែង។ ដូច្នេះ ខ្ញុំសម្រេចចិត្តបង្កើតអ្វីដែលថ្មី។

ត្រីបាឡែន៖ ឧបករណ៍ស្វែងរកទិន្នន័យដ៏សាមញ្ញដ៏ល្ងង់ខ្លៅ

ហើយបាទ ដោយសាមញ្ញដល់ចំណុចនៃភាពល្ងង់ ខ្ញុំមានន័យថាសាមញ្ញដល់ចំណុចនៃភាពល្ងង់។ ត្រីបាឡែនមានសមាសធាតុពីរប៉ុណ្ណោះ៖

បណ្ណាល័យ Python ដែលប្រមូលទិន្នន័យមេតា និងធ្វើទ្រង់ទ្រាយវានៅក្នុង MarkDown ។
ចំណុចប្រទាក់បន្ទាត់ពាក្យបញ្ជា Rust សម្រាប់ស្វែងរកទិន្នន័យនេះ។

តាមទស្សនៈនៃហេដ្ឋារចនាសម្ព័ន្ធខាងក្នុងសម្រាប់ការថែទាំ មានតែឯកសារអត្ថបទច្រើន និងកម្មវិធីដែលធ្វើបច្ចុប្បន្នភាពអត្ថបទ។ នោះហើយជាវា ដូច្នេះការបង្ហោះនៅលើម៉ាស៊ីនមេ git ដូចជា Github គឺជារឿងមិនសំខាន់។ គ្មានភាសាសំណួរថ្មីដែលត្រូវរៀន គ្មានហេដ្ឋារចនាសម្ព័ន្ធគ្រប់គ្រង គ្មានការបម្រុងទុក។ Git ត្រូវបានគេស្គាល់គ្រប់គ្នា ដូច្នេះការធ្វើសមកាលកម្ម និងការសហការកើតឡើងដោយឥតគិតថ្លៃ។ ចូរយើងពិនិត្យមើលឱ្យកាន់តែច្បាស់អំពីមុខងារ ត្រីបាឡែន v1.0.

លក្ខណៈពិសេសពេញលេញដែលមានមូលដ្ឋានលើ GUI

ត្រីបាឡែនត្រូវបានរចនាឡើងដើម្បីបើកសមុទ្រនៃម៉ាស៊ីនមេ git ពីចម្ងាយ។ គាត់ មានភាពងាយស្រួលណាស់ អាចប្ដូរតាមបំណងបាន៖ កំណត់ការភ្ជាប់មួយចំនួន ចម្លងស្គ្រីប Github Actions (ឬសរសេរមួយសម្រាប់ជម្រើស CI/CD platform របស់អ្នក) ហើយអ្នកនឹងមានឧបករណ៍ស្វែងរកទិន្នន័យតាមគេហទំព័រក្នុងពេលឆាប់ៗនេះ។ អ្នកនឹងអាចស្វែងរក មើល ឯកសារ និងចែករំលែកសៀវភៅបញ្ជីរបស់អ្នកដោយផ្ទាល់នៅលើ Github ។

ឧទាហរណ៍នៃតារាង stub ដែលបង្កើតដោយប្រើ Github Actions ។ ការបង្ហាញការងារពេញលេញ រកមើលនៅក្នុងផ្នែកនេះ។.

ការស្វែងរក CLI រហ័សនៃឃ្លាំងរបស់អ្នក។

ត្រីបាឡែនរស់នៅ និងដកដង្ហើមបន្ទាត់ពាក្យបញ្ជា ដោយផ្តល់នូវការស្វែងរកដ៏មានអានុភាព មិល្លីវិនាទីឆ្លងកាត់តារាងរបស់អ្នក។ ទោះបីជាមានតុរាប់លានក៏ដោយ យើងបានគ្រប់គ្រងដើម្បីធ្វើឱ្យត្រីបាឡែនដំណើរការយ៉ាងអស្ចារ្យដោយប្រើយន្តការលាក់បាំងដ៏ឆ្លាតវៃមួយចំនួន ក៏ដូចជាការកសាងផ្នែកខាងក្រោយឡើងវិញនៅក្នុង Rust ។ អ្នកនឹងមិនសម្គាល់ឃើញភាពយឺតយ៉ាវក្នុងការស្វែងរកទេ [ជំរាបសួរ, Google DS]។

ការបង្ហាញត្រីបាឡែន ស្វែងរកតាមតុរាប់លាន។

ការគណនាដោយស្វ័យប្រវត្តិនៃម៉ែត្រ [នៅក្នុងបែតា]

រឿងមួយដែលខ្ញុំចូលចិត្តតិចបំផុតក្នុងនាមជាអ្នកវិទ្យាសាស្ត្រទិន្នន័យកំពុងដំណើរការសំណួរដដែលៗម្តងហើយម្តងទៀត ដើម្បីពិនិត្យមើលគុណភាពនៃទិន្នន័យដែលកំពុងប្រើប្រាស់។ ត្រីបាឡែនគាំទ្រសមត្ថភាពក្នុងការកំណត់ម៉ែត្រនៅក្នុង SQL សាមញ្ញដែលនឹងត្រូវបានកំណត់ពេលឱ្យដំណើរការជាមួយបណ្តាញបង្ហូរទិន្នន័យមេតារបស់អ្នក។ កំណត់ប្លុកម៉ែត្រក្នុងទម្រង់ YAML នៅខាងក្នុងតារាងដើម ហើយ Whale នឹងដំណើរការដោយស្វ័យប្រវត្តិតាមកាលវិភាគ ហើយដំណើរការសំណួរដែលដាក់ក្នុងម៉ែត្រ។

```metrics
metric-name:
  sql: |
    select count(*) from table
```

រួមបញ្ចូលគ្នាជាមួយ Github វិធីសាស្រ្តនេះមានន័យថាត្រីបាឡែនអាចបម្រើជាប្រភពនៃការពិតដ៏ងាយស្រួលសម្រាប់និយមន័យម៉ែត្រ។ ត្រីបាឡែនថែមទាំងរក្សាទុកតម្លៃរួមជាមួយត្រាពេលវេលានៅក្នុងថត "~/" ។ whale/metrics" ប្រសិនបើអ្នកចង់ធ្វើប្រភេទនៃក្រាហ្វឬការស្រាវជ្រាវស៊ីជម្រៅ។

អនាគត

បន្ទាប់ពីនិយាយជាមួយអ្នកប្រើប្រាស់កំណែមុនការចេញផ្សាយរបស់ត្រីបាឡែន យើងបានដឹងថាមនុស្សត្រូវការមុខងារទូលំទូលាយ។ ហេតុអ្វីបានជាឧបករណ៍ស្វែងរកតារាង? ហេតុអ្វីមិនមែនជាឧបករណ៍ស្វែងរកម៉ែត្រ? ហេតុអ្វីមិនតាមដាន? ហេតុអ្វីមិនមែនជាឧបករណ៍សំណួរ SQL? ទោះបីជាត្រីបាឡែន v1 ត្រូវបានបម្រុងទុកជាឧបករណ៍ដៃគូ CLI សាមញ្ញក៏ដោយ។ Dataportal/Amundsenវាបានរីកចម្រើនទៅជាវេទិកាឯករាជ្យដែលមានមុខងារពេញលេញរួចហើយ ហើយយើងសង្ឃឹមថាវានឹងក្លាយជាផ្នែកសំខាន់មួយនៃកញ្ចប់ឧបករណ៍របស់អ្នកវិទ្យាសាស្ត្រទិន្នន័យ។

ប្រសិនបើមានអ្វីដែលអ្នកចង់ឃើញក្នុងការអភិវឌ្ឍន៍ សូមចូលរួមជាមួយពួកយើង សហគមន៍ស្លេកបើកបញ្ហានៅ Githubឬសូម្បីតែទាក់ទងដោយផ្ទាល់ LinkedIn. យើងមានលក្ខណៈពិសេសល្អៗមួយចំនួនរួចទៅហើយ - គំរូ Jinja, ចំណាំ, តម្រងស្វែងរក, ការជូនដំណឹង Slack, ការរួមបញ្ចូល Jupyter, សូម្បីតែផ្ទាំងគ្រប់គ្រង CLI សម្រាប់ម៉ែត្រក៏ដោយ ប៉ុន្តែយើងចង់បានការបញ្ចូលរបស់អ្នក។

សេចក្តីសន្និដ្ឋាន

ត្រីបាឡែនត្រូវបានអភិវឌ្ឍ និងគាំទ្រដោយ Dataframe ដែលជាការចាប់ផ្តើមថ្មីដែលខ្ញុំរីករាយក្នុងការបង្កើតជាមួយអ្នកដទៃ។ ខណៈពេលដែលត្រីបាឡែនត្រូវបានរចនាឡើងសម្រាប់អ្នកវិទ្យាសាស្ត្រទិន្នន័យ Dataframe ត្រូវបានរចនាឡើងសម្រាប់ក្រុមវិទ្យាសាស្ត្រទិន្នន័យ។ សម្រាប់អ្នកដែលចង់សហការគ្នាកាន់តែជិតស្និទ្ធ សូមមានអារម្មណ៍សេរី អាស័យដ្ឋានយើងនឹងបន្ថែមអ្នកទៅក្នុងបញ្ជីរង់ចាំ។

និងដោយលេខកូដផ្សព្វផ្សាយ HABRអ្នកអាចទទួលបានការបញ្ចុះតម្លៃ 10% បន្ថែមលើផ្ទាំងបដា។

វគ្គសិក្សាច្រើនទៀត

អត្ថបទពិសេស

ប្រភព: www.habr.com

របៀបស្វែងរកទិន្នន័យយ៉ាងរហ័ស និងងាយស្រួលជាមួយ Whale