ວິທີການຄົ້ນຫາຂໍ້ມູນໄວແລະງ່າຍດາຍດ້ວຍ Whale

ເອກະສານນີ້ອະທິບາຍເຄື່ອງມືການຄົ້ນພົບຂໍ້ມູນທີ່ງ່າຍທີ່ສຸດ ແລະໄວທີ່ສຸດ, ວຽກງານທີ່ທ່ານເຫັນຢູ່ໃນ KDPV. ຫນ້າສົນໃຈ, whale ຖືກອອກແບບມາເພື່ອເປັນເຈົ້າພາບໃນເຄື່ອງແມ່ຂ່າຍ git ຫ່າງໄກສອກຫຼີກ. ລາຍລະອຽດພາຍໃຕ້ການຕັດ.

ເຄື່ອງມືຄົ້ນຫາຂໍ້ມູນຂອງ Airbnb ປ່ຽນຊີວິດຂອງຂ້ອຍແນວໃດ

ຂ້ອຍໂຊກດີພໍທີ່ຈະເຮັດວຽກກ່ຽວກັບບັນຫາມ່ວນໆບາງຢ່າງໃນການເຮັດວຽກຂອງຂ້ອຍ: ຂ້ອຍໄດ້ສຶກສາວິຊາຄະນິດສາດໃນຂະນະທີ່ໄດ້ຮັບປະລິນຍາຢູ່ MIT, ໄດ້ເຮັດວຽກກ່ຽວກັບຕົວແບບເພີ່ມຂຶ້ນແລະໂຄງການ open source. ລີຟ ຢູ່ Wayfair, ເຊັ່ນດຽວກັນກັບການປະຕິບັດຮູບແບບການກໍາຫນົດເປົ້າຫມາຍໃນຫນ້າທໍາອິດແລະການປັບປຸງ CUPED ຢູ່ Airbnb. ແຕ່ວຽກງານທັງຫມົດນີ້ບໍ່ເຄີຍເປັນຕາຕົກໃຈ - ໃນຄວາມເປັນຈິງ, ຂ້ອຍມັກຈະໃຊ້ເວລາສ່ວນໃຫຍ່ຂອງຂ້ອຍໃນການຄົ້ນຫາ, ການສຶກສາແລະການກວດສອບຂໍ້ມູນ. ເຖິງແມ່ນວ່ານີ້ແມ່ນສະພາບທີ່ຄົງທີ່ໃນການເຮັດວຽກ, ມັນບໍ່ໄດ້ເກີດຂຶ້ນກັບຂ້ອຍວ່ານີ້ແມ່ນບັນຫາຈົນກ່ວາຂ້ອຍໄດ້ໄປຫາ Airbnb, ບ່ອນທີ່ມັນຖືກແກ້ໄຂໂດຍໃຊ້ເຄື່ອງມືຄົ້ນຫາຂໍ້ມູນ - ປະຕູຂໍ້ມູນ.

ຂ້ອຍສາມາດຊອກຫາ {{data}} ໄດ້ຢູ່ໃສ? ປະຕູຂໍ້ມູນ.
ຖັນນີ້ຫມາຍຄວາມວ່າແນວໃດ? ປະຕູຂໍ້ມູນ.
{{metric}} ເປັນແນວໃດໃນມື້ນີ້? ປະຕູຂໍ້ມູນ.
ຄວາມຮູ້ສຶກຂອງຊີວິດແມ່ນຫຍັງ? IN ປະຕູຂໍ້ມູນ, ອາດຈະເປັນ.

ຕົກລົງ, ເຈົ້າໄດ້ຮູບແລ້ວ. ການຊອກຫາຂໍ້ມູນແລະຄວາມເຂົ້າໃຈວ່າມັນຫມາຍຄວາມວ່າແນວໃດ, ມັນຖືກສ້າງຂຶ້ນແນວໃດ, ແລະວິທີການນໍາໃຊ້ມັນທັງຫມົດໃຊ້ເວລານາທີ, ບໍ່ແມ່ນຊົ່ວໂມງ. ຂ້ອຍສາມາດໃຊ້ເວລາຂອງຂ້ອຍໃນການສະຫຼຸບແບບງ່າຍໆ, ຫຼື algorithms ໃໝ່, (... ຫຼືຕອບຄໍາຖາມແບບສຸ່ມກ່ຽວກັບຂໍ້ມູນ) ແທນທີ່ຈະ rummaging ຜ່ານບັນທຶກ, ຂຽນຄໍາຖາມ SQL ຊ້ໍາຊ້ອນ, ແລະກ່າວເຖິງເພື່ອນຮ່ວມງານໃນ Slack ເພື່ອພະຍາຍາມສ້າງ context, ເຊິ່ງຄົນອື່ນ. ມີແລ້ວ.

ມີບັນຫາຫຍັງ?

ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ຮັບ​ຮູ້​ວ່າ​ຫມູ່​ເພື່ອນ​ຂອງ​ຂ້າ​ພະ​ເຈົ້າ​ສ່ວນ​ໃຫຍ່​ບໍ່​ໄດ້​ເຂົ້າ​ເຖິງ​ເຄື່ອງ​ມື​ດັ່ງ​ກ່າວ​. ບໍລິສັດຈໍານວນຫນ້ອຍຕ້ອງການທີ່ຈະອຸທິດຊັບພະຍາກອນອັນໃຫຍ່ຫຼວງເພື່ອສ້າງແລະຮັກສາເຄື່ອງມືເວທີເຊັ່ນ Dataportal. ແລະໃນຂະນະທີ່ມີຫຼາຍວິທີແກ້ໄຂແຫຼ່ງເປີດທີ່ມີຢູ່, ພວກມັນມັກຈະຖືກອອກແບບເພື່ອຂະຫນາດ, ເຮັດໃຫ້ການຕິດຕັ້ງແລະການບໍາລຸງຮັກສາມີຄວາມຫຍຸ້ງຍາກໂດຍບໍ່ມີວິສະວະກອນ DevOps ທີ່ອຸທິດຕົນ. ສະນັ້ນຂ້າພະເຈົ້າຕັດສິນໃຈສ້າງສິ່ງໃຫມ່.

ປາວານ: ເຄື່ອງມືຄົ້ນພົບຂໍ້ມູນແບບງ່າຍໆທີ່ໂງ່ຈ້າ

ແລະແມ່ນແລ້ວ, ໂດຍງ່າຍດາຍເຖິງຈຸດຂອງຄວາມໂງ່, ຂ້າພະເຈົ້າຫມາຍຄວາມວ່າງ່າຍດາຍເຖິງຈຸດຂອງຄວາມໂງ່ຈ້າ. ປາວານມີພຽງແຕ່ສອງອົງປະກອບ:

1. ຫ້ອງສະໝຸດ Python ທີ່ເກັບກຳ metadata ແລະຈັດຮູບແບບມັນໄວ້ໃນ MarkDown.
2. ການໂຕ້ຕອບເສັ້ນຄໍາສັ່ງ Rust ສໍາລັບການຊອກຫາຂໍ້ມູນນີ້.

ຈາກທັດສະນະຂອງໂຄງສ້າງພື້ນຖານພາຍໃນສໍາລັບການບໍາລຸງຮັກສາ, ມີພຽງແຕ່ໄຟລ໌ຂໍ້ຄວາມຈໍານວນຫລາຍແລະໂຄງການທີ່ປັບປຸງຂໍ້ຄວາມ. ນັ້ນແມ່ນ, ສະນັ້ນການໂຮດຢູ່ໃນເຄື່ອງແມ່ຂ່າຍ git ເຊັ່ນ Github ແມ່ນເລື່ອງເລັກໆນ້ອຍໆ. ບໍ່ມີພາສາແບບສອບຖາມໃຫມ່ທີ່ຈະຮຽນຮູ້, ບໍ່ມີໂຄງສ້າງພື້ນຖານການຈັດການ, ບໍ່ມີການສໍາຮອງ. Git ເປັນທີ່ຮູ້ຈັກກັບທຸກຄົນ, ສະນັ້ນການຊິງໂຄຣນາ ແລະການຮ່ວມມືມາຟຣີ. ລອງເບິ່ງຟັງຊັນທີ່ລະອຽດກວ່າ ປາວານ v1.0.

GUI ໂດຍອີງໃສ່ git ທີ່ມີຄຸນສົມບັດຢ່າງເຕັມທີ່

ປາວານຖືກອອກແບບເພື່ອແລ່ນເຮືອມະຫາສະຫມຸດຂອງເຄື່ອງແມ່ຂ່າຍ git ຫ່າງໄກສອກຫຼີກ. ລາວ ງ່າຍທີ່ສຸດ ສາມາດປັບແຕ່ງໄດ້: ກໍານົດການເຊື່ອມຕໍ່ບາງຢ່າງ, ຄັດລອກສະຄິບ Github Actions (ຫຼືຂຽນຫນຶ່ງສໍາລັບເວທີ CI / CD ທີ່ທ່ານເລືອກ) ແລະທ່ານຈະມີເຄື່ອງມືການຄົ້ນພົບຂໍ້ມູນໃນເວັບໃນເວລາບໍ່ດົນ. ທ່ານ​ຈະ​ສາ​ມາດ​ຄົ້ນ​ຫາ​, ເບິ່ງ​, ເອ​ກະ​ສານ​, ແລະ​ແບ່ງ​ປັນ​ສະ​ເປ​ຣດ​ຊີດ​ຂອງ​ທ່ານ​ໂດຍ​ກົງ​ກ່ຽວ​ກັບ Github​.

ຕົວຢ່າງຂອງຕາຕະລາງ stub ທີ່ສ້າງຂຶ້ນໂດຍໃຊ້ Github Actions. ການສາທິດເຮັດວຽກເຕັມຮູບແບບ ເບິ່ງໃນພາກນີ້.

ຄົ້ນຫາ CLI ຢ່າງໄວວາຂອງບ່ອນເກັບມ້ຽນຂອງທ່ານ

ປາວານມີຊີວິດຢູ່ແລະຫາຍໃຈເສັ້ນຄໍາສັ່ງ, ສະຫນອງການຄົ້ນຫາທີ່ມີພະລັງ, millisecond ໃນທົ່ວຕາຕະລາງຂອງທ່ານ. ເຖິງແມ່ນວ່າມີຕາຕະລາງຫຼາຍລ້ານ, ພວກເຮົາຈັດການເພື່ອເຮັດໃຫ້ປາວານປະຕິບັດໄດ້ຢ່າງບໍ່ຫນ້າເຊື່ອໂດຍການນໍາໃຊ້ກົນໄກການເກັບຮັກສາທີ່ສະຫລາດບາງຢ່າງ, ເຊັ່ນດຽວກັນກັບການກໍ່ສ້າງ backend ໃນ Rust. ທ່ານຈະບໍ່ສັງເກດເຫັນຄວາມຊັກຊ້າຂອງການຄົ້ນຫາໃດໆ [ສະບາຍດີ, Google DS].

ການສາທິດຂອງປາວານ, ຄົ້ນຫາໂດຍຜ່ານຕາຕະລາງລ້ານ.

ການຄິດໄລ່ອັດຕະໂນມັດຂອງ metrics [in beta]

ຫນຶ່ງໃນສິ່ງທີ່ຂ້ອຍມັກຫນ້ອຍທີ່ສຸດໃນຖານະນັກວິທະຍາສາດຂໍ້ມູນແມ່ນດໍາເນີນການສອບຖາມດຽວກັນເລື້ອຍໆເລື້ອຍໆເພື່ອກວດເບິ່ງຄຸນນະພາບຂອງຂໍ້ມູນທີ່ຖືກນໍາໃຊ້. Whale ສະຫນັບສະຫນູນຄວາມສາມາດໃນການກໍານົດ metrics ໃນ SQL ງ່າຍດາຍທີ່ຈະຖືກກໍານົດໃຫ້ດໍາເນີນການຄຽງຄູ່ກັບການຂູດທໍ່ metadata ຂອງທ່ານ. ກໍານົດຕັນ metrics ໃນຮູບແບບ YAML ພາຍໃນຕາຕະລາງ stub, ແລະ Whale ຈະແລ່ນອັດຕະໂນມັດຕາມຕາຕະລາງແລະດໍາເນີນການສອບຖາມທີ່ຊ້ອນຢູ່ໃນ metrics.

```metrics
metric-name:
  sql: |
    select count(*) from table
```

ສົມທົບກັບ Github, ວິທີການນີ້ຫມາຍຄວາມວ່າປາວານສາມາດເປັນແຫຼ່ງຄວາມຈິງທີ່ງ່າຍສໍາລັບຄໍານິຍາມ metric. Whale ແມ້ແຕ່ເກັບຄ່າພ້ອມກັບເວລາໃນໄດເລກະທໍລີ "~/". whale / metrics" ຖ້າທ່ານຕ້ອງການເຮັດບາງປະເພດຂອງກາຟຫຼືການຄົ້ນຄວ້າທີ່ເລິກເຊິ່ງ.

ອະນາຄົດ

ຫຼັງຈາກສົນທະນາກັບຜູ້ໃຊ້ຂອງ whale ສະບັບກ່ອນປ່ອຍຂອງພວກເຮົາ, ພວກເຮົາຮັບຮູ້ວ່າປະຊາຊົນຕ້ອງການການທໍາງານຢ່າງກວ້າງຂວາງ. ເປັນຫຍັງເຄື່ອງມືຄົ້ນຫາຕາຕະລາງ? ເປັນຫຍັງບໍ່ແມ່ນເຄື່ອງມືຄົ້ນຫາ metrics? ເປັນຫຍັງບໍ່ຕິດຕາມ? ເປັນຫຍັງບໍ່ແມ່ນເຄື່ອງມືສອບຖາມ SQL? ເຖິງແມ່ນວ່າ whale v1 ໃນເບື້ອງຕົ້ນມີຈຸດປະສົງເພື່ອເປັນເຄື່ອງມືຄູ່ CLI ງ່າຍດາຍ Dataportal/Amundsen, ມັນໄດ້ເຕີບໃຫຍ່ເປັນແພລະຕະຟອມ standalone ທີ່ມີປະໂຫຍດຢ່າງເຕັມທີ່, ແລະພວກເຮົາຫວັງວ່າມັນຈະກາຍເປັນສ່ວນຫນຶ່ງທີ່ສໍາຄັນຂອງຊຸດເຄື່ອງມືຂອງນັກວິທະຍາສາດຂໍ້ມູນ.

ຖ້າມີບາງສິ່ງບາງຢ່າງທີ່ທ່ານຕ້ອງການທີ່ຈະເຫັນໃນການພັດທະນາ, ເຂົ້າຮ່ວມຂອງພວກເຮົາ ຊຸມຊົນທີ່ຂາດແຄນ, ເປີດບັນຫາຢູ່ GitHub, ຫຼືແມ້ກະທັ້ງຕິດຕໍ່ໂດຍກົງ LinkedIn. ພວກ​ເຮົາ​ມີ​ຄຸນ​ສົມ​ບັດ​ທີ່​ເຢັນ​ຈໍາ​ນວນ​ຫນຶ່ງ​ແລ້ວ - ແມ່​ແບບ Jinja​, bookmarks​, ຕົວ​ກັ່ນ​ຕອງ​ການ​ຊອກ​ຫາ​, Slack ແຈ້ງ​ການ​, ການ​ເຊື່ອມ​ໂຍງ Jupyter​, ເຖິງ​ແມ່ນ​ວ່າ​ເປັນ dashboard CLI ສໍາ​ລັບ​ການ​ວັດ​ແທກ - ແຕ່​ພວກ​ເຮົາ​ຮັກ​ສາ​ການ​ປ້ອນ​ຂໍ້​ມູນ​ຂອງ​ທ່ານ​.

ສະຫລຸບ

Whale ໄດ້ຖືກພັດທະນາແລະສະຫນັບສະຫນູນໂດຍ Dataframe, ເປັນ startup ຂ້າພະເຈົ້າບໍ່ດົນມານີ້ມີຄວາມສຸກໃນການກໍ່ຕັ້ງກັບຄົນອື່ນ. ໃນຂະນະທີ່ປາວານຖືກອອກແບບມາສໍາລັບນັກວິທະຍາສາດຂໍ້ມູນ, Dataframe ຖືກອອກແບບມາສໍາລັບທີມງານວິທະຍາສາດຂໍ້ມູນ. ສໍາລັບບັນດາທ່ານທີ່ຕ້ອງການຮ່ວມມືຢ່າງໃກ້ຊິດ, ຮູ້ສຶກວ່າບໍ່ເສຍຄ່າ ທີ່ຢູ່, ພວກເຮົາຈະເພີ່ມທ່ານເຂົ້າໃນບັນຊີລາຍຊື່ລໍຖ້າ.

ແລະໂດຍລະຫັດໂປໂມຊັ່ນ HABR, ທ່ານ​ສາ​ມາດ​ໄດ້​ຮັບ​ເພີ່ມ​ເຕີມ 10​% ສ່ວນ​ຫຼຸດ​ທີ່​ລະ​ບຸ​ໄວ້​ໃນ​ປ້າຍ​ໂຄ​ສະ​ນາ​.

• ວິທະຍາສາດຂໍ້ມູນອອນໄລນ໌ Bootcamp
• ການຝຶກອົບຮົມວິຊາຊີບຂອງ Data Analyst ຈາກ scratch
• Data Analytics Online Bootcamp
• ການສອນວິຊາຊີບຂອງ Data Science ຕັ້ງແຕ່ເລີ່ມຕົ້ນ
• Python ສໍາລັບຫຼັກສູດການພັດທະນາເວັບ

ຫຼັກສູດເພີ່ມເຕີມ

• ຫຼັກສູດການວິເຄາະຂໍ້ມູນ
• ຫຼັກສູດ DevOps
• ນັກພັດທະນາເວັບ
• ອາຊີບຜູ້ພັດທະນາ iOS ຕັ້ງແຕ່ເລີ່ມຕົ້ນ
• ນັກພັດທະນາ Android ມືອາຊີບຕັ້ງແຕ່ເລີ່ມຕົ້ນ
• ນັກພັດທະນາ Java ມືອາຊີບຕັ້ງແຕ່ເລີ່ມຕົ້ນ
• ຫຼັກສູດ JavaScript
• ຫຼັກສູດການຮຽນຮູ້ເຄື່ອງຈັກ
• ຫຼັກສູດ "ຄະນິດສາດແລະການຮຽນຮູ້ເຄື່ອງຈັກສໍາລັບວິທະຍາສາດຂໍ້ມູນ"
• ຫຼັກສູດຂັ້ນສູງ "ການຮຽນຮູ້ເຄື່ອງຈັກ + ການຮຽນຮູ້ເລິກເຊິ່ງ"

ບົດຄວາມແນະນຳ

• ວິທີການກາຍເປັນນັກວິທະຍາສາດຂໍ້ມູນໂດຍບໍ່ມີຫຼັກສູດອອນໄລນ໌
• 450 ຫຼັກສູດ Ivy League ຟຣີ
• ວິທີການສຶກສາ Machine Learning 5 ມື້ຕໍ່ອາທິດເປັນເວລາ 9 ເດືອນຕິດຕໍ່ກັນ
• ນັກວິເຄາະຂໍ້ມູນມີລາຍໄດ້ຫຼາຍປານໃດ: ພາບລວມຂອງເງິນເດືອນແລະບ່ອນຫວ່າງໃນລັດເຊຍແລະຕ່າງປະເທດໃນປີ 2020
• ການຮຽນຮູ້ເຄື່ອງຈັກ ແລະວິໄສທັດຄອມພິວເຕີໃນອຸດສາຫະກໍາບໍ່ແຮ່

ແຫຼ່ງຂໍ້ມູນ: www.habr.com