ClickHouse – ການ​ວິ​ເຄາະ​ຂໍ້​ມູນ​ໄວ​ແລະ intuitive ໃນ​ສາຍ​ຕາ​ໃນ Tabix​. Igor Stryhar

ຂ້າພະເຈົ້າແນະນໍາໃຫ້ທ່ານອ່ານບົດບັນທຶກຂອງບົດລາຍງານປີ 2017 ໂດຍ Igor Stryhar "ClickHouse - ການວິເຄາະຂໍ້ມູນໄວແລະຊັດເຈນໃນ Tabix."

ການໂຕ້ຕອບເວັບສໍາລັບ ClickHouse ໃນໂຄງການ Tabix.
ລັກສະນະທີ່ ສຳ ຄັນ:

• ເຮັດວຽກກັບ ClickHouse ໂດຍກົງຈາກຕົວທ່ອງເວັບ, ບໍ່ຈໍາເປັນຕ້ອງຕິດຕັ້ງຊອບແວເພີ່ມເຕີມ;
• ບັນນາທິການຄໍາຖາມທີ່ມີການເນັ້ນໃສ່ syntax;
• Autocompletion ຂອງຄໍາສັ່ງ;
• ເຄື່ອງມືສໍາລັບການວິເຄາະຮູບພາບຂອງການປະຕິບັດການສອບຖາມ;
• ໂຄງ​ການ​ສີ​ທີ່​ຈະ​ເລືອກ​ເອົາ​ຈາກ​.
  

ຂ້ອຍເປັນຜູ້ອໍານວຍການດ້ານວິຊາການຂອງ SMI2. ພວກ​ເຮົາ​ເປັນ​ຜູ້​ສັງ​ລວມ​ຂ່າວ​ການ​ແລກ​ປ່ຽນ​ຂ່າວ​ສານ​. ພວກເຮົາເກັບຮັກສາຂໍ້ມູນຈໍານວນຫລາຍທີ່ພວກເຮົາໄດ້ຮັບຈາກຄູ່ຮ່ວມງານຂອງພວກເຮົາແລະລົງທະບຽນມັນຢູ່ໃນ ClickHouse - ປະມານ 30 ຄໍາຮ້ອງຂໍຕໍ່ວິນາທີ.

ນີ້ແມ່ນຂໍ້ມູນເຊັ່ນ:

• ຄລິກໃສ່ຂ່າວ.
• ການສະແດງຂ່າວໃນຕົວລວບລວມ.
• ປ້າຍໂຄສະນາສະແດງຢູ່ໃນເຄືອຂ່າຍຂອງພວກເຮົາ.
• ແລະພວກເຮົາລົງທະບຽນເຫດການຈາກເຄົາເຕີຂອງພວກເຮົາເອງ, ເຊິ່ງຄ້າຍຄືກັບ Yandex.Metrica. ນີ້ແມ່ນການວິເຄາະຈຸນລະພາກຂອງພວກເຮົາເອງ.

ພວກເຮົາມີຊີວິດທີ່ຫຍຸ້ງຍາກຫຼາຍກ່ອນ ClickHouse. ພວກເຮົາປະສົບກັບຄວາມຫຍຸ້ງຍາກຫຼາຍ, ພະຍາຍາມເກັບຂໍ້ມູນນີ້ຢູ່ບ່ອນໃດບ່ອນຫນຶ່ງແລະບາງວິທີການວິເຄາະມັນ.

ຊີວິດກ່ອນ ClickHouse – infiniDB

ສິ່ງທໍາອິດທີ່ພວກເຮົາມີແມ່ນ infiniDB. ນາງໄດ້ຢູ່ກັບພວກເຮົາເປັນເວລາ 4 ປີ. ພວກເຮົາເປີດຕົວມັນດ້ວຍຄວາມຫຍຸ້ງຍາກ.

• ມັນບໍ່ຮອງຮັບການຈັດກຸ່ມ ຫຼືການແບ່ງປັນ. ບໍ່ມີສິ່ງທີ່ສະຫຼາດດັ່ງກ່າວອອກມາຈາກກ່ອງໂດຍຄ່າເລີ່ມຕົ້ນ.
• ນາງມີຄວາມຫຍຸ້ງຍາກໃນການໂຫຼດຂໍ້ມູນ. ມີພຽງແຕ່ອຸປະກອນ console ສະເພາະທີ່ສາມາດໂຫຼດໄຟລ໌ CSV ເທົ່ານັ້ນ ແລະໃນບາງວິທີທີ່ບໍ່ຊັດເຈນຫຼາຍ.
• ຖານຂໍ້ມູນແມ່ນກະທູ້ດຽວ. ເຈົ້າສາມາດຂຽນຫຼືອ່ານໄດ້. ແຕ່ມັນເຮັດໃຫ້ມັນເປັນໄປໄດ້ທີ່ຈະປະມວນຜົນຂໍ້ມູນຈໍານວນຫຼວງຫຼາຍ.
• ແລະນາງຍັງມີໄມ້ຄ້ອນທີ່ໜ້າສົນໃຈ. ທຸກໆຄືນເຊີບເວີຕ້ອງໄດ້ປິດເປີດໃໝ່, ຖ້າບໍ່ດັ່ງນັ້ນມັນຈະບໍ່ເຮັດວຽກ.

ນາງໄດ້ເຮັດວຽກໃຫ້ພວກເຮົາຈົນກ່ວາໃນຕອນທ້າຍຂອງ 2016, ເມື່ອພວກເຮົາປ່ຽນໄປ ClickHouse ຢ່າງສົມບູນ.

ຊີວິດກ່ອນ ClickHouse – Cassandra

ເນື່ອງຈາກ infiniDB ເປັນກະທູ້ດຽວ, ພວກເຮົາໄດ້ຕັດສິນໃຈວ່າພວກເຮົາຕ້ອງການຖານຂໍ້ມູນຫຼາຍກະທູ້ບາງຊະນິດທີ່ພວກເຮົາສາມາດຂຽນຫຼາຍກະທູ້ໃນເວລາດຽວກັນ.

ພວກເຮົາໄດ້ພະຍາຍາມຫຼາຍສິ່ງທີ່ຫນ້າສົນໃຈ. ຫຼັງຈາກນັ້ນ, ພວກເຮົາຕັດສິນໃຈທົດລອງ Cassandra. ທຸກສິ່ງທຸກຢ່າງແມ່ນດີກັບ Cassandra. 10 ຄໍາຮ້ອງຂໍຕໍ່ວິນາທີຕໍ່ການປະມູນ. 000 ຄໍາຮ້ອງຂໍບາງບ່ອນສໍາລັບການອ່ານ.

ແຕ່ນາງຍັງມີຜົນປະໂຫຍດຂອງຕົນເອງ. ຫນຶ່ງຄັ້ງຕໍ່ເດືອນຫຼືທຸກໆສອງເດືອນນາງມີປະສົບການ desynchronization ຖານຂໍ້ມູນ. ແລະຂ້ອຍຕ້ອງຕື່ນຂຶ້ນແລະແລ່ນໄປແກ້ໄຂ Cassandra. ເຊີບເວີຖືກຣີສະຕາດເທື່ອລະອັນ. ແລະທຸກສິ່ງທຸກຢ່າງໄດ້ກາຍເປັນກ້ຽງແລະສວຍງາມ.

ຊີວິດກ່ອນ ClickHouse – Druid

ຫຼັງຈາກນັ້ນ, ພວກເຮົາຮູ້ວ່າພວກເຮົາຈໍາເປັນຕ້ອງຂຽນຂໍ້ມູນຫຼາຍຂຶ້ນ. ໃນປີ 2016 ພວກເຮົາເລີ່ມເບິ່ງ Druid.

Druid ເປັນຊອບແວແຫຼ່ງເປີດທີ່ຂຽນໃນ Java. ສະເພາະຫຼາຍ. ແລະມັນເຫມາະສົມສໍາລັບ clickstream, ໃນເວລາທີ່ພວກເຮົາຕ້ອງການເກັບຮັກສາບາງປະເພດຂອງການຖ່າຍທອດເຫດການແລະຫຼັງຈາກນັ້ນປະຕິບັດການລວບລວມກ່ຽວກັບພວກມັນຫຼືເຮັດບົດລາຍງານການວິເຄາະ.

Druid ມີເວີຊັນ 0.9.X.

ຖານຂໍ້ມູນຕົວມັນເອງແມ່ນມີຄວາມຫຍຸ້ງຍາກຫຼາຍທີ່ຈະນໍາໃຊ້. ນີ້ແມ່ນຄວາມສັບສົນຂອງໂຄງສ້າງພື້ນຖານ. ເພື່ອປະຕິບັດມັນ, ມັນຈໍາເປັນຕ້ອງຕິດຕັ້ງຫຼາຍ, ທາດເຫຼັກຫຼາຍ. ແລະແຕ່ລະຊິ້ນສ່ວນຂອງຮາດແວແມ່ນຮັບຜິດຊອບສໍາລັບບົດບາດແຍກຕ່າງຫາກຂອງຕົນເອງ.

ເພື່ອໂຫລດຂໍ້ມູນເຂົ້າໄປໃນມັນ, ມັນຈໍາເປັນຕ້ອງໃຊ້ບາງປະເພດຂອງ shamanism. ມີໂຄງການ OpenSource - Tranquility, ເຊິ່ງສູນເສຍຂໍ້ມູນຈາກພວກເຮົາໃນກະແສ. ເມື່ອພວກເຮົາໂຫລດຂໍ້ມູນໃສ່ມັນ, ມັນຈະສູນເສຍມັນ.

ແຕ່ somehow ພວກເຮົາເລີ່ມປະຕິບັດມັນ. ພວກເຮົາ, ຄືກັບ hedgehogs ທີ່ກິນຢາ, ແຕ່ສືບຕໍ່ກິນ cactus, ເລີ່ມແນະນໍາມັນ. ມັນໃຊ້ເວລາປະມານຫນຶ່ງເດືອນເພື່ອກະກຽມໂຄງສ້າງພື້ນຖານທັງຫມົດສໍາລັບມັນ. ນັ້ນແມ່ນ, ສັ່ງເຄື່ອງແມ່ຂ່າຍ, ກໍານົດພາລະບົດບາດ, ແລະອັດຕະໂນມັດຢ່າງເຕັມສ່ວນ. ນັ້ນແມ່ນ, ໃນກໍລະນີຂອງຄວາມລົ້ມເຫຼວຂອງກຸ່ມ, ກຸ່ມທີສອງຈະຖືກນໍາໄປໃຊ້ໂດຍອັດຕະໂນມັດ.

ແຕ່ຫຼັງຈາກນັ້ນສິ່ງມະຫັດສະຈັນເກີດຂຶ້ນ. ຂ້ອຍຢູ່ໃນວັນພັກແລະເພື່ອນຮ່ວມງານຂອງຂ້ອຍໄດ້ສົ່ງລິ້ງໄປຫາຂ້ອຍ habr, ເຊິ່ງບອກວ່າ Yandex ຕັດສິນໃຈເປີດ ClickHouse. ຂ້າພະເຈົ້າເວົ້າວ່າໃຫ້ລອງມັນ.

ແລະຮູ້ຫນັງສືໃນ 2 ມື້ພວກເຮົາໄດ້ນໍາໃຊ້ກຸ່ມທົດສອບ ClickHouse. ພວກເຮົາເລີ່ມໂຫຼດຂໍ້ມູນໃສ່ມັນ. ເມື່ອປຽບທຽບກັບ infiniDB, ນີ້ແມ່ນປະຖົມ; ເມື່ອປຽບທຽບກັບ Druid, ນີ້ແມ່ນປະຖົມ. ເມື່ອປຽບທຽບກັບ Cassandra, ມັນຍັງເປັນປະຖົມ. ເພາະວ່າຖ້າທ່ານໂຫລດຂໍ້ມູນຈາກ PHP ເຂົ້າໄປໃນ Cassandra, ນີ້ບໍ່ແມ່ນພື້ນຖານ.

ພວກເຮົາໄດ້ຮັບຫຍັງ? ປະສິດທິພາບໃນຄວາມໄວ. ປະສິດທິພາບໃນການເກັບຮັກສາຂໍ້ມູນ. ນັ້ນແມ່ນ, ພື້ນທີ່ດິດຖືກໃຊ້ຫນ້ອຍລົງ. ClickHouse ແມ່ນໄວ, ມັນແມ່ນໄວຫຼາຍເມື່ອທຽບກັບຜະລິດຕະພັນອື່ນໆ.

ໃນເວລາເປີດຕົວ, ເມື່ອ Yandex ເຜີຍແຜ່ ClickHouse ໃນ OpenSource, ມີພຽງແຕ່ລູກຄ້າ console. ພວກເຮົາຢູ່ໃນບໍລິສັດ SMI2 ຂອງພວກເຮົາໄດ້ຕັດສິນໃຈພະຍາຍາມສ້າງລູກຄ້າພື້ນເມືອງສໍາລັບເວັບ, ດັ່ງນັ້ນພວກເຮົາສາມາດເປີດຫນ້າຈາກຕົວທ່ອງເວັບ, ຂຽນຄໍາຮ້ອງຂໍແລະໄດ້ຮັບຜົນໄດ້ຮັບ, ເພາະວ່າພວກເຮົາເລີ່ມຂຽນຄໍາຮ້ອງຂໍຫຼາຍ. ການຂຽນໃນ console ແມ່ນມີຄວາມຫຍຸ້ງຍາກ. ແລະພວກເຮົາເຮັດສະບັບທໍາອິດຂອງພວກເຮົາ.

ແລະບາງບ່ອນໃກ້ກັບລະດູຫນາວຂອງປີທີ່ຜ່ານມາ, ເຄື່ອງມືຂອງພາກສ່ວນທີສາມສໍາລັບການເຮັດວຽກກັບ ClickHouse ເລີ່ມປາກົດ. ເຫຼົ່ານີ້ແມ່ນເຄື່ອງມືເຊັ່ນ:

• Redash.IO.
• Apache Zeppelin.
• Superset Airbnb. (ດຽວນີ້ https://github.com/apache/incubator-superset)
• Jetbrains IDE.
• Vertamedia/clickhouse-grafana.

ຂ້ອຍຈະເບິ່ງບາງເຄື່ອງມືເຫຼົ່ານີ້, ນັ້ນແມ່ນສິ່ງທີ່ຂ້ອຍໄດ້ເຮັດວຽກກັບ.

ເຄື່ອງມືທີ່ດີ, ແຕ່ສໍາລັບ Druid. ເມື່ອ Druid ຖືກປະຕິບັດ, ຂ້ອຍກໍາລັງທົດສອບ SuperSet. ຂ້ອຍມັກລາວ. ສໍາລັບ Druid ມັນແມ່ນໄວຫຼາຍ.

ມັນບໍ່ເຫມາະສົມສໍາລັບ ClickHouse. ນັ້ນແມ່ນ, ມັນ ເໝາະ ສົມ, ມັນເລີ່ມຕົ້ນ, ແຕ່ພ້ອມທີ່ຈະປະມວນຜົນພຽງແຕ່ການສອບຖາມຂັ້ນຕົ້ນເຊັ່ນ: ເຫດການ SELECT, ກຸ່ມໂດຍເຫດການ. ມັນບໍ່ສະຫນັບສະຫນູນ syntax ClickHouse ທີ່ສັບສົນຫຼາຍ.

ເຄື່ອງມືຕໍ່ໄປແມ່ນ Apache Zeppelin. ນີ້ແມ່ນສິ່ງທີ່ດີແລະຫນ້າສົນໃຈ. ເຮັດວຽກ. ມັນສະຫນັບສະຫນູນປື້ມບັນທຶກ, dashboards, ແລະສະຫນັບສະຫນູນຕົວແປ. ຂ້ອຍຮູ້ວ່າຜູ້ໃດຜູ້ຫນຶ່ງໃນຊຸມຊົນ ClickHouse ໃຊ້ມັນ.

ແຕ່ບໍ່ມີການສະຫນັບສະຫນູນສໍາລັບ ClickHouse syntax, i.e. ທ່ານຈະຕ້ອງຂຽນຄໍາຖາມຢູ່ໃນ console ຫຼືບ່ອນອື່ນ. ຕໍ່ໄປ, ໃຫ້ກວດເບິ່ງວ່າມັນເຮັດວຽກທັງຫມົດ. ມັນບໍ່ສະດວກພຽງແຕ່. ແຕ່ມັນມີການສະຫນັບສະຫນູນ dashboard ທີ່ດີ.

ເຄື່ອງມືຕໍ່ໄປແມ່ນ Redash.IO. Redash ແມ່ນໂຮດຢູ່ໃນອິນເຕີເນັດ. ນັ້ນແມ່ນ, ບໍ່ຄືກັບເຄື່ອງມືທີ່ຜ່ານມາ, ມັນບໍ່ຈໍາເປັນຕ້ອງຕິດຕັ້ງ. ແລະນີ້ແມ່ນ dashboard ທີ່ມີຄວາມສາມາດໃນການລວບລວມຂໍ້ມູນຈາກ DataSources ທີ່ແຕກຕ່າງກັນ. ນັ້ນແມ່ນ, ທ່ານສາມາດດາວໂຫລດໄດ້ຈາກ ClickHouse, ຈາກ MySQL, ຈາກ PostgreSQL ແລະຈາກຖານຂໍ້ມູນອື່ນໆ.

ພຽງແຕ່ຫນຶ່ງເດືອນກ່ອນຫນ້ານີ້ (ເດືອນມີນາ 2017), ການສະຫນັບສະຫນູນປາກົດຢູ່ໃນ Grafana. ເມື່ອທ່ານສ້າງບົດລາຍງານໃນ Grafana, ສໍາລັບການຍົກຕົວຢ່າງ, ກ່ຽວກັບສະຖານະຂອງຮາດແວຂອງທ່ານຫຼືໃນບາງ metrics, ໃນປັດຈຸບັນທ່ານສາມາດສ້າງກາຟດຽວກັນຫຼືບາງປະເພດຂອງກະດານຂໍ້ມູນຈາກ ClickHouse ໂດຍກົງ. ນີ້ແມ່ນສະດວກຫຼາຍ, ແລະພວກເຮົາໃຊ້ມັນເອງ. ນີ້ອະນຸຍາດໃຫ້ທ່ານຊອກຫາຜິດປົກກະຕິ. ນັ້ນແມ່ນ, ຖ້າມີບາງສິ່ງບາງຢ່າງເກີດຂື້ນແລະຮາດແວບາງຢ່າງຕົກຫຼືມີຄວາມເຄັ່ງຕຶງ, ຫຼັງຈາກນັ້ນທ່ານສາມາດເບິ່ງເຫດຜົນທີ່ວ່າຂໍ້ມູນນີ້ຖືກຄຸ້ມຄອງເພື່ອເຂົ້າໄປໃນ ClickHouse.

ຂ້ອຍພົບວ່າມັນງຸ່ມງ່າມຫຼາຍທີ່ຈະຂຽນໃນເຄື່ອງມືເຫຼົ່ານີ້ຫຼືໃນ console. ແລະຂ້ອຍໄດ້ຕັດສິນໃຈປັບປຸງການໂຕ້ຕອບທໍາອິດຂອງພວກເຮົາ. ແລະຂ້ອຍໄດ້ຮັບຄວາມຄິດຈາກ EventSQL, SeperSet, Zeppelin.

ເຈົ້າຕ້ອງການຫຍັງ? ຂ້າ​ພະ​ເຈົ້າ​ຕ້ອງ​ການ​ທີ່​ຈະ​ໄດ້​ຮັບ​ຮູບ​ພາບ​, ການ​ປັບ​ປຸງ​ບັນ​ນາ​ທິ​ການ​, ແລະ​ປະ​ຕິ​ບັດ​ການ​ສະ​ຫນັບ​ສະ​ຫນູນ​ສໍາ​ລັບ​ການ​ຄໍາ​ແນະ​ນໍາ​ຈະ​ນາ​ນຸ​ກົມ​. ເນື່ອງຈາກວ່າ ClickHouse ມີຄຸນສົມບັດທີ່ດີ - ວັດຈະນານຸກົມ. ແຕ່ມັນຍາກທີ່ຈະເຮັດວຽກກັບວັດຈະນານຸກົມ, ເພາະວ່າທ່ານຈໍາເປັນຕ້ອງຈື່ຈໍາຮູບແບບຂອງຄ່າທີ່ເກັບໄວ້, ເຊັ່ນ: ມັນເປັນຕົວເລກຫຼືສາຍ, ແລະອື່ນໆ. ແລະຍ້ອນວ່າພວກເຮົາມັກຈະໃຊ້ວັດຈະນານຸກົມໃນຮູບແບບທີ່ແຕກຕ່າງກັນ, ມັນຂ້ອນຂ້າງຍາກທີ່ຈະຂຽນຄໍາຖາມ.

3 ເດືອນໄດ້ຜ່ານໄປນັບຕັ້ງແຕ່ການປ່ອຍເວີຊັນທໍາອິດຂອງພວກເຮົາ. ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ປະ​ມານ 330 ຄໍາ​ຫມັ້ນ​ສັນ​ຍາ​ກັບ​ສາ​ຂາ​ເອ​ກະ​ຊົນ​ແລະ​ມັນ​ໄດ້​ກາຍ​ເປັນ Tabix.

ບໍ່ເຫມືອນກັບສະບັບທີ່ຜ່ານມາ, ເຊິ່ງເອີ້ນວ່າ ClickHouse-Frontend, ຂ້າພະເຈົ້າໄດ້ຕັດສິນໃຈປ່ຽນຊື່ເປັນຊື່ງ່າຍໆ. ແລະມັນໄດ້ຫັນອອກ Tabix.

ປະກົດວ່າແນວໃດ?

ແຕ້ມກາຟ. ຮອງຮັບ ClickHouse SQL syntax. ໃຫ້ຄໍາແນະນໍາກ່ຽວກັບຫນ້າທີ່ແລະສາມາດເຮັດສິ່ງທີ່ຫນ້າສົນໃຈຫຼາຍ.

ນີ້ແມ່ນສິ່ງທີ່ໂຄງການ Tabix ທົ່ວໄປເບິ່ງຄືວ່າ. ຢູ່ເບື້ອງຊ້າຍແມ່ນຕົ້ນໄມ້. ຢູ່ໃຈກາງແມ່ນຕົວແກ້ໄຂແບບສອບຖາມ. ແລະຂ້າງລຸ່ມນີ້ແມ່ນຜົນຂອງການຮ້ອງຂໍນີ້.

ຕໍ່ໄປຂ້າພະເຈົ້າຈະສະແດງໃຫ້ທ່ານຮູ້ວ່າຕົວແກ້ໄຂແບບສອບຖາມເຮັດວຽກແນວໃດ.

ທີ່ນີ້ autocomplete ອັດຕະໂນມັດເຮັດວຽກຢູ່ໃນຕາຕະລາງແລະ prompts, ຕາມຄວາມເຫມາະສົມ, autocomplete ສໍາລັບພາກສະຫນາມ. ແລະຄໍາແນະນໍາກ່ຽວກັບຫນ້າທີ່. ຖ້າທ່ານກົດ ctrl enter, ການຮ້ອງຂໍຈະຖືກປະຕິບັດຫຼືລົ້ມເຫລວດ້ວຍຄວາມຜິດພາດ. ການຮ້ອງຂໍທີ່ງ່າຍດາຍທີ່ສຸດແມ່ນຖືກສົ່ງໄປຫາ Tabix ແລະຜົນໄດ້ຮັບແມ່ນໄດ້ຮັບ, i.e. ທ່ານສາມາດເຮັດວຽກກັບ ClickHouse ໄດ້ໄວ.

ວັດຈະນານຸກົມ, ດັ່ງທີ່ຂ້າພະເຈົ້າໄດ້ເວົ້າແລ້ວ, ເປັນສິ່ງທີ່ຫນ້າສົນໃຈຫຼາຍທີ່ພວກເຮົາເຮັດວຽກຫຼາຍ. ແລະທີ່ອະນຸຍາດໃຫ້ພວກເຮົາເຮັດຫຼາຍສິ່ງຫຼາຍຢ່າງ. ໃຫ້ເວົ້າວ່າພວກເຮົາເກັບຮັກສາເມືອງທັງຫມົດໃນວັດຈະນານຸກົມ. ພວກເຮົາເກັບຮັກສາຕົວລະບຸເມືອງ ແລະຊື່ເມືອງ, ເສັ້ນຂະໜານ ແລະເສັ້ນແວງຂອງມັນ. ແລະໃນຖານຂໍ້ມູນພວກເຮົາເກັບຮັກສາພຽງແຕ່ຕົວລະບຸເມືອງ. ດັ່ງນັ້ນ, ພວກເຮົາບີບອັດຂໍ້ມູນຢ່າງແຂງແຮງ.

ນີ້ເບິ່ງຄືວ່າເປັນສິ່ງທີ່ງ່າຍດາຍ, ແຕ່ມັນຊ່ວຍໃນ ClickHouse ໃນລັກສະນະທີ່ຫນ້າສົນໃຈຫຼາຍ. ເນື່ອງຈາກຄວາມຈິງທີ່ວ່າ ClickHouse ສະຫນັບສະຫນູນພຽງແຕ່ການເຂົ້າຮ່ວມ nested, query ຂະຫຍາຍຕົວລົງແລະກວ້າງພຽງພໍ. ແລະໃນເວລາທີ່ວົງເລັບເປີດແລະບາງສະແດງອອກຍາວເຂົ້າມາ, ຫຼັງຈາກນັ້ນບາງສິ່ງບາງຢ່າງທີ່ງ່າຍດາຍຄືການຍຸບຄໍາຖາມເຮັດໃຫ້ມັນງ່າຍຂຶ້ນທີ່ຈະເຮັດວຽກກັບຄໍາຖາມຕົວມັນເອງ. ເນື່ອງຈາກວ່າໃນເວລາທີ່ການສອບຖາມແມ່ນ 200-300 ເສັ້ນຍາວແລະຂະຫນາດໃຫຍ່ຫຼາຍໃນຄວາມກວ້າງ, ມັນເປັນປະໂຫຍດຫຼາຍທີ່ຈະຍຸບການສອບຖາມແລະຫຼັງຈາກນັ້ນຊອກຫາບາງບ່ອນຫຼືບາງທ້ອງຖິ່ນມັນ.

Object tree, multiqueries ແລະ tabs (ວີດີໂອ 13:46 https://youtu.be/w1-XsL3nbRg?t=826)

ຕໍ່ໄປຂ້າພະເຈົ້າຈະສະແດງໃຫ້ທ່ານເຫັນກ່ຽວກັບຕົ້ນໄມ້ແລະແຖບ. ຢູ່ເບື້ອງຊ້າຍແມ່ນຕົ້ນໄມ້; ຢູ່ເທິງສຸດທ່ານສາມາດສ້າງແຖບຫຼາຍແຖບ. ແຖບແມ່ນຄ້າຍຄືພື້ນທີ່ເຮັດວຽກ. ທ່ານສາມາດສ້າງຫຼາຍແຖບ ແລະຕັ້ງຊື່ແຕ່ລະອັນແຕກຕ່າງກັນ. ມັນຄ້າຍຄືລະບົບ mini ສໍາລັບການກໍ່ສ້າງບົດລາຍງານ.

ແຖບຖືກບັນທຶກໂດຍອັດຕະໂນມັດ. ຖ້າທ່ານ restart browser ຂອງທ່ານຫຼືປິດຫຼືເປີດ Tabix, ທັງຫມົດນີ້ຈະຖືກບັນທຶກໄວ້.

Hotkey - ສະດວກ (ວິດີໂອ 14:39 https://youtu.be/w1-XsL3nbRg?t=879)

ມີ hotkeys ແລະມີຂ້ອນຂ້າງຫຼາຍຂອງພວກເຂົາ. ຂ້າພະເຈົ້າໄດ້ສະກັດບາງສ່ວນຂອງພວກເຂົາຢູ່ທີ່ນີ້ເປັນຕົວຢ່າງ. ນີ້​ແມ່ນ​ການ​ສະ​ຫຼັບ​ແຖບ​, ປະ​ຕິ​ບັດ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ຫຼື​ປະ​ຕິ​ບັດ​ຄໍາ​ຮ້ອງ​ສະ​ຫມັກ​ຈໍາ​ນວນ​ຫນຶ່ງ​.

ຂ້ອຍຈະສະແດງວິທີການເຮັດວຽກກັບຜົນໄດ້ຮັບ. ພວກເຮົາສົ່ງຄໍາຮ້ອງຂໍ. ນີ້ຂ້ອຍກໍາລັງແຕ້ມ sin, cos ແລະ tg. ທ່ານສາມາດເນັ້ນຜົນໄດ້ຮັບ, i.e. ແຕ້ມແຜນທີ່ປົກກະຕິສໍາລັບຖັນ. ທ່ານສາມາດຍົກໃຫ້ເຫັນຄຸນຄ່າທາງບວກຫຼືລົບ. ຫຼືພຽງແຕ່ໃສ່ສີອົງປະກອບຕາຕະລາງສະເພາະ. ນີ້ແມ່ນສະດວກໃນເວລາທີ່ຕາຕະລາງແມ່ນຂະຫນາດໃຫຍ່ແລະທ່ານຈໍາເປັນຕ້ອງຊອກຫາຄວາມຜິດປົກກະຕິບາງຢ່າງກັບຕາຂອງທ່ານ. ໃນເວລາທີ່ຂ້າພະເຈົ້າຊອກຫາຄວາມຜິດປົກກະຕິ, ຂ້າພະເຈົ້າໄດ້ເນັ້ນໃສ່ບາງເສັ້ນ, ບາງອົງປະກອບເປັນສີຂຽວຫຼືສີແດງ.

ມີຫຼາຍສິ່ງທີ່ຫນ້າສົນໃຈຢູ່ທີ່ນັ້ນ. ຕົວຢ່າງ, ວິທີການຄັດລອກເຂົ້າໄປໃນ Redmine Markdown. ຖ້າທ່ານຕ້ອງການຄັດລອກຜົນໄດ້ຮັບບາງບ່ອນ, ນີ້ແມ່ນສະດວກຫຼາຍ. ທ່ານພຽງແຕ່ສາມາດເລືອກພື້ນທີ່, ເວົ້າວ່າ "Copy to Redmine" ແລະມັນຈະຄັດລອກເຂົ້າໄປໃນ Redmine Markdown ຫຼືສ້າງຄໍາຖາມຢູ່ບ່ອນໃດ.

ຕໍ່ໄປແມ່ນການເພີ່ມປະສິດທິພາບແບບສອບຖາມ. ເມື່ອຂ້ອຍລືມລະບຸຊ່ອງໃສ່ "ວັນທີ". ແລະການຮ້ອງຂໍຂອງຂ້ອຍໃນ ClickHouse ບໍ່ໄດ້ຖືກປະຕິບັດຫຼາຍ, ຢ່າງໄວວາ, ແຕ່ໄວ, i.e. ຫນ້ອຍກວ່າຫນຶ່ງວິນາທີ. ເມື່ອ​ເຫັນ​ວ່າ​ລາວ​ແລ່ນ​ຜ່ານ​ຫຼາຍ​ເສັ້ນ, ຂ້ອຍ​ຢ້ານ. ພວກເຮົາບໍ່ໄດ້ຂຽນຫຼາຍແຖວໃສ່ຕາຕະລາງນີ້ຕໍ່ມື້. ຂ້ອຍເລີ່ມວິເຄາະຄໍາຮ້ອງຂໍແລະເຫັນວ່າຂ້ອຍພາດວັນທີຢູ່ໃນສະຖານທີ່ຫນຶ່ງ. ນັ້ນແມ່ນ, ຂ້ອຍລືມຊີ້ບອກວ່າຂ້ອຍບໍ່ຕ້ອງການຂໍ້ມູນສໍາລັບຕາຕະລາງທັງຫມົດ, ແຕ່ສໍາລັບໄລຍະເວລາສະເພາະ.

Tabix ມີແຖບ "ສະຖິຕິ", ເຊິ່ງເກັບຮັກສາປະຫວັດທັງຫມົດຂອງຄໍາຮ້ອງຂໍທີ່ຖືກສົ່ງ, ເຊັ່ນວ່າຢູ່ທີ່ນັ້ນເຈົ້າສາມາດເຫັນຈໍານວນແຖວທີ່ຖືກອ່ານໂດຍການຮ້ອງຂໍນີ້ແລະໃຊ້ເວລາດົນປານໃດໃນການປະຕິບັດ. ນີ້ອະນຸຍາດໃຫ້ເພີ່ມປະສິດທິພາບ.

ທ່ານສາມາດສ້າງຕາຕະລາງ pivot ໃນໄລຍະຜົນການຄົ້ນຫາ. ທ່ານໄດ້ສົ່ງຄໍາຮ້ອງຂໍໃຫ້ ClickHouse ແລະໄດ້ຮັບຂໍ້ມູນບາງຢ່າງ. ແລະຫຼັງຈາກນັ້ນທ່ານສາມາດຍ້າຍຂໍ້ມູນນີ້ດ້ວຍຫນູຂອງທ່ານແລະສ້າງຕາຕະລາງ pivot ບາງ.

ສິ່ງທີ່ຫນ້າສົນໃຈຕໍ່ໄປແມ່ນການວາງແຜນ. ໃຫ້ເວົ້າວ່າພວກເຮົາມີຄໍາຮ້ອງຂໍຕໍ່ໄປນີ້: ສໍາລັບ sin, cos ຈາກ 0 ຫາ 299. ແລະເພື່ອແຕ້ມມັນ, ທ່ານຈໍາເປັນຕ້ອງເລືອກແຖບ "ແຕ້ມ" ແລະທ່ານຈະໄດ້ຮັບເສັ້ນສະແດງທີ່ມີ sin ແລະ cos ຂອງທ່ານ.

ທ່ານສາມາດແບ່ງອອກເປັນແກນທີ່ແຕກຕ່າງກັນ, i.e. ທ່ານສາມາດແຕ້ມຮູບສອງຂ້າງຄຽງກັນໃນເວລາດຽວກັນ. ຂຽນຄໍາສັ່ງຫນຶ່ງແລະຄໍາສັ່ງທີສອງ.

ທ່ານສາມາດແຕ້ມ histograms.

ທ່ານສາມາດທໍາລາຍມັນເຂົ້າໄປໃນຕາຕະລາງຕາຕະລາງ.

ທ່ານສາມາດສ້າງແຜນທີ່ຄວາມຮ້ອນ.

ທ່ານສາມາດສ້າງປະຕິທິນຄວາມຮ້ອນໄດ້. ໂດຍວິທີທາງການ, ນີ້ແມ່ນສິ່ງທີ່ສະດວກຫຼາຍໃນເວລາທີ່ທ່ານຕ້ອງການວິເຄາະຄວາມຜິດປົກກະຕິໃນໄລຍະຫນຶ່ງປີ, i.e. , ຊອກຫາ spikes ຫຼືຫຼຸດລົງ. ການເບິ່ງເຫັນຂໍ້ມູນນີ້ໄດ້ຊ່ວຍຂ້ອຍໃນເລື່ອງນີ້.

ຕໍ່ໄປແມ່ນ Treemap.

Sankeys ເປັນຕາຕະລາງທີ່ຫນ້າສົນໃຈ. ລາວເປັນ Streamgrahps ຫຼື River. ແຕ່ຂ້ອຍເອີ້ນມັນວ່າ River. ມັນຍັງອະນຸຍາດໃຫ້ທ່ານຊອກຫາຄວາມຜິດປົກກະຕິໃດໆ. ມັນສະດວກສະບາຍຫຼາຍ. ຂ້ອຍແນະນໍາໃຫ້ໃຊ້ມັນສໍາລັບການຊອກຫາ.

ສິ່ງທີ່ຫນ້າສົນໃຈຕໍ່ໄປແມ່ນການແຕ້ມແຜນທີ່ແບບເຄື່ອນໄຫວ. ຖ້າທ່ານເກັບຮັກສາເສັ້ນຂະຫນານ, ເສັ້ນແວງຢູ່ໃນຖານຂໍ້ມູນຂອງທ່ານແລະເວົ້າວ່າ, ເກັບຮັກສາຈຸດຫມາຍປາຍທາງ, ຖ້າທ່ານ, ຕົວຢ່າງ, ມີລົດບັນທຸກຫຼືເຮືອບິນບິນ, ຫຼັງຈາກນັ້ນທ່ານສາມາດແຕ້ມເສັ້ນທາງປາຍທາງ. ນອກຈາກນີ້, ທ່ານສາມາດກໍານົດຄວາມໄວແລະຂະຫນາດຂອງວັດຖຸເຫຼົ່ານີ້ເຂົ້າໄປໃນທີ່ເຂົາເຈົ້າບິນ.

ແຕ່ບັນຫາຂອງແຜນທີ່ນີ້ແມ່ນພຽງແຕ່ແຕ້ມແຜນທີ່ຂອງໂລກ, ບໍ່ມີລາຍລະອຽດ.

ຕໍ່ມາຂ້ອຍໄດ້ເພີ່ມແຜນທີ່ Google. ຖ້າທ່ານເກັບຮັກສາເສັ້ນຂະຫນານ, ເສັ້ນແວງ, ຫຼັງຈາກນັ້ນທ່ານສາມາດແຕ້ມຜົນໄດ້ຮັບໃນແຜນທີ່ Google, ແຕ່ບໍ່ມີການຮອງຮັບເຮືອບິນ.

ພວກເຮົາໄດ້ປຶກສາຫາລືກ່ຽວກັບຫນ້າທີ່ຕົ້ນຕໍຂອງການເຮັດວຽກກັບຜົນໄດ້ຮັບແລະການສອບຖາມໃນ Tabix.

ອັນຕໍ່ໄປແມ່ນການວິເຄາະເຊີບເວີ ClickHouse ຂອງທ່ານ. ມີແຖບ "Metrics" ແຍກຕ່າງຫາກ, ບ່ອນທີ່ທ່ານສາມາດເບິ່ງຂະຫນາດຂອງຂໍ້ມູນທີ່ເກັບໄວ້ສໍາລັບແຕ່ລະຖັນ. ພາບຫນ້າຈໍສະແດງໃຫ້ເຫັນວ່າ "ຜູ້ອ້າງອີງ" ພາກສະຫນາມນີ້ໃຊ້ເວລາປະມານ 730 Gb. ຖ້າພວກເຮົາປະຖິ້ມພາກສະຫນາມນີ້, ພວກເຮົາຈະຊ່ວຍປະຢັດສາມ shards ຂອງ 700 GB ແຕ່ລະຄົນ, i.e. ປະມານ 2 TB ທີ່ພວກເຮົາບໍ່ຕ້ອງການ.

ພວກເຮົາຍັງມີຊ່ອງຂໍ້ມູນ "request_id" ທີ່ພວກເຮົາເກັບໄວ້ໃນສະຕຣິງ. ແຕ່ຖ້າພວກເຮົາເລີ່ມຕົ້ນເກັບຮັກສາມັນໃນຮູບແບບຕົວເລກ, ພາກສະຫນາມນີ້ຈະຫຼຸດລົງຢ່າງຫຼວງຫຼາຍ.

ມັນຍັງສະແດງການຕັ້ງຄ່າເຊີບເວີແລະບັນຊີລາຍຊື່ຂອງ nodes ໃນ cluster ຂອງທ່ານ.

ແຖບຕໍ່ໄປແມ່ນ metrics. ພວກເຂົາເຈົ້າເຂົ້າໄປໃນເວລາຈິງກັບ ClickHouse ແລະພຽງແຕ່ອະນຸຍາດໃຫ້ທ່ານວິເຄາະສະຖານະຂອງເຄື່ອງແມ່ຂ່າຍແລະເຂົ້າໃຈສິ່ງທີ່ເກີດຂຶ້ນກັບມັນ. ນີ້ບໍ່ແມ່ນການທົດແທນ Grafana ເຕັມ. ນີ້ແມ່ນຈໍາເປັນສໍາລັບການວິເຄາະໄວ.

ແຖບຕໍ່ໄປແມ່ນຂະບວນການ. ຈາກພວກມັນທ່ານສາມາດເຂົ້າໃຈສິ່ງທີ່ເກີດຂື້ນໃນເຄື່ອງແມ່ຂ່າຍ. ເຂົ້າໃຈສິ່ງທີ່ເກີດຂຶ້ນຢູ່ທີ່ນັ້ນ. ຂ້ອຍມີຄໍາຮ້ອງຂໍທີ່ບໍລິໂພກ 200 GB ຂອງການອ່ານແຕ່ລະຄັ້ງ. ຂ້າພະເຈົ້າໄດ້ເຫັນນີ້ຂໍຂອບໃຈກັບການໂຕ້ຕອບນີ້. ຂ້ອຍຈັບລາວແລະແກ້ໄຂລາວ. ແລະມັນໄດ້ກາຍເປັນປະມານ 30 GB, i.e. ການປະຕິບັດບາງຄັ້ງ.

ຂອບ​ໃຈ! ແລະມັນຢູ່ໃນ OpenSource

ຂ້ອຍ​ສໍາ​ເລັດ​ແລ້ວ. ແລະໂດຍວິທີທາງການ, ມັນເປັນ OpenSource, ມັນບໍ່ເສຍຄ່າແລະທ່ານບໍ່ຈໍາເປັນຕ້ອງດາວໂຫລດມັນ. ເປີດມັນຢູ່ໃນຕົວທ່ອງເວັບແລະທຸກສິ່ງທຸກຢ່າງຈະເຮັດວຽກ.

ຄໍາຖາມຂອງທ່ານ

Igor, ແມ່ນຫຍັງຕໍ່ໄປ? ເຈົ້າຈະພັດທະນາເຄື່ອງມືນີ້ຢູ່ໃສ?

ຕໍ່ໄປ, dashboards ຈະປາກົດ, i.e., ບາງທີ dashboards ຈະປາກົດ. ການປະສົມປະສານກັບຖານຂໍ້ມູນອື່ນໆ. ຂ້ອຍໄດ້ເຮັດອັນນີ້, ແຕ່ຍັງບໍ່ທັນໄດ້ເຜີຍແຜ່ມັນຢູ່ໃນ OpenSource. ນີ້ແມ່ນ MySQL ແລະອາດຈະເປັນ PostgreSQL. ນັ້ນແມ່ນ, ມັນຈະເປັນໄປໄດ້ທີ່ຈະສົ່ງຄໍາຮ້ອງຂໍຈາກ Tabix ບໍ່ພຽງແຕ່ ClickHouse, ແຕ່ຍັງໄປຫາເຄື່ອງມືອື່ນໆ.

ມັນເປັນທີ່ຊັດເຈນວ່າວຽກງານຈໍານວນຫຼວງຫຼາຍໄດ້ຖືກປະຕິບັດ. ມັນ​ໄດ້​ຫັນ​ອອກ​ເປັນ​ຄວາມ​ຄິດ​ທີ່​ສົມ​ບູນ​ເປັນ​. ນີ້ໄດ້ຖືກເຮັດໃນຕົວທ່ອງເວັບ, ປາກົດຂື້ນ, ເພື່ອກໍາຈັດໄມ້ຄ້ອນເທົ້າໃນທຸກໆແກນແລະຖິ້ມສິ່ງທັງຫມົດຮ່ວມກັນຢ່າງໄວວາ. ຂ້ອຍໄດ້ຍິນວ່າເຈົ້າຢູ່ php ເຮັດວຽກ, ດັ່ງນັ້ນວິທີທີ່ງ່າຍທີ່ສຸດແມ່ນການພິມມັນຢູ່ໃນຕົວທ່ອງເວັບແລະມັນຈະເຮັດວຽກຢູ່ທົ່ວທຸກແຫ່ງ. ບໍ່ມີຄໍາຖາມກ່ຽວກັບເລື່ອງນີ້. ຄໍາຖາມແມ່ນນີ້. ມີຫຼາຍອັນໄດ້ເຮັດຢູ່ບ່ອນນັ້ນແທ້ໆ. ມີຈັກຄົນເຮັດວຽກນີ້? ແລະມັນໃຊ້ເວລາດົນປານໃດ? ເນື່ອງຈາກວ່າເຄື່ອງມື custom ປົກກະຕິແລ້ວບໍ່ມີຫນ້າທີ່ຫຼາຍ.

ຄົນໜຶ່ງຈາກທີມງານຂອງພວກເຮົາໄດ້ເຮັດວຽກຕັ້ງແຕ່ລະດູຮ້ອນຫາລະດູໃບໄມ້ປົ່ງ. ນີ້ແມ່ນສະບັບທໍາອິດ. ຫຼັງຈາກນັ້ນ, ຂ້າພະເຈົ້າໄດ້ເຮັດ 330 ຄໍາຫມັ້ນສັນຍາຢ່າງດຽວ. ສິ່ງທີ່ທ່ານເຫັນ, ເພື່ອນຮ່ວມງານຂອງຂ້ອຍແລະຂ້ອຍໄດ້ເຮັດມັນຢູ່ໃນເຄິ່ງຫນຶ່ງ. ໃນ 3 ເດືອນ, ຈາກຮຸ່ນທໍາອິດຈົນເຖິງຮຸ່ນສຸດທ້າຍ, ສ່ວນຫຼາຍແມ່ນຂ້ອຍເຮັດມັນຢ່າງດຽວ. ແຕ່ຂ້ອຍບໍ່ຮູ້ Javascript ດີຫຼາຍ. ນີ້ແມ່ນພຽງແຕ່ຂອງຂ້ອຍແລະ, ຂ້ອຍຫວັງວ່າ, ໂຄງການ Javascript ສຸດທ້າຍຂອງຂ້ອຍທີ່ຂ້ອຍເຮັດວຽກກັບ. ຂ້ອຍໄດ້ຮັບມັນ, ຂ້ອຍເບິ່ງ - ໂອ້, horror. ແຕ່ຂ້ອຍກໍ່ຕ້ອງການສໍາເລັດຮູບຜະລິດຕະພັນແລະນີ້ແມ່ນສິ່ງທີ່ເກີດຂຶ້ນ.

ຂອບໃຈຫຼາຍໆສຳລັບລາຍງານ! ນີ້ແມ່ນເຄື່ອງມືທີ່ດີ. ດ້ວຍ ຕາຕະລາງ ເຈົ້າປຽບທຽບບໍ?

ຂອບ​ໃຈ. ນັ້ນແມ່ນເຫດຜົນທີ່ຂ້ອຍຕັ້ງຊື່ມັນວ່າ Tabix, ເພາະວ່າຕົວອັກສອນທໍາອິດແມ່ນຄືກັນ.

ເພາະວ່າເຈົ້າແຂ່ງຂັນ?

ຈະມີການລົງທຶນຫຼາຍ, ພວກເຮົາຈະແຂ່ງຂັນ.

ວິທີທີ່ທ່ານສາມາດສະເຫນີຂາຍໃຫ້ນັກວິເຄາະພາຍໃນທີ່ເຄື່ອງມືນີ້ຈະທົດແທນຢ່າງສົມບູນ *ຕາຕະລາງ*? ການໂຕ້ຖຽງຈະເປັນແນວໃດ?

ເຮັດວຽກພື້ນເມືອງກັບ ClickHouse. ຂ້າ​ພະ​ເຈົ້າ​ໄດ້​ພະ​ຍາ​ຍາມ Tableau​, ແຕ່​ວ່າ​ທ່ານ​ບໍ່​ສາ​ມາດ​ຂຽນ​ສະ​ຫນັບ​ສະ​ຫນູນ​ສໍາ​ລັບ​ວັດ​ຈະ​ນາ​ນຸ​ກົມ​ແລະ​ຄ້າຍ​ຄື​ທີ່​ນັ້ນ​. ຂ້ອຍຮູ້ວິທີທີ່ຄົນເຮັດວຽກກັບ Tabix. ພວກເຂົາຂຽນແບບສອບຖາມ, ອັບໂຫຼດມັນໃສ່ CSV ແລະອັບໂຫລດໄປທີ່ BI. ແລະເຂົາເຈົ້າກໍາລັງເຮັດບາງສິ່ງບາງຢ່າງຢູ່ທີ່ນັ້ນ. ແຕ່ຂ້ອຍມີຄວາມຫຍຸ້ງຍາກໃນການຈິນຕະນາການວ່າພວກເຂົາເຮັດແນວໃດ, ເພາະວ່າມັນເປັນເຄື່ອງມືທີ່ມີກາຟິກ. ມັນສາມາດ unload 5 ແຖວ, ສູງສຸດ 000 ແຖວ, ແຕ່ບໍ່ມີອີກ, ຖ້າບໍ່ດັ່ງນັ້ນຕົວທ່ອງເວັບຈະບໍ່ຮັບມືກັບ.

ນັ້ນແມ່ນ, ມີຂໍ້ຈໍາກັດທີ່ຮ້າຍແຮງກ່ຽວກັບຈໍານວນຂໍ້ມູນ, ແມ່ນບໍ?

ແມ່ນແລ້ວ. ຂ້າ​ພະ​ເຈົ້າ​ບໍ່​ສາ​ມາດ​ຈິນ​ຕະ​ນາ​ການ​ທີ່​ທ່ານ​ຈະ​ຕ້ອງ​ການ​ທີ່​ຈະ​ອັບ 10 ແຖວ​ໃນ​ຕາ​ຕະ​ລາງ​ຂອງ​ທ່ານ​ໃນ​ຫນ້າ​ຈໍ browser ຂອງ​ທ່ານ​. ເພື່ອ​ຫຍັງ?

ນີ້ຫມາຍຄວາມວ່ານີ້ແມ່ນການໂຕ້ຕອບສໍາລັບການເບິ່ງຂໍ້ມູນຢ່າງໄວວາບໍ? ບິດມັນໜ້ອຍໜຶ່ງ, ບິດມັນບໍ?

ແມ່ນແລ້ວ, ເບິ່ງຢ່າງໄວວາວ່າມັນເຮັດວຽກແນວໃດແລະພຽງແຕ່ສ້າງຕາຕະລາງສະຫຼຸບ. ແລະຫຼັງຈາກນັ້ນໃຫ້ມັນບາງບ່ອນ. ພວກເຮົາມີລະບົບການລາຍງານຂອງພວກເຮົາເອງ, ຈາກບ່ອນທີ່ຂ້າພະເຈົ້າພຽງແຕ່ເອົາຄໍາຮ້ອງຂໍນີ້. ຂ້ອຍແຕ້ມໃນ Tabix ແລະສົ່ງມັນໄປຫາລາຍງານຂອງພວກເຮົາ.

ແລະຄໍາຖາມອື່ນ. ການວິເຄາະກຸ່ມ?

ຖ້າມີການຮ້ອງຂໍໃດໆ, ພວກເຮົາຈະເພີ່ມມັນ.

ເຈົ້າຫາກໍ່ເລີ່ມໃຊ້ມັນຕອນໃດ? ClickHouse, ການປະຕິບັດໃຊ້ເວລາດົນປານໃດ? ກົດປຸ່ມ ແລະ​ນໍາ​ໄປ​ສູ່ ສະ​ຖາ​ນະ​ການ​ຜະ​ລິດ​?

ດັ່ງທີ່ຂ້າພະເຈົ້າເວົ້າ, ພວກເຮົາໄດ້ປະຕິບັດກຸ່ມການທົດສອບໃນເວລາສັ້ນໆ. ພວກ​ເຮົາ​ໄດ້​ນໍາ​ໃຊ້​ມັນ​ໃນ​ສອງ​ມື້​. ແລະພວກເຮົາໄດ້ທົດສອບມັນສໍາລັບສອງສາມອາທິດຕື່ມອີກ. ແລະພວກເຮົາໄດ້ບັນລຸການຜະລິດໃນ 3 ເດືອນ. ແຕ່ພວກເຮົາມີ ETL ຂອງພວກເຮົາເອງ, i.e. ເຄື່ອງມືສໍາລັບການບັນທຶກຂໍ້ມູນ. ແລະລາວຂຽນໃນທຸກສິ່ງທີ່ລາວສາມາດເຮັດໄດ້. ລາວສາມາດຂຽນໃນ MongoDB, Cassandra, MySQL. ມັນງ່າຍທີ່ຈະສອນລາວວິທີການຂຽນໃນ ClickHouse. ພວກເຮົາມີໂຄງສ້າງພື້ນຖານທີ່ກຽມພ້ອມສໍາລັບການຈັດຕັ້ງປະຕິບັດຢ່າງໄວວາ. ພາຍໃນ 3 ເດືອນພວກເຮົາເລີ່ມຖິ້ມອົງປະກອບທໍາອິດອອກ. ໃນ 6 ເດືອນພວກເຮົາປະຖິ້ມທຸກສິ່ງທຸກຢ່າງອື່ນ. ພວກເຮົາມີພຽງແຕ່ ClickHouse ດຽວ.

Igor, ຂອບໃຈຫຼາຍໆສໍາລັບບົດລາຍງານ. ຂ້ອຍມັກການເຮັດວຽກຂອງການສ້າງເສັ້ນທາງໂດຍໃຊ້ແຜນທີ່. ມີແຜນການສໍາລັບການເຊື່ອມໂຍງກັບ Yandex.Maps ແລະໂດຍສະເພາະກັບ Yandex.Maps ທີ່ກໍາຫນົດເອງບໍ?

ຂ້າພະເຈົ້າໄດ້ພະຍາຍາມປະສົມປະສານແທນທີ່ຈະເປັນແຜນທີ່ Google, ແຕ່ຂ້ອຍບໍ່ພົບຫົວຂໍ້ຊ້ໍາໃນ Yandex.Maps. ຂ້າ​ພະ​ເຈົ້າ​ບໍ່​ໄດ້​ບອກ​ທ່ານ​ຫນຶ່ງ​ສິ້ນ. ຂ້ອຍຈະ rewind ເພື່ອເພີ່ມ.

ສະໄລ້ – ແຜນທີ່ Google. ມີຄໍາສັ່ງ “DRAW_GMAPS”, ເຊິ່ງແຕ້ມແຜນທີ່. ມີຄໍາສັ່ງ "DRAW_YMAPS", i.e. ມັນສາມາດແຕ້ມ Yandex.Map. ແຕ່ໃນຄວາມເປັນຈິງ, ພາຍໃຕ້ຄໍາສັ່ງນີ້ມີ Javascript, i.e. ຂໍ້ມູນທີ່ທ່ານໄດ້ຮັບຈາກ ClickHouse ສາມາດຖືກໂອນໄປຫາ Javascript, ທີ່ທ່ານຂຽນຢູ່ທີ່ນີ້. ແລະທ່ານມີພື້ນທີ່ຜົນຜະລິດທີ່ມັນຄວນຈະຖືກແຕ້ມ. ທ່ານສາມາດແຕ້ມກາຟໃດ, i.e. ເສັ້ນສະແດງ, ແຜນທີ່, ທ່ານສາມາດແຕ້ມອົງປະກອບຂອງທ່ານເອງ. ກ່ອນຫນ້ານີ້, ຂ້ອຍມີຫ້ອງສະຫມຸດອື່ນສໍາລັບການແຕ້ມກາຟດ້ວຍຕົນເອງ.

ນັ້ນແມ່ນ, ມີເຄື່ອງມືສໍາລັບການປັບແຕ່ງຫນ້າທີ່ສະແດງຜົນບໍ?

ໃດ. ທ່ານສາມາດເອົາແລະປ່ຽນສີຈຸດເຫຼົ່ານີ້, ເຮັດໃຫ້ມັນບໍ່ແມ່ນສີແດງ, ແຕ່ສີຟ້າ, ສີຂຽວ.

ຂອບໃຈສໍາລັບບົດລາຍງານ! ທ່ານມີສະໄລ້ທີ່ນຳສະເໜີເຄື່ອງມືສອບຖາມທາງເລືອກ ກົດປຸ່ມ ສໍາລັບການສ້າງ dashboards ແລະບົດລາຍງານການວິເຄາະ. ຂ້າພະເຈົ້າເຂົ້າໃຈວ່າໃນເວລານີ້ໃນເວລາທີ່ທ່ານໄດ້ເລີ່ມຕົ້ນການເຮັດວຽກກັບ ClickHouse, ບໍ່ມີຕົວດັດແປງໄດ້ຖືກຂຽນສໍາລັບເຄື່ອງມືເຫຼົ່ານີ້. ແລະຂ້ອຍສົງໄສວ່າເປັນຫຍັງເຈົ້າຕັດສິນໃຈເຮັດເຄື່ອງມືຂອງເຈົ້າເອງ, ແທນທີ່ຈະຂຽນຕົວດັດແປງສໍາລັບເຄື່ອງມືທີ່ກຽມພ້ອມ? ຂ້າພະເຈົ້າຄິດວ່າການປັບຕົວແກ້ໄຂການທົດສອບແມ່ນໄວ. ເປັນຫຍັງເຈົ້າຈຶ່ງຕັດສິນໃຈເຮັດວຽກຫຼາຍ?

ມີຈຸດທີ່ຫນ້າສົນໃຈຢູ່ທີ່ນີ້ - ຄວາມຈິງແມ່ນວ່າຂ້ອຍເປັນຜູ້ອໍານວຍການດ້ານວິຊາການ, ບໍ່ແມ່ນນັກວິທະຍາສາດຂໍ້ມູນ. ເມື່ອພວກເຮົາເລີ່ມປະຕິບັດ Druid, ແຜນທີ່ເສັ້ນທາງຂອງຂ້ອຍມີປະມານ 50% ຂອງວຽກງານ - ໃຫ້ຄິດໄລ່ນີ້, ຫຼືໃຫ້ພວກເຮົາຄິດໄລ່ນີ້, ຫຼືວິເຄາະນີ້. ແລະມັນໄດ້ຫັນອອກທີ່ພວກເຮົາປະຕິບັດ ClickHouse. ແລະລາວໄດ້ເລີ່ມສ້າງທຸກຢ່າງຢ່າງໄວວາ, ນັບ, ແລະປິດແຜນທີ່ເສັ້ນທາງຂອງລາວຢ່າງໄວວາ. ແລະໃນເວລານັ້ນຂ້ອຍຮູ້ວ່າຂ້ອຍຂາດຄວາມຮູ້ໃນ Data Science ແລະການເບິ່ງເຫັນຂໍ້ມູນ. Tabix ແມ່ນປະເພດຂອງວຽກບ້ານຂອງຂ້ອຍສໍາລັບການຮຽນຮູ້ການເບິ່ງເຫັນຂໍ້ມູນ. ຂ້ອຍກໍາລັງຊອກຫາວິທີການເສີມ Zeppelin. ຂ້າ​ພະ​ເຈົ້າ​ມີ​ຄວາມ​ບໍ່​ມັກ​ເລັກ​ນ້ອຍ​ສໍາ​ລັບ​ໂຄງ​ການ​ຂອງ​ຕົນ​. Redash ຂ້ອຍເບິ່ງວິທີການເພີ່ມມັນ, ແຕ່ບັນນາທິການປົກກະຕິແມ່ນພຽງພໍສໍາລັບຂ້ອຍ. ແລະ SuperSet ຍັງຂຽນເປັນພາສາທີ່ຂ້ອຍບໍ່ມັກແທ້ໆ. ແລະດັ່ງນັ້ນຂ້າພະເຈົ້າໄດ້ຕັດສິນໃຈທີ່ຈະວົງຈອນ, ແລະນີ້ແມ່ນສິ່ງທີ່ເກີດຂຶ້ນ.

Igor, ເຈົ້າຍອມຮັບການຮ້ອງຂໍດຶງບໍ?

ແມ່ນແລ້ວ.

ຂອບໃຈຫຼາຍໆສຳລັບລາຍງານ! ແລະສອງຄໍາຖາມ. ກ່ອນອື່ນ ໝົດ, ເຈົ້າບໍ່ເວົ້າຢ່າງສະຫຼາດຫຼາຍ Javascript. ທ່ານໄດ້ຂຽນດ້ວຍ Javascript ເປົ່າ ຫຼືເປັນກອບບາງປະເພດບໍ?*

ດີກວ່າໃນ Javascript ເປົ່າ.

ດັ່ງນັ້ນກອບເປັນແນວໃດ?

ມຸມ.

ມັນ​ເປັນ​ທີ່​ຈະ​ແຈ້ງ. ແລະຄໍາຖາມທີສອງ. ທ່ານ​ໄດ້​ພິ​ຈາ​ລະ​ນາ​ R и *ເຫຼື້ອມ**?*

ພິຈາລະນາມັນ. ຫຼິ້ນແລ້ວ.

ທ່ານຍັງສາມາດຂຽນຕົວດັດແປງໄດ້.

ລາວ​ແມ່ນ. ມັນເບິ່ງຄືວ່າຊຸມຊົນເຮັດມັນ, ແຕ່, ດັ່ງທີ່ຂ້ອຍຕອບຄໍາຖາມທີ່ຜ່ານມາ, ຂ້ອຍຢາກລອງມັນເອງ.

* ບໍ່, ກ່ຽວກັບການເບິ່ງເຫັນ, ມັນກໍ່ມີຄືກັນ.

ທ່ານເວົ້າວ່າມີສິ່ງດັ່ງກ່າວແລະມັນຈະແຕ້ມເສັ້ນສະແດງໃຫ້ທ່ານ. ຂ້ອຍໄດ້ເປີດປຶ້ມກ່ຽວກັບການເບິ່ງເຫັນຂໍ້ມູນ. ແລະຂ້າພະເຈົ້າຄິດວ່າ: “ໃຫ້ຂ້ອຍລອງເບິ່ງຂໍ້ມູນນີ້ເບິ່ງ. ຂ້ອຍຈະຂຽນຫາລາວເພື່ອໃຫ້ລາວສາມາດສ້າງຂໍ້ມູນຄືນໃຫມ່ໄດ້." ແລະຂ້ອຍເລີ່ມເຂົ້າໃຈເທກໂນໂລຍີອາຫານຂໍ້ມູນດີຂຶ້ນ. ແລະຖ້າຂ້ອຍໄດ້ເອົາສ່ວນປະກອບທີ່ກຽມພ້ອມແລ້ວ, ຂ້ອຍເອງຈະຮຽນຮູ້ວິທີການໃຊ້ມັນຮ້າຍແຮງກວ່າເກົ່າ, ນັ້ນແມ່ນ, ການເບິ່ງເຫັນ. ແຕ່ແມ່ນແລ້ວ, ຂ້ອຍມັກ R, ແຕ່ຂ້ອຍບໍ່ໄດ້ອ່ານປື້ມ "R for Dummies" ເທື່ອ.

!

ຄໍາຖາມງ່າຍໆ. ມີວິທີໃດແດ່ທີ່ຈະອັບໂຫລດປ້າຍ ຫຼືກຳນົດເວລາໄດ້ໄວບໍ?

ສາມາດອັບໂຫລດໄປຍັງ CSV ຫຼື Excel.

ບໍ່ແມ່ນຂໍ້ມູນ, ແຕ່ເປັນແຜ່ນທີ່ກຽມພ້ອມ, ຕາຕະລາງທີ່ກຽມພ້ອມ? ຕົວຢ່າງ, ເພື່ອສະແດງໃຫ້ເຫັນນາຍຈ້າງ.

ມີປຸ່ມ "ອັບໂຫລດ" ແລະມີປຸ່ມ "ອັບໂຫລດກາຟໃນ png, ໃນ jpg".

!

PS Mini-ຄໍາແນະນໍາສໍາລັບການຕິດຕັ້ງ tabix

• ດາວໂຫລດ ການປ່ອຍຫລ້າສຸດ
• Unpack, ຄັດລອກໄດເລກະທໍລີ build ໃນ nginx root_path
• ຕັ້ງຄ່າ nginx

ແຫຼ່ງຂໍ້ມູນ: www.habr.com