ບັນທຶກຂອງນັກວິທະຍາສາດຂໍ້ມູນ: ການທົບທວນຄືນສ່ວນບຸກຄົນຂອງພາສາສອບຖາມຂໍ້ມູນ

ຂ້ອຍບອກເຈົ້າຈາກປະສົບການສ່ວນຕົວວ່າມີປະໂຫຍດຢູ່ໃສ ແລະເວລາໃດ. ມັນເປັນພາບລວມແລະ thesis, ດັ່ງນັ້ນມັນຈະແຈ້ງວ່າແມ່ນຫຍັງແລະບ່ອນໃດທີ່ທ່ານສາມາດຂຸດຄົ້ນຕື່ມອີກ - ແຕ່ໃນທີ່ນີ້ຂ້ອຍມີປະສົບການສ່ວນຕົວສະເພາະ, ບາງທີທຸກສິ່ງທຸກຢ່າງແມ່ນແຕກຕ່າງກັນຫມົດສໍາລັບທ່ານ.

ເປັນຫຍັງມັນຈຶ່ງສຳຄັນທີ່ຈະຮູ້ ແລະສາມາດໃຊ້ພາສາສອບຖາມໄດ້? ຢູ່ໃນຫຼັກຂອງມັນ, ວິທະຍາສາດຂໍ້ມູນມີຫຼາຍຂັ້ນຕອນການເຮັດວຽກທີ່ສໍາຄັນ, ແລະທໍາອິດແລະສໍາຄັນທີ່ສຸດ (ບໍ່ມີມັນ, ແນ່ນອນບໍ່ມີຫຍັງຈະເຮັດວຽກ!) ແມ່ນການໄດ້ຮັບຫຼືສະກັດຂໍ້ມູນ. ສ່ວນຫຼາຍມັກ, ຂໍ້ມູນແມ່ນນັ່ງຢູ່ບ່ອນໃດຫນຶ່ງໃນບາງຮູບແບບແລະຕ້ອງໄດ້ຮັບການ "ເອົາ" ຈາກບ່ອນນັ້ນ. 

ພາສາ Query ອະນຸຍາດໃຫ້ທ່ານສາມາດສະກັດຂໍ້ມູນຫຼາຍນີ້! ແລະໃນມື້ນີ້ຂ້າພະເຈົ້າຈະບອກທ່ານກ່ຽວກັບພາສາແບບສອບຖາມເຫຼົ່ານັ້ນທີ່ມີປະໂຫຍດຕໍ່ຂ້ອຍແລະຂ້ອຍຈະບອກເຈົ້າແລະສະແດງໃຫ້ເຈົ້າຮູ້ວ່າບ່ອນໃດແລະວິທີການທີ່ແນ່ນອນ - ເປັນຫຍັງມັນຈໍາເປັນຕ້ອງສຶກສາ.

ມັນຈະມີສາມບລັອກຕົ້ນຕໍຂອງປະເພດຂອງການສອບຖາມຂໍ້ມູນ, ເຊິ່ງພວກເຮົາຈະປຶກສາຫາລືໃນບົດຄວາມນີ້:

• ພາສາແບບສອບຖາມ "ມາດຕະຖານ" ແມ່ນສິ່ງທີ່ເຂົ້າໃຈທົ່ວໄປໃນເວລາທີ່ເວົ້າກ່ຽວກັບພາສາສອບຖາມ, ເຊັ່ນ: ພຶດຊະຄະນິດຄວາມສໍາພັນຫຼື SQL.
• ການຂຽນພາສາແບບສອບຖາມ: ຕົວຢ່າງ, Python things pandas, numpy ຫຼື shell scripting.
• ພາສາສອບຖາມສໍາລັບກາຟຄວາມຮູ້ແລະຖານຂໍ້ມູນກາຟ.

ທຸກສິ່ງທຸກຢ່າງທີ່ຂຽນຢູ່ທີ່ນີ້ແມ່ນພຽງແຕ່ປະສົບການສ່ວນຕົວ, ສິ່ງທີ່ເປັນປະໂຫຍດ, ມີຄໍາອະທິບາຍກ່ຽວກັບສະຖານະການແລະ "ເປັນຫຍັງມັນຈຶ່ງຕ້ອງການ" - ທຸກຄົນສາມາດລອງເບິ່ງວ່າສະຖານະການທີ່ຄ້າຍຄືກັນສາມາດມາເຖິງເຈົ້າໄດ້ແນວໃດແລະພະຍາຍາມກະກຽມສໍາລັບພວກເຂົາລ່ວງຫນ້າໂດຍການເຂົ້າໃຈພາສາເຫຼົ່ານີ້. ກ່ອນ​ທີ່​ທ່ານ​ຈະ​ຕ້ອງ​ໄດ້​ສະ​ຫມັກ (ດ່ວນ​) ກ່ຽວ​ກັບ​ໂຄງ​ການ​ຫຼື​ແມ້​ກະ​ທັ້ງ​ໄປ​ຫາ​ໂຄງ​ການ​ທີ່​ເຂົາ​ເຈົ້າ​ຈໍາ​ເປັນ​.

ພາສາແບບສອບຖາມ "ມາດຕະຖານ".

ພາສາແບບສອບຖາມມາດຕະຖານແມ່ນຊັດເຈນໃນຄວາມຫມາຍທີ່ພວກເຮົາມັກຈະຄິດກ່ຽວກັບພວກມັນເມື່ອພວກເຮົາເວົ້າກ່ຽວກັບການສອບຖາມ.

ພຶດຊະຄະນິດສຳພັນ

ເປັນຫຍັງຕ້ອງໃຊ້ພຶດຊະຄະນິດສຳພັນໃນມື້ນີ້? ເພື່ອໃຫ້ມີຄວາມເຂົ້າໃຈດີວ່າເປັນຫຍັງພາສາແບບສອບຖາມຈຶ່ງມີໂຄງສ້າງໃນແບບທີ່ແນ່ນອນແລະໃຊ້ມັນຢ່າງມີສະຕິ, ທ່ານຈໍາເປັນຕ້ອງເຂົ້າໃຈພື້ນຖານຂອງພວກມັນ.

ພຶດຊະຄະນິດສຳພັນແມ່ນຫຍັງ?

ຄໍານິຍາມຢ່າງເປັນທາງການມີດັ່ງນີ້: relational algebra ແມ່ນລະບົບປິດຂອງການດໍາເນີນງານກ່ຽວກັບການພົວພັນໃນຮູບແບບຂໍ້ມູນຄວາມສໍາພັນ. ເພື່ອເຮັດໃຫ້ມັນເປັນມະນຸດເລັກນ້ອຍ, ນີ້ແມ່ນລະບົບການດໍາເນີນງານໃນຕາຕະລາງເຊັ່ນວ່າຜົນໄດ້ຮັບແມ່ນຕາຕະລາງສະເຫມີ.

ເບິ່ງການດໍາເນີນການທີ່ກ່ຽວຂ້ອງທັງຫມົດໃນ ນີ້ ບົດຄວາມຈາກ Habr - ໃນທີ່ນີ້ພວກເຮົາອະທິບາຍວ່າເປັນຫຍັງທ່ານຈໍາເປັນຕ້ອງຮູ້ແລະບ່ອນທີ່ມັນເປັນປະໂຫຍດ.

ເປັນຫຍັງ?

ການເລີ່ມຕົ້ນທີ່ຈະເຂົ້າໃຈວ່າພາສາສອບຖາມແມ່ນຫຍັງແລະສິ່ງທີ່ປະຕິບັດຢູ່ເບື້ອງຫຼັງການສະແດງອອກໃນພາສາສອບຖາມສະເພາະມັກຈະເຮັດໃຫ້ຄວາມເຂົ້າໃຈເລິກເຊິ່ງກ່ຽວກັບສິ່ງທີ່ເຮັດວຽກໃນພາສາສອບຖາມແລະວິທີການ.

ເອົາມາຈາກ ນີ້ ບົດຄວາມ. ຕົວຢ່າງຂອງການດໍາເນີນງານ: ເຂົ້າຮ່ວມ, ເຊິ່ງເຂົ້າຮ່ວມຕາຕະລາງ.

ອຸ​ປະ​ກອນ​ການ​ສຶກ​ສາ​:

ຫຼັກສູດແນະນໍາທີ່ດີຈາກ Stanford. ໂດຍທົ່ວໄປ, ມີຫຼາຍເອກະສານກ່ຽວກັບ algebra ທີ່ກ່ຽວຂ້ອງແລະທິດສະດີ - Coursera, Udacity. ນອກຈາກນີ້ຍັງມີຈໍານວນຂະຫນາດໃຫຍ່ຂອງອຸປະກອນອອນໄລນ໌, ລວມທັງດີ ຫຼັກສູດວິຊາການ. ຄໍາ​ແນະ​ນໍາ​ສ່ວນ​ບຸກ​ຄົນ​ຂອງ​ຂ້າ​ພະ​ເຈົ້າ​: ທ່ານ​ຈໍາ​ເປັນ​ຕ້ອງ​ເຂົ້າ​ໃຈ​ພຶດ​ຊະ​ຄະ​ນິດ​ທີ່​ກ່ຽວ​ຂ້ອງ​ໄດ້​ດີ - ນີ້​ແມ່ນ​ພື້ນ​ຖານ​ຂອງ​ພື້ນ​ຖານ​.

SQL

ເອົາມາຈາກ ນີ້ ບົດຄວາມ.

SQL ແມ່ນການປະຕິບັດອັນສໍາຄັນຂອງ algebra ທີ່ກ່ຽວຂ້ອງ - ມີ caveat ທີ່ສໍາຄັນ, SQL ແມ່ນການປະກາດ! ນັ້ນແມ່ນ, ເມື່ອຂຽນຄໍາຖາມໃນພາສາຂອງ algebra ທີ່ກ່ຽວຂ້ອງ, ຕົວຈິງແລ້ວທ່ານເວົ້າວ່າວິທີການຄິດໄລ່ - ແຕ່ດ້ວຍ SQL ທ່ານກໍານົດສິ່ງທີ່ທ່ານຕ້ອງການສະກັດ, ແລະຫຼັງຈາກນັ້ນ DBMS ໄດ້ສ້າງການສະແດງອອກ (ປະສິດທິພາບ) ໃນພາສາຂອງ algebra ທີ່ກ່ຽວຂ້ອງ (ຂອງພວກເຂົາ. ຄວາມເທົ່າທຽມແມ່ນເປັນທີ່ຮູ້ຈັກກັບພວກເຮົາ ທິດສະດີຂອງ Codd).

ເອົາມາຈາກ ນີ້ ບົດຄວາມ.

ເປັນຫຍັງ?

Relational DBMSs: Oracle, Postgres, SQL Server, ແລະອື່ນໆແມ່ນຍັງມີຢູ່ທົ່ວທຸກແຫ່ງແລະມີໂອກາດສູງຢ່າງບໍ່ຫນ້າເຊື່ອທີ່ທ່ານຈະຕ້ອງພົວພັນກັບພວກເຂົາ, ຊຶ່ງຫມາຍຄວາມວ່າທ່ານຈະຕ້ອງອ່ານ SQL (ເຊິ່ງເປັນໄປໄດ້ຫຼາຍ) ຫຼືຂຽນມັນ (. ຄົງຈະບໍ່ເປັນໄປໄດ້).

ສິ່ງທີ່ຕ້ອງອ່ານແລະສຶກສາ

ອີງ​ຕາມ​ການ​ເຊື່ອມ​ຕໍ່​ດຽວ​ກັນ​ຂ້າງ​ເທິງ (ກ່ຽວ​ກັບ​ພຶດ​ຊະ​ຄະ​ນິດ​ທີ່​ກ່ຽວ​ຂ້ອງ​)​, ມີ​ຈໍາ​ນວນ incredible ຂອງ​ອຸ​ປະ​ກອນ​ການ​, ສໍາ​ລັບ​ການ​ຍົກ​ຕົວ​ຢ່າງ​. ນີ້.

ໂດຍວິທີທາງການ, NoSQL ແມ່ນຫຍັງ?

"ມັນເປັນມູນຄ່າທີ່ເນັ້ນຫນັກອີກເທື່ອຫນຶ່ງວ່າຄໍາວ່າ "NoSQL" ມີຕົ້ນກໍາເນີດ spontaneous ຢ່າງແທ້ຈິງແລະບໍ່ມີຄໍານິຍາມທີ່ຍອມຮັບໂດຍທົ່ວໄປຫຼືສະຖາບັນວິທະຍາສາດທີ່ຢູ່ເບື້ອງຫຼັງມັນ." ທີ່ສອດຄ້ອງກັນ ບົດຄວາມ ສຸດ Habr.

ໃນຄວາມເປັນຈິງ, ປະຊາຊົນໄດ້ຮັບຮູ້ວ່າຕົວແບບທີ່ກ່ຽວຂ້ອງຢ່າງເຕັມທີ່ບໍ່ຈໍາເປັນເພື່ອແກ້ໄຂບັນຫາຫຼາຍຢ່າງ, ໂດຍສະເພາະສໍາລັບຜູ້ທີ່, ສໍາລັບການຍົກຕົວຢ່າງ, ການປະຕິບັດແມ່ນສໍາຄັນແລະບາງຄໍາຖາມທີ່ງ່າຍດາຍທີ່ມີການລວບລວມ dominate - ບ່ອນທີ່ມັນສໍາຄັນທີ່ຈະຄິດໄລ່ metrics ຢ່າງໄວວາແລະຂຽນໃຫ້ເຂົາເຈົ້າ. ຖານຂໍ້ມູນ, ແລະລັກສະນະຫຼາຍທີ່ສຸດແມ່ນ relational ຫັນອອກບໍ່ພຽງແຕ່ບໍ່ຈໍາເປັນ, ແຕ່ຍັງເປັນອັນຕະລາຍ - ເປັນຫຍັງ normalize ບາງສິ່ງບາງຢ່າງຖ້າຫາກວ່າມັນຈະ spoil ສິ່ງທີ່ສໍາຄັນທີ່ສຸດສໍາລັບພວກເຮົາ (ສໍາລັບບາງວຽກງານສະເພາະ) - ຜົນຜະລິດ?

ນອກຈາກນີ້, schemas ທີ່ມີຄວາມຍືດຫຍຸ່ນແມ່ນມັກຈະຕ້ອງການແທນທີ່ຈະເປັນ schemas ຄະນິດສາດຄົງທີ່ຂອງແບບຈໍາລອງຄວາມສໍາພັນຄລາສສິກ - ແລະນີ້ເຮັດໃຫ້ການພັດທະນາແອັບພລິເຄຊັນງ່າຍດາຍຢ່າງບໍ່ຫນ້າເຊື່ອໃນເວລາທີ່ມັນສໍາຄັນໃນການນໍາໃຊ້ລະບົບແລະເລີ່ມເຮັດວຽກຢ່າງໄວວາ, ປຸງແຕ່ງຜົນໄດ້ຮັບ - ຫຼື schema ແລະປະເພດຂອງຂໍ້ມູນທີ່ເກັບໄວ້. ບໍ່ສໍາຄັນຫຼາຍ.

ຕົວຢ່າງ, ພວກເຮົາກໍາລັງສ້າງລະບົບຜູ້ຊ່ຽວຊານແລະຕ້ອງການເກັບຮັກສາຂໍ້ມູນກ່ຽວກັບໂດເມນສະເພາະພ້ອມກັບຂໍ້ມູນ meta ບາງ - ພວກເຮົາອາດຈະບໍ່ຮູ້ທຸກຂົງເຂດແລະພຽງແຕ່ເກັບຮັກສາ JSON ສໍາລັບແຕ່ລະບັນທຶກ - ນີ້ເຮັດໃຫ້ພວກເຮົາມີສະພາບແວດລ້ອມທີ່ມີຄວາມຍືດຫຍຸ່ນຫຼາຍສໍາລັບການຂະຫຍາຍຂໍ້ມູນ. ຮູບແບບແລະ iterating ຢ່າງໄວວາ - ດັ່ງນັ້ນໃນກໍລະນີນີ້, NoSQL ຈະເປັນທີ່ມັກແລະສາມາດອ່ານໄດ້ຫຼາຍ. ຕົວຢ່າງການເຂົ້າ (ຈາກຫນຶ່ງໃນໂຄງການຂອງຂ້ອຍບ່ອນທີ່ NoSQL ຖືກຕ້ອງບ່ອນທີ່ມັນຕ້ອງການ).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

ທ່ານສາມາດອ່ານເພີ່ມເຕີມ ທີ່ນີ້ ກ່ຽວກັບ NoSQL.

ຮຽນຫຍັງ?

ທີ່ນີ້, ແທນທີ່ຈະ, ທ່ານພຽງແຕ່ຕ້ອງການວິເຄາະວຽກງານຂອງທ່ານຢ່າງລະອຽດ, ຄຸນສົມບັດຂອງມັນແມ່ນຫຍັງແລະລະບົບ NoSQL ແມ່ນຫຍັງທີ່ຈະເຫມາະສົມກັບຄໍາອະທິບາຍນີ້ - ແລະຫຼັງຈາກນັ້ນເລີ່ມຕົ້ນສຶກສາລະບົບນີ້.

Scripting Query Languages

ທໍາອິດ, ມັນເບິ່ງຄືວ່າ, Python ເຮັດແນວໃດກັບມັນໂດຍທົ່ວໄປ - ມັນເປັນພາສາການຂຽນໂປລແກລມ, ແລະບໍ່ແມ່ນກ່ຽວກັບການສອບຖາມທັງຫມົດ.

• Pandas ເປັນ​ມີດ​ກອງທັບ​ສະ​ວິດ​ຂອງ​ວິ​ທະ​ຍາ​ສາດ​ຂໍ້​ມູນ​ທີ່​ຮູ້​ຫນັງ​ສື​, ຈໍາ​ນວນ​ຫຼວງ​ຫຼາຍ​ຂອງ​ການ​ຫັນ​ປ່ຽນ​ຂໍ້​ມູນ​, ການ​ລວບ​ລວມ​, ແລະ​ອື່ນໆ​ເກີດ​ຂຶ້ນ​ໃນ​ມັນ​.
• Numpy - ການຄິດໄລ່ vector, matrices ແລະ linear algebra ຢູ່ທີ່ນັ້ນ.
• Scipy - ມີຫຼາຍຄະນິດສາດຢູ່ໃນຊຸດນີ້, ໂດຍສະເພາະສະຖິຕິ.
• ຫ້ອງທົດລອງ Jupyter - ການວິເຄາະຂໍ້ມູນການສໍາຫຼວດຫຼາຍເຫມາະກັບຄອມພິວເຕີໂນດບຸກ - ເປັນປະໂຫຍດທີ່ຈະຮູ້.
• ການຮ້ອງຂໍ - ເຮັດວຽກກັບເຄືອຂ່າຍ.
• Pyspark ແມ່ນມີຄວາມນິຍົມຫຼາຍໃນບັນດາວິສະວະກອນຂໍ້ມູນ, ສ່ວນຫຼາຍແມ່ນເຈົ້າຈະຕ້ອງພົວພັນກັບສິ່ງນີ້ຫຼື Spark, ພຽງແຕ່ຍ້ອນຄວາມນິຍົມຂອງພວກເຂົາ.
• *Selenium - ເປັນ​ປະ​ໂຫຍດ​ຫຼາຍ​ສໍາ​ລັບ​ການ​ເກັບ​ກໍາ​ຂໍ້​ມູນ​ຈາກ​ສະ​ຖານ​ທີ່​ແລະ​ຊັບ​ພະ​ຍາ​ກອນ​, ບາງ​ຄັ້ງ​ບໍ່​ມີ​ພຽງ​ແຕ່​ບໍ່​ມີ​ທາງ​ອື່ນ​ທີ່​ຈະ​ໄດ້​ຮັບ​ຂໍ້​ມູນ​.

ຄໍາແນະນໍາຕົ້ນຕໍຂອງຂ້ອຍ: ຮຽນຮູ້ Python!

Pandas

ໃຫ້ເອົາລະຫັດຕໍ່ໄປນີ້ເປັນຕົວຢ່າງ:

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

ໂດຍພື້ນຖານແລ້ວ, ພວກເຮົາເຫັນວ່າລະຫັດເຫມາະກັບຮູບແບບ SQL ຄລາສສິກ.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

ແຕ່ສ່ວນທີ່ສໍາຄັນແມ່ນວ່າລະຫັດນີ້ແມ່ນສ່ວນຫນຶ່ງຂອງ script ແລະທໍ່; ໃນຄວາມເປັນຈິງ, ພວກເຮົາຝັງຄໍາຖາມເຂົ້າໄປໃນທໍ່ Python. ໃນສະຖານະການນີ້, ພາສາສອບຖາມມາຫາພວກເຮົາຈາກຫ້ອງສະຫມຸດເຊັ່ນ Pandas ຫຼື pySpark.

ໂດຍທົ່ວໄປ, ໃນ pySpark ພວກເຮົາເຫັນປະເພດຂອງການປ່ຽນຂໍ້ມູນທີ່ຄ້າຍຄືກັນໂດຍຜ່ານພາສາແບບສອບຖາມໃນຈິດໃຈຂອງ:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

ບ່ອນໃດແລະສິ່ງທີ່ຈະອ່ານ

ໃນ Python ຕົວຂອງມັນເອງໂດຍທົ່ວໄປ ບໍ່ມີບັນຫາ ຊອກຫາເອກະສານເພື່ອສຶກສາ. ມີຈໍານວນອັນໃຫຍ່ຫຼວງຂອງການສອນອອນໄລນ໌ ໝີ ແພນດາ, pySpark ແລະຫຼັກສູດກ່ຽວກັບ Spark (ແລະດ້ວຍຕົວມັນເອງ DS). ໂດຍລວມແລ້ວ, ເນື້ອຫາຢູ່ທີ່ນີ້ແມ່ນດີເລີດສໍາລັບ google, ແລະຖ້າຂ້ອຍຕ້ອງເລືອກຊຸດຫນຶ່ງເພື່ອສຸມໃສ່, ມັນອາດຈະເປັນ pandas, ແນ່ນອນ. ກ່ຽວກັບການປະສົມປະສານຂອງວັດສະດຸ DS + Python ຄືກັນ ຢ່າງຫຼາຍຂອງການເປັນ.

Shell ເປັນພາສາສອບຖາມ

ໂຄງການການປຸງແຕ່ງຂໍ້ມູນແລະການວິເຄາະຈໍານວນຫນ້ອຍທີ່ຂ້ອຍໄດ້ເຮັດວຽກກັບແມ່ນ, ໃນຄວາມເປັນຈິງ, shell scripts ທີ່ເອີ້ນລະຫັດໃນ Python, Java, ແລະ shell ຄໍາສັ່ງຕົວເອງ. ດັ່ງນັ້ນ, ໂດຍທົ່ວໄປແລ້ວ, ທ່ານສາມາດພິຈາລະນາທໍ່ໃນ bash / zsh / etc ເປັນບາງປະເພດຂອງການສອບຖາມລະດັບສູງ (ແນ່ນອນ, ທ່ານສາມາດ, ສິ່ງທີ່ loops ຢູ່ໃນນັ້ນ, ແຕ່ນີ້ບໍ່ແມ່ນປົກກະຕິສໍາລັບລະຫັດ DS ໃນພາສາແກະ), ໃຫ້ພວກເຮົາ. ຕົວຢ່າງທີ່ງ່າຍດາຍ - ຂ້ອຍຈໍາເປັນຕ້ອງເຮັດແຜນທີ່ QID ຂອງ wikidata ແລະການເຊື່ອມໂຍງຢ່າງເຕັມທີ່ກັບ wikis ລັດເຊຍແລະອັງກິດ, ສໍາລັບນີ້ຂ້ອຍຂຽນຄໍາຮ້ອງຂໍງ່າຍໆຈາກຄໍາສັ່ງໃນ bash ແລະສໍາລັບຜົນໄດ້ຮັບທີ່ຂ້ອຍຂຽນ script ງ່າຍໆໃນ Python, ເຊິ່ງຂ້ອຍ. ເອົາເຂົ້າກັນແບບນີ້:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

ບ່ອນທີ່

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

ນີ້ແມ່ນ, ໃນຄວາມເປັນຈິງ, ທໍ່ທັງຫມົດທີ່ສ້າງແຜນທີ່ທີ່ກໍານົດໄວ້; ດັ່ງທີ່ພວກເຮົາເຫັນ, ທຸກສິ່ງທຸກຢ່າງເຮັດວຽກຢູ່ໃນຮູບແບບການໄຫຼ:

• pv filepath - ໃຫ້ແຖບຄວາມຄືບຫນ້າໂດຍອີງໃສ່ຂະຫນາດໄຟລ໌ແລະຜ່ານເນື້ອຫາຂອງມັນຕໍ່ໄປ
• unpigz -c ອ່ານບາງສ່ວນຂອງຮວບຮວມແລະມອບໃຫ້ jq
• jq ກັບຄີ - stream ທັນທີຜະລິດຜົນໄດ້ຮັບແລະສົ່ງຜ່ານ postprocessor (ຄືກັນກັບຕົວຢ່າງທໍາອິດ) ໃນ Python
• ພາຍໃນ, ໂປເຊດເຊີ postprocessor ແມ່ນເຄື່ອງຈັກຂອງລັດທີ່ງ່າຍດາຍທີ່ຈັດຮູບແບບຜົນຜະລິດ 

ໂດຍລວມແລ້ວ, ທໍ່ທີ່ສັບສົນທີ່ເຮັດວຽກຢູ່ໃນຮູບແບບການໄຫຼຂອງຂໍ້ມູນຂະຫນາດໃຫຍ່ (0.5TB), ໂດຍບໍ່ມີຊັບພະຍາກອນທີ່ສໍາຄັນແລະເຮັດຈາກທໍ່ທີ່ງ່າຍດາຍແລະເຄື່ອງມືສອງຢ່າງ.

ຄໍາແນະນໍາທີ່ສໍາຄັນອີກອັນຫນຶ່ງ: ສາມາດເຮັດວຽກໄດ້ດີແລະມີປະສິດທິພາບໃນ terminal ແລະຂຽນ bash/zsh/etc.

ມັນຈະເປັນປະໂຫຍດຢູ່ໃສ? ແມ່ນແລ້ວ, ເກືອບທຸກບ່ອນ - ອີກເທື່ອ ໜຶ່ງ, ມີເອກະສານຫຼາຍຢ່າງເພື່ອສຶກສາໃນອິນເຕີເນັດ. ໂດຍສະເພາະ, ທີ່ນີ້ ນີ້ ບົດຄວາມທີ່ຜ່ານມາຂອງຂ້ອຍ.

R scripting

ອີກເທື່ອຫນຶ່ງ, ຜູ້ອ່ານອາດຈະຮ້ອງອອກມາ - ດີ, ນີ້ແມ່ນພາສາການຂຽນໂປຼແກຼມທັງຫມົດ! ແລະແນ່ນອນ, ລາວຈະຖືກຕ້ອງ. ຢ່າງໃດກໍຕາມ, ປົກກະຕິແລ້ວຂ້າພະເຈົ້າພົບ R ໃນສະພາບການດັ່ງກ່າວ, ໃນຄວາມເປັນຈິງ, ມັນຄ້າຍຄືກັນກັບພາສາສອບຖາມ.

R ເປັນ​ສະ​ພາບ​ແວດ​ລ້ອມ​ການ​ຄິດ​ໄລ່​ສະ​ຖິ​ຕິ​ແລະ​ພາ​ສາ​ສໍາ​ລັບ​ການ​ຄອມ​ພິວ​ເຕີ​ສະ​ຖິດ​ແລະ​ການ​ສະ​ແດງ​ໃຫ້​ເຫັນ (ອີງ​ຕາມ​ການ​ ນີ້).

ເອົາ ຈາກນີ້. ໂດຍວິທີທາງການ, ຂ້າພະເຈົ້າແນະນໍາໃຫ້ມັນ, ອຸປະກອນການທີ່ດີ.

ເປັນຫຍັງນັກວິທະຍາສາດຂໍ້ມູນຈໍາເປັນຕ້ອງຮູ້ R? ຢ່າງຫນ້ອຍ, ເນື່ອງຈາກວ່າມີຊັ້ນຂະຫນາດໃຫຍ່ຂອງປະຊາຊົນທີ່ບໍ່ແມ່ນ IT ທີ່ວິເຄາະຂໍ້ມູນໃນ R. ຂ້າພະເຈົ້າໄດ້ພົບມັນຢູ່ໃນສະຖານທີ່ດັ່ງຕໍ່ໄປນີ້:

• ຂະ​ແໜງ​ການ​ຢາ.
• ນັກຊີວະວິທະຍາ.
• ຂະແໜງການເງິນ.
• ຄົນທີ່ມີການສຶກສາຄະນິດສາດທີ່ບໍລິສຸດຜູ້ທີ່ຈັດການກັບສະຖິຕິ.
• ແບບຈໍາລອງສະຖິຕິພິເສດແລະແບບຈໍາລອງການຮຽນຮູ້ເຄື່ອງຈັກ (ເຊິ່ງມັກຈະພົບເຫັນຢູ່ໃນສະບັບຂອງຜູ້ຂຽນເປັນຊຸດ R).

ເປັນຫຍັງມັນເປັນພາສາສອບຖາມ? ໃນຮູບແບບທີ່ມັນພົບເລື້ອຍໆ, ຕົວຈິງແລ້ວແມ່ນຄໍາຮ້ອງຂໍເພື່ອສ້າງແບບຈໍາລອງ, ລວມທັງການອ່ານຂໍ້ມູນແລະການແກ້ໄຂຕົວກໍານົດການສອບຖາມ (ແບບຈໍາລອງ), ເຊັ່ນດຽວກັນກັບການເບິ່ງເຫັນຂໍ້ມູນໃນແພັກເກັດເຊັ່ນ ggplot2 - ນີ້ແມ່ນຮູບແບບການຂຽນຄໍາຖາມ. .

ຕົວຢ່າງຄໍາຖາມສໍາລັບການເບິ່ງເຫັນ

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

ໂດຍທົ່ວໄປແລ້ວ, ຫຼາຍໆແນວຄວາມຄິດຈາກ R ໄດ້ເຄື່ອນຍ້າຍເຂົ້າໄປໃນຊຸດ python ເຊັ່ນ pandas, numpy ຫຼື scipy, ເຊັ່ນ dataframes ແລະ vectorization ຂໍ້ມູນ - ດັ່ງນັ້ນໂດຍທົ່ວໄປຫຼາຍສິ່ງທີ່ຢູ່ໃນ R ຈະເບິ່ງຄືວ່າຄຸ້ນເຄີຍແລະສະດວກສໍາລັບທ່ານ.

ມີຫຼາຍແຫຼ່ງທີ່ຈະສຶກສາ, ສໍາລັບການຍົກຕົວຢ່າງ, ນີ້.

ກຣາຟຄວາມຮູ້

ໃນທີ່ນີ້ຂ້ອຍມີປະສົບການທີ່ຜິດປົກກະຕິເລັກນ້ອຍ, ເພາະວ່າຂ້ອຍມັກຈະຕ້ອງເຮັດວຽກກັບກາຟຄວາມຮູ້ແລະພາສາແບບສອບຖາມສໍາລັບກາຟ. ດັ່ງນັ້ນ, ໃຫ້ພວກເຮົາເວົ້າສັ້ນໆກ່ຽວກັບພື້ນຖານ, ເພາະວ່າສ່ວນນີ້ແມ່ນແປກໃຫມ່ເລັກນ້ອຍ.

ໃນຖານຂໍ້ມູນຄວາມສໍາພັນຄລາສສິກພວກເຮົາມີ schema ຄົງ, ແຕ່ໃນທີ່ນີ້ schema ແມ່ນມີຄວາມຍືດຫຍຸ່ນ, ແຕ່ລະ predicate ຕົວຈິງແລ້ວແມ່ນ "ຖັນ" ແລະແມ້ກະທັ້ງຫຼາຍ.

ຈິນຕະນາການວ່າທ່ານກໍາລັງສ້າງແບບຈໍາລອງບຸກຄົນແລະຕ້ອງການອະທິບາຍສິ່ງທີ່ສໍາຄັນ, ຕົວຢ່າງ, ໃຫ້ເອົາບຸກຄົນສະເພາະ, Douglas Adams, ແລະນໍາໃຊ້ຄໍາອະທິບາຍນີ້ເປັນພື້ນຖານ.

www.wikidata.org/wiki/Q42

ຖ້າພວກເຮົາໃຊ້ຖານຂໍ້ມູນທີ່ກ່ຽວຂ້ອງ, ພວກເຮົາຈະຕ້ອງສ້າງຕາຕະລາງໃຫຍ່ຫຼືຕາຕະລາງທີ່ມີຈໍານວນຄໍລໍາຈໍານວນຫລາຍ, ເຊິ່ງສ່ວນໃຫຍ່ຈະເປັນ NULL ຫຼືເຕັມໄປດ້ວຍຄ່າ False ເລີ່ມຕົ້ນບາງຢ່າງ, ຕົວຢ່າງ, ມັນບໍ່ຫນ້າຈະເປັນໄປໄດ້ທີ່ພວກເຮົາຫຼາຍຄົນມີ. ການເຂົ້າຢູ່ໃນຫໍສະຫມຸດແຫ່ງຊາດເກົາຫຼີ - ແນ່ນອນ, ພວກເຮົາສາມາດຈັດວາງພວກມັນຢູ່ໃນຕາຕະລາງແຍກຕ່າງຫາກ, ແຕ່ສຸດທ້າຍນີ້ຈະເປັນຄວາມພະຍາຍາມທີ່ຈະສ້າງແບບຈໍາລອງວົງຈອນທີ່ມີເຫດຜົນທີ່ມີຄວາມຍືດຫຍຸ່ນກັບ predicates ໂດຍໃຊ້ຄວາມສໍາພັນຄົງທີ່.

ສະນັ້ນຈິນຕະນາການວ່າຂໍ້ມູນທັງຫມົດຖືກເກັບໄວ້ເປັນເສັ້ນສະແດງຫຼືເປັນຕົວສະແດງ binary ແລະ unary boolean.

ເຈົ້າສາມາດພົບສິ່ງນີ້ໄດ້ຢູ່ໃສ? ກ່ອນອື່ນ ໝົດ, ເຮັດວຽກກັບ ຂໍ້ມູນ wiki, ແລະມີຖານຂໍ້ມູນກາຟຫຼືຂໍ້ມູນເຊື່ອມຕໍ່.

ຕໍ່ໄປນີ້ແມ່ນພາສາຄໍາຖາມຕົ້ນຕໍທີ່ຂ້ອຍໄດ້ໃຊ້ແລະເຮັດວຽກກັບ.

SPARQL

Wiki:
SPARQL (ຕົວຫຍໍ້ recursive ຈາກ ພາສາອັງກິດ SPARQL Protocol ແລະ RDF Query Language) - ພາສາສອບຖາມຂໍ້ມູນ, ເປັນຕົວແທນໂດຍຕົວແບບ RDFແລະ ອະນຸສັນຍາ ເພື່ອສົ່ງຄໍາຮ້ອງຂໍເຫຼົ່ານີ້ແລະຕອບສະຫນອງໃຫ້ເຂົາເຈົ້າ. SPARQL ແມ່ນຄໍາແນະນໍາ ສະມາຄົມ W3C ແລະຫນຶ່ງໃນເຕັກໂນໂລຢີ ເວັບໄຊຕ໌ semantic.

ແຕ່ໃນຄວາມເປັນຈິງມັນເປັນພາສາສອບຖາມສໍາລັບ unary ຢ່າງມີເຫດຜົນແລະ binary predicates. ທ່ານກໍາລັງກໍານົດເງື່ອນໄຂພຽງແຕ່ສິ່ງທີ່ຖືກແກ້ໄຂໃນການສະແດງ Boolean ແລະສິ່ງທີ່ບໍ່ແມ່ນ (ງ່າຍຫຼາຍ).

ພື້ນຖານຂອງ RDF (Resource Description Framework) ຕົວຂອງມັນເອງ, ເຊິ່ງຫຼາຍກວ່າການສອບຖາມ SPARQL ຖືກປະຕິບັດ, ແມ່ນສາມເທົ່າ. object, predicate, subject - ແລະການສອບຖາມເລືອກສາມເທົ່າທີ່ຕ້ອງການຕາມຂໍ້ຈໍາກັດທີ່ລະບຸໄວ້ໃນວິນຍານ: ຊອກຫາ X ເຊັ່ນວ່າ p_55(X, q_33) ເປັນຄວາມຈິງ - ບ່ອນທີ່, ແນ່ນອນ, p_55 ແມ່ນບາງປະເພດຂອງຄວາມສໍາພັນກັບ ID 55, ແລະ q_33 ແມ່ນເປັນ. ວັດຖຸທີ່ມີ ID 33 (ທີ່ນີ້ແລະເລື່ອງທັງຫມົດ, ອີກເທື່ອຫນຶ່ງ omitting ທຸກປະເພດຂອງລາຍລະອຽດ).

ຕົວຢ່າງການນໍາສະເຫນີຂໍ້ມູນ:

ຮູບພາບແລະຕົວຢ່າງກັບປະເທດຢູ່ທີ່ນີ້ ຈາກນີ້.

ຕົວຢ່າງຄໍາຖາມພື້ນຖານ

ໃນຄວາມເປັນຈິງ, ພວກເຮົາຕ້ອງການຊອກຫາຄ່າຂອງຕົວແປຂອງປະເທດ ?ເຊັ່ນນັ້ນສໍາລັບ predicate
member_of, ມັນເປັນຄວາມຈິງທີ່ວ່າ member_of(?country,q458) ແລະ q458 ແມ່ນ ID ຂອງສະຫະພາບເອີຣົບ.

ຕົວຢ່າງຂອງການສອບຖາມ SPARQL ທີ່ແທ້ຈິງພາຍໃນເຄື່ອງຈັກ python:

ໂດຍປົກກະຕິ, ຂ້ອຍຕ້ອງອ່ານ SPARQL ແທນທີ່ຈະຂຽນມັນ - ໃນສະຖານະການນັ້ນ, ມັນອາດຈະເປັນທັກສະທີ່ເປັນປະໂຫຍດທີ່ຈະເຂົ້າໃຈພາສາຢ່າງຫນ້ອຍໃນລະດັບພື້ນຖານເພື່ອເຂົ້າໃຈຢ່າງແນ່ນອນວ່າວິທີການດຶງຂໍ້ມູນ. 

ມີຫຼາຍເອກະສານທີ່ຈະສຶກສາອອນໄລນ໌: ຕົວຢ່າງ, ທີ່ນີ້ ນີ້ и ນີ້. ຂ້າພະເຈົ້າປົກກະຕິແລ້ວ google ການອອກແບບສະເພາະແລະຕົວຢ່າງແລະນັ້ນແມ່ນພຽງພໍສໍາລັບໃນປັດຈຸບັນ.

ພາສາແບບສອບຖາມຕາມເຫດຜົນ

ທ່ານສາມາດອ່ານເພີ່ມເຕີມກ່ຽວກັບຫົວຂໍ້ໃນບົດຄວາມຂອງຂ້ອຍ ທີ່ນີ້. ແລະໃນທີ່ນີ້, ພວກເຮົາຈະກວດເບິ່ງພຽງແຕ່ສັ້ນໆວ່າເປັນຫຍັງພາສາທີ່ມີເຫດຜົນແມ່ນເຫມາະສົມດີສໍາລັບການຂຽນຄໍາຖາມ. ໂດຍພື້ນຖານແລ້ວ, RDF ແມ່ນພຽງແຕ່ຊຸດຂອງຄໍາຖະແຫຼງທີ່ສົມເຫດສົມຜົນຂອງຮູບແບບ p(X) ແລະ h(X,Y), ແລະການສອບຖາມທີ່ມີເຫດຜົນມີຮູບແບບດັ່ງຕໍ່ໄປນີ້:

output(X) :- country(X), member_of(X,“EU”).

ໃນທີ່ນີ້ພວກເຮົາກໍາລັງເວົ້າກ່ຽວກັບການສ້າງຜົນຜະລິດ predicate ໃຫມ່ / 1 (/1 ຫມາຍຄວາມວ່າ unary), ສະຫນອງໃຫ້ວ່າສໍາລັບ X ມັນເປັນຄວາມຈິງທີ່ວ່າປະເທດ(X) - i.e., X ເປັນປະເທດແລະຍັງ member_of(X,"EU ").

ນັ້ນແມ່ນ, ໃນກໍລະນີນີ້, ທັງຂໍ້ມູນແລະກົດລະບຽບໄດ້ຖືກນໍາສະເຫນີໃນທາງດຽວກັນ, ເຊິ່ງຊ່ວຍໃຫ້ພວກເຮົາສ້າງແບບຈໍາລອງບັນຫາໄດ້ງ່າຍແລະດີ.

ທ່ານພົບບ່ອນໃດໃນອຸດສາຫະກໍາ?: ໂຄງການຂະຫນາດໃຫຍ່ທັງຫມົດທີ່ມີບໍລິສັດທີ່ຂຽນແບບສອບຖາມໃນພາສາດັ່ງກ່າວ, ເຊັ່ນດຽວກັນກັບໂຄງການໃນປະຈຸບັນຢູ່ໃນຫຼັກຂອງລະບົບ - ມັນຈະເບິ່ງຄືວ່ານີ້ເປັນສິ່ງທີ່ແປກປະຫຼາດຫຼາຍ, ແຕ່ບາງຄັ້ງມັນກໍ່ເກີດຂື້ນ.

ຕົວຢ່າງຂອງຊິ້ນສ່ວນລະຫັດໃນ wikidata ການປະມວນຜົນພາສາທີ່ມີເຫດຜົນ:

ວັດສະດຸ: ຂ້ອຍຈະໃຫ້ການເຊື່ອມຕໍ່ສອງອັນນີ້ກັບພາສາການຂຽນໂປລແກລມທີ່ມີເຫດຜົນທີ່ທັນສະໄຫມ Answer Set Programming - ຂ້ອຍຂໍແນະນໍາໃຫ້ສຶກສາມັນ:

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

ແຫຼ່ງຂໍ້ມູນ: www.habr.com