កំណត់ចំណាំរបស់អ្នកវិទ្យាសាស្ត្រទិន្នន័យ៖ ការពិនិត្យឡើងវិញផ្ទាល់ខ្លួននៃភាសាសំណួរទិន្នន័យ

ខ្ញុំកំពុងប្រាប់អ្នកពីបទពិសោធន៍ផ្ទាល់ខ្លួនអំពីអ្វីដែលមានប្រយោជន៍នៅកន្លែងណា និងពេលណា។ វាជាទិដ្ឋភាពទូទៅ និងនិក្ខេបបទ ដូច្នេះវាច្បាស់ថាអ្វី និងកន្លែងដែលអ្នកអាចជីកបន្ថែមទៀត - ប៉ុន្តែនៅទីនេះខ្ញុំមានបទពិសោធន៍ផ្ទាល់ខ្លួនទាំងស្រុង ប្រហែលជាអ្វីគ្រប់យ៉ាងគឺខុសគ្នាទាំងស្រុងសម្រាប់អ្នក។

ហេតុអ្វីចាំបាច់ត្រូវដឹង និងអាចប្រើភាសាសំណួរ? ជាស្នូលរបស់វា វិទ្យាសាស្ត្រទិន្នន័យមានដំណាក់កាលសំខាន់ៗជាច្រើននៃការងារ ហើយដំបូងបំផុត និងសំខាន់បំផុត (បើគ្មានវាទេ ប្រាកដជាគ្មានអ្វីដំណើរការទេ!) គឺការទទួលបាន ឬទាញយកទិន្នន័យ។ ភាគច្រើនជាញឹកញាប់ ទិន្នន័យកំពុងអង្គុយនៅកន្លែងណាមួយក្នុងទម្រង់ខ្លះ ហើយត្រូវការ "ទាញយក" ពីទីនោះ។ 

ភាសាសំណួរអនុញ្ញាតឱ្យអ្នកទាញយកទិន្នន័យនេះយ៉ាងខ្លាំង! ហើយថ្ងៃនេះខ្ញុំនឹងប្រាប់អ្នកអំពីភាសាសំណួរទាំងនោះដែលមានប្រយោជន៍សម្រាប់ខ្ញុំ ហើយខ្ញុំនឹងប្រាប់អ្នក និងបង្ហាញអ្នកពីកន្លែង និងរបៀបពិតប្រាកដ - ហេតុអ្វីចាំបាច់ត្រូវសិក្សា។

វានឹងមានប្លុកសំខាន់ៗចំនួនបីនៃប្រភេទសំណួរទិន្នន័យ ដែលយើងនឹងពិភាក្សាក្នុងអត្ថបទនេះ៖

• ភាសាសំណួរ "ស្តង់ដារ" គឺជាអ្វីដែលត្រូវបានយល់ជាទូទៅនៅពេលនិយាយអំពីភាសាសំណួរ ដូចជាពិជគណិតទំនាក់ទំនង ឬ SQL ។
• ស្គ្រីបភាសាសំណួរ៖ ឧទាហរណ៍ Python things pandas, numpy ឬ shell scripting។
• ភាសាសំណួរសម្រាប់ក្រាហ្វចំណេះដឹង និងមូលដ្ឋានទិន្នន័យក្រាហ្វ។

អ្វីគ្រប់យ៉ាងដែលបានសរសេរនៅទីនេះគឺគ្រាន់តែជាបទពិសោធន៍ផ្ទាល់ខ្លួន អ្វីដែលមានប្រយោជន៍ ជាមួយនឹងការពិពណ៌នាអំពីស្ថានភាព និង "ហេតុអ្វីបានជាវាត្រូវការ" - អ្នកគ្រប់គ្នាអាចសាកល្បងពីរបៀបដែលស្ថានភាពស្រដៀងគ្នាអាចមកតាមផ្លូវរបស់អ្នក ហើយព្យាយាមរៀបចំសម្រាប់ពួកគេជាមុនដោយការយល់ដឹងអំពីភាសាទាំងនេះ។ មុន​ពេល​ដែល​អ្នក​ត្រូវ​ដាក់​ពាក្យ (ជា​បន្ទាន់) លើ​គម្រោង​មួយ ឬ​សូម្បី​តែ​ទៅ​កាន់​គម្រោង​ដែល​ពួកគេ​ត្រូវ​ការ។

"ស្តង់ដារ" ភាសាសំណួរ

ភាសាសំណួរស្តង់ដារគឺច្បាស់ណាស់ក្នុងន័យថាជាធម្មតាយើងគិតអំពីពួកគេនៅពេលយើងនិយាយអំពីសំណួរ។

ពិជគណិតទំនាក់ទំនង

ហេតុ​អ្វី​បាន​ជា​ត្រូវ​ការ​ពិជគណិត​ទំនាក់​ទំនង​សព្វ​ថ្ងៃ? ដើម្បីមានការយល់ដឹងល្អអំពីមូលហេតុដែលភាសាសំណួរត្រូវបានរៀបចំឡើងតាមរបៀបជាក់លាក់មួយ ហើយប្រើប្រាស់វាដោយមនសិការ អ្នកត្រូវយល់អំពីស្នូលនៃមូលដ្ឋានរបស់វា។

តើពិជគណិតទំនាក់ទំនងគឺជាអ្វី?

និយមន័យផ្លូវការមានដូចខាងក្រោម៖ ពិជគណិតទំនាក់ទំនងគឺជាប្រព័ន្ធបិទជិតនៃប្រតិបត្តិការលើទំនាក់ទំនងក្នុងគំរូទិន្នន័យទំនាក់ទំនង។ ដើម្បីដាក់វាឱ្យមានលក្ខណៈមនុស្សបន្តិច នេះគឺជាប្រព័ន្ធនៃប្រតិបត្តិការនៅលើតុ ដែលលទ្ធផលគឺតែងតែជាតារាង។

មើលប្រតិបត្តិការទំនាក់ទំនងទាំងអស់នៅក្នុង នេះ អត្ថបទពី Habr - នៅទីនេះយើងពិពណ៌នាអំពីមូលហេតុដែលអ្នកត្រូវដឹង និងកន្លែងដែលវាងាយស្រួល។

ហេតុអ្វី?

ការចាប់ផ្តើមយល់ពីអ្វីដែលភាសាសំណួរគឺអំពីអ្វី និងប្រតិបត្តិការអ្វីនៅពីក្រោយកន្សោមនៅក្នុងភាសាសំណួរជាក់លាក់ ជាញឹកញាប់ផ្តល់នូវការយល់ដឹងកាន់តែស៊ីជម្រៅអំពីអ្វីដែលដំណើរការនៅក្នុងភាសាសំណួរ និងរបៀប។

យកពី នេះ អត្ថបទ។ ឧទាហរណ៍នៃប្រតិបត្តិការមួយ៖ ចូលរួម ដែលភ្ជាប់តារាង។

សម្ភារៈសិក្សា៖

វគ្គសិក្សាណែនាំដ៏ល្អពី Stanford. ជាទូទៅមានសម្ភារៈជាច្រើននៅលើពិជគណិតទំនាក់ទំនង និងទ្រឹស្តី - Coursera, Udacity ។ វាក៏មានសម្ភារៈជាច្រើននៅលើអ៊ីនធឺណិត រួមទាំងរបស់ល្អផងដែរ។ វគ្គសិក្សា. ដំបូន្មានផ្ទាល់ខ្លួនរបស់ខ្ញុំ៖ អ្នកត្រូវយល់អំពីពិជគណិតទំនាក់ទំនងឱ្យបានច្បាស់ - នេះគឺជាមូលដ្ឋាននៃមូលដ្ឋាន។

SQL មួយ

យកពី នេះ អត្ថបទ

SQL គឺជាការអនុវត្តដ៏សំខាន់នៃពិជគណិតទំនាក់ទំនង - ជាមួយនឹងការព្រមានដ៏សំខាន់មួយ SQL គឺជាការប្រកាស! នោះគឺនៅពេលសរសេរសំណួរជាភាសានៃពិជគណិតទំនាក់ទំនង អ្នកពិតជានិយាយពីរបៀបគណនា - ប៉ុន្តែជាមួយនឹង SQL អ្នកបញ្ជាក់ពីអ្វីដែលអ្នកចង់ស្រង់ចេញ ហើយបន្ទាប់មក DBMS បានបង្កើតកន្សោម (មានប្រសិទ្ធិភាព) រួចហើយនៅក្នុងភាសានៃពិជគណិតទំនាក់ទំនង (របស់ពួកគេ សមមូលត្រូវបានគេស្គាល់ថាជា ទ្រឹស្តីបទ Codd).

យកពី នេះ អត្ថបទ

ហេតុអ្វី?

DBMSs ទំនាក់ទំនង៖ Oracle, Postgres, SQL Server ជាដើម នៅតែមានស្ទើរតែគ្រប់ទីកន្លែង ហើយមានឱកាសខ្ពស់មិនគួរឱ្យជឿដែលអ្នកនឹងត្រូវធ្វើអន្តរកម្មជាមួយពួកគេ ដែលមានន័យថាអ្នកនឹងត្រូវអាន SQL (ដែលទំនងណាស់) ឬសរសេរវា ( ក៏មិនទំនងដែរ)។

អ្វីដែលត្រូវអាននិងសិក្សា

យោងតាមតំណភ្ជាប់ដូចគ្នាខាងលើ (អំពីពិជគណិតទំនាក់ទំនង) មានបរិមាណមិនគួរឱ្យជឿនៃសម្ភារៈឧទាហរណ៍។ នេះ.

និយាយអញ្ចឹងតើ NoSQL ជាអ្វី?

"វាមានតម្លៃសង្កត់ធ្ងន់ម្តងទៀតថាពាក្យ "NoSQL" មានប្រភពដើមដោយឯកឯងហើយមិនមាននិយមន័យដែលទទួលយកជាទូទៅឬស្ថាប័នវិទ្យាសាស្ត្រនៅពីក្រោយវាទេ។ ដែលត្រូវគ្នា។ អត្ថបទ នៅលើ Habr ។

ជាការពិត មនុស្សបានដឹងថាគំរូទំនាក់ទំនងពេញលេញគឺមិនចាំបាច់ដើម្បីដោះស្រាយបញ្ហាជាច្រើន ជាពិសេសសម្រាប់អ្នកដែលឧទាហរណ៍ ការអនុវត្តមានសារៈសំខាន់ ហើយសំណួរសាមញ្ញមួយចំនួនជាមួយនឹងការប្រមូលផ្តុំគ្របដណ្តប់ - ដែលជាកន្លែងដែលវាមានសារៈសំខាន់ក្នុងការគណនាម៉ែត្រយ៉ាងឆាប់រហ័ស ហើយសរសេរវាទៅ មូលដ្ឋានទិន្នន័យ ហើយលក្ខណៈពិសេសភាគច្រើនគឺទាក់ទងគ្នាបានប្រែក្លាយថាមិនត្រឹមតែមិនចាំបាច់ប៉ុណ្ណោះទេ ប៉ុន្តែថែមទាំងបង្កគ្រោះថ្នាក់ផងដែរ - ហេតុអ្វីបានជាធ្វើឱ្យអ្វីមួយមានលក្ខណៈធម្មតាប្រសិនបើវានឹងធ្វើឱ្យខូចអ្វីដែលសំខាន់បំផុតសម្រាប់យើង (សម្រាប់កិច្ចការជាក់លាក់មួយចំនួន) - ផលិតភាព?

ដូចគ្នានេះផងដែរ គ្រោងការណ៍ដែលអាចបត់បែនបានជាញឹកញាប់ត្រូវបានត្រូវការជំនួសឱ្យគ្រោងការណ៍គណិតវិទ្យាថេរនៃគំរូទំនាក់ទំនងបុរាណ - ហើយនេះជួយសម្រួលដល់ការអភិវឌ្ឍន៍កម្មវិធីនៅពេលដែលវាមានសារៈសំខាន់ក្នុងការដាក់ឱ្យប្រើប្រាស់ប្រព័ន្ធ ហើយចាប់ផ្តើមដំណើរការយ៉ាងឆាប់រហ័ស ដំណើរការលទ្ធផល ឬគ្រោងការណ៍ និងប្រភេទនៃទិន្នន័យដែលបានរក្សាទុក។ មិនសូវសំខាន់ទេ។

ឧទាហរណ៍ យើងកំពុងបង្កើតប្រព័ន្ធអ្នកជំនាញ ហើយចង់រក្សាទុកព័ត៌មាននៅលើដែនជាក់លាក់មួយ រួមជាមួយនឹងព័ត៌មានមេតាមួយចំនួន - យើងប្រហែលជាមិនស្គាល់វាលទាំងអស់ ហើយគ្រាន់តែរក្សាទុក JSON សម្រាប់កំណត់ត្រានីមួយៗ - វាផ្តល់ឱ្យយើងនូវបរិយាកាសដែលអាចបត់បែនបានសម្រាប់ការពង្រីកទិន្នន័យ។ គំរូ និងធ្វើម្តងទៀតយ៉ាងឆាប់រហ័ស - ដូច្នេះក្នុងករណីនេះ NoSQL នឹងកាន់តែចូលចិត្ត និងអាចអានបានកាន់តែច្រើន។ ធាតុឧទាហរណ៍ (ពីគម្រោងរបស់ខ្ញុំមួយដែល NoSQL ត្រឹមត្រូវនៅកន្លែងដែលត្រូវការ) ។

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

អ្នកអាចអានបន្ថែម នៅទីនេះ អំពី NoSQL ។

តើត្រូវសិក្សាអ្វី?

នៅទីនេះ អ្នកគ្រាន់តែត្រូវការវិភាគឱ្យបានហ្មត់ចត់នូវកិច្ចការរបស់អ្នក លក្ខណៈសម្បត្តិដែលវាមាន និងប្រព័ន្ធ NoSQL ណាដែលអាចប្រើបាន ដែលនឹងសមនឹងការពិពណ៌នានេះ - ហើយបន្ទាប់មកចាប់ផ្តើមសិក្សាប្រព័ន្ធនេះ។

ភាសាសំណួរស្គ្រីប

ដំបូង វាហាក់បីដូចជាអ្វីដែល Python ត្រូវធ្វើជាមួយវាជាទូទៅ - វាជាភាសាសរសេរកម្មវិធី ហើយមិនមែនអំពីសំណួរអ្វីទាំងអស់។

• Pandas គឺជាកាំបិតរបស់កងទ័ពស្វីសនៃវិទ្យាសាស្ត្រទិន្នន័យ បរិមាណដ៏ច្រើននៃការបំប្លែងទិន្នន័យ ការប្រមូលផ្តុំជាដើម។
• លេខ - ការគណនាវ៉ិចទ័រ ម៉ាទ្រីស និងពិជគណិតលីនេអ៊ែរនៅទីនោះ។
• Scipy - មានគណិតវិទ្យាជាច្រើននៅក្នុងកញ្ចប់នេះ ជាពិសេសស្ថិតិ។
• មន្ទីរពិសោធន៍ Jupyter - ការវិភាគទិន្នន័យរុករកជាច្រើនសមនឹងកុំព្យូទ័រយួរដៃ - មានប្រយោជន៍ក្នុងការដឹង។
• សំណើ - ធ្វើការជាមួយបណ្តាញ។
• Pyspark គឺមានប្រជាប្រិយភាពយ៉ាងខ្លាំងក្នុងចំណោមវិស្វករទិន្នន័យ ដែលភាគច្រើនទំនងជាអ្នកនឹងត្រូវធ្វើអន្តរកម្មជាមួយវា ឬ Spark ដោយគ្រាន់តែដោយសារតែប្រជាប្រិយភាពរបស់ពួកគេ។
• * សេលេញ៉ូម - មានប្រយោជន៍ខ្លាំងណាស់សម្រាប់ការប្រមូលទិន្នន័យពីគេហទំព័រ និងធនធាន ពេលខ្លះមិនមានវិធីផ្សេងទៀតដើម្បីទទួលបានទិន្នន័យនោះទេ។

ដំបូន្មានសំខាន់របស់ខ្ញុំ៖ រៀន Python!

ផេនដាស

តោះយកកូដខាងក្រោមជាឧទាហរណ៍៖

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

សំខាន់យើងឃើញថាកូដនេះសមនឹងលំនាំ SQL បុរាណ។

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

ប៉ុន្តែផ្នែកសំខាន់គឺថា កូដនេះគឺជាផ្នែកនៃស្គ្រីប និងបំពង់បង្ហូរប្រេង តាមពិតយើងកំពុងបញ្ចូលសំណួរទៅក្នុងបំពង់ Python ។ ក្នុងស្ថានភាពនេះ ភាសាសំណួរបានមករកយើងពីបណ្ណាល័យដូចជា Pandas ឬ pySpark ។

ជាទូទៅនៅក្នុង pySpark យើងឃើញប្រភេទនៃការផ្លាស់ប្តូរទិន្នន័យស្រដៀងគ្នាតាមរយៈភាសាសំណួរនៅក្នុងស្មារតីនៃ:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

កន្លែងណានិងអ្វីដែលត្រូវអាន

នៅលើ Python ខ្លួនវាជាទូទៅ មិន​មែន​ជា​បញ្ហា ស្វែងរកសម្ភារៈសិក្សា។ មានការបង្រៀនជាច្រើននៅលើអ៊ីនធឺណិត ខ្លាឃ្មុំផេនដា, pySpark និងវគ្គសិក្សានៅលើ Spark (និងដោយខ្លួនវាផ្ទាល់ DS) សរុបមក ខ្លឹមសារនៅទីនេះគឺល្អណាស់សម្រាប់ហ្គូហ្គល ហើយប្រសិនបើខ្ញុំត្រូវជ្រើសរើសកញ្ចប់មួយដើម្បីផ្តោតលើ នោះវានឹងជាខ្លាឃ្មុំផេនដា។ ទាក់ទងនឹងការរួមបញ្ចូលគ្នានៃសម្ភារៈ DS + Python ផងដែរ។ ច្រើន។.

សែលជាភាសាសំណួរ

គម្រោងដំណើរការ និងវិភាគទិន្នន័យមួយចំនួនដែលខ្ញុំបានធ្វើការជាមួយ តាមពិតទៅ ស្គ្រីបសែល ដែលហៅកូដនៅក្នុង Python, Java និងសែលបញ្ជាដោយខ្លួនឯង។ ដូច្នេះ ជាទូទៅ អ្នកអាចពិចារណាបំពង់បង្ហូរប្រេងក្នុង bash/zsh/etc ជាប្រភេទនៃសំណួរកម្រិតខ្ពស់មួយចំនួន (ជាការពិតណាស់ អ្នកអាចធ្វើបាន វត្ថុរង្វិលជុំនៅទីនោះ ប៉ុន្តែវាមិនមានលក្ខណៈធម្មតាសម្រាប់កូដ DS ជាភាសាសែលទេ) សូមផ្តល់ឱ្យ ឧទាហរណ៍សាមញ្ញមួយ - ខ្ញុំត្រូវធ្វើផែនទី QID នៃ wikidata និងតំណភ្ជាប់ពេញលេញទៅវីគីរុស្ស៊ីនិងអង់គ្លេសសម្រាប់រឿងនេះខ្ញុំបានសរសេរសំណើសាមញ្ញមួយពីពាក្យបញ្ជានៅក្នុង bash និងសម្រាប់លទ្ធផលខ្ញុំបានសរសេរស្គ្រីបសាមញ្ញនៅក្នុង Python ដែលខ្ញុំ ដាក់បញ្ចូលគ្នាដូចនេះ៖

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

ដែលជាកន្លែងដែល

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

នេះជាការពិត បំពង់បង្ហូរប្រេងទាំងមូលដែលបង្កើតផែនទីដែលត្រូវការ ដូចដែលយើងឃើញ អ្វីៗដំណើរការក្នុងរបៀបស្ទ្រីម៖

• pv filepath - ផ្តល់របារវឌ្ឍនភាពដោយផ្អែកលើទំហំឯកសារ និងឆ្លងកាត់មាតិការបស់វាបន្ត
• unpigz -c អានផ្នែកនៃប័ណ្ណសារ ហើយប្រគល់វាទៅ jq
• jq ជាមួយគន្លឹះ - ស្ទ្រីមភ្លាមៗបានបង្កើតលទ្ធផលហើយបញ្ជូនវាទៅ postprocessor (ដូចគ្នានឹងឧទាហរណ៍ដំបូង) នៅក្នុង Python
• ខាងក្នុង ម៉ាស៊ីនដំណើរការក្រោយគឺជាម៉ាស៊ីនរដ្ឋសាមញ្ញដែលធ្វើទ្រង់ទ្រាយលទ្ធផល 

សរុបមក បំពង់ស្មុគ្រស្មាញដែលដំណើរការក្នុងរបៀបលំហូរលើទិន្នន័យធំ (0.5TB) ដោយគ្មានធនធានសំខាន់ៗ និងផលិតចេញពីបំពង់ធម្មតា និងឧបករណ៍មួយចំនួន។

គន្លឹះសំខាន់មួយទៀត៖ អាចដំណើរការបានល្អ និងមានប្រសិទ្ធភាពនៅក្នុងស្ថានីយ និងសរសេរ bash/zsh/etc ។

តើវានឹងមានប្រយោជន៍នៅឯណា? បាទ / ចាសស្ទើរតែគ្រប់ទីកន្លែង - ជាថ្មីម្តងទៀតមានសម្ភារៈជាច្រើនសម្រាប់សិក្សានៅលើអ៊ីនធឺណិត។ ជាពិសេសនៅទីនេះ នេះ អត្ថបទមុនរបស់ខ្ញុំ។

ការសរសេរអក្សរ R

ជាថ្មីម្តងទៀត អ្នកអានអាចឧទាន - បាទ នេះជាភាសាសរសេរកម្មវិធីទាំងមូល! ហើយជាការពិតណាស់គាត់នឹងត្រឹមត្រូវ។ ទោះយ៉ាងណាក៏ដោយ ជាធម្មតាខ្ញុំជួប R ក្នុងបរិបទដែលតាមពិតវាស្រដៀងទៅនឹងភាសាសំណួរ។

R គឺជាបរិស្ថាននៃការគណនាស្ថិតិ និងភាសាសម្រាប់ការគណនាឋិតិវន្ត និងការមើលឃើញ (យោងទៅតាម នេះ).

បានយក ពីទីនេះ. ដោយវិធីនេះខ្ញុំសូមណែនាំវា សម្ភារៈល្អ។

ហេតុអ្វីបានជាអ្នកវិទ្យាសាស្ត្រទិន្នន័យចាំបាច់ត្រូវដឹង R? យ៉ាងហោចណាស់ ដោយសារតែមានស្រទាប់ដ៏ធំនៃអ្នកមិនមែន IT ដែលវិភាគទិន្នន័យនៅក្នុង R. ខ្ញុំបានឆ្លងកាត់វានៅកន្លែងដូចខាងក្រោម៖

• វិស័យឱសថ។
• ជីវវិទូ។
• វិស័យហិរញ្ញវត្ថុ។
• មនុស្សដែលមានការអប់រំគណិតវិទ្យាសុទ្ធសាធដែលទាក់ទងនឹងស្ថិតិ។
• គំរូស្ថិតិឯកទេស និងគំរូសិក្សាម៉ាស៊ីន (ដែលជាញឹកញាប់អាចរកឃើញតែនៅក្នុងកំណែរបស់អ្នកនិពន្ធជាកញ្ចប់ R)។

ហេតុអ្វីបានជាវាជាភាសាសំណួរ? នៅក្នុងទម្រង់ដែលវាត្រូវបានរកឃើញជាញឹកញាប់ វាគឺជាសំណើដើម្បីបង្កើតគំរូ រួមទាំងការអានទិន្នន័យ និងការជួសជុលប៉ារ៉ាម៉ែត្រសំណួរ (គំរូ) ក៏ដូចជាការមើលឃើញទិន្នន័យនៅក្នុងកញ្ចប់ដូចជា ggplot2 - នេះក៏ជាទម្រង់នៃការសរសេរសំណួរផងដែរ។ .

ឧទាហរណ៍សំណួរសម្រាប់ការមើលឃើញ

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

ជាទូទៅ គំនិតជាច្រើនពី R បានផ្លាស់ប្តូរទៅជាកញ្ចប់ python ដូចជា pandas numpy ឬ scipy ដូចជា dataframes និង data vectorization - ដូច្នេះជាទូទៅអ្វីៗជាច្រើននៅក្នុង R នឹងហាក់ដូចជាស៊ាំ និងងាយស្រួលសម្រាប់អ្នក។

មានប្រភពជាច្រើនដែលត្រូវសិក្សា ឧទាហរណ៍៖ នេះ.

ក្រាហ្វចំណេះដឹង

នៅទីនេះខ្ញុំមានបទពិសោធន៍មិនធម្មតាបន្តិច ព្រោះខ្ញុំច្រើនតែត្រូវធ្វើការជាមួយក្រាហ្វចំណេះដឹង និងភាសាសំណួរសម្រាប់ក្រាហ្វ។ ដូច្នេះ​សូម​និយាយ​ដោយ​សង្ខេប​អំពី​មូលដ្ឋាន ព្រោះ​ផ្នែក​នេះ​កម្រ​ប្លែក​ជាង​នេះ​បន្តិច។

នៅក្នុងមូលដ្ឋានទិន្នន័យទំនាក់ទំនងបុរាណ យើងមានគ្រោងការណ៍ថេរ ប៉ុន្តែនៅទីនេះ គ្រោងការណ៍គឺអាចបត់បែនបាន ការព្យាករណ៍នីមួយៗពិតជា "ជួរឈរ" និងសូម្បីតែច្រើនទៀត។

ស្រមៃថាអ្នកកំពុងយកគំរូតាមមនុស្សម្នាក់ ហើយចង់ពណ៌នាអំពីរឿងសំខាន់ៗ ឧទាហរណ៍ ចូរយើងយកមនុស្សជាក់លាក់មួយគឺ Douglas Adams ហើយប្រើការពិពណ៌នានេះជាមូលដ្ឋាន។

www.wikidata.org/wiki/Q42

ប្រសិនបើ​យើង​ប្រើ​មូលដ្ឋាន​ទិន្នន័យ​ដែល​ទាក់ទង​គ្នា យើង​នឹង​ត្រូវ​បង្កើត​តារាង ឬ​តារាង​ដ៏​ធំ​មួយ​ដែល​មាន​ចំនួន​ជួរ​ឈរ​ដ៏​ច្រើន ដែល​ភាគ​ច្រើន​ជា NULL ឬ​បំពេញ​ដោយ​តម្លៃ​មិន​ពិត​លំនាំដើម​មួយ​ចំនួន ជា​ឧទាហរណ៍ វា​មិន​ទំនង​ថា​យើង​ជា​ច្រើន​មាន ធាតុចូលបណ្ណាល័យជាតិកូរ៉េ - ជាការពិតណាស់ យើងអាចដាក់ពួកវាក្នុងតារាងដាច់ដោយឡែក ប៉ុន្តែចុងក្រោយនេះនឹងក្លាយជាការប៉ុនប៉ងដើម្បីធ្វើគំរូសៀគ្វីឡូជីខលដែលអាចបត់បែនបានជាមួយនឹងទស្សន៍ទាយដោយប្រើទំនាក់ទំនងថេរមួយ។

ដូច្នេះ ស្រមៃថាទិន្នន័យទាំងអស់ត្រូវបានរក្សាទុកជាក្រាហ្វ ឬជាកន្សោម binary និង unary ។

តើអ្នកអាចជួបប្រទះរឿងនេះនៅឯណា? ទីមួយធ្វើការជាមួយ ទិន្នន័យវីគីនិងជាមួយមូលដ្ឋានទិន្នន័យក្រាហ្វ ឬទិន្នន័យដែលបានតភ្ជាប់។

ខាង​ក្រោម​នេះ​គឺ​ជា​ភាសា​សំណួរ​ចម្បង​ដែល​ខ្ញុំ​បាន​ប្រើ​និង​ធ្វើ​ការ​ជាមួយ។

SPARQL

វីគី:
SPARQL (អក្សរកាត់ recursive ពី អេង។ ពិធីសារ SPARQL និងភាសាសំណួរ RDF) - ភាសាសំណួរទិន្នន័យតំណាងដោយគំរូ RDF, ក៏ដូចជា ពិធីការ ដើម្បីបញ្ជូនសំណើទាំងនេះ និងឆ្លើយតបទៅពួកគេ។ SPARQL គឺជាការណែនាំ សម្ព័ន្ធ W3C និងបច្ចេកវិទ្យាមួយក្នុងចំណោមបច្ចេកវិទ្យា បណ្តាញន័យវិទ្យា.

ប៉ុន្តែតាមពិត វាគឺជាភាសាសំណួរសម្រាប់តក្កវិជ្ជា unary និង binary predicates ។ អ្នកគ្រាន់តែបញ្ជាក់តាមលក្ខខណ្ឌថាអ្វីដែលត្រូវបានជួសជុលនៅក្នុងកន្សោម Boolean និងអ្វីដែលមិនមែន (សាមញ្ញណាស់)។

មូលដ្ឋាន RDF (Resource Description Framework) ខ្លួនវាផ្ទាល់ ដែលសំណួរ SPARQL ត្រូវបានប្រតិបត្តិ គឺបីដង object, predicate, subject - ហើយសំណួរជ្រើសរើសបីដងដែលត្រូវការយោងទៅតាមការរឹតបន្តឹងដែលបានបញ្ជាក់នៅក្នុងស្មារតី៖ ស្វែងរក X ដែល p_55 (X, q_33) គឺពិត - ដែលជាការពិត p_55 គឺជាប្រភេទនៃទំនាក់ទំនងមួយចំនួនជាមួយ ID 55 ហើយ q_33 គឺជា វត្ថុដែលមានលេខសម្គាល់ 33 (នៅទីនេះ និងរឿងទាំងមូល ជាថ្មីម្តងទៀតលុបចោលរាល់ប្រភេទនៃព័ត៌មានលម្អិត)។

ឧទាហរណ៍នៃការបង្ហាញទិន្នន័យ៖

រូបភាព និងឧទាហរណ៍ជាមួយប្រទេសនៅទីនេះ ពីទីនេះ.

ឧទាហរណ៍សំណួរមូលដ្ឋាន

តាមការពិត យើងចង់ស្វែងរកតម្លៃនៃអថេរ ?ប្រទេស ដូចនេះសម្រាប់ទស្សន៍ទាយ
member_of វាជាការពិតដែលថា member_of(?country,q458) និង q458 គឺជាលេខសម្គាល់របស់សហភាពអឺរ៉ុប។

ឧទាហរណ៍នៃសំណួរ SPARQL ពិតប្រាកដនៅក្នុងម៉ាស៊ីន python៖

ជាធម្មតា ខ្ញុំត្រូវអាន SPARQL ជាជាងសរសេរវា - ក្នុងស្ថានភាពនោះ វាទំនងជាជំនាញដ៏មានប្រយោជន៍ក្នុងការយល់ភាសាយ៉ាងហោចណាស់ក្នុងកម្រិតមូលដ្ឋាន ដើម្បីយល់ច្បាស់អំពីរបៀបដែលទិន្នន័យត្រូវបានទាញយក។ 

មានសម្ភារៈជាច្រើនសម្រាប់សិក្សាតាមអ៊ីនធឺណិត៖ ឧទាហរណ៍នៅទីនេះ នេះ и នេះ. ជាធម្មតាខ្ញុំ google ការរចនា និងឧទាហរណ៍ជាក់លាក់ ហើយវាគ្រប់គ្រាន់សម្រាប់ពេលនេះ។

ភាសាសំណួរឡូជីខល

អ្នកអាចអានបន្ថែមលើប្រធានបទនៅក្នុងអត្ថបទរបស់ខ្ញុំ នៅទីនេះ. ហើយនៅទីនេះ យើងនឹងពិនិត្យមើលយ៉ាងខ្លីថាហេតុអ្វីបានជាភាសាឡូជីខលគឺសមល្អសម្រាប់ការសរសេរសំណួរ។ សំខាន់ RDF គឺគ្រាន់តែជាសំណុំនៃសេចក្តីថ្លែងការណ៍តក្កវិជ្ជានៃទម្រង់ p(X) និង h(X,Y) ហើយសំណួរឡូជីខលមានទម្រង់ដូចខាងក្រោមៈ

output(X) :- country(X), member_of(X,“EU”).

នៅទីនេះយើងកំពុងនិយាយអំពីការបង្កើតលទ្ធផលព្យាករណ៍ថ្មី / 1 (/1 មានន័យថា unary) បានផ្តល់ថាសម្រាប់ X វាជាការពិតដែលប្រទេស (X) - ពោលគឺ X គឺជាប្រទេសមួយ ហើយក៏ជាសមាជិកនៃ (X "EU") ផងដែរ។

នោះគឺក្នុងករណីនេះ ទាំងទិន្នន័យ និងច្បាប់ត្រូវបានបង្ហាញតាមរបៀបដូចគ្នា ដែលធ្វើឱ្យវាអាចធ្វើគំរូបញ្ហាបានយ៉ាងងាយ និងល្អ។

តើអ្នកបានជួបនៅឯណាក្នុងឧស្សាហកម្មនេះ?៖ គម្រោងធំទាំងមូលជាមួយក្រុមហ៊ុនដែលសរសេរសំណួរជាភាសាបែបនេះ ក៏ដូចជាគម្រោងបច្ចុប្បន្ននៅក្នុងស្នូលនៃប្រព័ន្ធ - វាហាក់ដូចជាថានេះជារឿងកម្រនិងអសកម្ម ប៉ុន្តែពេលខ្លះវាកើតឡើង។

ឧទាហរណ៍នៃបំណែកកូដនៅក្នុង wikidata ដំណើរការភាសាឡូជីខល៖

សម្ភារៈ៖ ខ្ញុំនឹងផ្តល់ឱ្យនៅទីនេះនូវតំណភ្ជាប់ពីរបីទៅភាសាកម្មវិធីឡូជីខលទំនើប ចម្លើយកំណត់កម្មវិធី - ខ្ញុំសូមណែនាំឱ្យសិក្សាវា៖

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

ប្រភព: www.habr.com