ចំណាប់អារម្មណ៍ដំបូងរបស់ Amazon Neptune

សូមជំរាបសួរអ្នកស្រុក Khabrovsk ។ នៅក្នុងការរំពឹងទុកនៃការចាប់ផ្តើមនៃវគ្គសិក្សា "AWS សម្រាប់អ្នកអភិវឌ្ឍន៍" យើងបានរៀបចំការបកប្រែនៃសម្ភារៈដែលគួរឱ្យចាប់អារម្មណ៍។

ក្នុងករណីជាច្រើនដែលយើងចូលចិត្ត bakdataដូចដែលយើងឃើញនៅលើគេហទំព័ររបស់អតិថិជនរបស់យើង ព័ត៌មានពាក់ព័ន្ធត្រូវបានលាក់នៅក្នុងការតភ្ជាប់រវាងអង្គភាព ឧទាហរណ៍នៅពេលវិភាគទំនាក់ទំនងរវាងអ្នកប្រើប្រាស់ ភាពអាស្រ័យរវាងធាតុ ឬការតភ្ជាប់រវាងឧបករណ៍ចាប់សញ្ញា។ ករណីប្រើប្រាស់បែបនេះជាធម្មតាត្រូវបានយកគំរូតាមក្រាហ្វ។ កាលពីដើមឆ្នាំនេះក្រុមហ៊ុន Amazon បានចេញផ្សាយមូលដ្ឋានទិន្នន័យក្រាហ្វិកថ្មីរបស់ខ្លួនគឺ Neptune ។ នៅក្នុងការប្រកាសនេះ យើងចង់ចែករំលែកគំនិតដំបូងរបស់យើង ការអនុវត្តល្អ និងអ្វីដែលអាចត្រូវបានកែលម្អតាមពេលវេលា។

ហេតុអ្វីបានជាយើងត្រូវការ Amazon Neptune

មូលដ្ឋានទិន្នន័យក្រាហ្វសន្យាថានឹងដោះស្រាយសំណុំទិន្នន័យដែលមានទំនាក់ទំនងខ្ពស់ប្រសើរជាងសមមូលទំនាក់ទំនងរបស់ពួកគេ។ នៅក្នុងសំណុំទិន្នន័យបែបនេះ ព័ត៌មានដែលពាក់ព័ន្ធជាធម្មតាត្រូវបានរក្សាទុកក្នុងទំនាក់ទំនងរវាងវត្ថុ។ យើងបានប្រើគម្រោងទិន្នន័យបើកចំហដ៏អស្ចារ្យមួយដើម្បីសាកល្បង Neptune តន្ត្រីប្រេន. MusicBrainz ប្រមូលរាល់ទិន្នន័យមេតាតន្ត្រីដែលអាចស្រមៃបាន ដូចជាព័ត៌មានអំពីសិល្បករ បទចម្រៀង ការចេញអាល់ប៊ុម ឬការប្រគុំតន្ត្រី ក៏ដូចជាថាតើសិល្បករនៅពីក្រោយបទចម្រៀងបានសហការជាមួយនរណា ឬនៅពេលដែលអាល់ប៊ុមនេះត្រូវបានចេញផ្សាយនៅប្រទេសណា។ MusicBrainz អាចត្រូវបានគេមើលឃើញថាជាបណ្តាញដ៏ធំនៃអង្គភាពដែលមានទំនាក់ទំនងដូចម្ដេចទៅនឹងឧស្សាហកម្មតន្ត្រី។

សំណុំទិន្នន័យ MusicBrainz ត្រូវបានផ្តល់ជូនជាឯកសារ CSV នៃមូលដ្ឋានទិន្នន័យទំនាក់ទំនង។ សរុបមក កន្លែងចាក់សំរាមមានប្រហែល 93 លានជួរក្នុង 157 តុ។ ខណៈពេលដែលតារាងទាំងនេះមួយចំនួនមានទិន្នន័យមូលដ្ឋានដូចជាសិល្បករ ព្រឹត្តិការណ៍ ការថត ការចេញផ្សាយ ឬបទផ្សេងទៀត។ តារាងតំណ — រក្សាទុកទំនាក់ទំនងរវាងសិល្បករ និងការថតសំឡេង សិល្បករផ្សេងទៀត ឬការចេញផ្សាយជាដើម... ពួកគេបង្ហាញពីរចនាសម្ព័ន្ធក្រាហ្វនៃសំណុំទិន្នន័យ។ នៅពេលបំប្លែងសំណុំទិន្នន័យទៅជាបីដង RDF យើងទទួលបានប្រហែល 500 លានករណី។

ដោយផ្អែកលើបទពិសោធន៍ និងការចាប់អារម្មណ៍របស់ដៃគូគម្រោងដែលយើងធ្វើការ យើងបង្ហាញអំពីការកំណត់ដែលមូលដ្ឋានចំណេះដឹងនេះត្រូវបានប្រើដើម្បីទទួលបានព័ត៌មានថ្មី។ លើសពីនេះ យើងរំពឹងថាវានឹងត្រូវបានធ្វើបច្ចុប្បន្នភាពជាទៀងទាត់ ឧទាហរណ៍ដោយការបន្ថែមការចេញផ្សាយថ្មី ឬធ្វើបច្ចុប្បន្នភាពសមាជិកក្រុម។

ការលៃតម្រូវ

ដូចដែលបានរំពឹងទុក ការដំឡើង Amazon Neptune គឺសាមញ្ញ។ នាងលម្អិតណាស់។ បានចងក្រងជាឯកសារ. អ្នកអាចបើកដំណើរការមូលដ្ឋានទិន្នន័យក្រាហ្វដោយគ្រាន់តែចុចពីរបីដងប៉ុណ្ណោះ។ ទោះយ៉ាងណាក៏ដោយនៅពេលដែលវាមកដល់ការកំណត់រចនាសម្ព័ន្ធលម្អិតបន្ថែមទៀត។ ព័ត៌មានចាំបាច់ ពិបាករក។ ដូច្នេះហើយ យើងចង់ចង្អុលទៅប៉ារ៉ាម៉ែត្រកំណត់រចនាសម្ព័ន្ធមួយ។

ការកំណត់រចនាសម្ព័ន្ធរូបថតអេក្រង់សម្រាប់ក្រុមប៉ារ៉ាម៉ែត្រ

ក្រុមហ៊ុន Amazon និយាយថា Neptune ផ្តោតលើបន្ទុកប្រតិបត្តិការដែលមានភាពយឺតយ៉ាវទាប ដែលជាមូលហេតុដែលការពន្យារពេលនៃការស្នើសុំលំនាំដើមគឺ 120 វិនាទី។ ទោះជាយ៉ាងណាក៏ដោយ យើងបានសាកល្បងករណីប្រើប្រាស់វិភាគជាច្រើន ដែលយើងបានឈានដល់កម្រិតនេះជាប្រចាំ។ ការអស់ពេលនេះអាចត្រូវបានផ្លាស់ប្តូរដោយបង្កើតក្រុមប៉ារ៉ាម៉ែត្រថ្មីសម្រាប់ Neptune និងការកំណត់ neptune_query_timeout ការរឹតបន្តឹងដែលត្រូវគ្នា។

កំពុងផ្ទុកទិន្នន័យ

ខាងក្រោមនេះយើងនឹងពិភាក្សាលម្អិតអំពីរបៀបដែលយើងផ្ទុកទិន្នន័យ MusicBrainz ទៅក្នុង Neptune ។

ទំនាក់ទំនងជាបី

ដំបូង យើងបានបំប្លែងទិន្នន័យ MusicBrainz ទៅជា RDF បីដង។ ដូច្នេះ សម្រាប់តារាងនីមួយៗ យើងបានកំណត់គំរូមួយដែលកំណត់ពីរបៀបដែលជួរឈរនីមួយៗត្រូវបានតំណាងនៅក្នុងបីដង។ ក្នុងឧទាហរណ៍នេះ ជួរនីមួយៗពីតារាងអ្នកសំដែងត្រូវបានគូសផែនទីជាដប់ពីរ RDF បីដង។

<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gid> "${gid}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/name> "${name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/sort-name> "${sort_name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/begin-date> "${begin_date_year}-${begin_date_month}-${begin_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/end-date> "${end_date_year}-${end_date_month}-${end_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/type> <http://musicbrainz.foo/artist-type/${type}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/area> <http://musicbrainz.foo/area/${area}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gender> <http://musicbrainz.foo/gender/${gender}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/comment> "${comment}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/edits-pending> "${edits_pending}"^^<http://www.w3.org/2001/XMLSchema#int> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/last-updated> "${last_updated}"^^<http://www.w3.org/2001/XMLSchema#dateTime> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/ended> "${ended}"^^<http://www.w3.org/2001/XMLSchema#boolean> .

ផ្ទុកឡើងច្រើន។

មធ្យោបាយដែលបានស្នើដើម្បីផ្ទុកទិន្នន័យយ៉ាងច្រើនទៅក្នុង Neptune គឺតាមរយៈដំណើរការផ្ទុកទិន្នន័យច្រើនតាមរយៈ S3។ បន្ទាប់ពីបង្ហោះឯកសារបីដងរបស់អ្នកទៅ S3 អ្នកចាប់ផ្តើមការបង្ហោះដោយប្រើសំណើ POST ។ ក្នុងករណីរបស់យើង វាត្រូវចំណាយពេលប្រហែល 24 ម៉ោងសម្រាប់ 500 លានបីដង។ យើងរំពឹងថាវានឹងលឿនជាងមុន។

curl -X POST -H 'Content-Type: application/json' http://your-neptune-cluster:8182/loader -d '{
 
 
 "source" : "s3://your-s3-bucket",
 
 "format" : "ntriples",
 
 "iamRoleArn" : "arn:aws:iam::your-iam-user:role/NeptuneLoadFromS3",
 
 "region" : "eu-west-1",
 
 "failOnError" : "FALSE"
 
}'

ដើម្បីជៀសវាងដំណើរការដ៏វែងនេះ រាល់ពេលដែលយើងបើកដំណើរការ Neptune យើងបានសម្រេចចិត្តស្ដារឧទាហរណ៍ពីរូបថតមួយសន្លឹកដែលបីគ្រាប់ទាំងនេះត្រូវបានផ្ទុករួចហើយ។ ការរត់ចេញពីរូបថតគឺលឿនជាងខ្លាំង ប៉ុន្តែនៅតែត្រូវចំណាយពេលប្រហែលមួយម៉ោងរហូតដល់ Neptune មានសម្រាប់សំណើ។

នៅពេលចាប់ផ្តើមផ្ទុកបីដងទៅក្នុងភពណិបទូន យើងបានជួបប្រទះបញ្ហាផ្សេងៗ។

{
 
 
 "errorCode" : "PARSING_ERROR",
 
 "errorMessage" : "Content after '.' is not allowed",
 
 "fileName" : [...],
 
 "recordNum" : 25
 
}

ពួកគេមួយចំនួនមានកំហុសក្នុងការវិភាគ ដូចបានបង្ហាញខាងលើ។ មក​ដល់​ពេល​នេះ យើង​នៅ​មិន​ទាន់​ដឹង​ថា​មាន​អ្វី​ខុស​ត្រង់​ចំណុច​នេះ​ទេ។ ព័ត៌មានលម្អិតបន្តិចទៀតប្រាកដជាអាចជួយនៅទីនេះ។ កំហុសនេះបានកើតឡើងប្រហែល 1% នៃការបញ្ចូលបីដង។ ប៉ុន្តែ​បើ​តាម​ការ​សាកល្បង​ Neptune យើង​បាន​ទទួល​យក​ការ​ពិត​ដែល​ថា​យើង​ធ្វើ​ការ​បាន​តែ 99% នៃ​ព័ត៌មាន​ពី MusicBrainz ប៉ុណ្ណោះ។

ទោះបីជាវាងាយស្រួលសម្រាប់អ្នកដែលស្គាល់ SPARQL ក៏ដោយ ក៏ត្រូវដឹងថា RDF បីដងត្រូវតែត្រូវបានកត់សម្គាល់ជាមួយនឹងប្រភេទទិន្នន័យច្បាស់លាស់ ដែលអាចបណ្តាលឱ្យមានកំហុសម្តងទៀត។

ការទាញយកស្ទ្រីម

ដូចដែលបានរៀបរាប់ខាងលើ យើងមិនចង់ប្រើ Neptune ជាឃ្លាំងទិន្នន័យឋិតិវន្តទេ ប៉ុន្តែជាមូលដ្ឋានចំណេះដឹងដែលអាចបត់បែនបាន និងវិវត្តន៍។ ដូច្នេះ យើងត្រូវស្វែងរកវិធីដើម្បីណែនាំបីដងថ្មី នៅពេលដែលមូលដ្ឋានចំណេះដឹងផ្លាស់ប្តូរ ឧទាហរណ៍នៅពេលដែលអាល់ប៊ុមថ្មីត្រូវបានបោះពុម្ព ឬនៅពេលដែលយើងចង់បង្កើតចំណេះដឹងដែលទទួលបាន។

Neptune គាំទ្រប្រតិបត្តិករបញ្ចូលតាមរយៈសំណួរ SPARQL ទាំងឆៅ និងគំរូផ្អែកលើ។ យើងនឹងពិភាក្សាអំពីវិធីសាស្រ្តទាំងពីរខាងក្រោម។

គោលដៅមួយក្នុងចំណោមគោលដៅរបស់យើងគឺបញ្ចូលទិន្នន័យក្នុងលក្ខណៈស្ទ្រីម។ ពិចារណា​ចេញ​អាល់ប៊ុម​ក្នុង​ប្រទេស​ថ្មី។ តាមទស្សនៈរបស់ MusicBrainz នេះមានន័យថាសម្រាប់ការចេញផ្សាយដែលរួមបញ្ចូលអាល់ប៊ុម បទចម្រៀង EPs ជាដើម។ ធាតុថ្មីត្រូវបានបន្ថែមទៅក្នុងតារាង។ ប្រទេសដោះលែង. នៅក្នុង RDF យើងផ្គូផ្គងព័ត៌មាននេះជាមួយនឹងបីដងថ្មី។

INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/release> <http://musicbrainz.foo/release/435759> };INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/date-year> "2018"^^<http://www.w3.org/2001/XMLSchema#int> };

គោលដៅមួយទៀតគឺដើម្បីទទួលបានចំណេះដឹងថ្មីៗពីក្រាហ្វ។ ចូរនិយាយថាយើងចង់ទទួលបានចំនួននៃការចេញផ្សាយដែលសិល្បករនីមួយៗបានបោះពុម្ពនៅក្នុងអាជីពរបស់ពួកគេ។ សំណួរបែបនេះគឺស្មុគស្មាញណាស់ ហើយចំណាយពេលជាង 20 នាទីនៅក្នុងភពណិបទូន ដូច្នេះយើងត្រូវបង្កើតលទ្ធផល ដើម្បីប្រើប្រាស់ចំណេះដឹងថ្មីនេះឡើងវិញនៅក្នុងសំណួរផ្សេងទៀត។ ដូច្នេះយើងបន្ថែមបីដងជាមួយនឹងព័ត៌មាននេះត្រឡប់ទៅក្រាហ្វ ដោយបញ្ចូលលទ្ធផលនៃសំណួររង។

INSERT {
 
 
  ?artist_credit <http://musicbrainz.foo/number-of-releases> ?number_of_releases
 
} WHERE {
 
  SELECT ?artist_credit (COUNT(*) as ?number_of_releases)
 
  WHERE {
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
  }
 
  GROUP BY ?artist_credit
 
}

ការបន្ថែមបីដងតែមួយទៅក្រាហ្វត្រូវចំណាយពេលពីរបីមិល្លីវិនាទី ខណៈដែលពេលវេលាប្រតិបត្តិសម្រាប់ការបញ្ចូលលទ្ធផលនៃសំណួររងគឺអាស្រ័យលើពេលវេលាប្រតិបត្តិនៃសំណួររងដោយខ្លួនឯង។

ទោះបីជាយើងមិនបានប្រើវាញឹកញាប់ក៏ដោយ Neptune ក៏អនុញ្ញាតឱ្យអ្នកលុប triplets ដោយផ្អែកលើគំរូ ឬទិន្នន័យច្បាស់លាស់ ដែលអាចត្រូវបានប្រើដើម្បីធ្វើបច្ចុប្បន្នភាពព័ត៌មាន។

សំណួរ SPARQL

តាមរយៈការណែនាំគំរូរងមុន ដែលបង្ហាញចំនួននៃការចេញផ្សាយសម្រាប់សិល្បករនីមួយៗ យើងបានណែនាំប្រភេទសំណួរដំបូងដែលយើងចង់ឆ្លើយដោយប្រើ Neptune រួចហើយ។ ការកសាងសំណួរនៅក្នុង Neptune គឺងាយស្រួល - ផ្ញើសំណើ POST ទៅកាន់ចំណុចបញ្ចប់ SPARQL ដូចដែលបានបង្ហាញខាងក្រោម៖

curl -X POST --data-binary 'query=SELECT ?artist ?p ?o where {?artist <http://musicbrainz.foo/name> "Elton John" . ?artist ?p ?o . }' http://your-neptune-cluster:8182/sparql

លើសពីនេះ យើងបានអនុវត្តសំណួរដែលត្រឡប់ប្រវត្តិរូបសិល្បករដែលមានព័ត៌មានអំពីឈ្មោះ អាយុ ឬប្រទេសដើមរបស់ពួកគេ។ សូមចងចាំថាអ្នកសំដែងអាចជាបុគ្គល ក្រុមតន្រ្តី ឬវង់តន្រ្តី។ លើសពីនេះ យើងបន្ថែមទិន្នន័យនេះជាមួយនឹងព័ត៌មានអំពីចំនួននៃការចេញផ្សាយដោយសិល្បករក្នុងអំឡុងឆ្នាំ។ សម្រាប់សិល្បករទោល យើងក៏បន្ថែមព័ត៌មានអំពីក្រុមតន្ត្រីដែលសិល្បករចូលរួមជារៀងរាល់ឆ្នាំផងដែរ។

SELECT
 
 
 ?artist_name ?year
 
 ?releases_in_year ?releases_up_year
 
 ?artist_type_name ?releases
 
 ?artist_gender ?artist_country_name
 
 ?artist_begin_date ?bands
 
 ?bands_in_year
 
WHERE {
 
 # Bands for each artist
 
 {
 
   SELECT
 
     ?year
 
     ?first_artist
 
     (group_concat(DISTINCT ?second_artist_name;separator=",") as ?bands)
 
     (COUNT(DISTINCT ?second_artist_name) AS ?bands_in_year)     
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018
 
     }   
 
     ?first_artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?first_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?first_artist <http://musicbrainz.foo/type> ?first_artist_type .
 
     ?first_artist <http://musicbrainz.foo/name> ?first_artist_name .
 

 
 
     ?second_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?second_artist <http://musicbrainz.foo/type> ?second_artist_type .
 
     ?second_artist <http://musicbrainz.foo/name> ?second_artist_name .
 
     optional { ?second_artist <http://musicbrainz.foo/begin-date-year> ?second_artist_begin_date_year . }
 
     optional { ?second_artist <http://musicbrainz.foo/end-date-year> ?second_artist_end_date_year . }
 

 
 
     ?l_artist_artist <http://musicbrainz.foo/entity0> ?first_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/entity1> ?second_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/link> ?link .
 

 
 
     optional { ?link <http://musicbrainz.foo/begin-date-year> ?link_begin_date_year . }
 
     optional { ?link <http://musicbrainz.foo/end-date-year> ?link_end_date_year . }
 

 
 
     FILTER (!bound(?link_begin_date_year) || ?link_begin_date_year <= ?year)
 
     FILTER (!bound(?link_end_date_year) || ?link_end_date_year >= ?year)
 
     FILTER (!bound(?second_artist_begin_date_year) || ?second_artist_begin_date_year <= ?year)
 
     FILTER (!bound(?second_artist_end_date_year) || ?second_artist_end_date_year >= ?year)
 
     FILTER (?first_artist_type NOT IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
     FILTER (?second_artist_type IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
   }
 
   GROUP BY ?first_artist ?year
 
 }
 
 # Releases up to a year
 
 {
 
   SELECT
 
     ?artist
 
     ?year
 
     (group_concat(DISTINCT ?release_name;separator=",") as ?releases)
 
     (COUNT(*) as ?releases_up_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release <http://musicbrainz.foo/name> ?release_name .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year <= ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Releases in a year
 
 {
 
   SELECT ?artist ?year (COUNT(*) as ?releases_in_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year = ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Master data
 
 {
 
   SELECT DISTINCT ?artist ?artist_name ?artist_gender ?artist_begin_date ?artist_country_name
 
   WHERE {
 
     ?artist <http://musicbrainz.foo/name> ?artist_name .
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?artist <http://musicbrainz.foo/gender> ?artist_gender_id .
 
     ?artist_gender_id <http://musicbrainz.foo/name> ?artist_gender .
 
     ?artist <http://musicbrainz.foo/area> ?birth_area .
 
     ?artist <http://musicbrainz.foo/begin-date-year> ?artist_begin_date.
 
     ?birth_area <http://musicbrainz.foo/name> ?artist_country_name .
 

 
 
     FILTER(datatype(?artist_begin_date) = xsd:int)
 
   }

ដោយសារតែភាពស្មុគស្មាញនៃសំណួរបែបនេះ យើងអាចអនុវត្តសំណួរសម្រាប់តែសិល្បករជាក់លាក់មួយប៉ុណ្ណោះ ដូចជា Elton John ប៉ុន្តែមិនមែនសម្រាប់សិល្បករទាំងអស់នោះទេ។ Neptune ហាក់ដូចជាមិនបង្កើនប្រសិទ្ធភាពសំណួរបែបនេះទេដោយទម្លាក់តម្រងទៅក្នុងជម្រើសរង។ ដូច្នេះការជ្រើសរើសនីមួយៗត្រូវតែត្រងដោយដៃដោយឈ្មោះសិល្បករ។

Neptune មានការគិតថ្លៃរៀងរាល់ម៉ោង និងក្នុងមួយ I/O ។ សម្រាប់ការធ្វើតេស្តរបស់យើង យើងបានប្រើឧទាហរណ៍ Neptune អប្បបរមាទទេ ដែលមានតម្លៃ $0,384/ម៉ោង។ នៅក្នុងករណីនៃសំណួរខាងលើ ដែលគណនាទម្រង់សម្រាប់កម្មករតែមួយ ក្រុមហ៊ុន Amazon គិតថ្លៃប្រតិបត្តិការ I/O រាប់ម៉ឺនដុល្លារ ដែលមានន័យថាមានតម្លៃ 0.02 ដុល្លារ។

សេចក្តីសន្និដ្ឋាន

ដំបូង Amazon Neptune រក្សាការសន្យាភាគច្រើនរបស់ខ្លួន។ ក្នុងនាមជាសេវាកម្មគ្រប់គ្រង វាគឺជាមូលដ្ឋានទិន្នន័យក្រាហ្វដែលមានភាពងាយស្រួលក្នុងការដំឡើង ហើយអាចដំណើរការបានដោយមិនចាំបាច់កំណត់រចនាសម្ព័ន្ធច្រើន។ នេះគឺជាការរកឃើញសំខាន់ៗចំនួនប្រាំរបស់យើង៖

• ការ​ផ្ទុក​ឡើង​ជា​ច្រើន​គឺ​ងាយ​ស្រួល​ប៉ុន្តែ​យឺត។ ប៉ុន្តែ​វា​អាច​ស្មុគស្មាញ​ជាមួយ​នឹង​សារ​កំហុស​ដែល​មិន​មាន​ប្រយោជន៍​ខ្លាំង។
• ការទាញយកស្ទ្រីមគាំទ្រអ្វីគ្រប់យ៉ាងដែលយើងរំពឹងទុក និងលឿនណាស់។
• សំណួរគឺសាមញ្ញ ប៉ុន្តែមិនមានអន្តរកម្មគ្រប់គ្រាន់ដើម្បីដំណើរការសំណួរវិភាគ
• សំណួរ SPARQL ត្រូវតែធ្វើឱ្យប្រសើរដោយដៃ
• ការទូទាត់របស់ Amazon គឺពិបាកក្នុងការប៉ាន់ស្មានព្រោះវាពិបាកក្នុងការប៉ាន់ប្រមាណចំនួនទិន្នន័យដែលបានស្កេនដោយសំណួរ SPARQL ។

អស់ហើយ។ ចុះឈ្មោះ​សម្រាប់ webinar ឥតគិតថ្លៃលើប្រធានបទ "ការផ្ទុកតុល្យភាព".


ប្រភព: www.habr.com