Први утисци о Амазон Нептуну

Поздрав, становници Хабровска. У ишчекивању почетка курса „АВС за програмере“ Припремили смо превод занимљивог материјала.

У многим случајевима употребе који нам се свиђају бакдатаКао што видимо на веб страницама наших клијената, релевантне информације су скривене у везама између ентитета, на пример када се анализирају односи између корисника, зависности између елемената или везе између сензора. Такви случајеви употребе обично се моделују на графикону. Раније ове године, Амазон је објавио своју нову базу података графова, Нептун. У овом посту желимо да поделимо наше прве идеје, добре праксе и шта се временом може побољшати.

Зашто нам је требао Амазон Нептун

Графичке базе података обећавају да ће боље руковати високо повезаним скуповима података од њихових релационих еквивалената. У таквим скуповима података, релевантне информације се обично чувају у односима између објеката. Користили смо невероватан пројекат отворених података да тестирамо Нептун МусицБраинз. МусицБраинз прикупља све врсте музичких метаподатака које се може замислити, као што су информације о извођачима, песмама, издањима албума или концертима, као и о томе са ким је уметник који стоји иза песме сарађивао или када је албум објављен у којој земљи. МусицБраинз се може посматрати као огромна мрежа ентитета који су на неки начин повезани са музичком индустријом.

МусицБраинз скуп података је обезбеђен као ЦСВ думп релационе базе података. Укупно, думп садржи око 93 милиона редова у 157 табела. Док неке од ових табела садрже основне податке као што су извођачи, догађаји, снимци, издања или нумере, други везе табеле — чувају односе између извођача и снимака, других извођача или издања, итд... Они демонстрирају структуру графикона скупа података. Када смо конвертовали скуп података у РДФ тројке, добили смо приближно 500 милиона инстанци.

На основу искуства и утисака пројектних партнера са којима сарађујемо, представљамо окружење у којем се ова база знања користи за добијање нових информација. Поред тога, очекујемо да се редовно ажурира, на пример додавањем нових издања или ажурирањем чланова групе.

подешавање

Као што се и очекивало, инсталирање Амазон Нептуна је једноставно. Она је прилично детаљна документовано. Можете покренути базу података графикона у само неколико кликова. Међутим, када је у питању детаљнија конфигурација, потребне информације тешко пронаћи. Стога желимо да укажемо на један конфигурациони параметар.

Снимак екрана конфигурације за групе параметара

Амазон каже да се Нептуне фокусира на трансакцијска оптерећења са малим кашњењем, због чега је подразумевано временско ограничење захтева 120 секунди. Међутим, тестирали смо многе аналитичке случајеве употребе у којима смо редовно достизали ову границу. Ово временско ограничење се може променити креирањем нове групе параметара за Нептун и подешавањем neptune_query_timeout одговарајуће ограничење.

Учитавање података

У наставку ћемо детаљно размотрити како смо учитали МусицБраинз податке у Нептун.

Односи у троје

Прво смо конвертовали МусицБраинз податке у РДФ тројке. Стога смо за сваку табелу дефинисали шаблон који дефинише како је свака колона представљена у тројци. У овом примеру, сваки ред из табеле извођача је мапиран у дванаест РДФ тројки.

<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gid> "${gid}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/name> "${name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/sort-name> "${sort_name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/begin-date> "${begin_date_year}-${begin_date_month}-${begin_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/end-date> "${end_date_year}-${end_date_month}-${end_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/type> <http://musicbrainz.foo/artist-type/${type}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/area> <http://musicbrainz.foo/area/${area}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gender> <http://musicbrainz.foo/gender/${gender}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/comment> "${comment}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/edits-pending> "${edits_pending}"^^<http://www.w3.org/2001/XMLSchema#int> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/last-updated> "${last_updated}"^^<http://www.w3.org/2001/XMLSchema#dateTime> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/ended> "${ended}"^^<http://www.w3.org/2001/XMLSchema#boolean> .

Групно отпремање

Предложени начин за учитавање велике количине података у Нептун је процес масовног учитавања преко С3. Након што отпремите своје трипле датотеке на С3, почињете отпремање помоћу ПОСТ захтева. У нашем случају, требало је око 24 сата за 500 милиона тројки. Очекивали смо да ће бити брже.

curl -X POST -H 'Content-Type: application/json' http://your-neptune-cluster:8182/loader -d '{
 
 
 "source" : "s3://your-s3-bucket",
 
 "format" : "ntriples",
 
 "iamRoleArn" : "arn:aws:iam::your-iam-user:role/NeptuneLoadFromS3",
 
 "region" : "eu-west-1",
 
 "failOnError" : "FALSE"
 
}'

Да бисмо избегли овај дуготрајан процес сваки пут када покренемо Нептун, одлучили смо да вратимо инстанцу са снимка у којем су ове тројке већ учитане. Покретање са снимка је знатно брже, али и даље траје око сат времена док Нептун не буде доступан за захтеве.

Приликом првобитног учитавања тројки у Нептун, наишли смо на разне грешке.

{
 
 
 "errorCode" : "PARSING_ERROR",
 
 "errorMessage" : "Content after '.' is not allowed",
 
 "fileName" : [...],
 
 "recordNum" : 25
 
}

Неке од њих су биле грешке при рашчлањивању, као што је приказано изнад. До данас још увек нисмо схватили шта је тачно пошло наопако у овом тренутку. Мало више детаља би овде свакако помогло. Ова грешка се догодила за приближно 1% уметнутих тројки. Али што се тиче тестирања Нептуна, прихватили смо чињеницу да радимо само са 99% информација из МусицБраинза.

Иако је ово лако за људе који су упознати са СПАРКЛ-ом, имајте на уму да РДФ тројке морају бити означене експлицитним типовима података, што опет може узроковати грешке.

Стримовање преузимања

Као што је горе поменуто, не желимо да користимо Нептун као статичко складиште података, већ као флексибилну базу знања која се развија. Зато смо морали да пронађемо начине да уведемо нове тројке када се база знања промени, на пример када се објави нови албум или када желимо да материјализујемо изведено знање.

Нептуне подржава операторе уноса кроз СПАРКЛ упите, необрађене и засноване на узорку. У наставку ћемо разговарати о оба приступа.

Један од наших циљева је био да унесемо податке на стриминг начин. Размислите о издавању албума у ​​новој земљи. Из перспективе МусицБраинза, то значи да се за издање које укључује албуме, синглове, ЕП-ове, итд., додаје нови унос у табелу ослободи-земља. У РДФ-у ову информацију повезујемо са две нове тројке.

INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/release> <http://musicbrainz.foo/release/435759> };INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/date-year> "2018"^^<http://www.w3.org/2001/XMLSchema#int> };

Други циљ је био добијање нових знања из графикона. Рецимо да желимо да добијемо број издања које је сваки уметник објавио у својој каријери. Такав упит је прилично сложен и траје преко 20 минута у Нептуну, тако да морамо материјализовати резултат како бисмо поново искористили ово ново знање у неком другом упиту. Тако да додајемо тројке са овом информацијом назад на графикон, уносећи резултат подупита.

INSERT {
 
 
  ?artist_credit <http://musicbrainz.foo/number-of-releases> ?number_of_releases
 
} WHERE {
 
  SELECT ?artist_credit (COUNT(*) as ?number_of_releases)
 
  WHERE {
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
  }
 
  GROUP BY ?artist_credit
 
}

Додавање појединачних тројки на графикон траје неколико милисекунди, док време извршења за уметање резултата подупита зависи од времена извршења самог подупита.

Иако га нисмо често користили, Нептун вам такође омогућава да уклоните тројке на основу узорака или експлицитних података, који се могу користити за ажурирање информација.

СПАРКЛ упити

Увођењем претходног подузорка, који враћа број издања за сваког извођача, већ смо увели први тип упита на који желимо да одговоримо користећи Нептун. Прављење упита у Нептуну је једноставно - пошаљите ПОСТ захтев на СПАРКЛ крајњу тачку, као што је приказано у наставку:

curl -X POST --data-binary 'query=SELECT ?artist ?p ?o where {?artist <http://musicbrainz.foo/name> "Elton John" . ?artist ?p ?o . }' http://your-neptune-cluster:8182/sparql

Поред тога, имплементирали смо упит који враћа профил уметника који садржи информације о њиховом имену, старости или земљи порекла. Имајте на уму да извођачи могу бити појединци, бендови или оркестри. Поред тога, ове податке допуњавамо информацијама о броју издања које су уметници објавили током године. За соло уметнике, такође додајемо информације о бендовима у којима је уметник учествовао сваке године.

SELECT
 
 
 ?artist_name ?year
 
 ?releases_in_year ?releases_up_year
 
 ?artist_type_name ?releases
 
 ?artist_gender ?artist_country_name
 
 ?artist_begin_date ?bands
 
 ?bands_in_year
 
WHERE {
 
 # Bands for each artist
 
 {
 
   SELECT
 
     ?year
 
     ?first_artist
 
     (group_concat(DISTINCT ?second_artist_name;separator=",") as ?bands)
 
     (COUNT(DISTINCT ?second_artist_name) AS ?bands_in_year)     
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018
 
     }   
 
     ?first_artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?first_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?first_artist <http://musicbrainz.foo/type> ?first_artist_type .
 
     ?first_artist <http://musicbrainz.foo/name> ?first_artist_name .
 

 
 
     ?second_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?second_artist <http://musicbrainz.foo/type> ?second_artist_type .
 
     ?second_artist <http://musicbrainz.foo/name> ?second_artist_name .
 
     optional { ?second_artist <http://musicbrainz.foo/begin-date-year> ?second_artist_begin_date_year . }
 
     optional { ?second_artist <http://musicbrainz.foo/end-date-year> ?second_artist_end_date_year . }
 

 
 
     ?l_artist_artist <http://musicbrainz.foo/entity0> ?first_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/entity1> ?second_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/link> ?link .
 

 
 
     optional { ?link <http://musicbrainz.foo/begin-date-year> ?link_begin_date_year . }
 
     optional { ?link <http://musicbrainz.foo/end-date-year> ?link_end_date_year . }
 

 
 
     FILTER (!bound(?link_begin_date_year) || ?link_begin_date_year <= ?year)
 
     FILTER (!bound(?link_end_date_year) || ?link_end_date_year >= ?year)
 
     FILTER (!bound(?second_artist_begin_date_year) || ?second_artist_begin_date_year <= ?year)
 
     FILTER (!bound(?second_artist_end_date_year) || ?second_artist_end_date_year >= ?year)
 
     FILTER (?first_artist_type NOT IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
     FILTER (?second_artist_type IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
   }
 
   GROUP BY ?first_artist ?year
 
 }
 
 # Releases up to a year
 
 {
 
   SELECT
 
     ?artist
 
     ?year
 
     (group_concat(DISTINCT ?release_name;separator=",") as ?releases)
 
     (COUNT(*) as ?releases_up_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release <http://musicbrainz.foo/name> ?release_name .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year <= ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Releases in a year
 
 {
 
   SELECT ?artist ?year (COUNT(*) as ?releases_in_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year = ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Master data
 
 {
 
   SELECT DISTINCT ?artist ?artist_name ?artist_gender ?artist_begin_date ?artist_country_name
 
   WHERE {
 
     ?artist <http://musicbrainz.foo/name> ?artist_name .
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?artist <http://musicbrainz.foo/gender> ?artist_gender_id .
 
     ?artist_gender_id <http://musicbrainz.foo/name> ?artist_gender .
 
     ?artist <http://musicbrainz.foo/area> ?birth_area .
 
     ?artist <http://musicbrainz.foo/begin-date-year> ?artist_begin_date.
 
     ?birth_area <http://musicbrainz.foo/name> ?artist_country_name .
 

 
 
     FILTER(datatype(?artist_begin_date) = xsd:int)
 
   }

Због сложености таквог упита, могли смо да извршимо упите са тачкама само за одређеног уметника, као што је Елтон Џон, али не и за све уметнике. Чини се да Нептун не оптимизује такав упит испуштањем филтера у подизборе. Стога, сваки избор мора бити ручно филтриран према имену извођача.

Нептун има и сатне и пер-И/О накнаде. За наше тестирање користили смо минималну инстанцу Нептуна, која кошта 0,384 долара по сату. У случају горњег упита, који израчунава профил за једног радника, Амазон нам наплаћује десетине хиљада И/О операција, што подразумева цену од 0.02 УСД.

Излаз

Прво, Амазон Нептуне држи већину својих обећања. Као управљана услуга, то је база података графова коју је изузетно лако инсталирати и која се може покренути и покренути без много конфигурације. Ево наших пет кључних налаза:

• Групно отпремање је лако, али споро. Али може се закомпликовати са порукама о грешкама које нису од велике помоћи.
• Стримовање преузимања подржава све што смо очекивали и било је прилично брзо
• Упити су једноставни, али нису довољно интерактивни за покретање аналитичких упита
• СПАРКЛ упити морају бити оптимизовани ручно
• Амазон плаћања је тешко проценити јер је тешко проценити количину података скенираних СПАРКЛ упитом.

То је све. Пријавите за бесплатни вебинар на тему „Уравнотежавање оптерећења“.


Извор: ввв.хабр.цом