רושם ראשוני מאמזון נפטון

הצדעה, תושבי חברובסק. לקראת תחילת הקורס "AWS למפתחים" הכנו תרגום של חומר מעניין.

במקרים רבים של שימוש שאנחנו אוהבים bakdataכפי שאנו רואים באתרי לקוחותינו, מידע רלוונטי מוסתר בקשרים בין גופים, למשל בעת ניתוח יחסים בין משתמשים, תלות בין אלמנטים או קשרים בין חיישנים. מקרי שימוש כאלה מעוצבים בדרך כלל על פי גרף. מוקדם יותר השנה, אמזון פרסמה את מסד הנתונים הגרפים החדש שלה, נפטון. בפוסט הזה אנחנו רוצים לשתף את הרעיונות הראשונים שלנו, שיטות עבודה טובות ומה ניתן לשפר עם הזמן.

למה היינו צריכים את אמזון נפטון

מסדי נתונים של גרפים מבטיחים להתמודד עם מערכי נתונים מחוברים בצורה טובה יותר מאשר המקבילות היחסיות שלהם. במערכים כאלה, מידע רלוונטי מאוחסן בדרך כלל בקשרים בין אובייקטים. השתמשנו בפרויקט נתונים פתוח מדהים כדי לבדוק את נפטון MusicBrainz. MusicBrainz אוספת כל סוג של מטא נתונים של מוזיקה שאפשר להעלות על הדעת, כמו מידע על אמנים, שירים, יציאות אלבומים או קונצרטים, כמו גם עם מי האמן שמאחורי השיר שיתף פעולה או מתי האלבום יצא באיזו מדינה. ניתן לראות ב-MusicBrainz רשת ענקית של גופים שקשורים איכשהו לתעשיית המוזיקה.

מערך הנתונים של MusicBrainz מסופק כ-CSV dump של מסד נתונים יחסי. בסך הכל, המזבלה מכילה כ-93 מיליון שורות ב-157 טבלאות. בעוד שחלק מהטבלאות הללו מכילות נתונים בסיסיים כגון אמנים, אירועים, הקלטות, מהדורות או רצועות, ואחרות טבלאות קישור - אחסון יחסים בין אמנים והקלטות, אמנים אחרים או מהדורות וכו'... הם מדגימים את מבנה הגרפים של מערך נתונים. כאשר המרת מערך הנתונים לשלשות RDF, השגנו כ-500 מיליון מופעים.

בהתבסס על הניסיון וההתרשמות של שותפי הפרויקט איתם אנו עובדים, אנו מציגים מסגרת שבה בסיס ידע זה משמש להשגת מידע חדש. בנוסף, אנו מצפים שהוא יתעדכן באופן קבוע, למשל על ידי הוספת מהדורות חדשות או עדכון חברי הקבוצה.

התאמה

כצפוי, התקנת Amazon Neptune היא פשוטה. היא די מפורטת מְתוֹעָד. אתה יכול להפעיל מסד נתונים גרפים בכמה קליקים בלבד. עם זאת, כשמדובר בתצורה מפורטת יותר, מידע נחוץ קשה למצוא. לכן, אנו רוצים להצביע על פרמטר תצורה אחד.

צילום מסך תצורה עבור קבוצות פרמטרים

אמזון אומרת ש-Neptune מתמקדת בעומסי עבודה של עסקאות עם זמן אחזור נמוך, וזו הסיבה שזמן קצוב ברירת המחדל של הבקשה הוא 120 שניות. עם זאת, בדקנו מקרי שימוש אנליטיים רבים שבהם הגענו באופן קבוע לגבול הזה. ניתן לשנות את הזמן הקצוב הזה על ידי יצירת קבוצת פרמטרים חדשה עבור Neptune והגדרה neptune_query_timeout הגבלה מתאימה.

טוען נתונים

להלן נדון בפירוט כיצד טענו את נתוני MusicBrainz לתוך Neptune.

מערכות יחסים בשלשות

ראשית, המרנו את נתוני MusicBrainz לשלשות RDF. לכן, עבור כל טבלה, הגדרנו תבנית המגדירה כיצד כל עמודה מיוצגת בטריפל. בדוגמה זו, כל שורה מטבלת המבצעים ממופה ל-XNUMX שלשות RDF.

<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gid> "${gid}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/name> "${name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/sort-name> "${sort_name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/begin-date> "${begin_date_year}-${begin_date_month}-${begin_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/end-date> "${end_date_year}-${end_date_month}-${end_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/type> <http://musicbrainz.foo/artist-type/${type}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/area> <http://musicbrainz.foo/area/${area}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gender> <http://musicbrainz.foo/gender/${gender}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/comment> "${comment}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/edits-pending> "${edits_pending}"^^<http://www.w3.org/2001/XMLSchema#int> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/last-updated> "${last_updated}"^^<http://www.w3.org/2001/XMLSchema#dateTime> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/ended> "${ended}"^^<http://www.w3.org/2001/XMLSchema#boolean> .

העלאה המונית

הדרך המוצעת לטעון כמויות גדולות של נתונים לתוך Neptune היא באמצעות תהליך העלאה בכמות גדולה דרך S3. לאחר העלאת הקבצים המשולשים שלך ל-S3, אתה מתחיל את ההעלאה באמצעות בקשת POST. במקרה שלנו, זה לקח בערך 24 שעות ל-500 מיליון שלישיות. ציפינו שזה יהיה מהיר יותר.

curl -X POST -H 'Content-Type: application/json' http://your-neptune-cluster:8182/loader -d '{
 
 
 "source" : "s3://your-s3-bucket",
 
 "format" : "ntriples",
 
 "iamRoleArn" : "arn:aws:iam::your-iam-user:role/NeptuneLoadFromS3",
 
 "region" : "eu-west-1",
 
 "failOnError" : "FALSE"
 
}'

כדי להימנע מהתהליך הממושך הזה בכל פעם שאנו משיקים את Neptune, החלטנו לשחזר את המופע מתמונת מצב בה השלשות הללו כבר נטענו. הריצה מתמונת מצב מהירה משמעותית, אך עדיין לוקחת כשעה עד ש-Neptune זמין לבקשות.

בעת טעינת שלישיות לנפטון, נתקלנו בשגיאות שונות.

{
 
 
 "errorCode" : "PARSING_ERROR",
 
 "errorMessage" : "Content after '.' is not allowed",
 
 "fileName" : [...],
 
 "recordNum" : 25
 
}

חלק מהן היו שגיאות ניתוח, כפי שמוצג לעיל. עד היום, עדיין לא הבנו מה בדיוק השתבש בשלב זה. קצת יותר פירוט בהחלט יעזור כאן. שגיאה זו התרחשה עבור כ-1% מהשלשות שהוכנסו. אבל בכל הנוגע לבדיקת נפטון, קיבלנו את העובדה שאנחנו עובדים רק עם 99% מהמידע מ-MusicBrainz.

למרות שזה קל לאנשים שמכירים את SPARQL, שימו לב שיש להוסיף הערות ל-RDF שלשות עם סוגי נתונים מפורשים, מה ששוב עלול לגרום לשגיאות.

הורדת סטרימינג

כפי שהוזכר לעיל, איננו רוצים להשתמש ב-Neptune כמאגר נתונים סטטי, אלא כבסיס ידע גמיש ומתפתח. אז היינו צריכים למצוא דרכים להציג שלשות חדשות כאשר בסיס הידע משתנה, למשל כאשר אלבום חדש מתפרסם או כאשר אנו רוצים לממש ידע נגזר.

Neptune תומך באופרטורים של קלט באמצעות שאילתות SPARQL, הן גולמיות והן מבוססות מדגם. נדון בשתי הגישות להלן.

אחת המטרות שלנו הייתה להזין נתונים בצורה סטרימינג. שקול להוציא אלבום במדינה חדשה. מנקודת המבט של MusicBrainz, זה אומר שעבור מהדורה הכוללת אלבומים, סינגלים, EP וכו', מתווסף ערך חדש לטבלה ארץ שחרור. ב-RDF, אנו מתאימים מידע זה לשתי שלשות חדשות.

INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/release> <http://musicbrainz.foo/release/435759> };INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/date-year> "2018"^^<http://www.w3.org/2001/XMLSchema#int> };

מטרה נוספת הייתה להשיג ידע חדש מהגרף. נניח שאנו רוצים לקבל את מספר הפרסומים שכל אמן פרסם בקריירה שלו. שאילתה כזו היא די מורכבת ולוקחת יותר מ-20 דקות בנפטון, אז אנחנו צריכים לממש את התוצאה כדי להשתמש מחדש בידע החדש הזה בשאילתה אחרת. אז אנחנו מוסיפים שלשות עם המידע הזה בחזרה לגרף, ומכניסים את התוצאה של שאילתת המשנה.

INSERT {
 
 
  ?artist_credit <http://musicbrainz.foo/number-of-releases> ?number_of_releases
 
} WHERE {
 
  SELECT ?artist_credit (COUNT(*) as ?number_of_releases)
 
  WHERE {
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
  }
 
  GROUP BY ?artist_credit
 
}

הוספת שלשות בודדות לגרף אורכת כמה אלפיות שניות, בעוד שזמן הביצוע להכנסת התוצאה של שאילתת משנה תלוי בזמן הביצוע של שאילתת המשנה עצמה.

למרות שלא השתמשנו בו לעתים קרובות, נפטון גם מאפשר להסיר שלישיות על סמך דוגמאות או נתונים מפורשים, שניתן להשתמש בהם כדי לעדכן מידע.

שאילתות SPARQL

על ידי הצגת תת-הדגימה הקודמת, המחזירה את מספר ההפצות לכל אמן, כבר הצגנו את הסוג הראשון של שאילתה שאנו רוצים לענות עליה באמצעות Neptune. בניית שאילתה בנפטון היא קלה - שלח בקשת POST לנקודת הקצה של SPARQL, כפי שמוצג להלן:

curl -X POST --data-binary 'query=SELECT ?artist ?p ?o where {?artist <http://musicbrainz.foo/name> "Elton John" . ?artist ?p ?o . }' http://your-neptune-cluster:8182/sparql

בנוסף, הטמענו שאילתה שמחזירה פרופיל אמן המכיל מידע על שמם, גילם או ארץ המוצא שלהם. זכור שהמבצעים עשויים להיות יחידים, להקות או תזמורות. בנוסף, אנו משלימים את הנתונים הללו במידע על מספר ההפצות שיצאו על ידי אמנים במהלך השנה. עבור אמני סולו, אנו מוסיפים גם מידע על הלהקות שהאמן השתתף בהן בכל שנה.

SELECT
 
 
 ?artist_name ?year
 
 ?releases_in_year ?releases_up_year
 
 ?artist_type_name ?releases
 
 ?artist_gender ?artist_country_name
 
 ?artist_begin_date ?bands
 
 ?bands_in_year
 
WHERE {
 
 # Bands for each artist
 
 {
 
   SELECT
 
     ?year
 
     ?first_artist
 
     (group_concat(DISTINCT ?second_artist_name;separator=",") as ?bands)
 
     (COUNT(DISTINCT ?second_artist_name) AS ?bands_in_year)     
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018
 
     }   
 
     ?first_artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?first_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?first_artist <http://musicbrainz.foo/type> ?first_artist_type .
 
     ?first_artist <http://musicbrainz.foo/name> ?first_artist_name .
 

 
 
     ?second_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?second_artist <http://musicbrainz.foo/type> ?second_artist_type .
 
     ?second_artist <http://musicbrainz.foo/name> ?second_artist_name .
 
     optional { ?second_artist <http://musicbrainz.foo/begin-date-year> ?second_artist_begin_date_year . }
 
     optional { ?second_artist <http://musicbrainz.foo/end-date-year> ?second_artist_end_date_year . }
 

 
 
     ?l_artist_artist <http://musicbrainz.foo/entity0> ?first_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/entity1> ?second_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/link> ?link .
 

 
 
     optional { ?link <http://musicbrainz.foo/begin-date-year> ?link_begin_date_year . }
 
     optional { ?link <http://musicbrainz.foo/end-date-year> ?link_end_date_year . }
 

 
 
     FILTER (!bound(?link_begin_date_year) || ?link_begin_date_year <= ?year)
 
     FILTER (!bound(?link_end_date_year) || ?link_end_date_year >= ?year)
 
     FILTER (!bound(?second_artist_begin_date_year) || ?second_artist_begin_date_year <= ?year)
 
     FILTER (!bound(?second_artist_end_date_year) || ?second_artist_end_date_year >= ?year)
 
     FILTER (?first_artist_type NOT IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
     FILTER (?second_artist_type IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
   }
 
   GROUP BY ?first_artist ?year
 
 }
 
 # Releases up to a year
 
 {
 
   SELECT
 
     ?artist
 
     ?year
 
     (group_concat(DISTINCT ?release_name;separator=",") as ?releases)
 
     (COUNT(*) as ?releases_up_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release <http://musicbrainz.foo/name> ?release_name .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year <= ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Releases in a year
 
 {
 
   SELECT ?artist ?year (COUNT(*) as ?releases_in_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year = ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Master data
 
 {
 
   SELECT DISTINCT ?artist ?artist_name ?artist_gender ?artist_begin_date ?artist_country_name
 
   WHERE {
 
     ?artist <http://musicbrainz.foo/name> ?artist_name .
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?artist <http://musicbrainz.foo/gender> ?artist_gender_id .
 
     ?artist_gender_id <http://musicbrainz.foo/name> ?artist_gender .
 
     ?artist <http://musicbrainz.foo/area> ?birth_area .
 
     ?artist <http://musicbrainz.foo/begin-date-year> ?artist_begin_date.
 
     ?birth_area <http://musicbrainz.foo/name> ?artist_country_name .
 

 
 
     FILTER(datatype(?artist_begin_date) = xsd:int)
 
   }

בשל המורכבות של שאילתה כזו, יכולנו לבצע שאילתות נקודתיות רק עבור אמן ספציפי, כגון אלטון ג'ון, אך לא עבור כל האמנים. נראה ש-Neptune לא מייעל שאילתה כזו על ידי הטלת מסננים למנות משנה. לכן, יש לסנן ידנית כל בחירה לפי שם האמן.

ל-Neptune יש טעינה לפי שעה וגם לפי I/O. לצורך הבדיקה שלנו, השתמשנו במופע המינימלי של נפטון, שעולה $0,384 לשעה. במקרה של השאילתה למעלה, המחשבת את הפרופיל עבור עובד בודד, אמזון גובה מאיתנו עשרות אלפי פעולות I/O, מה שמרמז על עלות של 0.02$.

פלט

ראשית, אמזון נפטון מקיימת את רוב הבטחותיה. כשירות מנוהל, זהו מסד נתונים גרפים שקל מאוד להתקנה ויכול להיות פועל ללא הרבה הגדרות. להלן חמשת הממצאים העיקריים שלנו:

• העלאה בכמות גדולה היא קלה אך איטית. אבל זה יכול להסתבך עם הודעות שגיאה שאינן מועילות במיוחד.
• הורדת סטרימינג תומכת בכל מה שציפינו והייתה די מהירה
• שאילתות הן פשוטות, אך אינן אינטראקטיביות מספיק כדי להפעיל שאילתות אנליטיות
• יש לבצע אופטימיזציה ידנית של שאילתות SPARQL
• קשה להעריך את תשלומי אמזון מכיוון שקשה להעריך את כמות הנתונים שנסרקו על ידי שאילתת SPARQL.

זה הכל. להירשם סמינר מקוון בחינם בנושא "איזון עומסים".


מקור: www.habr.com