🥇Amazon Neptune の第一印象

ハブロフスク住民よ、敬礼。コース開始に向けて「開発者のためのAWS」興味深い資料の翻訳を用意しました。

私たちが好む多くのユースケースではバックデータ当社のクライアントの Web サイトで見られるように、たとえばユーザー間の関係、要素間の依存関係、センサー間の接続を分析する場合、関連情報はエンティティ間の接続に隠されています。このようなユースケースは通常、グラフ上でモデル化されます。今年の初めに、Amazon は新しいグラフデータベース Neptune をリリースしました。この投稿では、私たちの最初のアイデア、優れた実践方法、そして時間の経過とともに改善できる点を共有したいと思います。

Amazon Neptune が必要な理由

グラフデータベースは、リレーショナルデータベースよりも高度に接続されたデータセットをより適切に処理できることが約束されています。このようなデータセットでは、通常、関連情報はオブジェクト間の関係に格納されます。 Neptune をテストするために素晴らしいオープンデータプロジェクトを使用しました MusicBrainzの。 MusicBrainz は、アーティスト、曲、アルバムのリリースやコンサートに関する情報に加え、その曲のアーティストが誰とコラボレーションしたか、アルバムがいつどの国でリリースされたかなど、考えられるあらゆる種類の音楽メタデータを収集します。 MusicBrainz は、何らかの形で音楽業界に接続されているエンティティの巨大なネットワークとして見ることができます。

MusicBrainz データセットは、リレーショナルデータベースの CSV ダンプとして提供されます。合計すると、ダンプには 93 のテーブルに約 157 万行が含まれます。これらのテーブルの一部にはアーティスト、イベント、レコーディング、リリース、トラックなどの基本データが含まれていますが、その他のテーブルには リンクテーブル — アーティストとレコーディング、他のアーティストとリリースなどの間の関係を保存します。これらは、データセットのグラフ構造を示します。データセットを RDF トリプルに変換すると、約 500 億個のインスタンスが得られました。

私たちが協力するプロジェクトパートナーの経験と印象に基づいて、このナレッジベースを使用して新しい情報を取得する場面を紹介します。さらに、新しいリリースの追加やグループメンバーの更新など、定期的に更新されることが期待されます。

調整

予想どおり、Amazon Neptune のインストールは簡単です。彼女はかなり詳しいです文書化。数回クリックするだけでグラフデータベースを起動できます。ただし、より詳細な設定となると、必要な情報見つけるのが難しい。したがって、XNUMX つの構成パラメーターを示したいと思います。

パラメータグループの設定スクリーンショット

Amazon によると、Neptune は低レイテンシのトランザクションワークロードに重点を置いているため、デフォルトのリクエストタイムアウトは 120 秒になっています。ただし、多くの分析ユースケースをテストしたところ、定期的にこの制限に達しました。このタイムアウトは、Neptune の新しいパラメータグループを作成し、設定することで変更できます。 neptune_query_timeout 対応する制限。

データのロード

以下では、MusicBrainz データを Neptune にロードする方法について詳しく説明します。

三者関係

まず、MusicBrainz データを RDF トリプルに変換しました。したがって、テーブルごとに、トリプル内で各列がどのように表現されるかを定義するテンプレートを定義しました。この例では、実行者テーブルの各行が XNUMX 個の RDF トリプルにマップされます。

<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gid> "${gid}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/name> "${name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/sort-name> "${sort_name}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/begin-date> "${begin_date_year}-${begin_date_month}-${begin_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/end-date> "${end_date_year}-${end_date_month}-${end_date_day}"^^xsd:<http://www.w3.org/2001/XMLSchema#date> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/type> <http://musicbrainz.foo/artist-type/${type}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/area> <http://musicbrainz.foo/area/${area}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/gender> <http://musicbrainz.foo/gender/${gender}> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/comment> "${comment}"^^<http://www.w3.org/2001/XMLSchema#string> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/edits-pending> "${edits_pending}"^^<http://www.w3.org/2001/XMLSchema#int> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/last-updated> "${last_updated}"^^<http://www.w3.org/2001/XMLSchema#dateTime> .
 
<http://musicbrainz.foo/artist/${id}> <http://musicbrainz.foo/ended> "${ended}"^^<http://www.w3.org/2001/XMLSchema#boolean> .

一括アップロード

大量のデータを Neptune にロードする推奨方法は、S3 経由の一括アップロードプロセスを使用することです。トリプルファイルを S3 にアップロードした後、POST リクエストを使用してアップロードを開始します。私たちの場合、24 億個の三つ子を作成するのに約 500 時間かかりました。もっと速いと予想していました。

curl -X POST -H 'Content-Type: application/json' http://your-neptune-cluster:8182/loader -d '{
 
 
 "source" : "s3://your-s3-bucket",
 
 "format" : "ntriples",
 
 "iamRoleArn" : "arn:aws:iam::your-iam-user:role/NeptuneLoadFromS3",
 
 "region" : "eu-west-1",
 
 "failOnError" : "FALSE"
 
}'

Neptune を起動するたびにこの長いプロセスを回避するために、これらのトリプレットがすでにロードされているスナップショットからインスタンスを復元することにしました。スナップショットからの実行は大幅に高速になりますが、Neptune がリクエストに対応できるようになるまでには依然として約 XNUMX 時間かかります。

最初にトリプレットを Neptune にロードするときに、さまざまなエラーが発生しました。

{
 
 
 "errorCode" : "PARSING_ERROR",
 
 "errorMessage" : "Content after '.' is not allowed",
 
 "fileName" : [...],
 
 "recordNum" : 25
 
}

上に示したように、その一部は解析エラーでした。現在に至るまで、この時点で何が問題だったのかはまだわかっていません。ここでもう少し詳しく説明すると、間違いなく役立ちます。このエラーは、挿入されたトリプルの約 1% で発生しました。しかし、Neptune のテストに関しては、MusicBrainz からの情報の 99% のみを使用して作業するという事実を受け入れました。

これは SPARQL に慣れている人にとっては簡単ですが、RDF トリプルには明示的なデータ型で注釈を付ける必要があり、これによってもエラーが発生する可能性があることに注意してください。

ストリーミングダウンロード

上で述べたように、私たちは Neptune を静的データストアとして使用するのではなく、柔軟で進化するナレッジベースとして使用したいと考えています。そのため、新しいアルバムが出版されたときや、派生した知識を具体化したいときなど、知識ベースが変更されたときに新しいトリプルを導入する方法を見つける必要がありました。

Neptune は、生のクエリとサンプルベースの両方の SPARQL クエリを通じて入力演算子をサポートします。以下では両方のアプローチについて説明します。

私たちの目標の XNUMX つは、ストリーミング方式でデータを入力することでした。新しい国でアルバムをリリースすることを検討してください。 MusicBrainz の観点から見ると、これは、アルバム、シングル、EP などが含まれるリリースの場合、新しいエントリがテーブルに追加されることを意味します。 発売国。 RDF では、この情報を XNUMX つの新しいトリプルと照合します。

INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/release> <http://musicbrainz.foo/release/435759> };INSERT DATA { <http://musicbrainz.foo/release-country/737041> <http://musicbrainz.foo/date-year> "2018"^^<http://www.w3.org/2001/XMLSchema#int> };

もう一つの目的は、グラフから新たな知識を得ることでした。各アーティストがキャリアの中で出版したリリースの数を取得したいとします。このようなクエリは非常に複雑で、Neptune では 20 分以上かかります。そのため、この新しい知識を他のクエリで再利用するには、結果を具体化する必要があります。そこで、この情報を含むトリプルをグラフに追加し、サブクエリの結果を入力します。

INSERT {
 
 
  ?artist_credit <http://musicbrainz.foo/number-of-releases> ?number_of_releases
 
} WHERE {
 
  SELECT ?artist_credit (COUNT(*) as ?number_of_releases)
 
  WHERE {
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
  }
 
  GROUP BY ?artist_credit
 
}

単一のトリプルをグラフに追加するには数ミリ秒かかりますが、サブクエリの結果を挿入する実行時間はサブクエリ自体の実行時間に依存します。

頻繁には使用しませんでしたが、Neptune ではサンプルまたは明示的なデータに基づいてトリプレットを削除することもでき、情報の更新に使用できます。

SPARQLクエリ

各アーティストのリリース数を返す前のサブサンプルを導入することで、Neptune を使用して回答する最初のタイプのクエリをすでに導入しました。 Neptune でクエリを構築するのは簡単です。以下に示すように、POST リクエストを SPARQL エンドポイントに送信します。

curl -X POST --data-binary 'query=SELECT ?artist ?p ?o where {?artist <http://musicbrainz.foo/name> "Elton John" . ?artist ?p ?o . }' http://your-neptune-cluster:8182/sparql

さらに、名前、年齢、出身国に関する情報を含むアーティストのプロフィールを返すクエリを実装しました。出演者は個人、バンド、オーケストラの場合があることに注意してください。さらに、このデータを、アーティストがその年にリリースしたリリース数に関する情報で補足します。ソロアーティストの場合は、その年ごとにアーティストが参加したバンドの情報も追加します。

SELECT
 
 
 ?artist_name ?year
 
 ?releases_in_year ?releases_up_year
 
 ?artist_type_name ?releases
 
 ?artist_gender ?artist_country_name
 
 ?artist_begin_date ?bands
 
 ?bands_in_year
 
WHERE {
 
 # Bands for each artist
 
 {
 
   SELECT
 
     ?year
 
     ?first_artist
 
     (group_concat(DISTINCT ?second_artist_name;separator=",") as ?bands)
 
     (COUNT(DISTINCT ?second_artist_name) AS ?bands_in_year)     
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018
 
     }   
 
     ?first_artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?first_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?first_artist <http://musicbrainz.foo/type> ?first_artist_type .
 
     ?first_artist <http://musicbrainz.foo/name> ?first_artist_name .
 

 
 
     ?second_artist <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist> .
 
     ?second_artist <http://musicbrainz.foo/type> ?second_artist_type .
 
     ?second_artist <http://musicbrainz.foo/name> ?second_artist_name .
 
     optional { ?second_artist <http://musicbrainz.foo/begin-date-year> ?second_artist_begin_date_year . }
 
     optional { ?second_artist <http://musicbrainz.foo/end-date-year> ?second_artist_end_date_year . }
 

 
 
     ?l_artist_artist <http://musicbrainz.foo/entity0> ?first_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/entity1> ?second_artist .
 
     ?l_artist_artist <http://musicbrainz.foo/link> ?link .
 

 
 
     optional { ?link <http://musicbrainz.foo/begin-date-year> ?link_begin_date_year . }
 
     optional { ?link <http://musicbrainz.foo/end-date-year> ?link_end_date_year . }
 

 
 
     FILTER (!bound(?link_begin_date_year) || ?link_begin_date_year <= ?year)
 
     FILTER (!bound(?link_end_date_year) || ?link_end_date_year >= ?year)
 
     FILTER (!bound(?second_artist_begin_date_year) || ?second_artist_begin_date_year <= ?year)
 
     FILTER (!bound(?second_artist_end_date_year) || ?second_artist_end_date_year >= ?year)
 
     FILTER (?first_artist_type NOT IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
     FILTER (?second_artist_type IN (<http://musicbrainz.foo/artist-type/2>, <http://musicbrainz.foo/artist-type/5>, <http://musicbrainz.foo/artist-type/6>))
 
   }
 
   GROUP BY ?first_artist ?year
 
 }
 
 # Releases up to a year
 
 {
 
   SELECT
 
     ?artist
 
     ?year
 
     (group_concat(DISTINCT ?release_name;separator=",") as ?releases)
 
     (COUNT(*) as ?releases_up_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release <http://musicbrainz.foo/name> ?release_name .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year <= ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Releases in a year
 
 {
 
   SELECT ?artist ?year (COUNT(*) as ?releases_in_year)
 
   WHERE {
 
     VALUES ?year {
 
       1960 1961 1962 1963 1964 1965 1966 1967 1968 1969
 
       1970 1971 1972 1973 1974 1975 1976 1977 1978 1979
 
       1980 1981 1982 1983 1984 1985 1986 1987 1988 1989
 
       1990 1991 1992 1993 1994 1995 1996 1997 1998 1999
 
       2000 2001 2002 2003 2004 2005 2006 2007 2008 2009
 
       2010 2011 2012 2013 2014 2015 2016 2017 2018 
 
     }
 

 
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 

 
 
     ?artist_credit_name <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?artist_credit_name <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit-name> .
 
     ?artist_credit_name <http://musicbrainz.foo/artist> ?artist .
 
     ?artist_credit <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/artist-credit> .
 

 
 
     ?release_group <http://musicbrainz.foo/artist-credit> ?artist_credit .
 
     ?release_group <http://musicbrainz.foo/rdftype> <http://musicbrainz.foo/release-group> .
 
     ?release_group <http://musicbrainz.foo/name> ?release_group_name .
 
     ?release <http://musicbrainz.foo/release-group> ?release_group .
 
     ?release_country <http://musicbrainz.foo/release> ?release .
 
     ?release_country <http://musicbrainz.foo/date-year> ?release_country_year .
 

 
 
     FILTER (?release_country_year = ?year)
 
   }
 
   GROUP BY ?artist ?year
 
 }
 
 # Master data
 
 {
 
   SELECT DISTINCT ?artist ?artist_name ?artist_gender ?artist_begin_date ?artist_country_name
 
   WHERE {
 
     ?artist <http://musicbrainz.foo/name> ?artist_name .
 
     ?artist <http://musicbrainz.foo/name> "Elton John" .
 
     ?artist <http://musicbrainz.foo/gender> ?artist_gender_id .
 
     ?artist_gender_id <http://musicbrainz.foo/name> ?artist_gender .
 
     ?artist <http://musicbrainz.foo/area> ?birth_area .
 
     ?artist <http://musicbrainz.foo/begin-date-year> ?artist_begin_date.
 
     ?birth_area <http://musicbrainz.foo/name> ?artist_country_name .
 

 
 
     FILTER(datatype(?artist_begin_date) = xsd:int)
 
   }

このようなクエリは複雑であるため、エルトンジョンなどの特定のアーティストに対してのみポイントクエリを実行でき、すべてのアーティストに対しては実行できませんでした。 Neptune は、サブ選択にフィルターをドロップすることでそのようなクエリを最適化していないようです。したがって、各選択をアーティスト名で手動でフィルタリングする必要があります。

Neptune には、時間単位の料金と I/O ごとの料金の両方があります。テストでは、0,384 時間あたり 0.02 ドルの最小限の Neptune インスタンスを使用しました。単一のワーカーのプロファイルを計算する上記のクエリの場合、Amazon は数万回の I/O オペレーションを請求します。これは、XNUMX ドルのコストを意味します。

出力

まず、Amazon Neptune はほとんどの約束を守ります。マネージドサービスとして、インストールが非常に簡単で、多くの構成を行わなくても起動して実行できるグラフデータベースです。以下に XNUMX つの重要な調査結果を示します。

一括アップロードは簡単ですが、時間がかかります。ただし、あまり役に立たないエラーメッセージが表示され、複雑になる場合があります。
ストリーミングダウンロードは私たちが期待していたすべてをサポートしており、非常に高速でした
クエリはシンプルですが、分析クエリを実行できるほど対話的ではありません
SPARQL クエリは手動で最適化する必要がある
SPARQL クエリによってスキャンされるデータの量を見積もるのが難しいため、Amazon の支払いを見積もるのは困難です。

それだけです。申し込みます「負荷分散」をテーマとした無料ウェビナー.

出所： habr.com

Amazon Neptune の第一印象