データ サイエンティストのメモ: データ クエリ言語の個人的なレビュー

いつ、どこで何が役に立ったかを個人的な経験からお伝えします。一般的かつテーマ別に、何をどこまで掘り下げればよいかが明確になりますが、ここでは私の主観的な個人的経験のみを取り上げており、おそらく、あなたにとってはすべてがまったく異なるでしょう。

クエリ言語を知って、扱えるようになることが重要なのはなぜですか?データ サイエンスには、本質的にいくつかの重要な作業段階があり、最初の最も重要な段階 (これがなければ何も機能しません!) は、データの取得または抽出です。ほとんどの場合、何らかの形式のデータはどこかに保存されており、そこから「抽出」する必要があります。 

クエリ言語はまさにこのデータを抽出できるようにするものです。そして今日は、私にとって役に立ったクエリ言語についてお話しし、どこで、どのように、なぜそれが研究に必要なのかを正確に説明し、示します。

この記事では、データ クエリ タイプの主なブロックとして次の 3 つについて説明します。

• 「標準」クエリ言語とは、リレーショナル代数や SQL などのクエリ言語について話すときに通常意味されるものです。
• スクリプト クエリ言語: たとえば、pandas、numpy、シェル スクリプトなどの Python 関連の言語。
• ナレッジグラフとグラフデータベース用のクエリ言語。

ここに書かれていることはすべて、個人的な経験、役に立ったこと、状況の説明、そして「なぜそれが必要だったのか」です。誰もが、同じような状況に遭遇するかもしれないことを想像し、プロジェクトで（緊急に）使用したり、必要なプロジェクトにたどり着く前にこれらの言語を理解して、事前に準備することができます。

「標準」クエリ言語

標準クエリ言語は、クエリについて話すときに私たちが通常考えるものとまったく同じです。

リレーショナル代数

今日、リレーショナル代数はなぜ必要なのでしょうか?クエリ言語が特定の方法で設計されている理由を十分に理解し、意識的に使用するには、クエリ言語の根底にあるコアを理解する必要があります。

リレーショナル代数とは何ですか?

正式な定義は次のとおりです。リレーショナル代数は、リレーショナル データ モデル内の関係に対する操作の閉じたシステムです。もう少し人間的に言えば、これは結果が常にテーブルになるようなテーブル上の演算システムです。

すべての関係演算を見る この Habr の記事 - ここでは、なぜ知っておく必要があるのか​​、またどこで役立つのかを説明します。

なぜですか？

クエリ言語が何で構成されているか、特定のクエリ言語の式の背後にどのような操作があるのか​​を理解し始めます。これにより、クエリ言語で何がどのように機能するかについて、より深い理解が得られることが多いです。

から取られた この 記事。操作の例としては、テーブルを結合する結合があります。

学習教材:

スタンフォード大学の優れた入門コース。一般的に、リレーショナル代数と理論に関する資料は、Coursera、Udacity など多数あります。優れたものも含めて、オンライン上には膨大な量の資料があります。 学術コース。私の個人的なアドバイス：リレーショナル代数を非常によく理解する必要があります。リレーショナル代数は基礎中の基礎です。

SQL

から取られた この 記事。

SQL は本質的にリレーショナル代数の実装です。ただし、重要な注意点として、SQL は宣言型です。つまり、リレーショナル代数の言語でクエリを書くときは、実際には計算方法を言っているのですが、SQLでは抽出したいものを指定し、DBMSがリレーショナル代数の言語で（有効な）式を生成します（それらの同等性は、 コッドの定理).

から取られた この 記事。

なぜですか？

RDBMS: Oracle、Postgres、SQL Server などは、今でも事実上どこにでも存在しており、これらを操作しなければならない可能性が非常に高いです。つまり、SQL を読む (非常に可能性が高い) か、SQL を書く (これもあり得ないことではありません) 必要があるということです。

何を読んで勉強するか

上記の同じリンク（リレーショナル代数について）には、例えば、信じられないほどの量の資料があります。 この.

ところで、NoSQLとは何でしょうか?

「『NoSQL』という用語は完全に自然発生的に生まれたものであり、一般に受け入れられている定義や科学的機関の支援を受けているわけではないことを改めて強調しておく価値がある。」対応する 記事 ハブルで。

本質的に、多くの問題を解決するために完全なリレーショナル モデルは必要ないということが認識されました。特に、パフォーマンスが不可欠で、集約を伴う特定の単純なクエリが主流であるような問題では、メトリックをすばやく計算してデータベースに書き込むことが重要であり、リレーショナル機能のほとんどは不必要なだけでなく有害であることが判明しました。私たちにとって最も重要なこと (特定のタスクの場合) であるパフォーマンスを損なうのであれば、なぜ何かを正規化するのでしょうか。

従来のリレーショナル モデルの固定された数学的スキーマの代わりに、柔軟なスキーマが必要になることもよくあります。これにより、システムを迅速に起動して実行し、結果を処理することが重要な場合や、スキーマや保存されるデータの種類がそれほど重要でない場合、アプリケーション開発が非常に簡単になります。

たとえば、エキスパート システムを作成していて、特定のドメインに関する情報をメタ情報とともに保存したいとします。すべてのフィールドを把握しているわけではなく、各レコードの JSON を単純に保存する場合もあります。これにより、データ モデルを拡張してすばやく反復処理するための非常に柔軟な環境が得られます。そのため、この場合は NoSQL がさらに好ましく、より読みやすくなります。レコードの例 (私のプロジェクトの 1 つから。必要な場所に NoSQL が配置されていました)。

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

もっと読むことができます ここで NoSQL について。

何を勉強すればいいですか？

ここでは、タスクをよく分析し、タスクがどのような特性を持っているか、この説明に適合する NoSQL システムは何かを調べてから、このシステムの調査を開始する必要があります。

スクリプトクエリ言語

一見すると、Python とは何の関係があるのか​​と思われます。Python はプログラミング言語であり、クエリとはまったく関係ありません。

• Pandas はデータ サイエンスの真の万能ツールであり、膨大な量のデータ変換、集約などがそこで行われます。
• Numpy - ベクトル計算、行列、線形代数。
• Scipy - このパッケージには、特に統計に関する数学的な内容が多数含まれています。
• Jupyter ラボ - 多くの探索的データ分析がノートブックにうまく収まるので、知っておくと便利です。
• リクエスト — ネットワークの操作。
• Pyspark - データ エンジニアの間で非常に人気があり、その人気の高さから、おそらくこれか Spark のいずれかを使用することになるでしょう。
• *Selenium は、Web サイトやリソースからデータを収集するのに非常に便利ですが、データを取得する他の方法がない場合もあります。

私の主なアドバイスは、Python を学ぶことです。

パンダ

次のコードを例に挙げてみましょう。

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

基本的に、コードは従来の SQL パターンに適合していることがわかります。

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

しかし重要なのは、このコードがスクリプトとパイプラインの一部であり、実際にはリクエストを Python パイプラインに埋め込んでいるということです。このような状況では、クエリ言語は Pandas や pySpark などのライブラリから提供されます。

全体的に、pySpark では、次のような考え方に基づいて、クエリ言語を通じて同様のタイプのデータ変換が行われます。

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

どこで何を読むか

Python全般について 問題ない 勉強のための資料を見つける。インターネット上には膨大な数のチュートリアルがある パンダ, パイスパーク およびコース スパーク （そして最も DS）。全体的に、ここにある資料はグーグルで検索するのに最適です。もし 1 つのパッケージに重点を置く必要があるとしたら、もちろんパンダです。 DS+Pythonバンドルに関する資料もあります とても.

クエリ言語としてのシェル

私がこれまで取り組んできたデータ処理および分析プロジェクトの多くは、本質的には Python コード、Java コード、および実際のシェル コマンド自体を呼び出すシェル スクリプトです。したがって、一般的に、bash/zsh などのパイプラインは、ある種の高レベルのリクエストと見なすことができます (もちろん、そこにサイクルを配置することもできますが、これはシェル言語の DS コードでは一般的ではありません)。簡単な例を挙げてみましょう。Wikidata の QID とロシア語および英語の wiki への完全なリンクをマップする必要がありました。このために、bash のコマンドからの簡単なリクエストを記述し、出力用に Python で簡単なスクリプトを記述しました。これを次のようにまとめました。

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

どこ

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

これは実際に、必要なマッピングを作成したパイプライン全体であり、すべてがフロー モードで動作していることがわかります。

• pv filepath - ファイルサイズに基づいて進行状況バーを表示し、その内容を渡します
• unpigz -cはアーカイブの一部を読み取り、jqを出力しました
• キー付きのjq — ストリームはすぐに結果を生成し、それをポストプロセッサに渡します（最初の例と同じように）Pythonで
• 内部的にはポストプロセッサは出力をフォーマットする単純なステートマシンである。 

その結果、大きなリソースを必要とせず、シンプルなパイプラインといくつかのツールから作成された、大規模なデータ (0.5 TB) に対してフロー モードで動作する複雑なパイプラインが実現しました。

もう一つの重要なアドバイス: ターミナルで適切かつ効率的に作業し、bash/zsh などで記述できること。

どこで役立ちますか?はい、ほとんどどこにでもあります。インターネット上には学習のための資料が大量に存在します。特に、ここでは これ 私の前回の記事。

R スクリプト

再び、読者はこう叫ぶかもしれません。「これは完全なプログラミング言語だ！」そしてもちろん彼は正しいでしょう。しかし、私が R に遭遇した典型的な方法は、それが本質的にクエリ言語に非常によく似たコンテキストで常に行われてきました。

Rは統計計算環境であり、統計計算と視覚化のための言語です（ この).

撮影 故に。ちなみに、良い素材なのでオススメです。

データ サイエンティストが R を知っておく必要があるのはなぜですか?少なくとも、R でのデータ分析に携わっている IT 部門以外の人々が多数存在するからです。私は次のような場所で彼らに会いました。

• 製薬業界。
• 生物学者。
• 金融部門。
• 純粋に数学的な教育を受け、統計を扱う人々。
• 特殊な統計および機械学習モデル (多くの場合、R パッケージとして著者のバージョンにのみ存在します)。

なぜそれがクエリ言語なのでしょうか?よく遭遇する形式では、実際にはデータの読み取りやクエリ (モデル) のパラメータの修正など、モデルを作成するための要求であり、ggplot2 などのパッケージでデータを視覚化することもクエリを記述する形式です。

視覚化のためのクエリの例

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

一般的に、データフレームやデータのベクトル化など、R の多くのアイデアは pandas、numpy、scipy などの Python パッケージに移行されているため、一般的に、R の多くの機能は馴染みがあり便利に思えるでしょう。

研究すべき情報源は数多くある。例えば、 この.

ナレッジグラフ

ここで私は少し変わった経験をします。なぜなら、ナレッジ グラフやグラフ クエリ言語を頻繁に使用しなければならないからです。この部分は少し特殊なので、簡単に基本について説明しましょう。

従来のリレーショナル データベースではスキーマが固定されていましたが、ここではスキーマは柔軟で、各述語は実際には「列」であり、さらにそれ以上です。

ある人物をモデル化して、重要な事柄を説明したいとします。たとえば、特定の人物であるダグラス アダムスを取り上げ、この説明を基礎として使用します。

www.wikidata.org/wiki/Q42

リレーショナル データベースを使用する場合、膨大な数の列を持つ巨大なテーブルを作成する必要があります。そのほとんどが NULL か、デフォルトの False 値で埋められます。たとえば、韓国国立図書館にエントリを持っている人はほとんどいないでしょう。もちろん、それらを別々のテーブルに配置することもできますが、これは最終的には、固定されたリレーショナル スキーマを使用して、述語を含む柔軟な論理スキーマをモデル化しようとする試みになります。

したがって、すべてのデータがグラフとして、またはバイナリおよび単項論理式として保存されていると想像してください。

一体どこでこんなものに出会えるのでしょうか？まず、 ウィキデータ、および任意のグラフ データベースやリンク データと連携します。

以下は私が使用し、作業する必要があった主なクエリ言語です。

SPARQL

Wiki：
SPARQL (再帰的頭字語 から ENG。 SPARQL プロトコルと RDF クエリ言語） - データクエリ言語モデルによって提示された RDFと プロトコル これらの要求を送信し、それに応答します。 SPARQLは推奨されている W3Cコンソーシアム そしてその技術の一つが セマンティックウェブ.

実際には、これは論理単項述語および論理二項述語用のクエリ言語です。論理式で何が固定され、何が固定されていないかを単純に述べているだけです (非常に単純化されています)。

SPARQLクエリが実行されるRDF（リソース記述フレームワーク）データベース自体はトリプルである。 object, predicate, subject — そしてクエリは、p_55(X, q_33) が真となる X を見つけるという精神で、指定された制約に従って必要なトリプルを選択します。ここで、もちろん、p_55 は ID 55 の何らかの関係であり、q_33 は ID 33 のオブジェクトです (これが全体のストーリーであり、ここでも考えられるすべての詳細は省略しています)。

データ表示の例:

写真と国別の例はこちら 故に.

基本的なクエリの例

実際、私たちは、述語が
member_of、member_of(?country,q458) は true であり、q458 は欧州連合の ID です。

Python エンジン内の実際の SPARQL クエリの例:

通常、私は SPARQL を書くのではなく読む必要がありました。そのような状況では、データがどのように取得されるかを正確に理解するために、少なくとも基本レベルで言語を理解することは役立つスキルである可能性があります。 

オンラインで学習できる資料はたくさんあります。例えば、こちら この и この。私は通常、具体的な構成や例を Google で検索しますが、今のところはそれで十分です。

論理クエリ言語

このトピックの詳細については私の記事をご覧ください ここで。ここでは、論理言語がクエリの記述に適している理由について簡単に説明します。本質的に、RDF は p(X) と h(X,Y) の形式の論理ステートメントのセットであり、論理クエリは次の形式になります。

output(X) :- country(X), member_of(X,“EU”).

ここでは、X に対して country(X) が真である、つまり X が国であり、かつ member_of(X,“EU”) でもあるという前提で、新しい述語 output/1 (/1 は単項を意味する) を作成することについて説明しています。

つまり、この場合、データとルールの両方が同じ方法で提示されるため、問題をモデル化するのが非常に簡単かつ適切になります。

業界でどこで出会ったのですか?: そのような言語でクエリを作成する会社との大規模なプロジェクト全体、およびシステムの中核にある現在のプロジェクト - これはかなり珍しいことのように思えますが、時々遭遇します。

ウィキデータを処理する論理言語のコードフラグメントの例:

資料: ここでは、現代の論理プログラミング言語である Answer Set Programming へのリンクをいくつか紹介します。この言語を勉強することをお勧めします。

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

出所： habr.com