🥇データサイエンティストのメモ: データクエリ言語の個人的なレビュー |プロホスター

個人的な経験から、いつ、どこで、何が役に立ったかをお話しします。これは概要と論文なので、どこをさらに詳しく掘り下げることができるかが明確です。しかし、ここでは私が完全に主観的な個人的な経験を持っているため、おそらくすべてがあなたにとって完全に異なるでしょう。

クエリ言語を知り、使用できるようになることはなぜ重要ですか?データサイエンスの中核には、いくつかの重要な作業段階があり、最初の最も重要な段階 (これがなければ何も機能しません!) はデータの取得または抽出です。ほとんどの場合、データは何らかの形式でどこかに保存されており、そこから「取得」する必要があります。

クエリ言語を使用すると、まさにこのデータを抽出できます。そして今日は、私にとって役に立ったクエリ言語について説明し、正確にどこでどのように学習する必要があるのかを説明します。

データクエリタイプには 3 つの主要なブロックがあり、この記事で説明します。

「標準」クエリ言語は、リレーショナル代数や SQL などのクエリ言語について話すときに一般的に理解されているものです。
スクリプトクエリ言語: たとえば、Python やパンダ、numpy、シェルスクリプトなどです。
ナレッジグラフおよびグラフデータベースのクエリ言語。

ここに書かれたことはすべて、単なる個人的な経験であり、何が役に立ったか、状況の説明と「なぜそれが必要だったのか」を示したものです。誰もが同様の状況がどのように起こるかを試し、これらの言語を理解することで事前に準備を試みることができます。プロジェクトに（緊急に）申請しなければならない前、あるいは必要とされるプロジェクトに着手する前に。

「標準」クエリ言語

標準クエリ言語は、まさに私たちがクエリについて話すときに通常考えるような意味でのものです。

関係代数

なぜ今日関係代数が必要なのでしょうか?クエリ言語が特定の方法で構造化されている理由をよく理解し、意識的に使用するには、クエリ言語の基礎となるコアを理解する必要があります。

関係代数とは何ですか?

正式な定義は次のとおりです。リレーショナル代数は、リレーショナルデータモデル内の関係に対する操作の閉じたシステムです。もう少し人間らしく言うと、これは結果が常にテーブルになるようなテーブルの操作システムです。

すべてのリレーショナル演算を参照この Habr の記事 - ここでは、なぜ知っておく必要があるのか、そしてそれがどこに役立つのかについて説明します。

なぜですか？

クエリ言語とは何なのか、特定のクエリ言語の式の背後にどのような操作があるのかを理解し始めると、多くの場合、クエリ言語で何がどのように機能するかについてより深く理解できるようになります。

から取られたこの記事。操作の例: join。テーブルを結合します。

勉強用の教材:

スタンフォード大学の優れた入門コース。一般に、関係代数と理論に関する資料は、Coursera、Udacity などにたくさんあります。オンラインには膨大な量の資料もあります。学術コース。私の個人的なアドバイス: 関係代数をよく理解する必要があります。これは基本中の基礎です。

SQL

から取られたこの記事。

SQL は本質的にリレーショナル代数の実装です。重要な注意点がありますが、SQL は宣言型です。つまり、リレーショナル代数の言語でクエリを作成する場合、実際には計算方法を指定しますが、SQL では抽出したいものを指定すると、DBMS がすでにリレーショナル代数の言語で (効果的な) 式を生成します (DBMS の等価性は私たちには次のように知られていますコッドの定理).

から取られたこの記事。

なぜですか？

リレーショナル DBMS: Oracle、Postgres、SQL Server などは依然として事実上どこにでも存在しており、これらを操作する必要がある可能性が非常に高いため、SQL を読み取るか (その可能性は非常に高い)、SQL を書き込む必要があります (可能性も低い）。

何を読んで勉強するか

上記の同じリンク (関係代数に関する) によると、信じられないほどの量の資料があります。例えば、この.

ところでNoSQLって何ですか？

「『NoSQL』という用語は完全に自然発生的に生まれたものであり、一般に受け入れられている定義やその背後にある科学的機関がないことをもう一度強調する価値があります。」対応する記事ハブルで。

実際、人々は、多くの問題を解決するのに完全なリレーショナルモデルは必要ないことに気づきました。特に、パフォーマンスが重要であり、集計を伴う特定の単純なクエリが大半を占めるような問題では、メトリクスを迅速に計算してそれらをデータベースに書き込むことが重要です。データベース、ほとんどの機能はリレーショナルであることが判明し、不要であるだけでなく有害であることが判明しました。(特定のタスクにとって) 最も重要なことである生産性を台無しにするのに、なぜ何かを正規化するのでしょうか?

また、古典的なリレーショナルモデルの固定された数学的スキーマの代わりに、柔軟なスキーマが必要になることがよくあります。これにより、システムを展開して迅速に作業を開始し、結果を処理することが重要な場合、または保存されたデータのスキーマと種類が重要な場合に、アプリケーション開発が大幅に簡素化されます。はそれほど重要ではありません。

たとえば、エキスパートシステムを作成しており、メタ情報とともに特定のドメインの情報を保存したいと考えています。すべてのフィールドを把握しているわけではなく、各レコードの JSON を保存するだけかもしれません。これにより、データを拡張するための非常に柔軟な環境が得られます。モデル化して迅速に反復する - したがって、この場合、NoSQL の方がさらに好ましく、より読みやすくなります。エントリの例 (NoSQL が必要な場所に適切に使用されていた私のプロジェクトの 1 つから)。

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

もっと読むことができますここで NoSQLについて。

何を勉強しますか？

ここではむしろ、自分のタスク、そのタスクがどのような特性を持っているか、この説明に適合する利用可能な NoSQL システムはどれかを徹底的に分析してから、このシステムの研究を開始する必要があります。

スクリプトクエリ言語

最初は、Python が一般的にそれと何の関係があるのかと思われるかもしれません。これはプログラミング言語であり、クエリに関するものではまったくありません。

Pandas は文字通りデータサイエンスのスイスアーミーナイフであり、その中で膨大な量のデータ変換、集約などが行われます。
Numpy - ベクトル計算、行列、線形代数がそこにあります。
Scipy - このパッケージには多くの数学、特に統計が含まれています。
Jupyter lab - ラップトップに適した多くの探索的データ分析 - 知っておくと便利です。
リクエスト - ネットワークを操作します。
Pyspark はデータエンジニアの間で非常に人気があり、単に人気があるため、おそらくこれまたは Spark を操作する必要があるでしょう。
*Selenium - サイトやリソースからデータを収集するのに非常に役立ちますが、場合によってはデータを取得する他に方法がない場合があります。

私の主なアドバイスは、Python を学びましょう!

パンダ

例として次のコードを見てみましょう。

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

基本的に、コードが古典的な SQL パターンに適合していることがわかります。

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

しかし、重要なのは、このコードがスクリプトとパイプラインの一部であるということであり、実際には、クエリを Python パイプラインに埋め込んでいます。この状況では、クエリ言語は Pandas や pySpark などのライブラリから提供されます。

一般に、pySpark では、次のような趣旨でクエリ言語を介した同様のタイプのデータ変換が見られます。

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

どこで何を読むべきか

Python自体全般について問題ない勉強するための資料を見つけます。オンラインには膨大な数のチュートリアルがありますパンダ, パイスパークとコーススパーク (そしてそれ自体でも DS）。全体として、ここのコンテンツはグーグル検索に最適です。注目すべきパッケージを 1 つ選ぶとしたら、それはもちろんパンダでしょう。 DS+Python素材の組み合わせについてもとても.

クエリ言語としてのシェル

私がこれまで関わってきたかなりの数のデータ処理および分析プロジェクトは、実際には、Python、Java のコード、およびシェルコマンド自体を呼び出すシェルスクリプトです。したがって、一般に、bash/zsh/etc のパイプラインは、ある種の高レベルのクエリと考えることができます (もちろん、そこにループを詰め込むこともできますが、これはシェル言語の DS コードでは一般的ではありません)。簡単な例 - ウィキデータの QID マッピングと、ロシア語と英語のウィキへの完全なリンクを行う必要がありました。このために、bash のコマンドから簡単なリクエストを書き、出力のために Python で簡単なスクリプトを書きました。このようにまとめます:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

どこ

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")'

実際、これは必要なマッピングを作成するパイプライン全体でした。ご覧のとおり、すべてがフローモードで動作しました。

pv filepath - ファイルサイズに基づいて進行状況バーを表示し、その内容を次に渡します。
unpigz -c アーカイブの一部を読み取り、それを jq に渡します
jq とキー - ストリームはすぐに結果を生成し、それを Python のポストプロセッサー (最初の例と同じ) に渡します。
内部的には、ポストプロセッサは出力をフォーマットする単純なステートマシンでした。

合計すると、大きなリソースを使用せずに、単純なパイプラインといくつかのツールで作成された、大規模なデータ (0.5 TB) に対してフローモードで動作する複雑なパイプラインです。

もう 1 つの重要なヒント: ターミナルで適切かつ効率的に作業し、bash/zsh/etc を作成できるようにすることです。

どこで役に立ちますか？はい、ほぼどこにでもあります。繰り返しになりますが、インターネット上には勉強できる資料がたくさんあります。特にここでは、これ私の前の記事。

R スクリプト

繰り返しになりますが、読者はこう叫ぶかもしれません - なるほど、これはプログラミング言語そのものだ!そしてもちろん、彼は正しいでしょう。しかし、私が R に遭遇したのは、実際にはクエリ言語に非常に似ているような状況でした。

R は、静的コンピューティングと視覚化のための統計コンピューティング環境および言語です ( この).

撮影故に。ちなみに、素材も良くてオススメです。

データサイエンティストが R を知る必要があるのはなぜですか?少なくとも、R でデータを分析する非 IT 層の層が非常に多いためです。私は次の場所で R に遭遇しました。

製薬部門。
生物学者。
金融部門。
統計を扱う純粋に数学的な教育を受けた人々。
特殊な統計モデルと機械学習モデル (多くの場合、R パッケージとして作成者のバージョンでのみ存在します)。

なぜ実際にクエリ言語なのでしょうか?よく見られる形式では、実際には、データの読み取りやクエリ (モデル) パラメータの修正、ggplot2 などのパッケージ内のデータの視覚化など、モデルを作成するリクエストです。これもクエリの作成形式です。。

視覚化のためのクエリの例

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

一般に、R の多くのアイデアは、データフレームやデータのベクトル化など、pandas、numpy、scipy などの Python パッケージに移行されています。そのため、一般に、R の多くの機能は馴染みがあり、便利に思われるでしょう。

研究すべき情報源はたくさんあります。たとえば、この.

ナレッジグラフ

ここで私は少し珍しい経験をしました。ナレッジグラフとグラフのクエリ言語を使用する必要が非常に頻繁にあるからです。したがって、この部分はもう少し特殊なので、基本を簡単に説明しましょう。

従来のリレーショナルデータベースでは固定スキーマがありますが、ここではスキーマが柔軟であり、各述語は実際には「列」、またはそれ以上です。

人物をモデルにして重要なことを説明したいと想像してください。たとえば、ダグラスアダムスという特定の人物を取り上げ、この説明を基礎として使用してみましょう。

www.wikidata.org/wiki/Q42

リレーショナルデータベースを使用する場合、膨大な数の列を含む巨大なテーブルを作成する必要があります。そのほとんどは NULL か、デフォルトの False 値で埋められます。たとえば、韓国国立図書館のエントリ - もちろん、それらを別のテーブルに置くこともできますが、これは最終的には、固定リレーショナル回路を使用して述語を備えた柔軟な論理回路をモデル化する試みになります。

したがって、すべてのデータがグラフとして、またはバイナリおよび単項ブール式として保存されていると想像してください。

どこでこんなことに遭遇できるのでしょうか？まず、一緒に作業するのは、データウィキ、および任意のグラフデータベースまたは接続されたデータと連携します。

以下は、私が使用し、作業した主なクエリ言語です。

SPARQL

Wiki：
スパークル (再帰的な頭字語から ENG。 SPARQL プロトコルと RDF クエリ言語） - データクエリ言語、モデルで表される RDFとプロトコルこれらのリクエストを送信し、それに応答するため。 SPARQL がお勧めです W3C コンソーシアムそしてその技術の一つがセマンティックウェブ.

しかし実際には、これは論理的な単項および二項述語用のクエリ言語です。ブール式で何が修正され、何が修正されないかを条件付きで指定しているだけです (非常に単純化されています)。

SPARQL クエリが実行される RDF (リソース記述フレームワーク) ベース自体は、トリプルです。 object, predicate, subject - そして、クエリは精神で指定された制限に従って必要なトリプルを選択します: p_55(X, q_33) が true となる X を見つけます - もちろん、p_55 は ID 55 とのある種の関係であり、q_33 はID 33 のオブジェクト (ここでもストーリー全体を説明します。ここでもあらゆる種類の詳細は省略します)。

データ表示の例:

国の写真と例はこちら故に.

基本的なクエリの例

実際、述語に対して次のような ?country 変数の値を見つけたいと考えています。
member_of、確かに member_of(?country,q458) および q458 は欧州連合の ID です。

Python エンジン内の実際の SPARQL クエリの例:

通常、SPARQL を書くよりも読む必要があります。そのような状況では、データがどのように取得されるかを正確に理解するために、少なくとも基本レベルで SPARQL 言語を理解することが役立つスキルになるでしょう。

オンラインで学習できる資料はたくさんあります。たとえば、こちらこの и この。私は通常、特定のデザインや例をグーグルで検索しますが、今のところはそれで十分です。

論理クエリ言語

このトピックについて詳しくは、私の記事をご覧くださいここで。ここでは、論理言語がクエリの作成に適している理由を簡単に説明します。基本的に、RDF は p(X) および h(X,Y) 形式の論理ステートメントのセットにすぎず、論理クエリは次の形式になります。

output(X) :- country(X), member_of(X,“EU”).

ここでは、X に対して country(X) が true、つまり X は国であり、また member_of(X,"EU ") であるという条件で、新しい述語出力 /1 (/1 は単項を意味します) を作成することについて話しています。

つまり、この場合、データとルールの両方が同じ方法で提示されるため、問題を非常に簡単かつ適切にモデル化できます。

業界内のどこで知り合ったんですか？: そのような言語でクエリを作成する会社との大規模なプロジェクト全体、およびシステムの中核にある現在のプロジェクト - これはかなり珍しいことのように思えるかもしれませんが、時々起こります。

ウィキデータを処理する論理言語のコード部分の例:

資料: 最新の論理プログラミング言語「Answer Set Programming」へのリンクをいくつか紹介します。勉強することをお勧めします。

出所： habr.com

データ サイエンティストのメモ: データ クエリ言語の個人的なレビュー