🥇데이터 과학자의 메모: 데이터 쿼리 언어에 대한 개인 검토

언제 어디서 유용했는지 개인적인 경험을 통해 말씀 드리고 있습니다. 개요와 논문이므로 무엇을 더 깊이 파고들 수 있는지 명확합니다. 하지만 여기서는 전적으로 주관적인 개인적인 경험을 가지고 있습니다. 어쩌면 모든 것이 완전히 다를 수도 있습니다.

쿼리 언어를 알고 사용할 수 있는 것이 왜 중요한가요? 데이터 과학의 핵심에는 몇 가지 중요한 작업 단계가 있으며, 가장 먼저이자 가장 중요한(이 없이는 아무 것도 작동하지 않습니다!) 데이터를 얻거나 추출하는 것입니다. 대부분의 경우 데이터는 어떤 형태로든 어딘가에 저장되어 있으며 거기에서 "검색"되어야 합니다.

쿼리 언어를 사용하면 바로 이 데이터를 추출할 수 있습니다! 그리고 오늘 저는 저에게 유용했던 쿼리 언어에 대해 말씀드리고, 정확히 어디서, 어떻게 공부해야 하는지, 왜 공부해야 하는지 알려드리겠습니다.

이 문서에서는 세 가지 주요 데이터 쿼리 유형 블록이 있습니다.

"표준" 쿼리 언어는 관계형 대수학이나 SQL과 같은 쿼리 언어를 말할 때 일반적으로 이해되는 언어입니다.
스크립팅 쿼리 언어: 예를 들어 Python things pandas, numpy 또는 쉘 스크립팅.
지식 그래프 및 그래프 데이터베이스에 대한 쿼리 언어입니다.

여기에 작성된 모든 내용은 상황에 대한 설명 및 "필요한 이유"와 함께 유용했던 개인적인 경험일 뿐입니다. 누구나 비슷한 상황이 어떻게 닥칠 수 있는지 시도하고 이러한 언어를 이해하여 미리 준비하려고 노력할 수 있습니다. 프로젝트에 (긴급하게) 지원하거나 필요한 프로젝트에 도착하기 전에.

"표준" 쿼리 언어

표준 쿼리 언어는 우리가 쿼리에 대해 이야기할 때 일반적으로 생각하는 것과 정확히 같습니다.

관계대수학

오늘날 관계 대수학이 필요한 이유는 무엇입니까? 쿼리 언어가 왜 특정한 방식으로 구성되어 있는지 잘 이해하고 이를 의식적으로 사용하려면 그 밑에 깔려 있는 핵심을 이해해야 합니다.

관계 대수학이란 무엇입니까?

공식적인 정의는 다음과 같습니다. 관계 대수학은 관계형 데이터 모델의 관계에 대한 폐쇄형 연산 시스템입니다. 좀 더 인간적으로 말하면, 이는 결과가 항상 테이블이 되도록 테이블에 대한 작업 시스템입니다.

모든 관계 연산 보기 이 Habr의 기사 - 여기서는 알아야 하는 이유와 유용한 정보를 설명합니다.

이유는 무엇입니까?

쿼리 언어가 무엇인지, 특정 쿼리 언어의 표현식 뒤에 어떤 작업이 있는지 이해하기 시작하면 쿼리 언어에서 작동하는 것이 무엇인지, 어떻게 작동하는지 더 깊이 이해할 수 있는 경우가 많습니다.

에서 가져온 이 조항. 작업의 예: 테이블을 조인하는 조인.

연구 자료:

스탠포드의 좋은 입문 과정. 일반적으로 관계형 대수학 및 이론에 관한 많은 자료(Coursera, Udacity)가 있습니다. 또한 온라인에는 좋은 자료를 포함하여 엄청난 양의 자료가 있습니다. 학술 과정. 내 개인적인 조언: 관계 대수학을 잘 이해해야 합니다. 이것이 기본의 기초입니다.

SQL

에서 가져온 이 기사.

SQL은 본질적으로 관계형 대수의 구현입니다. 중요한 주의 사항이 있지만 SQL은 선언적입니다! 즉, 관계형 대수학 언어로 쿼리를 작성할 때 실제로 계산 방법을 말하지만 SQL을 사용하여 추출할 내용을 지정하면 DBMS가 이미 관계형 대수학 언어로 (효과적인) 표현식을 생성합니다. 동등성은 우리에게 다음과 같이 알려져 있습니다. 코드의 정리).

에서 가져온 이 기사.

이유는 무엇입니까?

관계형 DBMS: Oracle, Postgres, SQL Server 등은 여전히 사실상 어디에나 있으며 이들과 상호 작용해야 할 가능성이 엄청나게 높습니다. 즉, SQL을 읽거나(가능성이 매우 높음) 작성해야 함을 의미합니다( 가능성도 낮음).

무엇을 읽고 공부해야 하는가

위의 동일한 링크(관계형 대수학 관련)에 따르면 엄청난 양의 자료가 있습니다. 예를 들어, 이.

그런데 NoSQL이 뭔가요?

""NoSQL"이라는 용어는 완전히 자발적인 유래를 가지며 일반적으로 받아들여지는 정의나 이를 뒷받침하는 과학 기관이 없다는 점을 다시 한 번 강조할 가치가 있습니다." 동 기사 하브르에서.

실제로 사람들은 많은 문제를 해결하는 데 완전한 관계형 모델이 필요하지 않다는 것을 깨달았습니다. 특히 성능이 중요하고 집계가 포함된 특정 단순 쿼리가 지배적인 경우, 즉 메트릭을 신속하게 계산하고 이를 데이터에 기록하는 것이 중요한 경우에는 더욱 그렇습니다. 데이터베이스 및 대부분의 관계형 기능은 불필요할 뿐만 아니라 유해한 것으로 밝혀졌습니다. 특정 작업에 대해 우리에게 가장 중요한 것인 생산성을 망칠 수 있다면 왜 표준화해야 합니까?

또한 기존 관계형 모델의 고정된 수학적 스키마 대신 유연한 스키마가 필요한 경우가 많습니다. 이는 시스템을 배포하고 신속하게 작업을 시작하여 결과를 처리하거나 저장된 데이터의 스키마 및 유형을 처리하는 것이 중요한 경우 애플리케이션 개발을 엄청나게 단순화합니다. 그다지 중요하지 않습니다.

예를 들어, 우리는 전문가 시스템을 만들고 일부 메타 정보와 함께 특정 도메인에 대한 정보를 저장하려고 합니다. 모든 필드를 알지 못하고 단순히 각 레코드에 대해 JSON을 저장할 수 있습니다. 이는 데이터 확장을 위한 매우 유연한 환경을 제공합니다. 모델 및 빠른 반복 - 따라서 이 경우에는 NoSQL이 훨씬 더 선호되고 읽기 쉽습니다. 예제 항목(NoSQL이 필요한 곳에 바로 있었던 내 프로젝트 중 하나에서)

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

더 읽어보실 수 있습니다 여기에 NoSQL에 대해

무엇을 공부할까요?

대신 여기서는 작업, 해당 작업의 속성, 이 설명에 맞는 사용 가능한 NoSQL 시스템을 철저히 분석한 다음 이 시스템에 대한 연구를 시작하면 됩니다.

스크립팅 쿼리 언어

처음에는 Python이 일반적으로 그것과 어떤 관련이 있는 것 같습니다. 그것은 쿼리에 관한 것이 아니라 프로그래밍 언어입니다.

Pandas는 말 그대로 데이터 과학의 스위스 군용 칼이며, 그 안에서 엄청난 양의 데이터 변환, 집계 등이 발생합니다.
Numpy - 벡터 계산, 행렬 및 선형 대수학이 있습니다.
Scipy - 이 패키지에는 많은 수학, 특히 통계가 포함되어 있습니다.
Jupyter 연구소 - 많은 탐색적 데이터 분석이 노트북에 적합합니다. 알아두면 유용합니다.
요청 - 네트워크 작업.
Pyspark는 데이터 엔지니어들 사이에서 매우 인기가 높으며, 단순히 인기가 높기 때문에 이 제품이나 Spark와 상호 작용해야 할 가능성이 높습니다.
*Selenium - 사이트 및 리소스에서 데이터를 수집하는 데 매우 유용하며 때로는 데이터를 얻을 수 있는 다른 방법이 없는 경우도 있습니다.

나의 주요 조언: Python을 배우세요!

판다

다음 코드를 예로 들어보겠습니다.

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

본질적으로 우리는 코드가 고전적인 SQL 패턴에 맞는다는 것을 알 수 있습니다.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

그러나 중요한 부분은 이 코드가 스크립트와 파이프라인의 일부라는 것입니다. 실제로 우리는 Python 파이프라인에 쿼리를 내장하고 있습니다. 이 상황에서는 Pandas 또는 pySpark와 같은 라이브러리에서 쿼리 언어가 제공됩니다.

일반적으로 pySpark에서는 다음과 같은 정신으로 쿼리 언어를 통해 유사한 유형의 데이터 변환을 볼 수 있습니다.

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

어디서, 무엇을 읽을까

일반적으로 Python 자체에 대해 문제 없음 공부할 자료를 찾아보세요. 온라인에는 수많은 튜토리얼이 있습니다. 팬더, 파이스파크 그리고 강좌 불꽃 (그리고 그 자체로도 DS). 전반적으로 여기에 있는 콘텐츠는 인터넷 검색에 적합하며 집중할 패키지 하나를 선택해야 한다면 당연히 pandas가 될 것입니다. DS+Python 소재의 조합에 대해서도 대단히.

쿼리 언어로서의 셸

제가 작업한 데이터 처리 및 분석 프로젝트 중 상당수는 실제로 Python, Java에서 코드를 호출하는 셸 스크립트와 셸 명령 자체였습니다. 따라서 일반적으로 bash/zsh/etc의 파이프라인을 일종의 상위 수준 쿼리로 간주할 수 있습니다(물론 거기에 루프를 넣을 수 있지만 이는 쉘 언어의 DS 코드에서는 일반적이지 않습니다). 간단한 예 - 위키데이터의 QID 매핑과 러시아어 및 영어 위키에 대한 전체 링크를 수행해야 했습니다. 이를 위해 bash의 명령에서 간단한 요청을 작성했고 출력을 위해 Python으로 간단한 스크립트를 작성했습니다. 다음과 같이 정리하세요:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

어디에서

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")'

실제로 이는 필요한 매핑을 생성한 전체 파이프라인이었습니다. 보시다시피 모든 것이 스트림 모드에서 작동했습니다.

pv filepath - 파일 크기에 따라 진행률 표시줄을 제공하고 해당 내용을 계속 전달합니다.
unpigz -c 아카이브의 일부를 읽고 jq에 제공했습니다.
키가 있는 jq - 스트림은 즉시 결과를 생성하고 이를 Python의 후처리기(첫 번째 예와 동일)에 전달했습니다.
내부적으로 포스트 프로세서는 출력 형식을 지정하는 간단한 상태 머신이었습니다.

전체적으로 대규모 데이터(0.5TB)에 대해 흐름 모드로 작동하는 복잡한 파이프라인은 상당한 리소스 없이 간단한 파이프라인과 몇 가지 도구로 만들어졌습니다.

또 다른 중요한 팁: 터미널에서 잘 작동하고 효과적으로 bash/zsh/etc를 작성할 수 있어야 합니다.

어디에 유용할까요? 예, 거의 모든 곳에서 다시 말씀드리지만, 인터넷에는 공부할 자료가 많이 있습니다. 특히 여기서는 이 내 이전 기사.

R 스크립팅

다시 말하지만 독자는 이렇게 외칠 수도 있습니다. 음, 이것은 전체 프로그래밍 언어입니다! 물론 그가 옳을 것이다. 그러나 나는 실제로 쿼리 언어와 매우 유사한 맥락에서 R을 자주 접했습니다.

R은 정적 컴퓨팅과 시각화를 위한 통계 컴퓨팅 환경이자 언어입니다. 이).

취한 따라서. 그런데, 좋은 자료 추천드립니다.

데이터 과학자가 R을 알아야 하는 이유는 무엇입니까? 적어도 R에서 데이터를 분석하는 IT가 아닌 사람들이 엄청나게 많기 때문입니다. 저는 다음과 같은 곳에서 이를 발견했습니다.

제약 부문.
생물학자들.
금융 부문.
통계를 다루는 순수 수학 교육을 받은 사람들입니다.
전문 통계 모델 및 기계 학습 모델(저자의 버전에서 R 패키지로만 찾을 수 있는 경우가 많음)

실제로 쿼리 언어인 이유는 무엇입니까? 흔히 발견되는 형태로는 실제로는 데이터를 읽고 쿼리(모델) 매개변수를 수정하는 것뿐만 아니라 ggplot2 등의 패키지에서 데이터를 시각화하는 등 모델을 생성해달라는 요청인데, 이것도 쿼리를 작성하는 형태다. .

시각화 쿼리 예시

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

일반적으로 R의 많은 아이디어가 데이터 프레임 및 데이터 벡터화와 같은 pandas, numpy 또는 scipy와 같은 Python 패키지로 마이그레이션되었으므로 일반적으로 R의 많은 것들이 익숙하고 편리해 보일 것입니다.

예를 들어, 연구할 소스가 많이 있습니다. 이.

지식 그래프

여기서는 지식 그래프와 그래프용 쿼리 언어로 작업해야 하는 경우가 꽤 많기 때문에 약간 특이한 경험을 했습니다. 그러므로 이 부분은 좀 더 이국적이기 때문에 기본적인 것만 간단히 살펴보도록 하겠습니다.

기존 관계형 데이터베이스에는 고정된 스키마가 있지만 여기서는 스키마가 유연하며 각 조건자는 실제로 "열" 그 이상입니다.

당신이 사람을 모델링하고 핵심 사항을 설명하고 싶다고 상상해보십시오. 예를 들어 특정 사람인 Douglas Adams를 선택하고 이 설명을 기초로 사용합시다.

www.wikidata.org/wiki/Q42

관계형 데이터베이스를 사용했다면 엄청난 수의 열이 포함된 거대한 테이블을 생성해야 할 것입니다. 그 중 대부분은 NULL이거나 일부 기본 False 값으로 채워져 있을 것입니다. 한국 국립 도서관 항목 - 물론 별도의 테이블에 넣을 수도 있지만 이는 궁극적으로 고정된 관계형을 사용하여 술어로 유연한 논리 회로를 모델링하려는 시도일 것입니다.

따라서 모든 데이터가 그래프 또는 이진 및 단항 부울 표현식으로 저장된다고 상상해 보세요.

어디서 이런 일을 만날 수 있나요? 첫째로, 데이터 위키, 그래프 데이터베이스 또는 연결된 데이터.

다음은 제가 사용하고 작업한 주요 쿼리 언어입니다.

스파클

위키 :
SPARQL(재귀 약어 부터 공학과. SPARQL 프로토콜 및 RDF 쿼리 언어) - 데이터 쿼리 언어, 모델로 표현됨 RDF과 프로토콜 이러한 요청을 전송하고 응답합니다. SPARQL을 권장합니다 W3C 컨소시엄 그리고 기술 중 하나 시맨틱 웹.

그러나 실제로는 논리적 단항 및 이항 조건부에 대한 쿼리 언어입니다. 부울 표현식에서 수정된 것과 그렇지 않은 것을 조건부로 지정하는 것뿐입니다(매우 단순화됨).

SPARQL 쿼리가 실행되는 RDF(Resource Description Framework) 기반 자체는 삼중 구조입니다. object, predicate, subject - 쿼리는 정신에 지정된 제한 사항에 따라 필요한 트리플을 선택합니다. p_55(X, q_33)이 참인 X를 찾습니다. 여기서 물론 p_55는 ID 55와의 일종의 관계이고 q_33은 ID 33을 가진 객체(여기서 그리고 전체 이야기, 다시 모든 종류의 세부 사항을 생략함).

데이터 표현의 예:

국가별 사진 및 예시는 여기를 참조하세요. 따라서.

기본 쿼리 예

실제로 우리는 술어에 대해 ?country 변수의 값을 찾고 싶습니다.
member_of, member_of(?country,q458) 및 q458이 유럽 연합의 ID인 것은 사실입니다.

Python 엔진 내부의 실제 SPARQL 쿼리 예:

일반적으로 SPARQL을 작성하는 대신 읽어야 했습니다. 그런 상황에서는 데이터가 검색되는 방식을 정확히 이해하기 위해 최소한 기본 수준에서 언어를 이해하는 것이 유용한 기술이 될 것입니다.

온라인으로 공부할 자료가 많이 있습니다. 예를 들어 여기 이 и 이. 저는 보통 Google에서 특정 디자인과 예시를 검색하는데, 지금은 그것으로 충분합니다.

논리적 쿼리 언어

내 기사에서 주제에 대한 자세한 내용을 읽을 수 있습니다. 여기에. 그리고 여기서는 왜 논리적 언어가 쿼리 작성에 적합한지 간략하게 살펴보겠습니다. 기본적으로 RDF는 p(X) 및 h(X,Y) 형식의 논리문 집합이며 논리 쿼리의 형식은 다음과 같습니다.

output(X) :- country(X), member_of(X,“EU”).

여기서는 X의 경우 country(X)가 참인 경우 새로운 조건자 출력/1(/1은 단항을 의미)을 생성하는 방법에 대해 설명합니다. 즉, X는 국가이고 member_of(X,"EU ")이기도 합니다.

즉, 이 경우 데이터와 규칙이 모두 동일한 방식으로 제시되므로 문제를 매우 쉽고 잘 모델링할 수 있습니다.

업계 어디에서 만났나요?: 해당 언어로 쿼리를 작성하는 회사와 시스템 핵심의 현재 프로젝트에 대한 전체 대규모 프로젝트-이것은 다소 이국적인 것처럼 보이지만 때로는 발생합니다.

위키데이터를 처리하는 논리적 언어의 코드 조각 예:

자료: 여기에 현대 논리 프로그래밍 언어인 Answer Set 프로그래밍에 대한 몇 가지 링크를 제공하겠습니다. 공부하는 것이 좋습니다.

출처 : habr.com

데이터 과학자 노트: 데이터 쿼리 언어에 대한 맞춤형 검토