הערות מדען נתונים: סקירה מותאמת אישית של שפות שאילתות נתונים

אני אומר לך מניסיון אישי מה היה שימושי איפה ומתי. זה סקירה ותזה, כדי שיהיה ברור מה והיכן אתה יכול לחפור יותר - אבל כאן יש לי ניסיון אישי סובייקטיבי בלבד, אולי הכל שונה לגמרי עבורך.

מדוע חשוב לדעת ולהיות מסוגלים להשתמש בשפות שאילתות? בבסיסו, ל-Data Science יש כמה שלבי עבודה חשובים, והראשון והחשוב ביותר (בלעדיו, ודאי ששום דבר לא יעבוד!) הוא השגת או חילוץ נתונים. לרוב, הנתונים יושבים איפשהו בצורה כלשהי וצריך "לשלוף" משם. 

שפות שאילתות מאפשרות לך לחלץ את הנתונים האלה! והיום אספר לכם על שפות השאילתה הללו שהיו שימושיות עבורי ואספר לכם ואראה לכם היכן ואיך בדיוק - למה זה נחוץ ללמוד.

יהיו שלושה בלוקים עיקריים של סוגי שאילתות נתונים, עליהם נדון במאמר זה:

• שפות שאילתות "סטנדרטיות" הן מה שמקובל להבין כשמדברים על שפת שאילתה, כגון אלגברה רלציונית או SQL.
• שפות שאילתות סקריפטים: לדוגמה, Python things pandas, numpy או scripting shell.
• שפות שאילתות לגרפי ידע ומסדי נתונים של גרפים.

כל מה שנכתב כאן הוא רק חוויה אישית, מה שהיה שימושי, עם תיאור של מצבים ו"למה זה היה נחוץ" - כל אחד יכול לנסות איך מצבים דומים יכולים להגיע בדרך שלך ולנסות להתכונן אליהם מראש על ידי הבנת השפות הללו לפני שאתה צריך להגיש בקשה (בדחיפות) על פרויקט או אפילו להגיע לפרויקט שבו הם נחוצים.

שפות שאילתות "סטנדרטיות".

שפות שאילתות סטנדרטיות הן בדיוק במובן שאנחנו בדרך כלל חושבים עליהן כשאנחנו מדברים על שאילתות.

אלגברה יחסי

מדוע נדרשת היום אלגברה יחסית? כדי להבין טוב מדוע שפות שאילתות בנויות בצורה מסוימת ולהשתמש בהן באופן מודע, עליך להבין את הליבה העומדת בבסיסן.

מהי אלגברה יחסית?

ההגדרה הפורמלית היא כדלקמן: אלגברה יחסי היא מערכת סגורה של פעולות על יחסים במודל נתונים יחסי. אם לומר את זה קצת יותר אנושי, מדובר במערכת של פעולות על טבלאות כך שהתוצאה היא תמיד טבלה.

ראה את כל הפעולות היחסיות ב זה מאמר מהאבר - כאן אנו מתארים מדוע אתה צריך לדעת והיכן זה שימושי.

למה?

התחלת להבין במה מדובר בשפות שאילתות ואילו פעולות עומדות מאחורי ביטויים בשפות שאילתות ספציפיות נותנת לעתים קרובות הבנה מעמיקה יותר של מה עובד בשפות שאילתה וכיצד.

נלקח מ זה מאמרים. דוגמה לפעולה: join, המצטרפת לטבלאות.

חומרים ללימוד:

קורס מבוא טוב מסטנפורד. באופן כללי, יש הרבה חומרים על אלגברה ותיאוריה יחסיים - Coursera, Udacity. יש גם כמות עצומה של חומר באינטרנט, כולל טוב קורסים אקדמיים. העצה האישית שלי: אתה צריך להבין את האלגברה ההתייחסותית היטב - זה הבסיס של היסודות.

SQL

נלקח מ זה מאמרים.

SQL הוא בעצם יישום של אלגברה רלציונית - עם אזהרה חשובה, SQL הוא הצהרתי! כלומר, כשכותבים שאילתה בשפת האלגברה ההתייחסות, בעצם אומרים איך לחשב - אבל עם SQL מציינים מה רוצים לחלץ, ואז ה-DBMS כבר מייצר ביטויים (יעילים) בשפת האלגברה ההתייחסותית (שלהם שקילות ידועה לנו בתור משפט קוד).

נלקח מ זה מאמרים.

למה?

DBMSs יחסי: Oracle, Postgres, SQL Server וכו' עדיין נמצאים כמעט בכל מקום ויש סיכוי גבוה להפליא שתצטרך ליצור איתם אינטראקציה, מה שאומר שתצטרך לקרוא SQL (מה שסביר מאוד) או לכתוב אותו ( גם לא סביר).

מה לקרוא וללמוד

לפי אותם קישורים לעיל (על אלגברה יחסית), יש כמות מדהימה של חומר, למשל, זה.

דרך אגב, מה זה NoSQL?

"ראוי להדגיש שוב שלמונח "NoSQL" יש מקור ספונטני לחלוטין ואין מאחוריו הגדרה מקובלת או מוסד מדעי." תוֹאֵם מאמר על הבר.

למעשה, אנשים הבינו שאין צורך במודל יחסי מלא כדי לפתור בעיות רבות, במיוחד עבור אלו שבהן, למשל, הביצועים הם קריטיים ושאילתות פשוטות מסוימות עם צבירה שולטות - שם חיוני לחשב מדדים במהירות ולכתוב אותם ל- מסד נתונים, ורוב המאפיינים הם יחסיים התברר שהם לא רק מיותרים, אלא גם מזיקים - למה לנרמל משהו אם זה יקלקל את הדבר החשוב ביותר עבורנו (עבור איזו משימה ספציפית) - פרודוקטיביות?

כמו כן, לעתים קרובות יש צורך בסכימות גמישות במקום הסכמות המתמטיות הקבועות של המודל ההתייחסותי הקלאסי - וזה מפשט להפליא את פיתוח האפליקציות כאשר קריטי לפרוס את המערכת ולהתחיל לעבוד במהירות, לעבד את התוצאות - או את הסכימה וסוגי הנתונים המאוחסנים לא כל כך חשובים.

לדוגמה, אנחנו יוצרים מערכת מומחים ורוצים לאחסן מידע על תחום ספציפי יחד עם קצת מטא מידע - אולי לא מכירים את כל השדות ופשוט מאחסנים JSON עבור כל רשומה - זה נותן לנו סביבה מאוד גמישה להרחבת הנתונים מודל ואיטרציה מהירה - כך שבמקרה זה, NoSQL יהיה אפילו עדיף וקריא יותר. ערך דוגמה (מאחד הפרויקטים שלי שבו NoSQL היה בדיוק במקום בו היה צורך).

{"en_wikipedia_url":"https://en.wikipedia.org/wiki/Johnny_Cash",
"ru_wikipedia_url":"https://ru.wikipedia.org/wiki/?curid=301643",
"ru_wiki_pagecount":149616,
"entity":[42775,"Джонни Кэш","ru"],
"en_wiki_pagecount":2338861}

אתה יכול לקרוא עוד כאן לגבי NoSQL.

מה ללמוד?

כאן, במקום זאת, אתה רק צריך לנתח ביסודיות את המשימה שלך, אילו מאפיינים יש לה ואיזה מערכות NoSQL זמינות שיתאימו לתיאור הזה - ואז להתחיל ללמוד את המערכת הזו.

שפות שאילתות סקריפטים

בהתחלה, נראה, מה הקשר לזה של Python באופן כללי - זו שפת תכנות, ולא על שאילתות בכלל.

• Pandas הוא ממש אולר שוויצרי של Data Science; כמות עצומה של טרנספורמציה של נתונים, צבירה וכו' מתרחשת בו.
• Numpy - חישובי וקטור, מטריצות ואלגברה לינארית שם.
• Scipy - יש הרבה מתמטיקה בחבילה הזו, במיוחד סטטיסטיקה.
• מעבדת Jupyter - הרבה ניתוח נתונים גישוש מתאים היטב למחשבים ניידים - כדאי לדעת.
• בקשות - עבודה מול הרשת.
• Pyspark פופולרי מאוד בקרב מהנדסי נתונים, סביר להניח שתצטרך לקיים אינטראקציה עם זה או עם Spark, פשוט בגלל הפופולריות שלהם.
• *סלניום - שימושי מאוד לאיסוף נתונים מאתרים ומשאבים, לפעמים פשוט אין דרך אחרת לקבל את הנתונים.

העצה העיקרית שלי: למד Python!

פנדות

ניקח את הקוד הבא כדוגמה:

import pandas as pd
df = pd.read_csv(“data/dataset.csv”)
# Calculate and rename aggregations
all_together = (df[df[‘trip_type’] == “return”]
    .groupby(['start_station_name','end_station_name'])
                  	    .agg({'trip_duration_seconds': [np.size, np.mean, np.min, np.max]})
                           .rename(columns={'size': 'num_trips', 
           'mean': 'avg_duration_seconds',    
           'amin': min_duration_seconds', 
           ‘amax': 'max_duration_seconds'}))

בעיקרו של דבר, אנו רואים שהקוד מתאים לדפוס ה-SQL הקלאסי.

SELECT start_station_name, end_station_name, count(trip_duration_seconds) as size, …..
FROM dataset
WHERE trip_type = ‘return’
GROUPBY start_station_name, end_station_name

אבל החלק החשוב הוא שהקוד הזה הוא חלק מהסקריפט ומהצינור; למעשה, אנחנו מטמיעים שאילתות בצינור Python. במצב זה, שפת השאילתה מגיעה אלינו מספריות כמו Pandas או pySpark.

באופן כללי, ב-pySpark אנו רואים סוג דומה של טרנספורמציה של נתונים באמצעות שפת שאילתה ברוח:

df.filter(df.trip_type = “return”)
  .groupby(“day”)
  .agg({duration: 'mean'})
  .sort()

איפה ומה לקרוא

על פייתון עצמו באופן כללי אין בעיה למצוא חומרים ללמוד. יש מספר עצום של מדריכים באינטרנט דובי פנדה, pySpark וקורסים בנושא לעורר (וגם בפני עצמו DS). בסך הכל, התוכן כאן נהדר לגוגל, ואם הייתי צריך לבחור חבילה אחת להתמקד בה, זה יהיה פנדה, כמובן. גם לגבי השילוב של חומרים DS+Python מאוד.

מעטפת כשפת שאילתה

לא מעט פרויקטים של עיבוד וניתוח נתונים שעבדתי איתם הם למעשה סקריפטים של מעטפת שקוראים לקוד בפייתון, ג'אווה ופקודות המעטפת עצמן. לכן, באופן כללי, אתה יכול להתייחס לצינורות ב-bash/zsh/etc כסוג של שאילתה ברמה גבוהה (אתה יכול, כמובן, להכניס שם לולאות, אבל זה לא אופייני לקוד DS בשפות מעטפת), בואו ניתן דוגמה פשוטה - הייתי צריך לעשות מיפוי QID של wikidata וקישורים מלאים לויקי הרוסית והאנגלית, בשביל זה כתבתי בקשה פשוטה מהפקודות ב-bash ועבור הפלט כתבתי סקריפט פשוט ב-Python, שאותו אני להרכיב ככה:

pv “data/latest-all.json.gz” | 
unpigz -c  | 
jq --stream $JQ_QUERY | 
python3 scripts/post_process.py "output.csv"

איפה

JQ_QUERY = 'select((.[0][1] == "sitelinks" and (.[0][2]=="enwiki" or .[0][2] =="ruwiki") and .[0][3] =="title") or .[0][1] == "id")' 

זה היה, למעשה, כל הצינור שיצר את המיפוי הנדרש; כפי שאנו רואים, הכל עבד במצב זרימה:

• pv filepath - נותן סרגל התקדמות המבוסס על גודל הקובץ ומעביר את תוכנו הלאה
• unpigz -c קרא חלק מהארכיון ונתן אותו ל-jq
• jq עם המפתח - זרם הפיק מיד את התוצאה והעביר אותה ל-postprocessor (זהה כמו בדוגמה הראשונה) בפייתון
• באופן פנימי, ה-postprocessor היה מכונת מצב פשוטה שעיצבה את הפלט 

בסך הכל, צינור מורכב שעובד במצב זרימה על נתונים גדולים (0.5TB), ללא משאבים משמעותיים ועשוי מצינור פשוט ומספר כלים.

טיפ חשוב נוסף: להיות מסוגל לעבוד טוב ויעיל בטרמינל ולכתוב bash/zsh/etc.

איפה זה יהיה שימושי? כן, כמעט בכל מקום - שוב, יש הרבה חומרים ללמוד באינטרנט. במיוחד, כאן זה המאמר הקודם שלי.

R scripting

שוב, הקורא עשוי לצעוק - ובכן, זו שפת תכנות שלמה! וכמובן, הוא יהיה צודק. עם זאת, בדרך כלל נתקלתי ב-R בהקשר כזה שלמעשה הוא היה דומה מאוד לשפת שאילתה.

R היא סביבת מחשוב סטטיסטי ושפה עבור מחשוב סטטי והדמיה (לפי זה).

נלקח מכאן. אגב, אני ממליץ עליו, חומר טוב.

מדוע מדען נתונים צריך לדעת R? לפחות, בגלל שיש שכבה עצומה של אנשים שאינם אנשי IT שמנתחים נתונים ב-R. נתקלתי בזה במקומות הבאים:

• מגזר התרופות.
• ביולוגים.
• מגזר פיננסי.
• אנשים בעלי השכלה מתמטית גרידא שעוסקים בסטטיסטיקה.
• מודלים סטטיסטיים מיוחדים ומודלים של למידת מכונה (שלרוב ניתן למצוא רק בגרסת המחבר כחבילת R).

מדוע זו בעצם שפת שאילתה? בצורה שבה הוא נמצא לרוב, מדובר למעשה בבקשה ליצור מודל, כולל קריאת נתונים ותיקון פרמטרים של שאילתות (מודל), וכן הדמיה של נתונים בחבילות כגון ggplot2 - גם זו צורה של כתיבת שאילתות .

שאילתות לדוגמה להדמיה

ggplot(data = beav, 
       aes(x = id, y = temp, 
           group = activ, color = activ)) +
  geom_line() + 
  geom_point() +
  scale_color_manual(values = c("red", "blue"))

באופן כללי, רעיונות רבים מ-R נדדו לתוך חבילות python כמו pandas, numpy או scipy, כמו dataframes ו-data vectorization - כך שבאופן כללי הרבה דברים ב-R ייראו לכם מוכרים ונוחים.

יש הרבה מקורות ללמוד, למשל, זה.

גרפי ידע

כאן יש לי חוויה קצת יוצאת דופן, כי לעתים קרובות אני צריך לעבוד עם גרפי ידע ושפות שאילתות עבור גרפים. לכן, בואו נעבור בקצרה על היסודות, שכן החלק הזה הוא קצת יותר אקזוטי.

בבסיסי נתונים יחסיים קלאסיים יש לנו סכימה קבועה, אבל כאן הסכימה גמישה, כל פרדיקט הוא למעשה "עמודה" ואף יותר.

תארו לעצמכם שאתם מדגמנים אדם ורציתם לתאר דברים מרכזיים, למשל, בואו ניקח אדם ספציפי, דאגלס אדמס, ונשתמש בתיאור הזה כבסיס.

www.wikidata.org/wiki/Q42

אם השתמשנו במסד נתונים יחסי, נצטרך ליצור טבלה ענקית או טבלאות עם מספר עצום של עמודות, שרובן יהיו NULL או מלאות בערך ברירת מחדל של False, למשל, אין זה סביר שלרבים מאיתנו יש רישום בספרייה הלאומית הקוריאנית - כמובן, נוכל לשים אותם בטבלאות נפרדות, אבל זה יהיה בסופו של דבר ניסיון ליצור מודל של מעגל לוגי גמיש עם פרדיקטים באמצעות מעגל יחסי קבוע.

אז תארו לעצמכם שכל הנתונים מאוחסנים כגרף או כביטויים בוליאניים בינאריים ואונריים.

איפה אפשר בכלל להיתקל בזה? ראשית, לעבוד עם נתונים ויקי, ועם כל מסדי נתונים גרפים או נתונים מחוברים.

להלן שפות השאילתה העיקריות בהן השתמשתי ועבדתי איתן.

SPARQL

ויקי:
SPARQL (ראשי תיבות רקורסיביים מ אנג. פרוטוקול SPARQL ושפת שאילתות RDF-) שפת שאילתת נתונים, המיוצג על ידי המודל RDFו - פרוטוקול להעביר בקשות אלו ולהשיב להן. SPARQL היא המלצה קונסורציום W3C ואחת הטכנולוגיות רשת סמנטית.

אבל במציאות זוהי שפת שאילתה עבור פרדיקטים אונריים ובינארים לוגיים. אתה פשוט מציין בתנאי מה קבוע בביטוי בוליאני ומה לא (בפשטות רבה).

בסיס RDF (Resource Description Framework) עצמו, שעליו מבוצעות שאילתות SPARQL, הוא משולש object, predicate, subject - והשאילתה בוחרת את השלשות הנדרשות לפי ההגבלות שצוינו ברוח: מצא X כך ש-p_55(X, q_33) נכון - כאשר, כמובן, p_55 הוא סוג של יחס עם ID 55, ו-q_33 הוא חפץ עם תעודת זהות 33 (כאן וכל הסיפור, שוב השמטת כל מיני פרטים).

דוגמה להצגת נתונים:

תמונות ודוגמא עם מדינות כאן מכאן.

דוגמה לשאילתה בסיסית

למעשה, אנו רוצים למצוא את הערך של המשתנה ?מדינה כך של הפרדיקט
member_of, זה נכון ש-member_of(?country,q458) ו-q458 הם המזהה של האיחוד האירופי.

דוגמה לשאילתת SPARQL אמיתית בתוך מנוע הפיתון:

בדרך כלל, נאלצתי לקרוא את SPARQL במקום לכתוב אותו - במצב זה, סביר להניח שזו תהיה מיומנות שימושית להבין את השפה לפחות ברמה בסיסית כדי להבין בדיוק כיצד נתונים מאוחזרים. 

יש הרבה חומר ללמוד באינטרנט: למשל, כאן זה и זה. אני בדרך כלל מחפש בגוגל עיצובים ודוגמאות ספציפיות וזה מספיק לעת עתה.

שפות שאילתות לוגיות

אתה יכול לקרוא עוד על הנושא במאמר שלי כאן. וכאן, נבדוק רק בקצרה מדוע שפות לוגיות מתאימות היטב לכתיבת שאילתות. בעיקרו של דבר, RDF הוא רק קבוצה של הצהרות לוגיות בצורת p(X) ו-h(X,Y), ולשאילתה לוגית יש את הצורה הבאה:

output(X) :- country(X), member_of(X,“EU”).

כאן אנחנו מדברים על יצירת פלט פרדיקט חדש/1 (/1 פירושו unary), בתנאי שעבור X זה נכון שמדינה(X) - כלומר, X היא מדינה וגם חבר_ב(X,"EU ").

כלומר, במקרה זה, גם הנתונים וגם הכללים מוצגים באותו אופן, מה שמאפשר לנו לדגמן בעיות בקלות ובטובות רבה.

איפה נפגשתם בתעשייה?: פרויקט גדול שלם עם חברה שכותבת שאילתות בשפה כזו, וכן על הפרויקט הנוכחי בליבת המערכת - נראה שזה דבר די אקזוטי, אבל לפעמים זה קורה.

דוגמה של קטע קוד בשפה לוגית המעבדת ויקידאטה:

חומרים: אני אתן כאן כמה קישורים לשפת התכנות הלוגית המודרנית תכנות מערכי תשובות - אני ממליץ ללמוד אותה:

• http://peace.eas.asu.edu/aaai12tutorial/asp-tutorial-aaai.pdf
• http://ceur-ws.org/Vol-1145/tutorial1.pdf
• https://www.youtube.com/watch?v=gVQ0bP8zyHw
• https://www.youtube.com/watch?v=kdcd7Je2glc
• https://potassco.org/book/
• http://potassco.sourceforge.net/teaching.html
• https://www.cs.uni-potsdam.de/~torsten/Potassco/Tutorials/fmcad12.pdf

מקור: www.habr.com