שחרור של DBMS SQLite 3.42 ו- DuckDB 0.8.0. CG/SQL עם הטמעת פרוצדורות מאוחסנות עבור SQLite

הוצאת SQLite 3.42, DBMS קל משקל שתוכנן כספריית פלאגין, פורסמה. קוד SQLite מופץ ברשות הציבור, כלומר. ניתן להשתמש ללא הגבלות וללא תשלום לכל מטרה. תמיכה פיננסית למפתחי SQLite ניתנת על ידי קונסורציום שנוצר במיוחד, הכולל חברות כמו אדובי, אורקל, מוזילה, בנטלי ובלומברג.

שינויים עיקריים:

• עבור אינדקסים של טקסט מלא של FTS5, מיושמת הפקודה 'מחיקה מאובטחת', אשר מנקה לחלוטין את כל הנתונים שנותרו לאחר המחיקה.
• פונקציות לעיבוד נתונים בפורמט JSON תומכות כעת בהרחבות JSON5.
• מתכנן שאילתות משופר. אופטימיזציה של ספירת צפיות מופעלת כברירת מחדל. ביטול הטיפול בעמודות שאינן בשימוש בשאילתות משנה. הטמעת אופטימיזציה משופרת בדחיפה למטה.
• נוספה אפשרות "--unsafe-testing" ל-CLI כדי לאפשר שימוש בכמה פקודות מסוכנות כגון ".testctrl" בבדיקה. במצב בטוח ("--safe"), הפקודות ".log on" ו-".log off" מותרות. נוספה תמיכה במפריד "—", עבור ארגומנטים שלאחריהם עיבוד האפשרויות מושבת. נוספו פרמטרים ":inf" ו-":nan" המשויכים לערכי אינסוף ו-NaN.
• השמות של פונקציות SQL המוגדרות ביישום רשאים להצטלב עם מילות המפתח CROSS, FULL, INNER, LEFT, NATURAL, OUTER ו- RIGHT.
• יכולות PRAGMA integrity_check מורחבות. נוסף סימון לציון ערך NaN בעמודות עם התנאי NOT NULL. תוכן מידע משופר של הודעות שגיאה.
• תוספת הפגישה מאפשרת יירוט של שינויים מטבלאות ללא ROWIDs.
• המשנה "subsec" נוסף לפונקציות לעבודה עם זמן ותאריכים כדי להשתמש בשברירי שניות.
• עומק הרקורסיה המופחת כברירת מחדל עבור מערכים ואובייקטי JSON מ-2000 ל-1000.

בנוסף, נוצרה המהדורה של DuckDB 0.8.0 DBMS, אשר מפתחת את גרסת SQLite, משופרת עם תכונות ואופטימיזציות לביצוע שאילתות אנליטיות המכסות חלק ניכר מהנתונים המאוחסנים, למשל, צבירה של כל התוכן של טבלאות או מיזוג של כמה שולחנות גדולים. ניתן דיאלקט מורחב של שפת SQL, כולל יכולות נוספות לטיפול בשאילתות מורכבות וארוכות טווח, וכן תמיכה בסוגים מורכבים (מערכים, מבנים, איגודים), ביצוע סימולטני של מספר שאילתות וביצוע שאילתות ישירות מ קבצים בפורמט CSV, JSON ופרקט. אפשר לייבא מ-PostgreSQL DBMS.

בנוסף לקוד המעטפת מ-SQLite, הפרויקט משתמש במנתח מ-PostgreSQL, הועבר לספרייה נפרדת, ברכיב Date Math מ-MonetDB, ביישום משלו של פונקציות חלון (מבוסס על אלגוריתם Segment Tree Aggregation), מעבד ביטוי רגולרי מבוסס על ספריית RE2, אופטימיזציית שאילתות משלה, מנגנון בקרה של MVCC ביצוע סימולטני של משימות (Multi-Version Concurrency Control), וכן מנוע ביצוע שאילתות וקטור המבוסס על אלגוריתם Hyper-Pipelining Query Execution, המאפשר עיבוד סטים גדולים של ערכים בבת אחת בפעולה אחת. קוד הפרויקט מופץ תחת רישיון MIT.

בגרסה החדשה של DuckDB:

• נוספו ביטויים חדשים "PIVOT" ו-"UNPIVOT" כדי להפוך שורות לעמודות ולהיפך.
• מקבילה משופרת בעת ייבוא ​​וייצוא נתונים. כברירת מחדל, קריאה מקבצים בפורמט CSV לזרמים מרובים וכתיבה מרובה הליכי מיושמות בעת שימוש בפורמטים של Parquet, CSV ו-JSON.
• התווסף אופרטור "**" לחזרה רקורסיבית על ספריות בעת הגדרת נתיבי קבצים (למשל מ-"'data/glob/crawl/stackoverflow/**/*.csv';").
• נוספה תמיכה בפעולות מיזוג (JOIN) לנתונים בצורה של סדרת זמן (חתיכות של ערכי פרמטרים במרווחי זמן מוגדרים), שבה הקריטריון למיזוג רשומות אינו מדויק אלא התאמה משוערת של ערכים בשדה עם זמן (לדוגמה, אתה יכול לשלב רשומות, זמן הבדל של לא יותר מדקה אחת).
• הטעינה הנדחית של מטא נתונים של מסד הנתונים הוטמעה, מה שאפשר לזרז את השקת ה-DBMS בעשרות מונים.
• נוספה תמיכה בחיבור פונקציות מותאמות אישית ב-Python.
• נוספה תמיכה בממשק ה-API של ADBC ​​(Arrow Database Connectivity) להעברת נתונים באמצעות Apache Arrow.
• יישום כריכה לאינטגרציה עם קוד Swift.
• שינה את ההתנהגות של אופרטור החלוקה ("/"), שמבצע כעת חישובי נקודה צפה כברירת מחדל במקום פעולות שלמים. אופרטור חדש "//" הוצע לחלוקת מספרים שלמים. ניתן להחזיר את ההתנהגות הישנה על ידי הגדרת "SET integer_division=true;".
• שיטת החשבונאות של רשומות אפס בעת המיון שונתה מ"NULLS FIRST" ל"NULLS LAST", כלומר. ערכי NULL יוצגו כעת בסוף במקום בתחילת הרשימה. ניתן לשחזר את ההתנהגות הישנה על ידי הגדרת "SET default_null_order='nulls_first';".

בנוסף, ניתן לציין את פרויקט CG/SQL שפותח על ידי פייסבוק, המספק מחולל קוד לשימוש בפרוצדורות מאוחסנות עם SQLite. CG/SQL מאפשר לך לעצב פרוצדורות מאוחסנות בניב מיוחד של T-SQL (Transact-SQL), המאפשר לך לקרוא לפונקציות של ספריית C הסטנדרטית ולגשת לנתונים ב-SQLite. ההליכים המאוחסנים שנוצרו מורכבים לקוד C המשתמש ב-SQLite C API כדי לבצע פעולות שצוינו ולעבד שאילתות מורכבות. ניתן לקשר פרוצדורות מאוחסנות מהידור לתוכניות C, Java ו-Objective-C. קוד הפרויקט כתוב ב-C ומופץ תחת רישיון MIT.

מקור: OpenNet.ru