DBMS SQLite 3.42 და DuckDB 0.8.0 გამოშვება. CG/SQL SQLite-ისთვის შენახული პროცედურების განხორციელებით

გამოქვეყნდა SQLite 3.42, მსუბუქი DBMS, რომელიც შექმნილია როგორც დანამატის ბიბლიოთეკა. SQLite კოდი ნაწილდება საზოგადოებრივ დომენში, ე.ი. შეიძლება გამოყენებულ იქნას შეზღუდვების გარეშე და უფასოდ ნებისმიერი მიზნით. SQLite-ის დეველოპერებს ფინანსურ მხარდაჭერას უწევს სპეციალურად შექმნილი კონსორციუმი, რომელშიც შედის ისეთი კომპანიები, როგორიცაა Adobe, Oracle, Mozilla, Bentley და Bloomberg.

ძირითადი ცვლილებები:

• FTS5 სრული ტექსტის ინდექსებისთვის, უსაფრთხოდ წაშლის ბრძანება დანერგილია, რომელიც მთლიანად ასუფთავებს ყველა ნარჩენ მონაცემს წაშლის შემდეგ.
• JSON ფორმატში მონაცემთა დამუშავების ფუნქციები ახლა მხარს უჭერს JSON5 გაფართოებებს.
• გაუმჯობესებული შეკითხვის დამგეგმავი. ნახვების რაოდენობის ოპტიმიზაცია ჩართულია ნაგულისხმევად. აღმოიფხვრა გამოუყენებელი სვეტების დამუშავება ქვემოკითხვებში. გაუმჯობესებული push-down ოპტიმიზაციის განხორციელება.
• CLI-ს დაემატა "--unsafe-testing" ვარიანტი, რათა დაუშვას ზოგიერთი საშიში ბრძანება, როგორიცაა ".testctrl" ტესტირებაში გამოყენება. უსაფრთხო რეჟიმში ("--safe") ნებადართულია ბრძანებები ".log on" და ".log off". დამატებულია მხარდაჭერა "—" გამყოფისთვის, არგუმენტებისთვის, რის შემდეგაც ოფციონის დამუშავება გამორთულია. დამატებულია ":inf" და ":nan" პარამეტრები, რომლებიც დაკავშირებულია უსასრულობასთან და NaN მნიშვნელობებთან.
• აპლიკაციის მიერ განსაზღვრული SQL ფუნქციების სახელები ნებადართულია გადაიკვეთოს CROSS, FULL, INNER, LEFT, NATURAL, OUTER და RIGHT საკვანძო სიტყვებთან.
• გაფართოებული PRAGMA integrity_check შესაძლებლობები. დამატებულია შემოწმება NaN მნიშვნელობის მითითებისთვის სვეტებში NOT NULL პირობით. შეცდომის შეტყობინებების გაუმჯობესებული საინფორმაციო შინაარსი.
• სესიის დამატება იძლევა ცხრილებიდან ცვლილებების აღკვეთას ROWID-ების გარეშე.
• "subsec" მოდიფიკატორი დაემატა ფუნქციებს დროისა და თარიღების მუშაობისთვის წამების წილადების გამოსაყენებლად.
• შემცირდა ნაგულისხმევი რეკურსიის სიღრმე მასივების და JSON ობიექტებისთვის 2000-დან 1000-მდე.

გარდა ამისა, ჩამოყალიბდა DuckDB 0.8.0 DBMS გამოშვება, რომელიც ავითარებს SQLite ვარიანტს, გაუმჯობესებულია ფუნქციებითა და ოპტიმიზაციით ანალიტიკური მოთხოვნების შესასრულებლად, რომელიც მოიცავს შენახული მონაცემების მნიშვნელოვან ნაწილს, მაგალითად, ცხრილების მთლიანი შინაარსის აგრეგაციას ან რამდენიმეს შერწყმას. დიდი მაგიდები. უზრუნველყოფილია SQL ენის გაფართოებული დიალექტი, მათ შორის დამატებითი შესაძლებლობები ძალიან რთული და გრძელვადიანი მოთხოვნების დასამუშავებლად, ასევე რთული ტიპების მხარდაჭერა (მასივები, სტრუქტურები, გაერთიანებები), მრავალი მოთხოვნის ერთდროული შესრულება და მოთხოვნების შესრულება პირდაპირ ფაილები CSV, JSON და პარკეტის ფორმატში. შესაძლებელია იმპორტი PostgreSQL DBMS-დან.

SQLite-ის ჭურვის კოდის გარდა, პროექტი იყენებს PostgreSQL-ის პარსერს, გადატანილია ცალკე ბიბლიოთეკაში, Date Math კომპონენტს MonetDB-დან, ფანჯრის ფუნქციების საკუთარ განხორციელებას (სეგმენტის ხეების აგრეგაციის ალგორითმზე დაყრდნობით), რეგულარული გამოხატვის პროცესორს. დაფუძნებულია RE2 ბიბლიოთეკაზე, საკუთარ შეკითხვის ოპტიმიზატორზე, MVCC მართვის მექანიზმზე დავალებების ერთდროული შესრულება (Multi-Version Concurrency Control), ასევე ვექტორიზებული შეკითხვის შესრულების ძრავა Hyper-Pipelining Query Execution ალგორითმზე დაფუძნებული, რომელიც საშუალებას იძლევა დამუშავდეს დიდი კომპლექტები. მნიშვნელობები ერთდროულად ერთ ოპერაციაში. პროექტის კოდი განაწილებულია MIT ლიცენზიით.

DuckDB-ის ახალ ვერსიაში:

• დამატებულია ახალი გამოთქმები "PIVOT" და "UNPIVOT" რიგების სვეტებად გადაქცევისთვის და პირიქით.
• გაუმჯობესებული პარალელიზაცია მონაცემთა იმპორტისა და ექსპორტის დროს. ნაგულისხმევად, ფაილებიდან CSV ფორმატში წაკითხვა მრავალ ნაკადად და მრავალნაკადიანი წერა ხორციელდება პარკეტის, CSV და JSON ფორმატების გამოყენებისას.
• დაემატა "**" ოპერატორი, რომ რეკურსიულად გაიმეოროს დირექტორიებზე ფაილის ბილიკების განსაზღვრისას (მაგ. FROM "'data/glob/crawl/stackoverflow/**/*.csv';").
• დამატებულია შერწყმის ოპერაციების მხარდაჭერა (JOIN) მონაცემებისთვის დროის სერიების სახით (პარამეტრების მნიშვნელობების ნაჭრები განსაზღვრულ დროში), რომელშიც ჩანაწერების შერწყმის კრიტერიუმი არ არის ზუსტი, არამედ მნიშვნელობების სავარაუდო შესატყვისი. დროით ველში (მაგალითად, შეგიძლიათ დააკავშიროთ ჩანაწერები, დრო, რომელიც განსხვავდება არაუმეტეს 1 წუთისა).
• განხორციელდა მონაცემთა ბაზის მეტამონაცემების გადავადებული ჩატვირთვა, რამაც შესაძლებელი გახადა DBMS-ის გაშვების ათჯერ დაჩქარება.
• დაემატა მხარდაჭერა პერსონალური ფუნქციების დასაკავშირებლად Python-ში.
• დამატებულია მხარდაჭერა ADBC ​​(Arrow Database Connectivity) API-სთვის მონაცემთა გადაცემისთვის Apache Arrow-ის გამოყენებით.
• განხორციელებული სავალდებულოა Swift კოდთან ინტეგრაციისთვის.
• შეიცვალა გაყოფის ("/") ოპერატორის ქცევა, რომელიც ახლა მთელი რიცხვის ოპერაციების ნაცვლად ნაგულისხმევად ასრულებს მცურავი წერტილის გამოთვლებს. შემოთავაზებულია ახალი ოპერატორი "//" მთელი რიცხვის გაყოფისთვის. ძველი ქცევა შეიძლება დაბრუნდეს "SET integer_division=true;" დაყენებით.
• ნულოვანი ჩანაწერების აღრიცხვის მეთოდი დახარისხებისას შეიცვალა "NULLS FIRST"-დან "NULLS LAST", ე.ი. NULL მნიშვნელობები სიის დასაწყისის ნაცვლად ახლა გამოჩნდება ბოლოს. ძველი ქცევის აღდგენა შესაძლებელია პარამეტრით "SET default_null_order='nulls_first';".

გარდა ამისა, შეიძლება აღინიშნოს Facebook-ის მიერ შემუშავებული CG/SQL პროექტი, რომელიც უზრუნველყოფს კოდის გენერატორს SQLite-ით შენახული პროცედურების გამოსაყენებლად. CG/SQL საშუალებას გაძლევთ დაწეროთ შენახული პროცედურები T-SQL-ის სპეციალურ დიალექტზე (Transact-SQL), რაც საშუალებას გაძლევთ გამოიძახოთ სტანდარტული C ბიბლიოთეკის ფუნქციები და შეხვიდეთ მონაცემებზე SQLite-ში. გენერირებული შენახული პროცედურები შედგენილია C კოდში, რომელიც იყენებს SQLite C API-ს განსაზღვრული მოქმედებების შესასრულებლად და რთული მოთხოვნების დასამუშავებლად. შედგენილი შენახული პროცედურები შეიძლება დაუკავშირდეს C, Java და Objective-C პროგრამებს. პროექტის კოდი დაწერილია C-ში და ნაწილდება MIT ლიცენზიით.

წყარო: opennet.ru