გამოქვეყნებულია DuckDB 0.6.0, SQLite ვარიანტი ანალიტიკური მოთხოვნებისთვის

ხელმისაწვდომია DuckDB 0.6.0 DBMS-ის გამოშვება, რომელიც აერთიანებს SQLite-ის ისეთ თვისებებს, როგორიცაა კომპაქტურობა, ჩაშენებული ბიბლიოთეკის სახით დაკავშირების შესაძლებლობა, მონაცემთა ბაზის ერთ ფაილში შენახვა და მოსახერხებელი CLI ინტერფეისი, ინსტრუმენტებითა და შესრულების ოპტიმიზაციით. ანალიტიკური მოთხოვნები, რომელიც მოიცავს შენახული მონაცემების მნიშვნელოვან ნაწილს, მაგალითად, რომელიც აერთიანებს ცხრილების მთელ შინაარსს ან აერთიანებს რამდენიმე დიდ ცხრილს. პროექტის კოდი განაწილებულია MIT ლიცენზიით. განვითარება ჯერ კიდევ ექსპერიმენტული გამოშვებების ფორმირების ეტაპზეა, რადგან შენახვის ფორმატი ჯერ არ არის სტაბილიზირებული და იცვლება ვერსიიდან ვერსიამდე.

DuckDB გთავაზობთ გაფართოებულ SQL დიალექტს, რომელიც მოიცავს დამატებით შესაძლებლობებს ძალიან რთული და შრომატევადი მოთხოვნების დასამუშავებლად. მხარდაჭერილია რთული ტიპების გამოყენება (მასივები, სტრუქტურები, გაერთიანებები) და თვითნებური და ჩადგმული კორელაციური ქვემოკითხვების შესრულების შესაძლებლობა. იგი მხარს უჭერს რამდენიმე მოთხოვნის ერთდროულად გაშვებას, შეკითხვებს პირდაპირ CSV და პარკეტის ფაილებიდან. შესაძლებელია იმპორტი PostgreSQL DBMS-დან.

SQLite-ის ჭურვის კოდის გარდა, პროექტი იყენებს PostgreSQL-ის პარსერს ცალკე ბიბლიოთეკაში, Date Math კომპონენტს MonetDB-დან, ფანჯრის ფუნქციების საკუთარ განხორციელებას (სეგმენტის ხეების აგრეგაციის ალგორითმზე დაფუძნებული), რეგულარული გამოხატვის პროცესორს დაფუძნებული RE2 ბიბლიოთეკა, საკუთარი შეკითხვის ოპტიმიზატორი და MVCC კონტროლის მექანიზმი ამოცანების ერთდროული შესრულება (Multi-Version Concurrency Control), ასევე ვექტორიზებული შეკითხვის შესრულების ძრავა Hyper-Pipelining Query Execution ალგორითმზე დაფუძნებული, რომელიც იძლევა მნიშვნელობების დიდი ნაკრების საშუალებას. დამუშავება ერთდროულად ერთ ოპერაციაში.

ახალ გამოშვებაში ცვლილებებს შორის:

• მუშაობა გაგრძელდა შენახვის ფორმატის გასაუმჯობესებლად. დანერგილია დისკის ჩაწერის ოპტიმისტური რეჟიმი, რომლის დროსაც მონაცემთა დიდი ნაკრების ერთ ტრანზაქციაში ჩატვირთვისას მონაცემები შეკუმშულია და იწერება ფაილში მონაცემთა ბაზიდან სტრიმინგის რეჟიმში, ტრანზაქციის დადასტურების მოლოდინის გარეშე COMMIT ბრძანებით. . როდესაც მიიღება COMMIT ბრძანება, მონაცემები უკვე იწერება დისკზე, ხოლო როდესაც ROLLBACK შესრულდება, ის უგულებელყოფილია. ადრე, მონაცემები თავდაპირველად მთლიანად იყო შენახული მეხსიერებაში, ხოლო როდესაც ჩადენილი იყო, ის შენახული იყო დისკზე.
• დამატებულია მონაცემების პარალელურად ჩატვირთვის მხარდაჭერა ცალკეულ ცხრილებში, რაც საშუალებას გაძლევთ მნიშვნელოვნად გაზარდოთ დატვირთვის სიჩქარე მრავალ ბირთვიან სისტემებზე. მაგალითად, წინა ვერსიაში 150 მილიონი მწკრივის მონაცემთა ბაზის ჩატვირთვას 10 ბირთვიან პროცესორზე 91 წამი დასჭირდა, მაგრამ ახალ ვერსიაში ეს ოპერაცია სრულდება 17 წამში. არსებობს ორი პარალელური დატვირთვის რეჟიმი - ჩანაწერების თანმიმდევრობის შენარჩუნებით და წესრიგის შენარჩუნების გარეშე.
• მონაცემთა შეკუმშვისთვის გამოიყენება FSST (სწრაფი სტატიკური სიმბოლოების ცხრილი) ალგორითმი, რომელიც საშუალებას გაძლევთ შეფუთოთ მონაცემები სტრიქონებში ტიპიური შესატყვისების საერთო ლექსიკონის გამოყენებით. ახალი ალგორითმის გამოყენებამ შესაძლებელი გახადა ტესტის მონაცემთა ბაზის ზომის შემცირება 761 მბ-დან 251 მბ-მდე.
• შემოთავაზებულია შიმპანზეს და პატას ალგორითმები მცურავი წერტილის რიცხვების შეკუმშვისთვის (DOUBLE და FLOAT). ადრე გამოყენებულ Gorillas ალგორითმთან შედარებით, Chimp უზრუნველყოფს შეკუმშვის უფრო მაღალ დონეს და უფრო სწრაფ დეკომპრესიას. Patas ალგორითმი ჩამორჩება Chimp-ს შეკუმშვის კოეფიციენტით, მაგრამ ბევრად უფრო სწრაფია დეკომპრესიის სიჩქარით, რაც თითქმის არაფრით განსხვავდება შეუკუმშული მონაცემების წაკითხვისგან.
• დამატებულია CSV ფაილებიდან მონაცემების მრავალ პარალელურ ნაკადში ჩატვირთვის ექსპერიმენტული შესაძლებლობა (SET experimental_parallel_csv=true), რაც მნიშვნელოვნად ამცირებს დიდი CSV ფაილების ჩატვირთვის დროს. მაგალითად, როდესაც ეს პარამეტრი ჩართული იყო, 720 მბ CSV ფაილის ჩამოტვირთვის დრო 3.5-დან 0.6 წამამდე შემცირდა.
• განხორციელდა ინდექსის შექმნისა და მართვის ოპერაციების პარალელურად განხორციელების შესაძლებლობა. მაგალითად, CREATE INDEX ოპერაცია სვეტზე 16 მილიონი ჩანაწერით შემცირდა 5.92-დან 1.38 წამამდე.
• ჩართულია აგრეგაციის ოპერაციების პარალელიზაცია მოთხოვნებში, რომლებიც შეიცავს გამოთქმას „COUNT(DISTINCT col)“.
• SQL-მ დაამატა მხარდაჭერა UNION ტიპისთვის, რომელიც საშუალებას აძლევს რამდენიმე ტიპს დაკავშირდეს ერთ ელემენტთან (მაგალითად, "UNION(num INT, შეცდომა VARCHAR))").
• SQL იძლევა შესაძლებლობას შექმნას მოთხოვნები, რომლებიც იწყება სიტყვით "FROM" ნაცვლად "SELECT". ამ შემთხვევაში, ვარაუდობენ, რომ მოთხოვნა იწყება "SELECT *"-ით.
• SQL-მა დაამატა მხარდაჭერა COLUMNS გამოხატვისთვის, რომელიც საშუალებას გაძლევთ შეასრულოთ ოპერაცია მრავალ სვეტზე გამონათქვამის დუბლირების გარეშე. მაგალითად, "SELECT MIN(COLUMNS(*)) obs-დან;" გამოიწვევს MIN ფუნქციის შესრულებას obs ცხრილის თითოეული სვეტისთვის და "SELECT COLUMNS('val[0-9]+') obs-დან;" სვეტებისთვის სახელწოდებით, რომელიც შედგება "val" და რიცხვებისგან.
• დამატებულია მხარდაჭერა სიებში ოპერაციებისთვის, მაგალითად, „SELECT [x + 1 x-სთვის [1, 2, 3]] AS l;“.
• მეხსიერების მოხმარება ოპტიმიზირებულია. ნაგულისხმევად, Linux პლატფორმა იყენებს jemalloc ბიბლიოთეკას მეხსიერების მართვისთვის. მნიშვნელოვნად გაუმჯობესდა ჰეშის შერწყმის ოპერაციების შესრულება, როდესაც მეხსიერება შეზღუდულია.
• ბრძანების ხაზის ინტერფეისს დაემატა „.mode duckbox“ გამომავალი რეჟიმი, რომელიც უგულებელყოფს შუა სვეტებს ტერმინალის ფანჯრის სიგანის გათვალისწინებით (შესაფერისია მოთხოვნების შედეგების სწრაფი ვიზუალური შესაფასებლად დიდი რაოდენობით სვეტებით, როგორიცაა „SELECT * FROM tbl”, რომლებიც ნორმალურ რეჟიმში გადანაწილებულია რამდენიმე ხაზზე). „.maxrows X“ პარამეტრის გამოყენებით, შეგიძლიათ დამატებით შეზღუდოთ ნაჩვენები რიგების რაოდენობა.
• CLI უზრუნველყოფს შეყვანის ავტომატურ დასრულებას კონტექსტის გათვალისწინებით (შესრულებულია საკვანძო სიტყვების, ცხრილების სახელების, ფუნქციების, სვეტების და ფაილების სახელების შეყვანა).
• CLI-ს აქვს ნაგულისხმევად ჩართული შეკითხვის პროგრესის ინდიკატორი.

წყარო: opennet.ru