Firma Amazon ogłosiła zakup DuckLabs, firmy rozwijającej otwartą bazę danych DuckDB. Proces przejęcia zakończył się 31 sierpnia, a kwota transakcji nie została ujawniona. Zespół deweloperów DuckDB dołączy do AWS i będzie kontynuował prace nad technologiami DuckDB pod przewodnictwem współzałożycieli DuckLabs.
Osiągnięcia DuckDB zostaną wykorzystane do modernizacji, uproszczenia i zwiększenia efektywności stosu analitycznego oferowanego w platformie AWS. Usługę Amazon S3 planuje się przekształcić w magazyn z wbudowanymi możliwościami analizy danych. Kod DuckDB będzie nadal rozwijany jako projekt otwarty, licencjonowany na podstawie MIT i kuratorowany przez organizację non-profit DuckDB Foundation. Zaznaczono, że dołączenie do AWS poszerzy bazę użytkowników DuckDB i pozwoli uzyskać dodatkowe zasoby do realizacji nowych pomysłów na skalowanie bazy danych.
Baza danych DuckDB koncepcyjnie przypomina SQLite i łączy takie cechy, jak kompaktowość, możliwość wbudowanej biblioteki, przechowywanie bazy danych w jednym pliku oraz interfejs CLI, z funkcjami i optymalizacjami do wykonywania zapytań analitycznych, obejmujących znaczną część przechowywanych danych, na przykład agregowanie całej zawartości tabel lub łączenie kilku dużych tabel. Baza danych obsługuje rozszerzony dialekt języka SQL, który zawiera dodatkowe możliwości obsługi skomplikowanych, długotrwałych i zagnieżdżonych zapytań.
Projekt wykorzystuje powłokę SQLite, parser PostgreSQL, komponent Date Math z MonetDB, własną implementację funkcji okiennych (na podstawie algorytmu Segment Tree Aggregation), obsługiwacz wyrażeń regularnych oparty na bibliotece RE2, a także własny optymalizator zapytań, mechanizm MVCC do zarządzania równoległym wykonaniem zadań (Multi-Version Concurrency Control) oraz wektoryzowany silnik wykonywania zapytań oparty na algorytmie Hyper-Pipelining Query Execution, który pozwala na jednoczesne przetwarzanie dużych zbiorów wartości w jednej operacji.
Źródło: opennet.ru
