Das Unternehmen Amazon hat die Übernahme von DuckLabs bekannt gegeben, das die Open-Source-Datenbank DuckDB entwickelt. Der Übernahmeprozess wurde am 31. August abgeschlossen, die Summe der Transaktion wird nicht bekannt gegeben. Das Team von DuckDB wird sich AWS anschließen und die Entwicklung der DuckDB-Technologien unter der Leitung der Mitgründer von DuckLabs fortsetzen.
Die Entwicklungen von DuckDB sollen zur Modernisierung, Vereinfachung und Effizienzsteigerung des Analyse-Stacks in der AWS-Plattform genutzt werden. Der Amazon S3-Dienst wird in ein Speichersystem mit integrierten Analysefunktionen umgewandelt. Der Code von DuckDB wird weiterhin als Open-Source-Projekt entwickelt, das unter der MIT-Lizenz veröffentlicht und von der gemeinnützigen Organisation DuckDB Foundation betreut wird. Es wird darauf hingewiesen, dass die Zusammenarbeit mit AWS die Nutzerbasis von DuckDB erweitern und zusätzliche Ressourcen für die Umsetzung neuer Ideen zur Skalierung der Datenbank bereitstellen wird.
Die Datenbank DuckDB ähnelt konzeptionell SQLite und vereint Eigenschaften wie Kompaktheit, die Anbindung als eingebettete Bibliothek, die Speicherung der Datenbank in einer einzigen Datei und eine CLI-Schnittstelle mit Möglichkeiten und Optimierungen zur Ausführung analytischer Abfragen, die einen signifikanten Teil der gespeicherten Daten abdecken, zum Beispiel solche, die eine Aggregation des gesamten Inhalts von Tabellen oder das Zusammenführen mehrerer großer Tabellen durchführen. Die Datenbank unterstützt einen erweiterten SQL-Dialekt, der zusätzliche Möglichkeiten zur Verarbeitung komplexer, lang laufender und verschachtelter Abfragen bietet.
Das Projekt verwendet eine Shell von SQLite, einen Parser von PostgreSQL, die Date Math-Komponente von MonetDB, eine eigene Implementierung von Fensterfunktionen (basierend auf dem Segmentbaumaggregationsalgorithmus), einen regulären Ausdruck-Handler auf Basis der RE2-Bibliothek, einen eigenen Abfrageoptimierer, einen MVCC-Mechanismus zur Verwaltung der gleichzeitigen Ausführung von Aufgaben (Multi-Version Concurrency Control) sowie eine vektorisierte Abfragedurchführungsengine, die auf dem Hyper-Pipelining-Abfrageausführungsalgorithmus basiert und es ermöglicht, große Mengen an Werten in einem einzigen Vorgang zu verarbeiten.
Quelle: opennet.ru
