over de openstelling van de SQL-engine , die GPU gebruikt voor het versnellen van gegevensverwerking. BlazingSQL is geen volledige database, maar wordt gepositioneerd als een engine voor het analyseren en verwerken van grote datasets, vergelijkbaar met . De code is geschreven in Python en onder de Apache 2.0-licentie.
BlazingSQL is geschikt voor het uitvoeren van enkele analytische queries op grote datasets (tientallen gigabytes) die zijn opgeslagen in tabelvormaten (bijvoorbeeld logboeken, NetFlow-statistieken, enz.). BlazingSQL kan queries uitvoeren vanuit raw-bestanden in CSV- en Apache Parquet-indelingen, opgeslagen in netwerk- en cloudbestandenystemen zoals HDSF en AWS S3, waarbij het resultaat rechtstreeks naar het GPU-geheugen wordt gestuurd. Door het parallel verwerken van taken op de GPU en het gebruik van snellere videogeheugen, voert BlazingSQL queries tot sneller uit dan Apache Spark.
Voor het werken met GPU wordt een door NVIDIA ondersteund framework gebruikt, bibliotheken , die het mogelijk maakt om applicaties voor gegevensverwerking en analytics te ontwikkelen, die geheel aan de GPU-zijde worden uitgevoerd (een voor het gebruik van lage-level CUDA-primitieven en het parallel verwerken van berekeningen).
BlazingSQL biedt de mogelijkheid om SQL te gebruiken in plaats van de data-verwerkings-API (gebaseerd op ), gebruikt in RAPIDS. BlazingSQL is een extra laag die bovenop cuDF werkt en gebruikt de cuIO-bibliotheek voor het lezen van gegevens van schijven. SQL-queries worden omgezet in aanroepen van cuUDF-functies, die het mogelijk maken om gegevens naar de GPU te laden en bewerkingen voor samenvoegen, aggregatie en filtering uit te voeren. Ondersteuning voor het creƫren van gedistribueerde configuraties die duizenden GPU's omvatten, wordt ondersteund.
BlazingSQL vereenvoudigt het werken met gegevens aanzienlijk - in plaats van honderduit aanroepen van cuDF-functies, kan men zich met Ć©Ć©n SQL-query redden. Het gebruik van SQL maakt integratie van RAPIDS met bestaande analytische systemen mogelijk, zonder het schrijven van specifieke handlers en zonder intermediaire gegevenslading naar een andere database, maar
het behoudt volledige compatibiliteit met alle delen van RAPIDS, zet de beschikbare functionaliteit om naar SQL en garandeert prestaties op het niveau van cuDF. Inclusief ondersteuning voor integratie met de bibliotheken en voor analytische en machine learning-taken.
Bron: opennet.ru
