가속을 위해 GPU를 사용하는 BlazingSQL SQL 엔진 코드 열기

발표 SQL 엔진 소스 열기 정보 블레이징SQL, GPU를 사용하여 데이터 처리 속도를 높입니다. BlazingSQL은 본격적인 DBMS는 아니지만 작업 측면에서 대규모 데이터 세트를 분석하고 처리하는 엔진으로 자리잡고 있습니다. 아파치 스파크. 코드는 Python으로 작성되었으며, 열려있다 Apache 2.0에 따라 라이센스가 부여되었습니다.

BlazingSQL은 테이블 형식(예: 로그, NetFlow 통계 등)으로 저장된 대규모 데이터 세트(수십 기가바이트)에 대해 단일 분석 쿼리를 수행하는 데 적합합니다. BlazingSQL은 HDSF 및 AWS S3와 같은 네트워크 및 클라우드 파일 시스템에서 호스팅되는 CSV 및 Apache Parquet 형식의 원시 파일에서 쿼리를 실행하여 결과를 GPU 메모리로 직접 전송할 수 있습니다. GPU의 작업 병렬화와 더 빠른 비디오 메모리 사용 덕분에 BlazingSQL 쿼리는 20 번 아파치 스파크보다 빠릅니다.

GPU 작업에는 NVIDIA가 참여하여 개발된 세트가 사용됩니다. 열다 도서관 여울를 사용하면 완전히 GPU 측에서 실행되는 데이터 처리 및 분석 애플리케이션을 만들 수 있습니다(제공: 파이썬 인터페이스 낮은 수준의 CUDA 프리미티브를 사용하고 계산을 병렬화합니다.

BlazingSQL은 데이터 처리 API 대신 SQL을 사용하는 기능을 제공합니다. cuUDF (베이스에 아파치 애로우) RAPIDS에서 사용됩니다. BlazingSQL은 cuDF 위에서 실행되고 cuIO 라이브러리를 사용하여 디스크에서 데이터를 읽는 추가 계층입니다. SQL 쿼리는 cuUDF 함수에 대한 호출로 변환되어 GPU에 데이터를 로드하고 이에 대한 병합, 집계 및 필터링 작업을 수행할 수 있습니다. 수천 개의 GPU에 걸친 분산 구성 생성이 지원됩니다.

BlazingSQL은 데이터 작업을 크게 단순화합니다. cuDF 함수를 수백 번 호출하는 대신 하나의 SQL 쿼리를 사용할 수 있습니다. SQL을 사용하면 특정 프로세서를 작성하거나 추가 DBMS에 데이터를 중간 로딩하지 않고도 RAPIDS를 기존 분석 시스템과 통합할 수 있습니다.
RAPIDS의 모든 부분과 완전한 호환성을 유지하면서 기존 기능을 SQL로 변환하고 cuDF 수준의 성능을 제공합니다. 여기에는 라이브러리와의 통합 지원이 포함됩니다. XGBoost и cumML 분석 및 기계 학습 문제를 해결하기 위한 것입니다.

출처 : opennet.ru