새로운 유형의 SSD 스토리지는 데이터 센터의 에너지 소비를 줄여줍니다. 작동 방식

이 시스템은 에너지 비용을 절반으로 줄여줍니다.

/ 사진 앤디 멜튼 CC의 BY-SA

왜 새로운 아키텍처가 필요한가?

Data Center Dynamics 추정에 따르면2030년까지 전자 장치는 지구상에서 생성되는 모든 에너지의 40%를 소비하게 됩니다. 이 볼륨의 약 20%는 IT 부문과 데이터 센터에서 나올 것입니다. 에 의해 에 따르면 유럽 ​​분석가에 따르면 데이터 센터는 이미 전체 전력의 1,4%를 "제거"하고 있습니다. 이는 5년에는 그 수치가 2020%로 증가할 것이다..

SSD 스토리지는 전력의 상당 부분을 소비합니다. 2012년부터 2017년까지 데이터센터에서 솔리드 스테이트 드라이브의 점유율은 8%에서 22%로 증가. SSD는 XNUMX분의 XNUMX 적은 전력을 소비하지만(PDF, 13페이지) HDD에 비해 데이터 센터 규모에서는 전기 요금이 여전히 높습니다.

데이터 센터에서 SSD의 전력 소비를 줄이기 위해 MIT 엔지니어들은 새로운 SSD 스토리지 아키텍처를 개발했습니다. LightStore라고 하며 스토리지 서버를 우회하여 드라이브를 데이터 센터 네트워크에 직접 연결할 수 있습니다. 에 의해 ~에 따르면 저자에 따르면, 시스템은 에너지 비용을 절반으로 줄일 것입니다.

이거 어떻게 작동 시켜요

LightStore는 사용자 요청을 드라이브에 키로 매핑하는 플래시 키-값 저장소입니다. 그런 다음 서버로 전송되어 해당 키와 관련된 데이터가 해제됩니다.

체계 포함하다 에너지 효율적인 프로세서, DRAM 및 NAND 메모리가 내장되어 있습니다. 컨트롤러와 특수 소프트웨어로 제어됩니다. 컨트롤러는 NAND 어레이 작업을 담당하고 소프트웨어는 KV 요청 처리 및 키 쌍 저장을 담당합니다. 소프트웨어 아키텍처는 다음을 기반으로 구축됩니다. LSM 트리, 이는 많은 최신 DBMS에서 사용됩니다.

아키텍처 다이어그램은 다음과 같이 표현될 수 있습니다.

다이어그램은 LightStore의 기본 구성 요소를 보여줍니다. 노드 클러스터는 키-값 쌍으로 작동합니다. 응용 프로그램 서버는 어댑터를 사용하여 시스템에 연결됩니다. 클라이언트 요청(예: POSIX API의 fread())을 KV 요청으로 변환합니다. 또한 아키텍처에는 다음을 위한 별도의 어댑터가 있습니다. YCSB, 블록(BUSE 모듈 기반) 및 파일 저장소.

요청을 배포할 때 어댑터는 다음을 사용합니다. 일관된 해싱. Redis나 Swift와 같은 시스템에서 사용됩니다. KV 요청 키를 사용하여 어댑터는 대상 노드를 식별하는 값이 있는 해시 키를 생성합니다.

LightStore 클러스터의 용량은 선형적으로 확장됩니다. 추가 노드를 네트워크에 연결하기만 하면 됩니다. 경우에 따라 새 스위치를 구입해야 할 수도 있습니다. 그러나 개발자는 각 노드에 NAND 칩을 연결하기 위한 추가 슬롯을 장착했습니다.

건축의 잠재력

MIT 엔지니어들은 LightStore 기반 솔루션이 620기가비트 이더넷을 통해 10Mbps의 처리량을 가지고 있다고 말합니다. 하나의 노드는 일반적인 10W(현재 데이터 센터에서 사용되는 SSD 시스템) 대신 20W를 소비합니다. 또한 장비는 공간의 절반을 차지합니다.

이제 개발자들은 몇 가지 측면을 마무리하고 있습니다. 예를 들어 LightStore는 범위 쿼리 및 소규모 쿼리를 사용할 수 없습니다. LightStore는 LSM 트리를 사용하므로 이러한 기능은 향후 추가될 예정입니다. 또한 시스템에는 여전히 제한된 어댑터 세트가 있습니다. YCSB 및 블록 어댑터가 지원됩니다. 앞으로 LightStore는 SQL 쿼리 등을 처리할 수 있을 것입니다.

기타 개발

2018년 여름, 스토리지 개발업체인 Marvell은 AI 시스템을 기반으로 한 새로운 SSD 컨트롤러 라인을 출시했습니다. 개발자들은 NVIDIA 딥 러닝 가속기를 데이터 센터 및 클라이언트 애플리케이션용 표준 컨트롤러에 통합했습니다. 결과적으로 그들은 기존 SSD 컨트롤러에 비해 전력을 덜 소비하는 독립형 아키텍처를 만들었습니다. 회사는 이 시스템이 엣지 컴퓨팅, 빅 데이터 분석 및 IoT 분야에 응용될 수 있기를 바라고 있습니다.

Western Digital Blue 드라이브 라인이 최근 업데이트되었습니다. 지난 XNUMX월 개발자들은 XNUMX년 전 WD가 인수한 SanDisk 기술을 기반으로 한 WD Blue SSD라는 솔루션을 선보였습니다. 업데이트된 WD Blue SSD는 향상된 성능과 에너지 효율성을 제공합니다. 아키텍처는 사양을 기반으로 구축됩니다. NVMe, PCI Express를 통해 연결된 SSD에 대한 액세스를 제공합니다.

이 사양은 동시 요청이 많은 SSD 드라이브의 효율성을 향상시키고 데이터 액세스 속도를 높입니다. 또한 NVMe를 사용하면 SSD 인터페이스를 표준화할 수 있습니다. 이는 하드웨어 제조업체에 더 적합합니다. 자원을 낭비할 필요가 없다 고유한 드라이버, 커넥터 및 폼 팩터 개발을 위한 것입니다.

전망

데이터 센터 SSD 시장은 아키텍처 단순화, 스토리지 구성 요소 자동화, 에너지 효율성 향상 방향으로 이동하고 있습니다. MIT의 엔지니어 개발은 ​​후자의 문제를 해결합니다. 저자 기대다LightStore는 데이터 센터의 SSD 스토리지에 대한 업계 표준이 될 것입니다. 그리고 미래에는 이를 기반으로 새롭고 더욱 효율적인 아키텍처가 나타날 것이라고 가정할 수 있습니다.

기업 IaaS에 관한 첫 번째 블로그의 여러 자료:

• 데이터 센터 개발: 기술 동향
• Avito.ru: IaaS 클라우드가 회사 비즈니스 구성에 어떻게 도움이 되는지
• 데이터 센터의 에너지 효율성을 향상시키는 방법
• PCI DSS에 대해 알아야 할 사항: 표준 개요
• 기업이 컨테이너가 아닌 가상 머신을 사용하는 이유
• IaaS가 비즈니스 개발을 지원하는 방법: 클라우드가 해결할 세 가지 문제
• 클라우드의 서버리스 컴퓨팅 - 현대적인 트렌드인가, 아니면 필수인가?

출처 : habr.com