객체 지향 메모리 아키텍처에서 압축이 작동하는 방식

MIT의 엔지니어 팀은 데이터를 보다 효율적으로 사용하기 위해 객체 지향 메모리 계층 구조를 개발했습니다. 이 기사에서 우리는 그것이 어떻게 배열되는지 이해합니다.

/ 픽셀 /PD

아시다시피 최신 CPU의 성능 향상은 메모리 액세스 시 대기 시간의 감소를 동반하지 않습니다. 해마다 지표 변화의 차이는 최대 10배(PDF, 3페이지). 결과적으로 병목 현상이 발생하여 사용 가능한 리소스를 최대한 활용하지 못하고 데이터 처리 속도가 느려집니다.

성능 패널티는 소위 ​​압축 해제 지연입니다. 경우에 따라 준비 데이터 압축 해제에 최대 64 프로세서 주기가 소요될 수 있습니다.

비교용: 부동 소수점 수의 덧셈과 곱셈 점령하다 XNUMX주기를 넘지 않습니다. 문제는 메모리가 고정된 크기의 데이터 블록으로 작동하는 반면 응용 프로그램은 서로 다른 유형의 데이터를 포함할 수 있고 크기가 서로 다른 개체로 작동한다는 것입니다. 이 문제를 해결하기 위해 MIT 엔지니어는 데이터 처리를 최적화하는 객체 지향 메모리 계층 구조를 개발했습니다.

기술 작동 방식

이 솔루션은 Hotpads, Zippads 및 COCO 압축 알고리즘의 세 가지 기술을 기반으로 합니다.

핫패드는 스크래치패드 레지스터 메모리의 소프트웨어 기반 계층 구조입니다(스크래치 패드). 이러한 레지스터를 패드(패드)라고 하며 L1에서 L3까지 XNUMX개가 있습니다. 다양한 크기, 메타데이터 및 포인터 배열의 객체를 저장합니다.

본질적으로 아키텍처는 캐시 시스템이지만 객체와 함께 작동하도록 날카롭게 다듬었습니다. 개체가 위치한 패드의 수준은 사용 빈도에 따라 다릅니다. 수준 중 하나가 "오버플로"되면 시스템은 Java 또는 Go의 "가비지 수집기"와 유사한 메커니즘을 트리거합니다. 어떤 개체가 다른 개체보다 덜 자주 사용되는지 분석하고 자동으로 수준 간에 이동합니다.

Zippads는 Hotpads를 기반으로 작동합니다. 계층 구조의 마지막 두 수준인 L3 패드와 메인 메모리에 들어가거나 나가는 데이터를 보관하고 압축을 풉니다. 첫 번째와 두 번째 패드에는 데이터가 변경되지 않고 저장됩니다.

Zippads는 개체를 최대 128바이트까지 압축합니다. 더 큰 개체는 여러 부분으로 나누어져 서로 다른 메모리 영역에 배치됩니다. 개발자가 작성함에 따라 이 접근 방식은 효과적으로 사용되는 메모리 계수를 증가시킵니다.

객체를 압축하기 위해 COCO(Cross-Object COmpression) 알고리즘이 사용되며 시스템에서 작업할 수 있지만 나중에 설명합니다. 베이스-델타-즉시 또는 FPC. COCO 알고리즘은 차동 압축(차등 압축). 개체를 "기본"과 비교하고 중복 비트를 제거합니다. 아래 다이어그램을 참조하세요.

MIT 엔지니어에 따르면 객체 지향 메모리 계층 구조는 기존 접근 방식보다 17% 더 빠릅니다. 구조상 현대 애플리케이션의 아키텍처에 훨씬 더 가깝기 때문에 새로운 방법은 잠재력이 있습니다.

우선 빅데이터와 머신러닝 알고리즘을 다루는 기업들이 이 기술을 사용할 수 있을 것으로 기대된다. 또 다른 잠재적인 방향은 클라우드 플랫폼입니다. IaaS 공급자는 가상화, 스토리지 시스템 및 컴퓨팅 리소스를 보다 효율적으로 사용할 수 있습니다.

추가 리소스 및 소스:

"How we build IaaS": 1cloud 작업에 대한 자료

클라우드 아키텍처의 진화 1cloud
1cloud의 오브젝트 스토리지 서비스

HTTPS에 대한 잠재적 공격 및 이를 방지하는 방법
Continuous Delivery와 Continuous Integration 접근 방식의 유사점과 차이점은 무엇입니까?
인터넷에서 서버를 보호하는 방법: 1cloud 경험

출처 : habr.com