PFCACHE 기술을 사용하여 노드의 컨테이너 밀도 높이기

호스팅 제공업체의 목표 중 하나는 최종 사용자에게 고품질 서비스를 제공하기 위해 기존 장비의 활용도를 극대화하는 것입니다. 최종 서버의 리소스는 항상 제한되어 있지만 호스팅되는 클라이언트 서비스의 수(이 경우 VPS에 대해 이야기하고 있음)는 크게 다를 수 있습니다. 나무에 오르는 방법과 절단된 부분 아래에서 버거를 먹는 방법에 대해 읽어보세요.

클라이언트가 전혀 느끼지 못하는 방식으로 노드에서 VPS를 압축하면 호스팅 제공업체의 경제적 성과를 높이는 데 큰 도움이 됩니다. 물론, 노드가 컨테이너로 꽉 차 있으면 노드가 터져서는 안 되며, 부하 급증이 모든 클라이언트에서 즉시 느껴집니다.

하나의 노드에서 호스팅할 수 있는 VPS 수는 다음과 같은 여러 요소에 따라 달라집니다.

1. 노드 자체의 하드웨어 특성
2. VPS 크기
3. VPS 부하의 성격
4. 밀도 최적화를 돕는 소프트웨어 기술

이 경우 Virtuozzo에 Pfcache 기술을 사용한 경험을 공유하겠습니다.
우리는 6번째 지점을 사용하지만 앞서 말한 모든 내용은 7번째 지점에도 적용됩니다.

Pfcache – 컨테이너의 IOPS 및 RAM 중복을 제거하고 컨테이너의 동일한 파일을 별도의 공통 영역에 할당하는 데 도움이 되는 Virtuozzo 메커니즘입니다.

실제로는 다음으로 구성됩니다.
1. 커널 코드
2. 사용자 공간의 악마
3. 사용자 공간 유틸리티

노드 측에서는 노드의 모든 VPS에서 직접 사용할 파일이 생성되는 전체 섹션을 할당합니다. 이 섹션에는 블록플루프 장치가 장착됩니다. 그런 다음 컨테이너가 시작되면 이 섹션에 대한 참조를 받습니다.

[root@pcs13 ~]# cat /proc/mounts
...
/dev/ploop62124p1 /vz/pfcache ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12 0 0
...
/dev/ploop22927p1 /vz/root/418 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
/dev/ploop29642p1 /vz/root/264 ext4 rw,relatime,barrier=1,data=ordered,balloon_ino=12,pfcache_csum,pfcache=/vz/pfcache 0 0
...

다음은 노드 중 하나의 파일 수에 대한 대략적인 통계입니다.

[root@pcs13 ~]# find /vz/pfcache -type f | wc -l
45851
[root@pcs13 ~]# du -sck -h /vz/pfcache
2.4G    /vz/pfcache
2.4G    total

pfcache의 원리는 다음과 같습니다.
• 사용자 공간 데몬 Pfcached는 파일의 sha-1 해시를 이 파일의 xattr 속성에 기록합니다. 모든 파일이 처리되는 것은 아니지만 /usr, /bin, /usr/sbin, /sbin, /lib, /lib64 디렉터리에서만 처리됩니다.

• 이러한 디렉터리의 파일은 "공유"되고 여러 컨테이너에서 사용될 가능성이 높습니다.

• Pfcached는 커널에서 파일 읽기에 대한 통계를 주기적으로 수집하고 분석하며 파일이 자주 사용되는 경우 캐시에 추가합니다.

• 이러한 디렉터리는 다를 수 있으며 구성 파일에서 구성됩니다.

• 파일을 읽을 때 xattr 확장 속성에 지정된 해시가 포함되어 있는지 확인합니다. 포함된 경우 컨테이너 파일 대신 "일반" 파일이 열립니다. 이러한 대체는 컨테이너 코드에서 눈치채지 못한 채 발생하며 커널에 숨겨져 있습니다.

• 파일에 쓸 때 해시가 무효화됩니다. 따라서 다음에 컨테이너 파일을 열면 캐시가 아닌 컨테이너 파일 자체가 열립니다.

/vz/pfcache의 공유 파일을 페이지 캐시에 보관함으로써 이 캐시 자체와 IOPS를 절약할 수 있습니다. 디스크에서 XNUMX개의 파일을 읽는 대신 XNUMX개의 파일을 읽고 즉시 페이지 캐시로 이동합니다.

struct inode {
...
 struct file             *i_peer_file;
...
};
struct address_space {
...
 struct list_head        i_peer_list;
...
}

파일의 VMA 목록은 단일로 유지되며(메모리 중복 제거) 디스크에서 읽는 빈도가 줄어듭니다(IOPS 절약). 우리의 공동 기금은 SSD에 위치하므로 속도가 추가로 향상됩니다.

/bin/bash 파일 캐싱의 예:

[root@pcs13 ~]# ls -li /vz/root/2388/bin/bash
524650 -rwxr-xr-x 1 root root 1021112 Oct  7  2018 /vz/root/2388/bin/bash
[root@pcs13 ~]# pfcache dump /vz/root/2388 | grep 524650
8e3aa19fdc42e87659746f6dc8ea3af74ab30362 i:524650      g:1357611108  f:CP
[root@pcs13 ~]# sha1sum /vz/root/2388/bin/bash
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/root/2388/bin/bash
[root@pcs13 /]# getfattr -ntrusted.pfcache /vz/root/2388/bin/bash
# file: vz/root/2388/bin/bash
trusted.pfcache="8e3aa19fdc42e87659746f6dc8ea3af74ab30362"
[root@pcs13 ~]# sha1sum /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362
8e3aa19fdc42e87659746f6dc8ea3af74ab30362  /vz/pfcache/8e/3aa19fdc42e87659746f6dc8ea3af74ab30362

우리는 사용 효율성을 계산합니다 준비된 스크립트.

이 스크립트는 노드의 모든 컨테이너를 통과하여 각 컨테이너의 캐시된 파일을 계산합니다.

[root@pcs16 ~]# /pcs/distr/pfcache-examine.pl
...
Pfcache cache uses 831 MB of memory
Total use of pfcached files in containers is 39837 MB of memory
Pfcache effectiveness: 39006 MB

따라서 메모리에서 약 40GB의 파일을 컨테이너에 저장하고 캐시에서 로드됩니다.

이 메커니즘이 더 잘 작동하려면 노드에 가장 "동일한" VPS를 배치해야 합니다. 예를 들어, 사용자에게 루트 액세스 권한이 없고 배포된 이미지의 환경이 구성된 경우입니다.

구성 파일을 통해 pfcache를 조정할 수 있습니다.
/etc/vz/pfcache.conf

MINSIZE, MAXSIZE – 캐싱을 위한 최소/최대 파일 크기
TIMEOUT - 캐싱 시도 사이의 시간 초과

매개변수의 전체 목록을 볼 수 있습니다. 링크.

출처 : habr.com