시스템에서 선택된 시간 소스의 성능 영향 분석

현재 Linux 커널에서 BPF 기반 성능 분석 도구를 개발하고 있는 DTrace 개발자 중 한 명인 Brendan Gregg는 CentOS에서 Ubuntu로 Cassandra DBMS를 마이그레이션할 때 Netflix가 직면한 성능 문제를 분석하면서 얻은 경험을 요약했습니다. Xen 기반의 Amazon EC2 클라우드. 마이그레이션 후 CPU 로드는 30% 증가했고 쓰기 작업 중 지연도 거의 같은 양만큼 증가했습니다. 결과적으로 시간 정보를 집중적으로 요청하는 애플리케이션의 성능은 시스템에서 선택한 정확한 시간 소스에 따라 크게 달라집니다.

처음에는 성능 저하의 원인이 명확하지 않았으며 top 및 execsnoop 유틸리티를 사용하여 지속적으로 실행되거나 주기적으로 실행되는 리소스 집약적 시스템 프로세스의 가능한 영향을 모니터링하는 것으로 진단이 시작되었습니다. 그러나 모든 것은 특히 Java로 작성된 Cassandra DBMS에서 리소스 소비가 증가했음을 나타냅니다. 동일한 쿼리를 처리하면서 CentOS와 Ubuntu에서 병렬로 실행되는 두 Cassandra 프로세스의 프로파일링 측정 항목을 비교하면 총 시간의 약 32%가 현재 시간에 대한 정보를 얻는 데 사용되는 os::javaTimeMillis()를 호출하는 데 소비된 것으로 나타났습니다. .

그 후, 루프에서 System.currentTimeMillis() 메서드를 13억 번 호출하는 간단한 Java 애플리케이션을 작성하는 실험이 수행되었습니다. 애플리케이션을 실행해 보니 CentOS에서는 완료하는 데 68초가 걸렸고 Ubuntu에서는 약 5초가 걸렸습니다. XNUMX배 느림. gettimeofday() 함수를 수억 번 호출하는 유사한 프로그램이 C로 작성되었지만 실행 시 유사한 결과를 얻었습니다.

문제의 원인이 현재 시간을 반환하는 기능이라는 것이 분명해졌기 때문에 시스템에서 정확한 시간의 다양한 소스를 선택할 때 표시기의 변화에 ​​주목했습니다. /sys/devices/system/clocksource/clocksource0/current_clocksource”의 내용으로 판단하면 게스트 시스템에서 Linux를 실행할 때 기본적으로 “xen” 타이머가 사용되었습니다. 시간 소스를 "tsc"로 변경한 후 Ubuntu에서 테스트 애플리케이션의 실행 시간이 68초에서 3.3초로 감소했습니다. 20배 빨라졌습니다. 또한, kvm-clock 타임 소스에 대한 성능 테스트를 진행한 결과, TSC 대비 지연 시간이 20% 증가한 것으로 나타났습니다. $ cat /sys/devices/system/clocksource/clocksource0/available_clocksource xen tsc hpet acpi_pm $ cat /sys/devices/system/clocksource/clocksource0/current_clocksource xen $ time java TimeBench 실제 1m8.300s 사용자 0m38.337s sys 0m29.875s $ echo tsc > /sys/devices/system/clocksource/clocksource0/current_clocksource $ time java TimeBench 실제 0m3.370s 사용자 0m3.353s sys 0m0.026s

TSC 소스를 선택할 때 시간을 얻으려면 시스템 호출이 필요하지 않은 RDTSC 프로세서 명령이 사용됩니다(명령은 높은 권한이 필요하지 않으며 CPU에 내장된 시간 카운터에서 값을 생성합니다). 기본적으로 TSC는 활성화되지 않습니다. 이전에는 이 소스가 점진적인 시간 드리프트를 배제하지 않았기 때문입니다. 다른 프로세서에서는 더 정확한 판독값을 얻기 위해 소프트웨어로 조정됩니다. 프로세서 개발 전문 엔지니어에 따르면 TSC를 사용할 때 시간 이동에 대한 우려는 오랫동안 사실이 아니었으며 최신 프로세서에서는 이 소스가 수년간 안정적인 판독값을 생성할 수 있습니다.

Netflix의 프로덕션 서버를 TSC 소스로 전환한 결과 쓰기 지연 시간이 43% 감소했으며 Ubuntu를 사용하여 “xen” 시간 소스로 CentOS를 실행하는 구성보다 4배 빠른 결과를 얻었습니다. 연구 결과는 Amazon으로 이전되었으며, Amazon에서는 Xen 하이퍼바이저 기반 AWS EC2 환경에서 기본 TSC 시간 소스 사용을 공식적으로 권장했습니다(Nitro 하이퍼바이저 기반 환경에서는 kvm-clock이 여전히 권장됨).

출처 : opennet.ru