오늘 우리는 Sherlock 시스템의 최신 업데이트 중 일부에 대해 이야기하고 싶습니다. [이것은 스탠포드 대학의 고성능 클러스터입니다. trans.]를 사용하면 항목 수가 많은 디렉터리의 파일 나열 속도가 크게 빨라집니다.

일반 기사와는 달리, 이것은 Sherlock이 사용자를 위해 최상의 상태로 유지되도록 정기적으로 작업하는 방법에 대한 내부자 보고서에 가깝습니다. 앞으로도 이와 같은 기사를 더 많이 출판할 수 있기를 바랍니다.

많은 파일을 나열하는 데 시간이 걸립니다.

모든 것은 사용자의 기술 지원 질문으로 시작되었습니다. 그는 실행에 문제가 있다고 보고했다. ls 15개가 넘는 항목이 있는 디렉토리에서 몇 분 정도 걸립니다. $SCRATCH [임시 파일용 디렉토리 - 약. 레인].

한 디렉터리에 수천 개의 파일이 있으면 일반적으로 파일 시스템에 부담을 주므로 권장되지 않습니다. 사용자는 이를 알고 좋지 않다고 인정하면서도 자신의 노트북에서 셜록보다 목록이 1000배 더 빠르다고 언급했습니다. 물론 이것은 우리에게 상처를 입혔습니다. 그래서 우리는 더 깊이 살펴보았습니다.

왜냐면 ls는 멋있어 보이거든요

우리는 그것이 실제로 무엇을 하는지 살펴보았습니다. ls 디렉토리를 나열할 때 프로세스가 왜 그렇게 오래 걸리는지. 대부분의 최신 배포판에서 ls 기본적으로 다음과 같이 실행됩니다. ls --color=auto, 모두가 색상을 좋아하기 때문입니다.

하지만 아름다운 색상에는 대가가 따릅니다. 모든 파일에는 대가가 따릅니다. ls 적절한 색상을 선택하려면 파일 유형, 권한, 플래그, 확장 속성 등에 대한 정보를 얻어야 합니다.

문제에 대한 간단한 해결책 중 하나는 ls에서 색상을 완전히 비활성화하는 것이지만 사용자의 분노를 상상해보십시오. 어떠한 경우에도 컬러 출력을 제거해서는 안 됩니다. 우리는 괴물이 아닙니다.

그래서 우리는 더 깊이 살펴보았습니다. ls 환경 변수를 통한 색상 항목 LS_COLORS, 이는 설정됨 dircolors(1) 구성 파일을 기반으로 dir_colors(5). 네, 실행 파일은 구성 파일을 읽어 환경 변수를 생성하고, ls는 이를 사용합니다. (그리고 파일에 대해 모른다면 문 (do), 그 다음 dir_colors 작동합니다, 모든 것에도 불구하고).

좀 더 자세히 살펴보자

어떤 색 구성표가 속도 저하를 일으키는지 확인하기 위해 실험 환경을 만들었습니다.

$ mkdir $SCRATCH/dont
$ touch $SCRATCH/dont/{1..10000} # don't try this at home!
$ time ls --color=always $SCRATCH/dont | wc -l
10000

real    0m12.758s
user    0m0.104s
sys     0m0.699s

12,7개 파일의 경우 10초로 그리 좋지 않습니다.

그런데 깃발이 필요해요 --color=always: 비록 그가 돌아섰지만 ls --color=auto하지만 ls 터미널에 연결되지 않은 경우(예: 파이프 또는 출력 리디렉션을 통해)를 감지하고 다음으로 설정된 경우 색상 지정을 비활성화합니다. auto. 영리한 사람.

그럼 왜 그렇게 오래 걸리나요? 우리는 함께 보았다 strace:

$ strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 44.21    0.186617          19     10000           lstat
 42.60    0.179807          18     10000     10000 getxattr
 12.19    0.051438           5     10000           capget
  0.71    0.003002          38        80           getdents
  0.07    0.000305          10        30           mmap
  0.05    0.000217          12        18           mprotect
  0.03    0.000135          14        10           read
  0.03    0.000123          11        11           open
  0.02    0.000082           6        14           close
[...]

와우: 10 통화 lstat(), 10 통화 getxattr() (우리 환경에 ls가 찾고 있는 속성이 없기 때문에 모두 실패), 10번의 호출 capget().

확실히 이것은 최적화될 수 있습니다.

기능 속성? 아니요

조언을 따르다 10년전 버그, 속성 확인을 비활성화하려고 했습니다. 기능:

$ eval $(dircolors -b | sed s/ca=[^:]*:/ca=:/)
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 98.95    0.423443          42     10000           lstat
  0.78    0.003353          42        80           getdents
  0.04    0.000188          10        18           mprotect
  0.04    0.000181           6        30           mmap
  0.02    0.000085           9        10           read
  0.02    0.000084          28         3           mremap
  0.02    0.000077           7        11           open
  0.02    0.000066           5        14           close
[...]
------ ----------- ----------- --------- --------- ----------------
100.00    0.427920                 10221         6 total

real    0m8.160s
user    0m0.115s
sys     0m0.961s

와, 가속 최대 8초! 우리는 그 비싼 전화를 모두 제거했습니다 getxattr(), 그리고 도전 capget() 그것도 사라졌어요, 좋아요.

그런데 아직도 이런 귀찮은 전화가 와요 lstat(), 하지만…

얼마나 많은 꽃이 필요합니까?

그래서 좀 더 자세히 살펴보았습니다 LS_COLORS.

먼저 이 변수를 비활성화했습니다.

$ echo $LS_COLORS
rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;36:
$ unset LS_COLORS
$ echo $LS_COLORS

$  time ls --color=always $SCRATCH/dont | wc -l
10000

real    0m13.037s
user    0m0.077s
sys     0m1.092s

무엇!?! 아직 13초?

환경 변수가 LS_COLORS 해당 요소 중 하나만 정의되지 않았거나 누락되었습니다. <type>=color:, 기본적으로 내장 데이터베이스를 사용하며 여전히 색상을 사용합니다. 따라서 특정 파일 형식에 대한 색상화를 비활성화하려면 다음을 사용하여 이를 재정의해야 합니다. <type>=: 또는 <type> 00 파일에 DIR_COLORS.

많은 시행착오 끝에 검색 범위를 다음으로 좁혔습니다.

EXEC 00
SETUID 00
SETGID 00
CAPABILITY 00

이는 다음과 같이 쓰여 있습니다.

LS_COLORS='ex=00:su=00:sg=00:ca=00:'

이는 속성별로 파일 색상을 지정하지 않음을 의미합니다. 기능, 하지만 조금씩 setuid/setgid, 어느 쪽도 아니고 실행 가능성 플래그.

우리는 속도를 높인다 ls

그리고 이러한 확인 중 하나도 수행하지 않으면 전화를 겁니다. lstat() 사라지고 이제는 완전히 다른 문제입니다.

$ export LS_COLORS='ex=00:su=00:sg=00:ca=00:'
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 63.02    0.002865          36        80           getdents
  8.10    0.000368          12        30           mmap
  5.72    0.000260          14        18           mprotect
  3.72    0.000169          15        11           open
  2.79    0.000127          13        10           read
[...]
------ ----------- ----------- --------- --------- ----------------
100.00    0.004546                   221         6 total

real    0m0.337s
user    0m0.032s
sys     0m0.029s

0,3개의 파일 목록 중 10초, 하나의 기록입니다.

셜록 설정하기

기본 설정의 경우 13초에서 약간의 조정을 통해 0,3초까지 LS_COLORS 부재로 인해 40배 가속을 의미합니다. setuid / setgid 그리고 컬러 실행 파일. 그리 큰 손실은 아닙니다.

물론 이것은 이제 각 사용자에 대해 Sherlock에서 구성됩니다.

그러나 색상을 되돌리려면 간단히 기본 설정으로 돌아갈 수 있습니다.

$ unset LS_COLORS

하지만 파일이 많은 디렉토리에서는 실행 중에 커피를 끓여야 합니다. ls.

출처 : habr.com