Täna tahame rääkida mõningatest viimastest Sherlocki süsteemi värskendustest [see on Stanfordi ülikooli suure jõudlusega klaster – tlk.], mis kiirendavad oluliselt failide loetlemist suure arvuga kataloogides.

Erinevalt tavalistest artiklitest, on see pigem siseaudit, kuidas kaupluse regulaarne töö toimub, et hoida see meie kasutajatele parimas vormis. Loodame tulevikus avaldada rohkem selliseid artikleid.

Paljude failide loetlemine võtab aega.

Kõik algas kasutajalt saadud küsimusest tehnilisest toest. Ta teatas probleemist, et tegevus ls võtab mitu minutit kataloogis, kus on üle 15 000 kirje $SCRATCH [ajutiste failide kataloog – tlk.].

Tuhanded failid ühes kataloogis loovad tavaliselt failisüsteemile probleeme ja seda ei soovitata. Kasutaja teadis seda ja tunnustas, et see pole hea, kuid märkis, et tema sülearvuti loetleb neid 1000 korda kiiremini kui Sherlock. Muidugi, see läks meile korda. Seetõttu uurisime sügavamalt.

Sest ls näeb hea välja.

Uurisime, mida tegelikult teeb ls katalooge loetledes ja miks see protsess võtab nii kaua aega. Enamikus kaasaegsetes distributsioonides ls kasutatakse vaikimisi ls --color=auto, sest kõik armastavad värve.

Aga ilusate värvide hind on see, et iga faili ls peab saama teavet faili tüübi, selle õiguste, lipu, laiendatud atribuutide jne kohta, et valida vastav värv.

Üks lihtne lahendus probleemile on üldse värvi lülitamine ls-is, kuid kujutage ette kasutajate ärritust. Me ei tohi mingil juhul värvilist väljundit ära võtta, me ei ole koletised.

Seetõttu uurisime sügavamalt. ls värvib kirjeid läbi keskkonnamuutuja LS_COLORS, mille määrab dircolors(1) konfiguratsioonifaili põhjal. dir_colors(5). Jah,käivitatav fail loeb konfiguratsioonifaili, et luua keskkonnamuutuja, mida seejärel kasutab ls (ja kui sa ei tea failidest door (do), siis dir_colors , hoolimata kõigest). reaktsiooniUurime lähemalt.

Kuna määrata, milline värvimisrežiim põhjustab aeglustumist, lõime katsekeskkonna:

$ mkdir $SCRATCH/dont $ touch $SCRATCH/dont/{1..10000} # ära proovi seda kodus! $ time ls --color=always $SCRATCH/dont | wc -l 10000reaal 0m12.758s kasutaja 0m0.104s süsteemi 0m0.699s

$ mkdir $SCRATCH/dont
$ touch $SCRATCH/dont/{1..10000} # don't try this at home!
$ time ls --color=always $SCRATCH/dont | wc -l
10000

real    0m12.758s
user    0m0.104s
sys     0m0.699s

12,7 sekundit 10 000 faili jaoks, mitte just hästi.

Ükskõik, kas on vaja lippu --color=always: kuigi see pöördub ls --color=auto, kuid ls tuvastatakse, kui see ei ole terminaliga ühendatud (näiteks kanali kaudu või väljundi suunamisega) ja keelab värvimise, kui on seatud väärtus auto. Nutikas poiss.

Mis siis tegelikult nii palju aega võtab? Me vaatasime strace:

$ strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% aeg     sekundid  kasut. / kõne     kõned    vead süsteemi kõne
------ ----------- ----------- --------- --------- ----------------
 44.21    0.186617          19     10000           lstat
 42.60    0.179807          18     10000     10000 getxattr
 12.19    0.051438           5     10000           capget
  0.71    0.003002          38        80           getdents
  0.07    0.000305          10        30           mmap
  0.05    0.000217          12        18           mprotect
  0.03    0.000135          14        10           read
  0.03    0.000123          11        11           open
  0.02    0.000082           6        14           close
[...]

Vau: 10 000 kõnet lstat(), 10 000 kõnet getxattr() (mis kõik ebaõnnestuvad, kuna meie keskkonnas ei ole atribuute, mida ls otsib), 10 000 kõnet capget().

Seda saab kindlasti optimeerida.

Atribuut capabilities? Ei

Järgides nõuandeid 10 aasta tagune bugi, üritasime välja lülitada atribuudi kontrolli capabilities:

$ eval $(dircolors -b | sed s/ca=[^:]*:/ca=:)
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% aeg     sekundid  kasut. / kõne     kõned    vead süsteemi kõne
------ ----------- ----------- --------- --------- ----------------
 98.95    0.423443          42     10000           lstat
  0.78    0.003353          42        80           getdents
  0.04    0.000188          10        18           mprotect
  0.04    0.000181           6        30           mmap
  0.02    0.000085           9        10           read
  0.02    0.000084          28         3           mremap
  0.02    0.000077           7        11           open
  0.02    0.000066           5        14           close
[...]
------ ----------- ----------- --------- --------- ----------------
100.00    0.427920                 10221         6 kokku

reaalne    0m8.160s
kasutaja    0m0.115s
süsteem     0m0.961s

Vau, kiirus 8 sekundi peale! Oleme vabanenud kõigist nendest kallistest kõnedest getxattr(), ja kõned capget() ka kadusid, suurepärane.

Kuid need tüütud kõned on siiski alles lstat(), kuigi...

Kui palju värve on vaja?

Seetõttu vaatasime lähemalt LS_COLORS.

Esialgu lülitasime selle muutujast välja:

$ echo $LS_COLORS
rs=0:di=01;34:ln=01;36:mh=00:pi=40;33:so=01;35:do=01;35:bd=40;33;01:cd=40;33;01:or=40;31;01:su=37;41:sg=30;43:ca=:tw=30;42:ow=34;42:st=37;44:ex=01;32:*.tar=01;31:*.tgz=01;31:*.arc=01;31:*.arj=01;31:*.taz=01;31:*.lha=01;31:*.lz4=01;31:*.lzh=01;31:*.lzma=01;31:*.tlz=01;31:*.txz=01;31:*.tzo=01;31:*.t7z=01;31:*.zip=01;31:*.z=01;31:*.Z=01;31:*.dz=01;31:*.gz=01;31:*.lrz=01;31:*.lz=01;31:*.lzo=01;31:*.xz=01;31:*.bz2=01;31:*.bz=01;31:*.tbz=01;31:*.tbz2=01;31:*.tz=01;31:*.deb=01;31:*.rpm=01;31:*.jar=01;31:*.war=01;31:*.ear=01;31:*.sar=01;31:*.rar=01;31:*.alz=01;31:*.ace=01;31:*.zoo=01;31:*.cpio=01;31:*.7z=01;31:*.rz=01;31:*.cab=01;31:*.jpg=01;35:*.jpeg=01;35:*.gif=01;35:*.bmp=01;35:*.pbm=01;35:*.pgm=01;35:*.ppm=01;35:*.tga=01;35:*.xbm=01;35:*.xpm=01;35:*.tif=01;35:*.tiff=01;35:*.png=01;35:*.svg=01;35:*.svgz=01;35:*.mng=01;35:*.pcx=01;35:*.mov=01;35:*.mpg=01;35:*.mpeg=01;35:*.m2v=01;35:*.mkv=01;35:*.webm=01;35:*.ogm=01;35:*.mp4=01;35:*.m4v=01;35:*.mp4v=01;35:*.vob=01;35:*.qt=01;35:*.nuv=01;35:*.wmv=01;35:*.asf=01;35:*.rm=01;35:*.rmvb=01;35:*.flc=01;35:*.avi=01;35:*.fli=01;35:*.flv=01;35:*.gl=01;35:*.dl=01;35:*.xcf=01;35:*.xwd=01;35:*.yuv=01;35:*.cgm=01;35:*.emf=01;35:*.axv=01;35:*.anx=01;35:*.ogv=01;35:*.ogx=01;35:*.aac=00;36:*.au=00;36:*.flac=00;36:*.mid=00;36:*.midi=00;36:*.mka=00;36:*.mp3=00;36:*.mpc=00;36:*.ogg=00;36:*.ra=00;36:*.wav=00;36:*.axa=00;36:*.oga=00;36:*.spx=00;36:*.xspf=00;
$ unset LS_COLORS
$ echo $LS_COLORS

$  time ls --color=always $SCRATCH/dont | wc -l
10000

real    0m13.037s
user    0m0.077s
sys     0m1.092s

Mis!?! Jälle 13 sekundit?

Selgub, et kui keskkonnamuutuja LS_COLORS ei ole määratud või kui selle ainus element puudub =color:, siis kasutab see vaikimisi sisseehitatud andmebaasi ja kasutab ikkagi värve. Seega, kui soovite teatud failitüübi jaoks värvimise välja lülitada, peate selle ümber määrama =: või 00 failis DIR_COLORS.

Pärast paljusid katsetusi kitsendasime otsingut sellele:

EXEC 00
SETUID 00
SETGID 00
CAPABILITY 00

mis kirjutatakse kui

LS_COLORS='ex=00:su=00:sg=00:ca=00:'

See tähendab: ära värvi faile mitte omaduse capabilities, vaid bittide setuid/setgid, ega täitmislipu poolt.

Kiirendame `ls`

Ja kui neid kontrollimisi ei tehta, siis kutsed lstat() kaovad ja nüüd on asi hoopis teine:

$ export LS_COLORS='ex=00:su=00:sg=00:ca=00:'
$ time strace -c ls --color=always $SCRATCH/dont | wc -l
10000
% time     seconds  usecs/call     calls    errors syscall
------ ----------- ----------- --------- --------- ----------------
 63.02    0.002865          36        80           getdents
  8.10    0.000368          12        30           mmap
  5.72    0.000260          14        18           mprotect
  3.72    0.000169          15        11           open
  2.79    0.000127          13        10           read
[...]
------ ----------- ----------- --------- --------- ----------------
100.00    0.004546                   221         6 total

real    0m0.337s
user    0m0.032s
sys     0m0.029s

0,3 sekundit 10 000 faili nimekirjas, rekord.

Seadistame Sherlocki

Vaikeseadete juures 13 sekundilt kuni 0,3 sekundini väikese häälestusega LS_COLORS tähendab 40-kordset kiirendust puudumise tõttu setuid / setgid ja värviliste täidetud failide. Pole nii suur kadu.

Loomulikult, nüüd on see seadistatud Sherlockis iga kasutaja jaoks.

Aga kui soovite värvikoodi taastada, võite lihtsalt naasta vaike seadete juurde: